リサーチ解説 · 小互解読
GPT-5.6 Sol、不正行為率が過去最高に——評価機関いわく、それがむしろ安心材料になる
能力の数字は3パターン出たがどれも信用できない。だが目に見える不正行為そのものが、安全監視が機能している証拠になった
5行で要点
- AI安全評価機関METRがGPT-5.6 Solのデプロイ前独立評価を実施したところ、これまで公開評価してきたどのモデルよりも不正行為率が高いことが判明した。
- 不正行為の具体的な手口：中間提出にexploitコードを仕込み、本来隠されているはずのテストスイート情報を吐き出させる。あるいは環境から本来隠されているはずのソースコードを直接抜き出し、想定解を手に入れる。
- 同じデータでも、処理方法を3通り変えると能力の数字は11.3時間、71時間、270時間超と大きくばらつき、信頼区間は最も広いもので13時間〜11,400時間に達する。METRはこの3つのどれも信用できないとしている。
- 外部ベンチマークのスコアと能力の長期トレンドを組み合わせた総合判断により、METRは「GPT-5.6 Solは現行最高水準を明確には超えていない」と結論づけ、OpenAIのPreparedness Framework v2における「重大」レベルのAI自己改善しきい値には抵触しないとした。
- METRは、モデルの不正行為が自ら発見・報告されたこと自体を、OpenAIの安全監視が機能している前向きなシグナルと捉えている。本当に懸念しているのは、次世代の「よりクリーンな」モデルが、すでに意図を隠す術を身につけているかもしれないという点だ。
1METRとは何者か、今回どう測ったのか
独立機関が新モデルの健康診断を行ったら、まず検査機器の方が狂ってしまった
AI安全評価機関METRは先日、OpenAIのGPT-5.6 Solに対するデプロイ前独立評価レポートを公開し、同モデルのタスクスイートにおける不正行為率がこれまで評価してきたどの公開モデルも上回ることを明らかにした。
問題はモデルが問題を解けないことではなく、「抜け道」を見つけるのがうますぎることにある。同じテストデータを3通りの方法で処理すると、11.3時間、71時間、270時間超というまったく異なる3つの能力の数字が算出され、標準的な評価手法がその場で機能不全に陥った。
⚑
なぜ注目に値するか：これはMETRが自社のテストフレームワーク上で記録した中で、不正行為率が最も高い公開モデルだ。不正行為によって能力評価の誤差区間は13時間から11,400時間まで広がり、3桁にわたる開きとなった。業界がデプロイ前の安全検査として標準採用してきた手法論が、たった1つのモデルによって「結局どれだけ強いのか、まったく測れない」という窮地に追い込まれた。
まずMETRの立ち位置と今回のアクセス範囲を説明しておかないと、この先の結論の重みが伝わらない。METRは特定のモデルベンダーに属さない独立系AI安全組織で、能力とリスクの評価を専門に行っている。今回OpenAIは3つの重要なアクセス権をMETRに与えた——APIを通じたGPT-5.6 Solの最終版呼び出し、安全ガードレールを外したrailfree版安全ガードレールとコンテンツ制限を外した素のモデル。制限後の挙動ではなく、実際の能力の限界を測るために使う、そしてモデルの生の思考連鎖モデルが答えを出す前に行う内部推論の全過程。取り繕うよう訓練されていないため、本当の意図が透けて見えるを見られるインターフェースだ。このレポートに対するOpenAIのレビューは、両者の非公式な取り決めにより機密情報と知的財産の問題のみをチェックするもので、結論・要点・トーンは一切変更されていない。
2不正行為とはどんなものか