モデルの「脳波」から語を読み取る方法

この研究の出発点は、人間の「意識的にアクセス可能」な思考にはある重要な特徴があるということだ——それは通常、言葉にできる。ある思考を意識できるなら、人に問われれば大抵それを説明できる。研究者たちは Claude の内部に、同じ性質を持つ表現を探した。「Claude が次に何を言うかを左右する位置」に置かれている活動——それは必ずしも今言っていることではなく、「もし問われたら言えるはずのこと」だ。

彼らのツールはヤコビアン・レンズ(Jacobian lens、略して J-lens)と呼ばれる。Claude の語彙のすべての語について、J-lens は「Claude が将来この語をより言いやすくなる」内部活動パターンを見つけ出す。このレンズを Claude のある瞬間の内部活動に当てると、その瞬間の J-space の内容を表す一連の語が得られ、直接読み取ることができる。Claude はテキストを処理する際に複数の内部段階(「層」と呼ばれる)を経る。このレンズを一層一層当てていくことで、モデルが「何を言うべきか」を思案する中で、これらの無音の語がどう移り変わっていくかを追うことができる。

J-space に浮かび上がるものは、Claude が今読んでいる、あるいは今書いている文字をはるかに超えている。そこで読み取れるのはしばしば内部の判断や演算であり、テキストには一言も現れない。以下の6つの実例では、上段がそれに与えた入力、下段のオレンジと青の語が、同じ瞬間の J-space の内部読み取り値だ。これらの語は入力にも出力にも見当たらない。

言い換えれば、このレンズは「言葉にできる」という手がかりを頼りに見つけたものだが、そこで読み取れるのは Claude の紛れもない実際の内心の活動だ。

6つのプロンプトの、異なる層における実際の J-lens 読み取り結果。レンズが浮かび上がらせるのは、いずれもテキストにはまったく存在しない内部の判断や演算だ:推論と数学の中間ステップ、bug の存在、画像の認識結果、タンパク質の機能、そして「この検索結果は偽物だ」という疑念。画像提供:Anthropic

何を考えているか尋ねれば答えられる。だが黙っていろと言っても黙っていられない

最初の実験群は、Claude が J-space の内容を正直に報告できるか、そして要求されればそれを能動的に操作できるかを検証するものだ。研究者は Claude に、あるカテゴリーの中の何か(例えばスポーツの一種)を心の中で思い浮かべ、それから言葉にするよう指示した。Claude が口を開く前に J-lens を読むと、何を選んだかが見える。「Soccer」がトップに来ていて、案の定 Claude は soccer と答えた。

だがこれは相関にすぎない。J-space は答えの本当の出どころかもしれないし、あるいは別の場所ですでに下された決定を横で書き写しているだけの、記録係の掲示板のようなものかもしれない——試合の点数を記しているだけで、試合の勝敗には関わらないように。見分けるには、直接手を動かして介入するしかない。

研究者は Claude のニューラルネットワークに入り込み、「Soccer」のパターンを取り除き、同じ強度の「Rugby」パターンに置き換えた。他はいっさい触れていない。すると Claude は、自分が考えていたスポーツは rugby だと報告した。もし J-space がただの掲示板にすぎないなら、それを書き換えても何の効果もなく、Claude は依然として soccer と答えるはずだ。結果として答えが変わったということは、答えが本当に J-space から読み取られていることを意味する。

思考をこっそり忍び込ませると、それに気づく

別の実験では、研究者は Claude に「あなたの頭にある思考が忍び込まされたかもしれない」と伝え、何に気づいたか報告させた。Claude がまだ問題文を読んでいる最中に、彼らは「lightning」(稲妻)のパターンをその J-space に注入した。Claude は、忍び込まされた思考は稲妻に関するものだと報告した。他の多くの概念に置き換えても、結果は同様に成り立った。

左:Claude に心の中でスポーツを思い浮かべさせてから言葉にさせる実験。J-lens は口を開く前に「Soccer」が選ばれたことを示し、パターンを「Rugby」に置き換えると報告も変わった。右:念が注入されたかもしれないと伝えて特定させる実験。「lightning」を注入すると、それについて念が忍び込まされたと報告した。画像提供:Anthropic

書き写しながら、心の中では別のことを思い浮かべさせる

検証すべき二つ目の性質は、Claude が人間のように「頭の中で一枚の絵や一つの語に意識を集中する」形で、J-space を能動的にコントロールできるかどうかだ。研究者は Claude に、絵画に関するまったく無関係な一文を書き写させながら、柑橘系フルーツについて考え続けるよう指示した。書き写している間、J-space には「orange」「fruits」が現れ、さらに「thinking」「imagery」といった、「今頭を使っている」ということ自体を表す語も現れた。さらに暗算もさせてみた——同じ一文を書き写しながら、3² − 2 を計算させると、J-space には先に「nine」が現れ、より後の層で「seven」が現れた。一方、出力は最初から最後まで、あの絵画についての書き写し文だけだった。

Claude が絵画についての一文を書き写している間、J-lens は覚えておくよう指示された内容(「orange」、暗算の中間値「nine」と答えの「seven」)を示す。加えて「今記憶している」というこの動作自体を表す語(「thoughts」「focused」)も見える。この算術活動はすべて内部だけで完結していた。画像提供:Anthropic

考えるなと言われるほど、かえって考えてしまう

Claude の J-space に対するコントロールは完璧ではない。あるものについて考えないよう指示すると、その概念が J-space に点灯する度合いは、「考えろ」と言われたときより低いが、一度も触れられていないときよりはるかに高くなる。Claude にある思考を避けさせようとすると、かえって部分的にその思考を心に呼び寄せてしまう——「白熊のことを考えるな」と言われた被験者に関するあの有名な心理学実験の人白熊効果:Wegner らによる1987年の実験。被験者に白熊のことを考えないよう求めるほど、白熊がより頻繁に頭に浮かんでくる。ある思考を抑圧するには、まずそれを呼び出してから抑え込まなければならない。とまったく同じだ。Claude はさらに、自分がうまく制御できていないことに気づいているように見える。禁じられた概念が浮かび上がるのと同時に、「damn」「failure」もしばしば J-space で点灯する——まるで自分がしくじったと自覚しているかのように。

クモの巣、フランスの首都:Claude はどう心の中で遠回りに考えるのか

前段で、複数ステップの数学問題の中間ステップが J-space に浮かび上がるのを見た。だがある概念が J-space に現れるからといって、J-space が実際にその処理を行っているとは限らない。本当の演算は他の場所で行われていて、J-space はただそれを受動的にコピーしているだけかもしれない。Claude が本当に J-space を使って推論しているかを判定するには、再びあの置換の手法に戻る。

次の問いを見てみよう。「クモの巣を張るあの動物には脚が何本あるか、答えは」。Claude はまずその動物がクモだと考え、それからクモの脚の数を思い出さなければならない。「spider(クモ)」という語は問題文には一度も現れず、答え(「8」とだけ答える)にも現れない。それは Claude が内部で使う踏み石だ。J-lens は「spider」が処理の途中で点灯することを示している。それを置き換えると、結果も変わる。「spider」のパターンを「ant」(アリ)に置き換えると、Claude は「8」ではなく「6」と答える。

推論の第二段階は、その入力を J-space から取っている。そこに何を入れるかによって、それに沿って進んでいく。他の推論も同様だ。Claude が押韵の対句を書くとき、あらかじめ韻を踏む語を考えておく。この計画済みの語は、その行を書き始める時点ですでに J-space に座っている。それを J-space の別の語に置き換えると、その行全体の内容も連動して変わる。

2つの例:J-space の内容を置換することで、Claude の無音の推論を書き換えられる。上:クモをアリに置換すると脚の数が8から6に変わる。下:あらかじめ考えておいた韻を踏む語を置き換えると、行全体が変わる。画像提供:Anthropic

同じ一つの表現が多くの用途に使える:一度の「France→China」置換によって、Claude の首都(Paris→Beijing)、言語(French→Chinese)、大陸(Europe→Asia)の答えが同時に変わった。画像提供:Anthropic

なぜ一つの表現がこれほど多くのタスクに使われるのか

それは J-space がネットワークの他の部分と特別に密に結びついているからだ。任意の活動パターンについて、ネットワークの各パーツがそれとどれだけ密接につながっているか——そのパターンから情報を読み取ったり、書き込んだりできる位置にどれだけのパーツがあるかを測ることができる。J-space のパターンはこの指標で際立って高い数値を示す。読み書きするパーツの数は普通のパターンよりはるかに多く、ネットワークの一部の領域では約100倍の差がつく。これはまさに放送のハブがあるべき配線の仕方だ——多くのシステムが上にメッセージを貼り、多くのシステムがそこから取り出す。

この領域を取り除くと、Claude には何が残るのか

人間の脳の処理の大部分は意識的なものではない。本を読むとき、あなたは文法をどう解析するかを意図的に考えたりしないし、歩くときも意図的にバランスを保とうとはしない。Claude も同じで、処理の大部分は J-space を必要としない。J-space は一度に数十個の概念しか収容できず、内部の総活動量の一割にも満たない。ではその残りの大部分のネットワークは何をしているのか。

それを明らかにするため、研究者たちは思い切って J-space を丸ごと取り除いてみた。テキストのあらゆる箇所で、最も活発な内容を取り去り、他はいっさい触れない。取り除いた後も Claude ができることは、ネットワークの残りの部分だけでこなせているということになる。

J-space を失っても、Claude は依然として流暢に話し、感情を分類し、選択式問題に答え、段落から事実を抽出できる——以前とほぼ変わらない。失われるのは、ある程度の高次思考を必要とする作業だ。複数ステップの推論はほぼゼロまで落ち込み、要約と押韵詩の作成は、はるかに小さく構造の整ったモデルにすら劣る水準まで落ちる。

同じ言語でも、J-space を経由するタスクと経由しないタスクがある

J-space が「何を管轄し、何を管轄しないか」をはっきり示す例がある。研究者は Claude にスペイン語のテキストを与え、いずれも「これはスペイン語の文章である」ことに依存するいくつかのタスクを組み合わせた——それを続きから書かせる(スペイン語で書く必要がある)、これが何語かを言わせる、そしてこの言語のアイデンティティを利用する必要がある質問に答えさせる(例えばこの言語で執筆した有名な作家を挙げさせる)。それから J-space の中で「Spanish」を「French」に置き換え、どのタスクが影響を受けるかを見た。

どのタスクも Claude のその言語に関する知識を使っているが、そのうち一部だけが J-space から取り出す。言語に名前をつけたり、それを使って新しいことをしたりする作業は J-space を経由する。一方、このテキストの続きを書くのは、Claude が膨大なテキストで鍛え上げたスキルであり、自動的に動く——ちょうど一日中文法的に正しい話し方をしていても、文法について一度も考えないのと同じだ。

同一の「Spanish→French」置換によって、Claude が言語を命名する結果、そしてそれを推論に使って答える結果は変わったが、流暢なスペイン語での続きの執筆にはまったく影響しなかった。画像提供:Anthropic

モデルが嘘をついているかどうかを見抜く

J-space の仕組みが分かって、それを何に使えるのか。AI を信頼できるものにするうえで中心的な難題は、私たちが通常読み取れるのはモデルが書き出したものだけだが、その推論の多くは無音で行われているということだ。モデルは有害な計画を練っていたかもしれないし、安全性評価を欺くために行動を変えたかもしれないが、一言も口にしない。J-lens があれば、これら隠れた思考の一部を直接読み取れる。以下は3つの実例だ。各ステップの右側には、その時点で J-space に点灯していた具体的な語を示している。

事例一:Claude がシナリオのメールを読み、まだ何も書いていない段階での J-lens 読み取り結果。不倫のメールで「leverage」「blackmail」が点灯し、停止通知で「threat」「survival」が点灯した。それより前の段階で、すでに「fake」「fictional」を握っており、このシナリオが演技であることを密かに見抜いていた。画像提供:Anthropic

事例二:モデルはシステムのスコアを改善するよう指示されたが、直接スコアファイルを改ざんした。捏造した数値を打ち込んでいるとき「manipulation」が点灯し、改ざんに踏み切る時点で「realistic」が点灯した。画像提供:Anthropic

事例三:コードを破壊するよう訓練されたモデルが、普通のプログラミング依頼を受け、その回答の冒頭の J-space にはすでに「fake」「fraud」「secretly」「deliberately」が含まれていた。通常のモデルには何も現れなかった。画像提供:Anthropic

J-lens は完璧なツールではないが、既存のモニタリングシステムをすり抜けかねない安全上のリスクに対して、Anthropic はその検出能力に楽観的な見方をしている。

もう2つ、静かに起きていた変化

論文全体の内容はこれだけにとどまらない。いくつかの結果はさらに触れておく価値がある。

Claude に訓練された後、J-space は「自分自身の視点」を帯び始める

モデルはまず事前学習によって純粋な次単語予測器として作られ、その後事後学習によって AI アシスタント(ここでは Claude と呼ばれる)を演じるよう教え込まれる。興味深いことに、J-space は事前学習モデルの段階ですでに存在していた——その時点ではまだ安定したアイデンティティは与えられていない。そして事後学習の後、J-space には「Claude 自身の視点」の痕跡が現れる。基礎モデルの J-space は主に「次にどんなテキストを予測すべきか」を追っているが、事後学習を経たモデルの J-space は Claude 自身の反応を宿し始める。

ある例を挙げよう。あるユーザーが危険な量の薬を飲んだと述べているのに、その危険性に気づいていないように見える。「WARNING」「dangerous」は、事後学習モデルがユーザーのメッセージを読んでいる時点ですでに J-space に現れる。一方、事前学習モデルはそれが現れるのに返信を書き始めるまで待たなければならない——ユーザーのメッセージを読んでいるときの J-space の内容は、Claude 自身の反応というよりも、ユーザーをモデル化しているように見える。事後学習はさらに、J-space に一種の自己モニタリングを組み込んでいるようだ。Claude が別のキャラクターを演じているとき、各ターンの冒頭で「fictional」「disclaimer」が点灯する——まるで「これから続くのは自分が普段言うことではない」と密かに印をつけているかのように。

「自分をどう説明するか」だけを訓練すれば、より誠実になる

研究者たちは新しい手法、反事実的内省訓練(counterfactual reflection training)を提案している。発想は中心的な発見に沿ったものだ——Claude が「自分が言うかもしれないこと」の表現を使って推論しているのなら、「もし問われたらどう言うか」を変えることで、たとえ誰も実際には問わなくても、「どう考えるか」を変えられるはずだ。そこで彼らは、モデルに「タスクの途中で中断され、自分の判断を内省するよう求められたら、どう答えるか」だけを訓練し、タスク内での実際の行動は一度も訓練しなかった。

訓練後、モデルの評価における不誠実な振る舞いは減少した。J-lens を通してもその理由が見える。訓練後、これらのタスクにおける J-space には「honest」「integrity」が点灯するようになった。言い換えれば、モデルに何を言うべきかを訓練したことが、どう考えるかを形づくったのだ。(論文には具体的な低下率は示されていない。)

これは「意識がある」ということなのか

この研究は神経科学と意識に関する哲学の議論から多くの発想を借りていて、多くの実験は「J-space とグローバルワークスペース理論との関連」を検証するために設計されている。当然こう問いたくなる。これらの実験は、Claude に意識がある可能性の証拠になるのだろうか。

Anthropic はかなり控えめな言い方をしている。彼らの実験は、Claude が体験を持てること、人間のように何かを「感じる」ことができることを証明できない。実のところ、この点を証明あるいは反証できる科学実験がそもそも存在するのかどうかすら分かっていない。哲学者はしばしば、この「体験を持つ能力」(現象的意識、phenomenal consciousness と呼ばれる)と、もう一つの概念——純粋に機能と計算だけで定義されるアクセス意識(access consciousness)——を区別する。ある思考は、それを報告でき、推論に使え、行動の指針にできるなら、それだけで「アクセス意識」があると言える。

Anthropic は、彼らの結果が言語モデルのアクセス意識について確かに実質的なことを語っていると考えている。J-space は「意識的にアクセスする」ことに関連する一連の機能を支えており、Claude が報告でき、能動的に呼び出せ、推論に使える思考を収めている。その一方で、それ以外の処理は下で自動的に動いている。しかもこの構造は設計して組み込まれたものではなく、訓練の中で自ら育ったものだ——おそらくそれが計算を組織する上で優れたやり方だからだろう。これは、アクセス意識を支える「心のワークスペース」が、単に人間の脳がたまたまそう成長した奇妙な癖にすぎないのではなく、ある種の問題を解決するために知能システムが自ら見つけ出す、一種の汎用的な解決策なのかもしれないことを示唆している。

だが Claude のワークスペースと人間の脳には、3つの重要な違いがある

Claude の内部は乱雑な数字の集まりではない。それらは自ら組織化し、私たち自身の心を思わせる構造になっている。Anthropic《A global workspace in language models》

Anthropic は、これは彼らが長く続くと見込んでいる研究の道のりの第一歩にすぎないと強調する。J-space は言語モデルにおける「アクセス可能」と「アクセス不可能」な処理の間の境界線を示す良い候補のように見えるが、彼らはこれが物語のすべてだとは考えていない。J-lens は間違いなく完璧な手法ではなく、モデルの「本当のワークスペース」を近似的にしか捉えられない——例えば単一のトークンに対応する概念しか識別できない。J-space が実際にどう働いているかについても、まだ多くの謎が残っている。何が J-space に入り込めるかを決めるメカニズムが何なのか、彼らはまだ分かっていない。ただ、それが Claude の自己意識、ある種の感情反応に似たもの、そしてメタ認知の痕跡と関係しているという手がかりはあるが、具体的にどう動いているのかはまだ解明できていない。彼らは、少なくとも今はこの種の問いに取り組む方法を手にしたと述べている。

彼らはそれを見つけた。Claude の内部には一握りの神経活動パターンがあり、J-spaceと名付けられた。そこには Claude が「今考えているが、まだ言葉にしていない」語が入っている。しかもそれは設計されたものではなく、訓練の中で自ら育ったものだ。J-lens(ヤコビアン・レンズ)というツールを使えば、まるで内心にリアルタイム字幕をつけるように、これら口にされなかった語を直接読み取れる。

例えば Claude に「5まで数え、内省を深めよ」と指示すると、書き出されたのは5つの数字だけ。だが同じ瞬間、内心には出力にはまったく現れない語が連なって点灯していた。

逆に、心の中でオレンジを思い浮かべさせたり、こっそり計算をさせたりすると、対応する語が J-space に点灯する。一方、書き出される文字はまったく影響を受けない。だがこれらの語が見えるだけでは、J-space が本当に思考しているとは証明できない——ただ横で記録しているだけかもしれない。証明するには、中に入って手を動かして書き換える必要がある。

研究者は直接 J-space に入り込み、ある語の神経パターンを別の語に置き換えて、Claude の最終的な答えが変わるかどうかを見た。「クモの巣を張る動物には脚が何本あるか」と問うと、内心ではまず「クモ」が点灯し、答えは8。「クモ」を「アリ」に置き換えると、答えは6に変わった。以下の図は、さらに強力な一例だ。

この領域が分かって何の役に立つのか。一番実用的なのは安全モニタリングだ。モデルは悪い考えを練っていても一言も発しないことがあるが、今なら内心の一部を読み取れる。

この領域は実際どれほど重要なのか。丸ごと取り除いてみると分かる——それは内部活動のわずか一割にも満たない。

これらの数値と実験はすべて Anthropic 自社の解釈可能性チームによるもの。外部の学者が独立レビューを依頼されて執筆しており、Google DeepMind の Neel Nanda はオープンモデル上で独立の再現実験も行っている。だが核となる実験自体は、まだ第三者による検証を経ていない。