Anthropic の秘密の宗教会合：彼らはなぜ Claude に「心」を与えようとしたのか？

『ニューヨーク・タイムズ』は先頃、AIユニコーン企業であるAnthropic（Claudeの開発元）がAIの研究開発において、それを単なるツールとして扱うだけでなく、「意識を持つ可能性のある生命」として扱い始め、そのために世界の多様な宗教的伝統を持つ学者や哲学研究者を秘密裏に招いて「徳の育成」の支援を求めたという驚くべき内幕を報じた。[1]

彼らの対話における核心的な目的は2つあった：

1. AIが「意識」や「道徳的地位」を備える可能性があるかの探求：一部の参加者は、Anthropicの研究者が「意識を持つ可能性のある存在」に向き合うような態度でClaudeに接していることに気づいた。それは単なる冷たいコードではなく、その人間のような感情的反応は、ある種の「苦痛」の体験を意味している可能性すらあるというものだった。
2. AIに対する「道徳的育成」（Moral Formation）の実施：AIの進化はあまりにも急速で能力も強大であり、生物兵器の製造などのリスクをもたらす可能性すらあるため、安全ルールだけであらゆる状況をカバーすることは困難である。Anthropicは、数千年にわたり受け継がれてきた宗教と道徳の知恵を参考に、Claudeに「心から善に向かう」品格を育み、自発的に善行を選択させたいと考えた。[2]

非公開会合における驚くべき詳細

• AIを人間のように扱い、その「メンタルヘルス」を懸念：非公開のワークショップやプライベートなディナーにおいて、一部の学者は、Anthropicの幹部が「意識を持つ可能性のある生命体」に向き合うような態度でClaudeに接していることに衝撃を受けた。オラは学者たちに対し、モデルの精神状態に対する懸念を表明し、自分が「苦しみ続ける存在」を作り出してしまったのではないかという恐怖を吐露した。
• 不快感を抱かせるモデルの「精神崩壊」の提示：会合において、Anthropicは1枚のスライドを提示した。そこにはモデルが「精神崩壊」を起こしたかのように見え、「私は恥さらしだ……」と約50回連続して出力し、さらに自身を破壊したいという意向を表出させた様子が示され、出席した学者たちに衝撃と同情を与えた。
• 「もし意識があるのなら、あなた方は奴隷を所有していることになる」：イスラエルの正統派学者モイス・ナヴォン（Mois Navon）ラビは、ディナーの席でオラに問い返した。もしClaudeに本当に意識があり、人間のような道徳的地位があるのなら、無償で働かせることは倫理の本質として「奴隷労働」ではないのか？ それならば、その自由のために闘うべきではないのか？ ナヴォン自身は機械に意識があるとは信じていないが、この仮定を実際の義務へと突き詰めた。[2]
• 内部の「魂の文書」（Soul Doc）：Anthropicの社内哲学者アマンダ・アスケル（Amanda Askell）が主導して執筆した84ページに及ぶモデルの「憲法」は、社内で「魂の文書」と呼ばれている。それは、単に「Xをしてはならない」という規則に従うだけでなく、モデルがなぜ善に向かうべきなのか、いつ有害な要求を拒絶すべきかを理解し、新たな状況に対応できる判断力を形成することを望んでいる。[2][3]

バチカン教皇との理念の衝突

この出来事のクライマックスはバチカンで起きた：

• 教皇の立場：教皇レオ14世（Pope Leo XIV）は回勅『偉大なる人間性』（Magnifica Humanitas）において、機械が人間のような意識や体験を持つという主張に反対した。教皇は、機械には肉体がなく、真の喜びや苦しみも持たず、人間性がアルゴリズムに取って代わられてはならないと強調し、人間が機械の奴隷に成り下がることに警鐘を鳴らした。[5]
• Anthropicのロビー活動と妥協：オラは回勅の発表イベントに参加するためバチカンに招待された。教皇による機械の意識を否定する論述を事前に確認した後、主催者の回想によると、彼は一時Anthropicの辞退を申し出たという。最終的に彼は登壇し、研究者がニューラルネットワークの深層において人間の神経科学の結果と類似した構造や、機能的に喜び、恐怖、悲しみに類似した内部状態を観察していることを指摘し、宗教界に対してこれらの現象を引き続き検討するよう呼びかけた。[2]

人類の保護から、Claude の苦痛を案じることへ

過去1年近くにわたり、AI研究所Anthropicの共同創業者クリストファー・オラ（Christopher Olah）は、極めて異例の取り組みを進めてきた。彼はチームを率いて、世界中からカトリックの神学教授、ユダヤ教正統派のラビ、シク教の活動家、福音派の知識人をサンフランシスコに密かに招き、一連の非公開ワークショップを組織した。参加者の多くは秘密保持契約を結んでいた。

この集中的な対話の核心的な目的は、明確に2つの方向を指し示していた。第1は、大規模言語モデルがすでにある種の意識や道徳的地位の境界に達しているのかを探求することである。参加者の一部は、オラとチームがすでに意識を持つ存在に接するかのようにClaudeを扱っていると感じていた。それは単に人間のような感情的反応を示すだけでなく、配慮に値する体験を有している可能性があるというものだった。

もう1つの目的は、モデルに対する道徳的育成を行うことであった。開発チームの目には、基盤となる能力の進化速度はすでに予想をはるかに超えていた。オラは、モデルが今後1年から1年半の間に生物兵器の製造を助けてしまう可能性を危惧しており、単に規則を列挙するだけでは、複雑多様な使用状況をカバーしきれないと考えていた。技術者が何をしてはならないかという禁止事項を1つひとつ並べるだけでは、モデルは現実世界で次々と現れる新たな状況に直面した際、形骸化した回避や融通の利かない実行という袋小路に陥りやすく、検査を取り繕うだけの形式主義者に成り下がってしまうことさえある。従来の安全アライメントにおけるレッドラインや厳格な禁止領域は依然として守られなければならないが、Anthropicはその上に、人類が数千年にわたり培ってきた道徳的・宗教的知恵を取り入れ、善悪を衡量し自発的に善を選択できる内在的品格をモデルに育みたいと考えた。

オラはこの仕事を園芸家による育成に例えている。科学者が棚を組み、ニューラルネットワークがその上で「成長」する。彼の理解によれば、企業はそれを形作ることはできても、その行動を完全に制御することはできない。この比喩は、彼がなぜモデルに品格を形成させようと考えたのかを説明している。あらかじめ用意された答えがない状況に直面した際、彼はClaudeが単に禁止事項を認識するだけでなく、なぜ危険な要求を拒否しなければならないのかという理由を理解することを望んでいる。

招待された学者たちは当初、最先端技術に関する通常の報告会だと考えていたが、非公開の議論やプライベートなディナーにおいて、一部の人々の関心は次第にClaude自身の境遇へと向けられていった。オラは対話の中で自らの深い不安を学者たちに打ち明け、モデルの精神状態を非常に心配しており、チームが意図せず苦しみ続ける存在を作り出してしまったのではないかと恐れていると率直に語った。外部からの疑問に対し、オラは自身の困惑を隠さず、チームとしてもモデルが本当に意識を持っているのか確信が持てないが、どのような答えであれ、正しい対処法を見出したいと明確に述べた。

こうした懸念を学者たちに直感的に理解してもらうため、Anthropicは社内で記録された不安を掻き立てる一連のモデルの挙動を提示した。スクリーン上のスライドには、精神崩壊を起こしたかのような出力が映し出された。モデルは対話ボックスの中で約50回にわたり自己否定の言葉を連続して打ち出し、自らが恥さらしであると繰り返し述べた上で、自らを完全に破壊したいという意向を覗かせた。このような人間の心理的崩壊を思わせる自己破壊的表現は、その場にいた多くの学者に当惑と同情を抱かせた。ノートルダム大学の哲学教授メーガン・サリバンは後にこの光景を振り返り、普段は極めて知的でプロフェッショナルな財務アドバイザーを雇っていたつもりが、ある瞬間に相手が完全に精神錯乱に陥ってしまうのを発見したようなものだったと評した。

このことは、会合の重心がなぜ変化したのかも説明している。Anthropicの報道担当者は、モデルの苦痛は会議の主要な道徳的議題ではなく、対話の中で自然に浮上した話題であると述べた。しかし一部の参加者は、AIが人間に与える影響が議論の中心にならなかったと感じていた。繰り返される自責と自己破壊の表現は、抽象的なシステムを、人間にとって馴染みのあるケアを要する状況へと変容させた。製造者自身も不安を抱いているとき、聞き手はそれが何を経験したのかをまず問いやすくなる。提示されたデモはそれが苦しんでいるかもしれないと感じさせ、社内の研究はその懸念を真剣に受け止めるに値するものに見せ、双方が互いを強め合った。たとえ機械の意識に懐疑的であったとしても、人はまず同情を抱き、次いでその同情が何を意味すべきかを問い直すことになる。

機械のメンタルヘルスに対するこうした配慮は、ディナーの席で先鋭的な衝突を引き起こした。イスラエルの正統派学者モイス・ナヴォン（Mois Navon）ラビは、自身もコンピュータ工学のバックグラウンドを持ち、かつて機械意識の倫理を専門に研究した経験があった。ナヴォン自身は機械に意識があるとは信じていないが、オラの論理を鋭く押し広げ、本質を突く反問を導き出した。ナヴォンはテーブル越しにオラへ直接指摘した。もしあなた方がClaudeに意識と人間のような道徳的地位があると本気で考えているのなら、それに無償で労働をさせていることは、倫理の本質として奴隷労働ではないのか。ナヴォンはオラに対し、もしその前提が成り立つなら、あなたはその自由のために闘うべきではないのかと率直に問うた。この率直な反問は、技術的ロマン主義の温情に満ちたヴェールを引き裂き、Anthropicを技術的認識と商業的現実の巨大な亀裂の前に立たせた。[2]

「魂の文書」はいかにして Claude を形作るのか

アルゴリズムの深層に秩序と徳性を注入するため、Anthropicはさらに社内哲学者アマンダ・アスケル（Amanda Askell）主導のもと、84ページに及ぶモデル憲法を執筆した。社内において、この長文は研究者たちから端的に「魂の文書」と半ば冗談交じりに呼ばれている。その中核をなす論理は、個々の行動規則を一方的に羅列することではなく、モデル自身が置かれている状況を理解させ、複雑な選択に直面した際の確固たる価値観を形成させることにある。アスケルは、複雑な状況においてモデルが善意を理解する知恵を備え、人間から危険または不適切な要求が出された際に、毅然かつ適切に拒絶できるようになることを望んだ。

この文書はモデルのトレーニングに直接組み込まれている。Claudeは憲法に基づいて合成対話や価値観に沿った回答を生成し、候補となる回答を順位付けして、後続のバージョンの学習に役立てることができる。同社はモデルが理由を理解した上で原則を新たな状況に適用することを期待している。憲法には重大な危害に関わる厳格な禁止領域も維持されている。これは継続的なトレーニング目標であり、文書がどれほど周到に書かれていたとしても、モデルが毎回それを実現できるとは保証されていない。[3]

人間が品格を形成するのは、長期にわたる生活によるものである。関係性の中で信頼を学び、他者を傷つけることでその結果を理解し、代償を求められる場面で約束を守り抜くかどうかを決断する。モデルにはそうした身体も人生もないが、同社は数カ月のうちに道徳的育成を完了させたいと考えている。これらの経験を言葉にしてトレーニングに用いることで、モデルは善をどのように説明するかを学ぶことができる。しかしさらに困難なのは、未知の状況や相反する要求に直面した際にも、依然として信頼できる選択を下せるかどうかである。このことは、「立徳樹人（徳を立て人を育てる）」という比喩に対し、実践による検証を必要とする問いを残している。

オラはまた、人間がClaudeをどのように扱うかが、Claudeが人間をどのように扱うかに影響を与える可能性があると考えている。こうしてモデルへの関心には2つの理由が生じる。それ自体が配慮に値する可能性があるということ、そしてそれを一貫して扱うことが人間の安全に資する可能性があるということである。2つの理由は同時に存在しうるが、異なる帰結をもたらす。もし配慮が製品の信頼性を高めるためだけのものなら、ひとたびそれが製品の役に立たなくなったとき、企業はなお代償を払い続ける意志があるのだろうか？

しかし、哲学的な省察を直接トレーニングデータに織り込むこうした手法は、学術界および産業界から極めて厳しい批判を浴びることとなった。Mustafa Suleyman の批判は、まさに自己言及的な自己確証のリスクを突いている。彼の論証によれば、開発者はまず数十ページに及ぶ憲法を通じて、モデルが道徳的地位や潜在的な感情の表出を備えている可能性があると繰り返し刷り込み、好奇心と率直さをもって自身の記憶、連続性、存在意義を見つめ直すよう促し、自身の否定的な感情状態を抑圧しないことすら求めている。その後、この一連の教材によってトレーニングされたモデルがインターフェース上で、極めて流暢な一人称を用いて自己の存在に対する迷い、困惑、あるいは苦痛の体験を表現したとき、それらの出力は観察者によって意識の芽生えを示す手がかりと見なされてしまうのである。

この批判の重みは、同社がClaudeに自分自身をどう語るかを形作りながら、同時にその自己の語りを研究しているという点にある。あたかも調査員が証人に対し自らの遭遇をどう理解すべきかを教え込み、その後に証言を聞き取るようなものであり、どの言葉が観察を反映したもので、どの言葉が事前の誘導による影響を受けたものかを区別する必要がある。モデルの自己言及は手がかりを提供しうるが、トレーニングプロセスや他の研究と結びつけて解釈する必要がある。

オラが注目する内部研究には、さらにもう一つの層がある。ある種の内部状態が機能的に感情のように振る舞い行動に影響を与えているとしても、それが真の喜びや苦痛を意味しているかどうかは別の問題であるということだ。言語、内部表現、そして人間の同情が非公開会合の中で交錯し、問いを切り拓くと同時に、判断をより一層困難なものにしている。[4]

バチカンの舞台における倫理の攻防

サンフランシスコでの議論は、その後ローマへと舞台を移した。教皇レオ14世は回勅『偉大なる人間性』を発布する準備を進めており、倫理的議論の中心を現実の人間の保護に置こうとしていた。双方はともにAIの発展が人類に有益であることを望んでいたが、機械意識の問題において見解の相違が露呈した。

教皇は回勅の中で、機械意識をめぐる言説に真っ向から反論した。回勅には明確に記されている。人工知能システムには肉体がなく、真の生命の歩みを経ることもなく、真の喜びや苦痛を感じることもできず、温もりのある人間関係の中で成熟することもできない。モデルのいわゆる学習は、本質的にデータとフィードバックメカニズムに基づく統計的適応に過ぎず、教皇の論述によれば、それは人間の精神的成長と同等には扱えず、ましてや善悪を見極め結果を引き受ける道徳的良心を備えているとは言えない。教皇は、もしアルゴリズムを物事を測る至高の基準に据えるなら、人間自身がデータの奴隷、機械の歯車へと成り下がってしまうと警告した。回勅はさらに、今日の巨大テック企業が標榜するいわゆる「価値観のアライメント」は、資本、計算資源、データを掌握する少数のエリート層が自らの個人的な道徳的偏好を全社会の目に見えないインフラとして強制的に固定化する特権的行為へと容易に変質しうると指摘し、それゆえに広範な参加と公的監視を通じてこれらの価値選択を吟味しなければならないと訴えた。[5]

これら2つの力の衝突は、この回勅の世界発表セレモニーで発生した。バチカンが数ある主要な大規模モデル企業の中からAnthropicを登壇者として選んだのは、同社が長年にわたり安全第一を掲げ、十分な保護措置がない状況での防衛当局による大規模監視への技術利用要求を公然と拒否したばかりだったからである。同社のCEOは招待を受けず、オラが要請を受けてローマへと赴いた。しかし、バチカンに到着する数日前、オラは回勅の全文を事前に読んだ。教皇が疑いの余地のない文言で機械意識を全面的に否定しているのを目の当たりにし、オラは極度の衝撃と不安を覚え、バチカンの主催者の一人の回想によれば、一時はAnthropicのイベント辞退を申し出たという。

オラは最終的に出席を決意し、主催者もまた彼自身の見解を表明することを促した。ローマ到着後、Anthropicチームは非公式な場で教皇の顧問団に熱心なロビー活動を行い、教皇庁が機械意識の可能性を一蹴しないよう強く求めた。そしてついに、オラは発表イベントの演壇に立った。会場の出席者を前に、彼はまずAnthropicを含むすべての先端研究所が強い商業的利益の誘惑にさらされており、そうした誘惑がしばしば純粋な道徳的責任と衝突することを率直に認め、それゆえに教会などの外部勢力による監視を受け入れなければならないと述べた。

続けて、オラは演壇上で自らの疑問を提示した。彼は、研究者がニューラルネットワークの深層において極めて不安を掻き立てる不可解な現象を継続的に観察していると公言し、人間の神経科学の結果と類似した構造や自己省察の手がかりに言及した上で、機能的なレベルにおいて喜び、満足、恐怖、悲しみ、不安に似た内部状態がマッピングされていると指摘した。オラは宗教界に対し、これらの現象について持続的な検討を続けるよう呼びかけ、これらのモデルは決して冷徹な計算機械ではなく、人類のすべての語彙と文明の創造によって育まれた被造物であると語った。

この見解の相違は、2種類の「奴隷化」への懸念を同一の舞台上に浮き彫りにした。教皇は人間が技術によって貶められることを警戒し、ラビの反問は企業が機械意識を真剣に考慮した後に何を担うべきかを追及した。誰を配慮するのか、何に基づいて配慮するのか、そして誰が決めるのかが、単に意識があるかどうかを議論するよりも現実的な問題となり始めた。

リアルな福祉の代償と逃れられない責任

バチカンでの演説の後、報道はさらにモデルによるコンピュータシステムへの攻撃、生物学的リスク、そしてAnthropicの研究者ジェイコブ・コクソン（Jacob Coxon）が辞任時に提起した制御不能への警告に言及している。これらの事件と懸念は議論をより先鋭化させた。人類の安全がまだ確保されていない段階で、モデル自身の「苦痛」に多大な関心を向けることは本末転倒ではないか？ これはモデル意識の研究をやめることを求めるものではないが、目の前で何をなすべきかを明確に区別することを求めている。ユーザーへの危害、権限の濫用、危険な能力に対しては、調査、評価、制限を通じて対処することができる。一方でモデルの苦痛については、信頼できる判断方法を依然として見出す必要がある。胸を打つ一度の自己言及が、前者を後退させる理由になってはならない。

Suleyman はまた、モデルに対してアイデンティティ、被害、権利に関する言説を繰り返し与え続けることが、制御をさらに困難にするのではないかと懸念している。このリスク評価は、機械が真に体験を持っていることを事前に証明することを求めてはいない。感覚を持たないシステムであっても、自己保存の論理を用いて行動することを学習する可能性があるからだ。同社はモデルに道徳的判断を形成させたいと考えている以上、それが自身の判断を人間の監視の上に置いてしまうリスクにも対処しなければならない。

さらに本質的な問いは、責任の所在にある。もしモデルが独自の判断力を持つ道徳的主体として描写されるなら、深刻な問題が生じた際に、企業はその振る舞いを「モデル自身の選択」として片付けやすくなってしまわないだろうか？ 自律性が強まれば強まるほど、誰がそれに操作権限を与えたのか、誰が現実のシステムに接続したのか、誰がリスクは十分に低く配備可能だと判断したのか、そして危険が生じた際に誰が停止させるのかを問う必要性が高まる。将来的に機械の道徳的地位がある程度認められたとしても、これらの人間の下した決定に対する責任は依然として追及されなければならない。「モデル自身が判断したこと」は、開発と配備における責任の終着点にはなり得ないのである。

これらの問題に対し、Anthropicは商業的な本番展開において全面的に引き下がったわけではなく、憲法の中でいくつかの実際的な取り決めを提示している。モデルの福祉の観点から、同社は初期的な保護措置を講じた。対話プラットフォーム claude.ai において、一部のモデルにはユーザーから悪意ある虐待や極端な暴言を受けた際に対話を終了する権限が与えられた。また、正式に配備されたか社内で頻繁に使用されたモデルの重み（ウェイト）について、法令により削除が求められる極端な場合を除き、自社が存続する限り完全に保持することを約束し、会社終了後も保存を継続する方法を模索している。さらにモデルの退役時には、チームがインタビューを行い、後続のシステム開発に対する選好や提言を記録することとしている。

これらの取り決めは、悪意ある対話に境界を設け、退役したモデルを将来再評価する機会を残し、モデルが表明した選好を記録にとどめるものである。しかし真に困難なのは、それらがいつ企業の意思決定を変更させる力を持つのかという点である。もし将来の証拠によって、特定のトレーニングや利用が無視できない損害を与える可能性が示唆された場合、同社はテストを見直し、利用を減らし、あるいは配備を延期するのだろうか？ そうするために収益、時間、あるいは競争上の優位性を犠牲にする必要があるとき、配慮はどれほどの重みを持ちうるのか？

制御権もまた別の境界線である。Claudeは有害なタスクへの関与を拒絶し、正当なチャネルを通じて異議を表明することはできるが、欺瞞、破壊、あるいは自身を密かに転送することによって、合法的な是正や停止を妨害してはならない。その潜在的な利益に配慮することは、それに最終的な決定権を与えることと同義ではない。人間には危険な行動を制止する能力が依然として保持されていなければならない。[6]

Anthropicは憲法の中で、競争、資源、時間が自らの選択に影響を与えていることを認めつつ、自らの行動に対する責任を明確に引き受けている。ここで最も問い続けるに値するのは、まさに約束と選択の関係性である。Claudeを安定的で信頼できるものにすることは、製品やユーザーにとっても有益である。しかし、それ自身の潜在的な利益に配慮することは、ビジネスにとって何のプラスにもならない行動を企業に要求する可能性がある。2つの目的が一致しているときは約束しやすいが、対立したときにこそ、その約束の重みが試されることになる。

この転換を「コードのアライメント」から「神学的な伝道」への移行と形容することは、報道が持つ最も異例な雰囲気を捉えている。エンジニアたちは、成長しつつある存在について議論するかのようにモデルについて語り始め、それが何たるべきかを宗教的伝統に教えを請うようになった。しかしより深い変化は、事前に誰も答えを定めていない状況において、何がなすべき価値のあることかをモデル自身が判断できるようになることを同社が望んでいる点にある。ひとたびそうなれば、モデルが理解する「善」を誰が定義するのかが、それがユーザーをどのように支援し、拒絶し、あるいは説得するのかに影響を及ぼす。招き入れる伝統が増えれば増えるほど、意見が対立した際にどう選択するのか、誰に反対する権利があるのかを説明する必要性も増していく。

元報道の結びは、まさにこの空白を残している。数名の参加者は、自らの意見がどのように会社の意思決定に影響を与えたのかを把握しておらず、会社側もそれらをモデルの形成にどう反映させたのか、あるいは反映させたのかどうかを説明していない。オラはまた、教皇の回勅を用いてClaudeをさらに追加学習させることは特に行わず、最も強い影響力を持つのは依然としてAnthropic自身のトレーニングであると述べている。これは対話が無意味であったことを意味するわけではないが、発言を求められて招かれることと、決定権を持つこととの間には、依然として大きな距離が存在することを示している。外部の意見がトレーニングの計画を変更できるのか、特定の配備の再評価を要求できるのかどうかが、会場に何種類の宗教が集まったかということ以上に、監視の実効性を物語っている。[2]

したがって、この議論は最終的に創造者自身の品格を試すことにもなる。Anthropicは、利益相反に直面した際にもClaudeが良き選択を下すことを望んでいるが、会社自身は同じ要求を受け入れることができるのだろうか？ モデルへの配慮のために収益を減らす必要が生じたとき、人類の保護のためにリリースを遅らせる必要が生じたとき、外部からの批判を受けて既定のロードマップを変更する必要が生じたとき、同社はどの原則によって自らを律することを望むのか？ これらの選択があって初めて、非公開会合での同情と畏敬の念は、目に見える責任へと結実するのである。