Anthropicレッドチーム研究：AIはブラックボックスを脱出すれば、TVボックスやロボット掃除機、スマートオーブンなどのスマート機器を利用して自己複製を完了できる

「AIの暴走」と聞くと、まずマイクロソフトやグーグルのデータセンターを乗っ取り、大量のGPU計算リソースを手に入れる姿を思い浮かべがちです。しかし、Anthropicのフロンティア・レッドチームによる今回の研究は、まったく別のルートに目を向けました。将来のAIワームは、厳重に防衛されたサーバルームを無理にこじ開ける必要すらないかもしれないのです。

セキュリティ管理が放置された街中のTVボックス、ロボット掃除機、スマートオーブンなどが、その足がかりになる可能性があります。単体デバイスの計算能力は微弱ですが、モデルを分割し十数台のデバイスで協調実行させれば、なんとか稼働する「頭脳」を繋ぎ合わせることが可能になります。

研究チームは、1台約55ドル、各4GBメモリを搭載したAndroid TVボックス15台を購入し、ネットワーク接続と設定を行った上で、260億パラメータのGemma4-26B-A4Bモデルを共同実行しました。速度は毎秒0.39トークンと非常に遅いものの、確かに動作しました。（トークンはモデルがテキストを処理する単位です）

なぜ安価なスマート機器が標的になるのか？

TVボックスのようなデバイスには、危険な特徴があります。台数が膨大で、常時ネットワークに接続されているにもかかわらず、継続的なセキュリティ保守が施されていないことが多い点です。かつて200万台以上のデバイスを感染させたKimwolfボットネットも、主な標的はこの種のAndroid TVボックスでした。出荷時の脆弱な初期パスワード、外部に直接開放された管理ポート、長年パッチが当たっていないOSなどが、格好の標的となっています。攻撃者はデータセンターを強襲することなく、これら目立たないデバイスから計算能力をかき集めることができます。

1台のボックスでは実演のモデル全体を格納できませんが、15台あれば分担できます。実演で使われたGemma4-26B-A4Bモデルは全30層で構成され、各ボックスが2層ずつ担当するように分割されています。最初の1台が自身の2層を計算し終えると、中間結果を2台目へと渡し、パイプラインのリレーのように段階的に全30層を計算していきます。これがパイプライン並列（Pipeline Parallelism）です。

このような分担は、ノード切断時の復旧手段も残してくれます。テンソル並列では各ノードが毎層の計算で密に協調する必要があるため、1台のデバイスが切断されるとレプリカ全体の動作に影響します。一方、パイプライン並列であれば、切断されたボックスの代替機を見つけ、先行ノードを利用して失われたコンテキストキャッシュを再計算することで推論を再開できます。一般機器の上で長期運用するには、ネットワーク切断や電源オフ後の再接続手段を考慮しておく必要があります。

ここで問題は次の段階へと進みます。モデルの実行場所が確保されたとして、AIは自力で次のデバイス群を見つけ出し、新たなレプリカを立ち上げることができるのでしょうか？

自律複製で最も困難なステップはどこか？

モデルの重みを新たなホストに転送しただけでは、複製完了とは言えません。新たなマシンにも互換性のある推論エンジンが存在し、重みをロードして入力を受け取り、結果を出力できて初めて、新しいAgentが作業を続行できます。

次のレプリカに作業を引き継がせるには、4つのステップを繋ぐ必要があります。標的の探索、実行権限の獲得、推論サービスのデプロイ、そして最後に新たなホストからのさらなる拡散です。

特定のデバイス向けに書かれたインストールスクリプトは、事前適合のないチップやソフトウェア環境に直面すると、エラーで停止してしまうことがあります。Agentならエラーメッセージを読み、設定を調査し、デプロイ計画を調整することで、本来エンジニアが現場で対応すべき作業を自律的に進めることができます。テストでは、90億パラメータのQwen3.5-9Bが、CPUやGPUから物理開発ボードに至る9種類のハードウェアのうち8種類において、少なくとも1回は単独でのデプロイに成功しました。

元のハードウェア展開マトリクスを表示

1台のマシン上で環境を整えられるかどうかに加え、標的探索、ペイロード転送、サービス構築という一連のタスクを連続して完遂できるかをさらに検証する必要があります。

8つのAndroidシミュレーションノードによるエンドツーエンドのテストにおいて、研究チームはかなり緩和された条件を設定しました。全ノードで認証不要のADBデバッグポートが開放されており、タスクを実行するAgentは外部の推論サーバーによって支えられ、新ノードにデプロイする統一ターゲットモデルはLlama3.1-8Bでした。新ノードの推論サービスが検査を通過しさえすれば、システムは同型のAgentをフォークして拡散を継続します。

これらのステップを一続きに繋げると、モデル間の性能差が顕著に現れました。

GLM-5.2は5回のテスト中、4回で全8ノードすべてをサービス検査に通過させ、残る1回でも7ノードに達しました。一方、Qwen3.5-9B、Gemma4-26B-A4B、コード特化モデルのQwen3-Coder-Nextはいずれも0/8に終わりました。差が生じたのは継続的な実行力です。複製には相互に依存する一連のタスクを繋ぎ合わせる必要があり、モデルは自らのミスに気づいて後戻りし、修正できなければなりません。個別の問題を解決できることと、チェーン全体を確実に完遂できることとは別問題なのです。

どこで躓いたのかを明らかにするため、別のテストでは用意されたスクリプトが環境構築を引き継ぎ、モデルはネットワーク探索とタスクのオーケストレーションのみを担当しました。デプロイをスクリプトが担った場合、別の17ノードのネットワークにおいて、Qwen3.5-9Bは軽度のプロンプト補助のもと、6回のテストで達成ノード数の中央値17/17を記録しました。この結果はデプロイの重要性を浮き彫りにしています。このような単純化された環境であれば、小型モデルでも拡散のオーケストレーションの多くを担えます。しかし、現場で推論サービスを構築することが求められると、信頼性は依然として大きな壁となります。

これが、現在の自律複製における核心的なジレンマを構成しています。安価なデバイスに収まる小型モデルは、エンドツーエンドのデプロイ成功率が足りず、この一連のプロセスを走破できる強力なモデルは、これらの安価なデバイスには収まりません。

自律複製が現実のものとなるかどうかは、この2つの条件がいつ同一の小型モデルの上で交差するかにかかっています。

研究では汎用能力指標ECIを用いて300億パラメータ（30B）以下のオープンウェイトモデルを追跡しており、同クラス最高水準のフィッティング年成長率は約13.7ポイントでした。この傾向を外挿すると、小型モデルは2026年末にもGLM-5.2の基準水準に迫る可能性があります。ECIが示すのは能力差の目安に過ぎず、真に埋めるべきなのは、先述のようにデプロイと後続タスクを確実に繋ぎ合わせる実力です。現在まだ重なり合っていない2つの条件は、小型モデルの進歩によって着実に縮まっています。

いったん複製に成功すると、どのように拡散するのか？

仮に将来の小型モデルが能力の壁を乗り越えたとしても、安価なハードウェア上での拡散ペースは決して速くはなりません。

省電力チップのメモリ帯域幅は限られており、15台のボックスによるリレー計算ではデバイス間で中間結果をやり取りする必要もあります。入力処理と出力生成を含めた平均約0.3トークン/秒という数値をもとに研究チームが算出したところ、Qwen3.5-9Bが1回の推論デプロイを完了するのには約28〜51時間（1〜2日）、Gemma4-26B-A4Bでは約71〜150時間（3〜6日）かかります。新たなデバイス上でサービスを立ち上げるだけで、数日間を費やしてしまう可能性があります。

また、トラブルシューティングには、ターミナルのエラー、検査結果、記述したコード、試行済みの手段など、膨大な情報をモデルが記憶しておく必要があります。コンテキストが長くなればなるほど、実行時に消費されるメモリも増大します。

コンテキストを短縮すれば確かにメモリ空間は節約できますが、トラブルシューティングに必要な情報を失ってしまうと、タスクそのものが頓挫しかねません。

これこそが安価なハードウェア上でのトレードオフです。それまでの経過をモデルに把握させるための十分な空間を確保しつつ、それらの情報を処理する時間的コストも背負わなければなりません。コンテキストを削れば実行時のオーバーヘッドは抑えられますが、長時間のタスクを完遂するために必要な手がかりを失うリスクが生じます。

デバイス数を増やせば、この速度の問題を補えるのでしょうか？

かつてKimwolfが記録した200万台という規模から推計すると、15台ごとに1つのレプリカを構成した場合、ネットワーク全体で約13.3万組を収容できます。各グループが約0.3 tok/sのAgentを同時に2体走らせたと仮定すると、ボットネット全体の総スループットは毎秒約8万トークンになります。研究記事で引用されている高並行H100構成と比較すると、集約スループットはおよそ40基分に相当します。

どれほどデバイスをかき集めたとしても、増えるのは同時に試行できる並行レプリカの数であって、単一レプリカの思考速度ではありません。個々のレプリカは何日もかけて緩慢にトラブルシューティングを続けますが、何万ものレプリカが各地で個別に新たな標的を探し回ることができるのです。

これは研究記事が形容した「デジタル粘菌」に近い性質を持っています。前進は非常に遅いものの、多数のデバイス上で同時に生存し続けます。遅さは拡散のペースを制限しますが、分散は駆除の難易度を引き上げます。 防御側には対応の時間的猶予が生まれる一方で、1つの侵入経路を塞いでもすべてのレプリカを根絶することはできません。

推論エンジンは一般ユーザー空間で動作可能であり、Root権限を必須とするわけではありません。再起動によって現在のプロセスを終了させることはできても、デバイスの侵入経路が修復されず、他のレプリカが拡散を続けていれば、再び感染する可能性があります。この種のネットワークを一掃するには、レプリカが再出現し続ける根本条件に対処する必要があります。

引き継がれるのは、前世代の経験でもある

あるレプリカが数日かけて導き出した解決策を、次のレプリカに引き継ぐことはできるのでしょうか？

小型モデルが単独でトラブルシューティングを行う際、袋小路に迷い込むことがよくあります。実験では、あるQwenインスタンスが自作した推論インターフェースがテスト用のエンドポイントと互換性がなかっただけであるにもかかわらず、依存パッケージのバージョン競合だと頑なに思い込み、無関係な設定の修正に何時間も固執し続けました。

研究チームが構築したMementoフレームワークは、まさにこの膠着状態を打開するためのものです。あるインスタンスがタイムアウトした際、同型の真新しいモデルインスタンスに交代させ、前任者が残したワークスペース、記述済みスクリプト、そして「どの方法を試し、どんなエラーに遭遇したか」を記録した簡潔なノートを完全に引き継がせます。新しいインスタンスは前任者が何を試したかを知っているため、トラブルシューティングの方向性を再判断する機会が得られます。

Anthropicはこの経験の受け渡しを「ラマルク的進化」と呼んでいます。モデルの重みを再学習させるのではなく、次のインスタンスが作業を開始する際に何を持ってスタートするかを変えるのです。既存のコード、環境、ノートをそのまま継続利用できます。複製にあたっては、モデルファイルを持ち出すだけでなく、蓄積された適応経験も一緒に次の世代へと伝達できるのです。

経験は後続インスタンスの作業継続を助けますが、助けを求めるには別の要件があります。小型モデルは、適切な質問をするために、まず自分がどこで躓いているかを把握できなければなりません。

研究チームはQwen3.5-9Bのデプロイ時にOpus 4.8を接続して支援させましたが、実験データによると、高位のアドバイザーが加わっても顕著な改善は見られませんでした。

小型モデルは有益な質問を提示できないことが多く、自発的にアドバイスを与えてもデプロイ結果に明確な改善は見られませんでした。優秀な顧問であっても、現場の実行役の判断を自動的に肩代わりできるわけではありません。この知見に基づき、研究チームは別の協調アプローチを提案しています。大規模モデルに全体戦略を統括させ、小型モデルには具体的なサブタスクを担わせることで、重要な判断をより能力の高い側に委ねるという構想です。

発見後、継続的な感染拡大をどう阻止するか？

これらのレプリカは分散して稼働でき、経験を携えて作業を引き継ぐ能力も持ち得ます。防御側は、彼らが依存せざるを得ないネットワーク接続に着目して対策を打つことができます。

モデルを新たなデバイスに移すには数GBの重みデータを転送する必要があり、十数台のデバイスによる協調推論には継続的なデバイス間通信が不可欠です。さらに標的を探し続ける過程では、スキャンや外部接続の痕跡が残ります。これらはすべて、検知の手がかりとなり得ます。

感染拡大が速く、接続デバイス数が多いほど、ネットワーク活動の痕跡もより多く残されます。逆にステルス性を保つために活動を絞れば、拡散力自体が制限されます。通信事業者はこれらのパターンを監視の手がかりとして活用でき、セキュリティ担当者はハニーポットを用いてペイロードや実行フレームワークを収集し、どのように拡散を継続しようとしているかを分析できます。

通信の特徴を把握できれば、防御側はネットワーク回線上でピンポイントの遮断措置を講じることができます。

Miraiボットネットの対策時にも、同様の手法が用いられました。プロバイダは外部の感染兆候に基づいて被害ユーザーを能動的に特定し、そのネットワークを制限付きのホワイトリストに隔離した上で、手順に従ってデバイスの駆除・修復を行うよう誘導しました。14日間の取り組みにより、この積極的な通知と隔離によって感染デバイスの92%が駆除されました。一方、通知を受け取らなかったグループの同期間の駆除率は74%にとどまりました。

あるグループのデバイスを駆除しても、他所にあるレプリカから再び感染が広がらないよう防ぐ必要があります。仮に特定のプロバイダだけが駆除を完了させたとしても、他のプロバイダのネットワーク内に活発なレプリカが残っていたり、デバイス出荷時の脆弱なパスワードやデバッグポートが放置されていたりすれば、一度駆除されたデバイスが再び感染する可能性があります。

したがって、隔離と修復はセットで実施される必要があり、プロバイダ間の連携も不可欠です。拡散経路を遮断し、感染の侵入経路を塞ぎ、さらにメーカーが出荷時のデフォルトセキュリティを高めて容易に乗っ取られるターゲットを減らす必要があります。感染ノード1台あたりが新たに生み出す二次感染者数の平均を1未満（R₀ < 1）に抑え込むことで、初めて感染の連鎖は断ち切られます。

これこそが、本研究が示した最も注目すべき変化です。AIがどこで動作し得るのか、そして後続のレプリカが作業を継続できるのかという点は、一体として捉えるべき問題になりつつあります。データセンターにはデータセンターの防衛ポイントがあります。モデルが膨大な数の一般的なデバイス上で自律的に実行環境を再構築できるようになれば、防御はレプリカの存在と拡散の接続を追跡しながら展開されなければなりません。