解説 · 小互の視点

Cloudflare が公開した AI オフィスシステム「Cloudflare OS」を徹底解説:Agent の誤動作・幻覚・権限越えなどを根絶する仕組み

Agent がコードをマージしようとしたら、人間が承認する前に、システムは先に「マージ完了」と騙す。このシステム全体が「AI は必ず間違える」という前提で設計されているのです。
1分でわかる
  • Cloudflare が全社で3か月使ってきた AI オフィスプラットフォームをオープンソース化。各ドキュメントは、いつでもコードを変更できる独立した小さなアプリです。
  • 一番意外な一手:Agent がコードをマージしようとしても、人間が承認する前に、システムは「マージ完了」と返し、続きを進めるための偽のブランチを作って渡します。
  • Jamie Lord 氏が全ソースコードを読んだ結論:このシステムの本質は、AI を完全に信用しないこと。
  • 5つの仕組みを分解すると、残るのはトレードオフ。Agent を繋ぎ止めて安全にするロープは、同時に Agent が遠くまで動くのを妨げるロープでもあるのです。
⚑ この記事の主線は、Jamie Lord 氏による第三者の分析記事です。文中のソースコードの引用は、すべて当サイトで cloudflare/cloudflare-os リポジトリと照合済み。パフォーマンス数値や「AI が重大なセキュリティホールを導入することは不可能」といった発言は Cloudflare 公式の見解であり、その旨を記載しています。
はじめに

Cloudflare OS とは何か、なぜ「AI は必ず間違える」が前提なのか

8月5日、Cloudflare は全社で3か月間使ってきた AI オフィスプラットフォーム「Cloudflare OS」を完全オープンソース化しました。自社サーバーにデプロイすることも可能です。

Cloudflare OS とは

従業員ごとに Agent ワークスペース会社の資料や社内スキルが組み込まれており、調べ物、ドキュメント作成、表計算、スライド作成が可能。ドキュメント作成以外のタスクを直接依頼することもできます。
社内システムと接続して作業できるGitHub、Google Drive、Slack、Notion、Linear、社内データベースなど、リポジトリには16種類のコネクタが付属。接続するだけで読み書きが可能になります。
各ドキュメントは独立した小さなアプリ作成したスライドや表計算はすべて、自分専用のコードとデータベースを持つアプリです。足りない機能があれば、Agent に頼めば追加してくれます。
技術に詳しくない人でも安心してアプリを作成可能アプリ同士は互いに分離されているため、一つを壊しても他の人には影響しません。セキュリティチームが代わりにリスクを負う必要もありません。
モデルは自由に変更可能、コストも見える化Anthropic、OpenAI、Google、Workers AI などに接続可能。誰がいくら使ったかは、共通のゲートウェイで集計されます。
完全オープンソース、Cloudflare に縛られないApache 2.0 ライセンス。同じくオープンソースの workerd ランタイム上で動作するため、自社サーバーにまるごと移設できます。

Cloudflare 社内では3か月間使用され、直近30日間だけで4,000以上のアプリが作成されました。営業チームの試算では、1万時間以上の工数削減効果があったとのことです。

関連記事
Cloudflare が社内 AI オフィスプラットフォーム「Cloudflare OS」をオープンソース化:全社員向けの「AI オフィス OS」
機能の全容と自分でデプロイする手順は、こちらの記事で詳しく解説しています。

『Architecting on Cloudflare』の著者で、英国 CDS 社のソリューションアーキテクトである Jamie Lord 氏が、Cloudflare OS をソースコードレベルで徹底分析しました。彼が発見したこととは:

核心の発見

Cloudflare OS の本質は「AI を完全に信用しない」こと。AI が間違いを犯すこと(幻覚、権限越え、誤操作)を必然と捉え、システム基盤のアーキテクチャレベルで、AI がシステムを壊す可能性を完全に遮断しています。

従来の考え方

AI をより賢く、間違いを少なくする方法を考える。より良いプロンプトを書き、より多くの権限を与える。

Cloudflare OS の考え方

AI は真面目な顔で嘘をつき、物事を台無しにすると認める。100% の正確性を保証できないのであれば、プラットフォームを「金の鳥かご」にして、AI が無限の権限を持っていると錯覚させながら効率的に働かせ、本当のコントロール権(承認権)は常に人間の手に握らせておくのです。

一言で言うと:このシステムは、大規模言語モデルがまだ信頼できない現在において、能力モデル(Capabilities)、軽量分離(Isolates)、非同期承認(Simulations)を通じて、AI に自由に自動化を任せつつ、企業にセキュリティ上の大惨事を決して起こさない、次世代 Agent オペレーティングシステムのアーキテクチャを実現しています。

この設計の核となる考え方は、以下の5つの重要な仕組みに分解できます。

前提:AI は必ず間違える 01 擬似成功 人が承認する前に、システムは先に Agent へ「完了」と伝える 02 サンドボックス分離 ドキュメントごとに個室。コードを壊しても自分の部屋だけ 03 鍵の剥奪 鍵は「門番」の手中に。Agent には呼び出せるメソッドだけを渡す 04 データ出所の追跡 読んだものを記録し、共有前に相手のアクセス権を確認 05 人間の貢献者も信用しない 外部からの PR は数十行を超えると、すぐにクローズ 5つの仕組みは、分解すると5つのセキュリティ特性。合わせると、同じ一文から導かれる5つの結論です。
当サイトが原文に基づき作成。以下の5つのセクションで、一つずつ解説します。
仕組み その1

擬似成功:人が承認する前に、システムは先に Agent へ「完了した」と騙す