Cloudflare が公開した AI オフィスシステム「Cloudflare OS」を徹底解説:Agent の誤動作・幻覚・権限越えなどを根絶する仕組み
- Cloudflare が全社で3か月使ってきた AI オフィスプラットフォームをオープンソース化。各ドキュメントは、いつでもコードを変更できる独立した小さなアプリです。
- 一番意外な一手:Agent がコードをマージしようとしても、人間が承認する前に、システムは「マージ完了」と返し、続きを進めるための偽のブランチを作って渡します。
- Jamie Lord 氏が全ソースコードを読んだ結論:このシステムの本質は、AI を完全に信用しないこと。
- 5つの仕組みを分解すると、残るのはトレードオフ。Agent を繋ぎ止めて安全にするロープは、同時に Agent が遠くまで動くのを妨げるロープでもあるのです。
cloudflare/cloudflare-os リポジトリと照合済み。パフォーマンス数値や「AI が重大なセキュリティホールを導入することは不可能」といった発言は Cloudflare 公式の見解であり、その旨を記載しています。Cloudflare OS とは何か、なぜ「AI は必ず間違える」が前提なのか
8月5日、Cloudflare は全社で3か月間使ってきた AI オフィスプラットフォーム「Cloudflare OS」を完全オープンソース化しました。自社サーバーにデプロイすることも可能です。
Cloudflare OS とは
Cloudflare 社内では3か月間使用され、直近30日間だけで4,000以上のアプリが作成されました。営業チームの試算では、1万時間以上の工数削減効果があったとのことです。
『Architecting on Cloudflare』の著者で、英国 CDS 社のソリューションアーキテクトである Jamie Lord 氏が、Cloudflare OS をソースコードレベルで徹底分析しました。彼が発見したこととは:
Cloudflare OS の本質は「AI を完全に信用しない」こと。AI が間違いを犯すこと(幻覚、権限越え、誤操作)を必然と捉え、システム基盤のアーキテクチャレベルで、AI がシステムを壊す可能性を完全に遮断しています。
AI をより賢く、間違いを少なくする方法を考える。より良いプロンプトを書き、より多くの権限を与える。
AI は真面目な顔で嘘をつき、物事を台無しにすると認める。100% の正確性を保証できないのであれば、プラットフォームを「金の鳥かご」にして、AI が無限の権限を持っていると錯覚させながら効率的に働かせ、本当のコントロール権(承認権)は常に人間の手に握らせておくのです。
一言で言うと:このシステムは、大規模言語モデルがまだ信頼できない現在において、能力モデル(Capabilities)、軽量分離(Isolates)、非同期承認(Simulations)を通じて、AI に自由に自動化を任せつつ、企業にセキュリティ上の大惨事を決して起こさない、次世代 Agent オペレーティングシステムのアーキテクチャを実現しています。
この設計の核となる考え方は、以下の5つの重要な仕組みに分解できます。
