Google Researchが提案するWikiSkill：AIエージェントの失敗を知識として蓄積し、スキルを進化させる
AIエージェントがタスクから得た経験と教訓を永続的なWikiに蓄積し、それをもとに実行スキルを継続的に強化する仕組みです。
- WikiSkillはエージェントの経験を永続的なWikiに蓄積し、スキルを継続的に進化させます。
- Raw、Wiki、スキルの三層を分離するため、スキルをロールバックしても学んだ知識は失われません。
- WikiSkillは検証した5モデルすべてで既存手法を上回り、スキル付き9Bモデルがスキルなし27Bモデルを超えました。
Google Researchとバージニア工科大学は、WikiSkillというフレームワークを提案しました。中心となる目的は、AIエージェントがタスク実行から得た経験と教訓をWikipediaのような永続的知識ベースに蓄積し、それを使ってより強力な実行スキルへ継続的に進化できるようにすることです。
簡単に言えば、AIエージェントが一つひとつのタスクから学び、断片的な経験を将来そのまま使える能力へ少しずつ変えていく方法を研究しています。
なぜWikiSkillが必要なのか？（背景と課題）
現在のAIエージェントは、実行記録からスキルを自動生成できます。たとえば表計算で誤った数式を繰り返し入力した場合、システムは「書き込み後に必ず値を再読込して検証する」という操作ルールを抽出し、次のプロンプトに加えることで、同じ種類の失敗を減らせます。
問題は、従来のスキル進化手法が主に現在のスキルを最適化しており、継続的に成長する独立した知識を管理していないことです。EvoSkillは過去の提案と評価結果を保存し、Trace2Skillは軌跡から経験を抽出し、SkillOptは却下された変更を次の最適化に利用します。しかし、多くの情報は最適化履歴に埋もれるか、新しいスキルへ直接圧縮されます。
その結果、三つの問題が生じます。
- 反復をまたいで経験を再利用しにくい：六回目の反復で起きた失敗について、二回目の反復ですでに似た根本原因を分析していても、システムがそれを把握できない場合があります。
- 失敗した変更の価値が失われやすい：スキル更新によって得点が下がっても、有用なエラーパターンが明らかになることはあります。スキルを戻すだけでは、後で似た修正を再提案し、もう一度検証コストを払うかもしれません。
- スキルが多すぎる役割を担う：経験を保存しながら、実行時には簡潔な指示でなければなりません。経験が増えるほどスキルは肥大化し、強く圧縮するとルールの理由や適用範囲が失われます。
WikiSkillが導入するWikiは、この知識の断絶を埋めるためのものです。「何が起きたか」「そこから何を学んだか」「実行時に何を守るか」を分けて保存し、失敗した試行も次の最適化へ活用します。
WikiSkillの3層知識アーキテクチャ
WikiSkillの要点は新しいプロンプトだけではなく、階層化されたワークスペースにあります。
- Raw Layerは証拠を保存する：推論過程、ツール呼び出し、ツール出力、最終回答を含む完全な実行軌跡を記録します。ファイルは追記のみで、後の分析が事後的に書き換えられた要約ではなく、実際に起きた過程を確認できるようにします。
- Wiki Layerは理解を保存する：Wiki Maintainerが複数の軌跡に共通するパターンを独立したページへ整理します。特定の失敗が起きる理由、有効な方法、実行可能な修正策などです。
logs.mdは各反復の発見を、skill-impact.mdはスキルの変更、検証得点、採用または却下の結果を記録します。 - Skills Layerは行動ルールを保存する：実行するエージェントが実際に読むのは、この層の
SKILL.mdです。対応するPURPOSE.mdは、そのスキルがどのWikiパターンから生まれたかを示し、短いルールからでも証拠と理由をたどれるようにします。
三層はそれぞれ、追跡可能性、蓄積可能性、実行可能性を担います。Rawは事実の上書きを防ぎ、Wikiはバージョン変更で経験が消えるのを防ぎ、スキル層は実行指示を集約します。スキルはロールバックできますが、Wikiはロールバックしません。そのため無効な変更を取り消しても、「なぜ無効だったのか」という知識は残ります。
論文の図2：三層アセットと四段階の循環
図2はRaw、Wiki、スキルの三層と、実行、帰納、提案、検証・ロールバックを一枚にまとめています。要点は、実行段階ではスキルだけを読み、失敗時にはスキルを戻してもWikiは戻さないことです。
システムはどのように進化を繰り返すのか？（4段階のワークフロー）
一回の完全な反復は四段階で進みます。
- 推論実行（Inference Agent）：エージェントは現在のスキルを使って訓練タスクを実行し、全過程がRaw Layerへ書き込まれます。論文では、この段階でWikiを読むことを意図的に禁止しています。Wikiは「スキルを改善する側」が使う分析資料であり、実行者へ直接渡すと、不完全なスキルを迂回して正解し、訓練軌跡が実態を示さなくなる可能性があるためです。
- Wiki保守（Wiki Maintainer）：システムは今回の軌跡から最大8件を抽出し、失敗を最大5件、成功を3件まで含めます。失敗軌跡は根本原因の特定に、成功軌跡は有効な戦略の抽出と、すでに正しい行動を壊さないために使います。新しい発見は
patterns/ページを新設または更新し、進化ログにも記録されます。 - スキル提案（Skill Proposer）：提案者はまずWikiの索引、過去の変更結果、今回のタスク成否の要約を確認し、ReActで読むべきパターンページとRawの軌跡を選びます。一回の反復で作成または変更するスキルは一つだけです。複数の変数を一度に混ぜ、検証失敗時に原因を特定できなくなるのを避けます。
- ゲートとロールバック（Gating & Rollback）：候補スキルは検証セットで過去最高得点を上回った場合のみ残され、同点または低下なら戻されます。結果にかかわらず、差分、検証得点、採否は
skill-impact.mdへ記録され、次の提案で参照できます。
具体例で考えると、この循環の価値が分かります。ある反復で、エージェントが物体を持ち上げ、確認し、元の場所へ戻す行動を繰り返していると判明します。修正ルールを提案しても検証得点は上がらず、スキルはロールバックされます。しかしWikiには、循環行動と、その修正が無効だった事実が残ります。次の反復で提案者は、より具体的な「物体を元の場所へ戻さない」というルールを提案します。それが検証を通過した後、新しい循環パターンが見つかれば、「同じ物体に対する各種操作は一度だけ行う」とさらに精緻化できます。
「検証通過」または「検証失敗」を選ぶと、一回の反復でRaw、Wiki、スキルの三層がどう変わるかを確認できます。
検証結果によって三層の状態はどう変わるか
検証結果を一つ選び、Raw、Wiki、現在のスキルがどう変わるか比較してください。
今回の成功・失敗の軌跡はraw/へ書き込まれ、変更されずに残ります。
パターン、進化ログ、スキル影響記録は更新され続けます。
候補の変更が新しい有効スキルになります。
成功時は知識と実行ルールが同時に前進し、Rawの証拠も残ります。
検証通過：Raw、Wiki、新しいスキルがすべて残り、今回の変更が次の実行へ入ります。
検証失敗：RawとWikiは残り、候補スキルだけが前の版へ戻ります。
主要な実験結果と重要な知見
研究は性質の大きく異なる五種類のタスクを対象にしています。数学推論のLiveMath、ウェブ検索のSealQA、表計算操作のSpreadSheet、長文書質問応答のOfficeQA、連続行動が必要な身体化環境ALFWorldです。検証モデルはQwen 4B、9B、27B、Gemma 31B、Gemini-3.5-Flashで、比較対象にはスキルなし、Trace2Skill、EvoSkill、SkillOptが含まれます。結果はすべて三回の完全な進化プロセスの平均で、差は対応ありBootstrap検定で評価されています。
第一に、WikiSkillの優位性は特定のモデルだけに集中していません。 五つのモデルすべてで平均得点が他のスキル進化手法を上回りました。各モデルで最も強い競合手法と比べても、WikiSkillはそれぞれ3.3、5.1、10.0、5.8、12.0ポイント上乗せしています。Gemini-3.5-FlashはLiveMathでスキルなしの33.0から72.6へ、SpreadSheetでは50.5から76.6へ向上しました。Qwen-27BはALFWorldで52.8から77.6へ伸びています。
論文原表：五つのモデルにおける主要結果
表1はこの論文で最も強い証拠です。五つのモデルすべてでWikiSkillの平均得点が最高で、WikiSkill付き9Bモデルはスキルなし27Bモデルも上回ります。
第二に、モデル規模とスキル進化は互いを増幅します。 Qwen系列がWikiSkillから得る平均改善幅は規模とともに増え、4B、9B、27Bでそれぞれ12.3、17.5、23.9ポイントでした。強いモデルは有効な手続きルールを抽出する能力だけでなく、複雑なスキルを安定して実行する能力にも優れます。同時に、スキルはモデル規模を一部補えます。WikiSkill付きQwen-9Bの平均得点は47.4で、スキルなしQwen-27Bの39.4を上回りました。
第三に、スキルはモデル間で転移できますが、転移方向を決めつけることはできません。 Qwen-27Bが進化させた表計算スキルをQwen-9Bへ渡すと、SpreadSheetの得点は24.3から50.5へ上がり、自身で進化させたスキルを使った33.6を大きく超えました。Qwen-4Bが作ったOfficeQA検索スキルは自分には役立たず、30.2から28.5へ低下しましたが、Qwen-27Bが実行すると42.1から52.9へ向上しました。「経験からルールを発見する力」と「ルールをうまく実行する力」は別の能力です。
転移が失敗する場合もあります。Qwen-4Bの表計算スキルをGemini-3.5-Flashへ渡すと、50.5から18.1へ低下しました。軌跡を調べると、小規模モデルは自身の実行ミスを避けるため、一行Pythonや文字列変換などの低水準なパッチを追加していました。これは小規模モデルを守る一方、強いモデルが完全なスクリプトを使うのを妨げ、不要なツール呼び出しを増やし、対話予算を早く使い切ります。転移できるのは汎用的な手順であり、特定モデルの弱点に合わせた応急処置は制約になり得ます。
論文の表2：モデル間転移マトリクス
表2には正の転移と負の転移がどちらも示されています。目立つ改善だけでなく、18.1という反例も同じくらい重要です。
第四に、アブレーション実験は、Wikiが問題を直接解くのではなくスキル進化を支えるべきだと示しています。 Inference AgentがWikiを読まず、Skill Proposerだけが読む場合、Gemini-3.5-Flashの四項目平均は63.7です。提案者からもWikiアクセスを外すと48.7へ下がります。逆にInference AgentとSkill Proposerの両方がWikiを読む場合は60.9にとどまります。論文の説明では、実行エージェントがWikiから直接タスク知識を得ると、スキルが不完全でも訓練問題に正解でき、軌跡からスキルの不足部分を正確に診断できなくなります。
Wikiアクセスを切り替え、最終的なスキル品質の変化を見る
二種類のエージェントのWikiアクセスを切り替え、四つの設定の実測得点を比較してください。
標準設定：実行エージェントはWikiを読まず、提案者が読みます。平均得点は最高の63.7です。
| 実行エージェント | 提案者 | 四項目の平均得点 |
|---|---|---|
| 読まない | 読まない | 48.7 |
| 読む | 読まない | 45.3 |
| 読まない | 読む | 63.7 |
| 読む | 読む | 60.9 |
論文の表3を見る
表3は二種類のエージェントについて、四つのWikiアクセス設定を示します。WikiSkillの標準設定ではInference Agentは読まず、Skill Proposerが読みます。
実験は、スキル進化がすべてのタスクとモデルの組み合わせで同じように効くわけではないことも示しています。Qwen-4BはOfficeQAでWikiSkillを使うと30.2から28.5へ低下しました。非常に長い文書で多段階の検索手順を継続して守るのが難しいためです。Gemini-3.5-FlashはALFWorldの検証セットで開始時点から100%に達していたため、システムは早期停止し、すべての手法がテストセットで85.9のままでした。WikiSkillが改善するのは「手続き的経験で修正できる誤り」であり、すべての組み合わせで向上を保証するものではありません。
限界と今後の方向性
WikiSkillは永続知識がエージェントのスキル進化を助けることを示しましたが、稼働中のエージェントが自律的に成長するまでには、いくつか明確な限界があります。
- スキル検索は未解決：実験では、トリガー失敗という変数を除くため、すべての有効スキルをシステムプロンプトへ直接注入しています。スキル数が増えたとき、現在のタスクに適したスキルを選ぶには、独立した検索とルーティングの仕組みが必要です。
- ゲート基準が厳しすぎる：候補スキルは、過去最高の検証得点をすぐに上回らなければ残せません。短期的には同点でも、後の改善の土台になり得る変更が却下されるため、進化が局所最適に止まる可能性があります。
- Wikiが膨張し続ける：現在のシステムには、重複パターンの自動統合、矛盾する知識の処理、古いページの整理機能がありません。反復が長期化すれば、知識ベース自体にもガバナンスが必要です。
- 実験はオフラインの多反復進化：システムは訓練タスクを実行した後、Wikiを保守し、スキルを変更し、検証します。数時間続き、数百回の環境操作を含む一つのタスク中に、エージェントが実行しながら学習し、すぐに戦略を変えられるかは検証されていません。
この論文が示すのは、「経験を知識ベースへ入れ、その知識を再びスキルへコンパイルする」検証可能な進化メカニズムです。エージェントの失敗は使い捨てのログではなくなり、ロールバックされた提案も再利用可能な教訓を残します。ただし現時点の学習はタスクのバッチ間で行われ、実際の作業中にリアルタイムで能力を書き換えるものではありません。