総合スコアはGPT-5.6に並ぶ、10項目ではFable 5が最多トップ

今回の売り文句は「AAインテリジェンス指数（Artificial Analysis Intelligence Index）でGPT-5.6 Solに並んだ」というもの。GPT-5.6 SolはOpenAIの現在のフラッグシップモデルです。この指数は9つのテストを合成した総合スコアです。

公式は同時に、10項目の内訳表も公開しました。これを開いて1位の数を数えると、話は少し変わってきます：

1位の数を数えてみましょう。Fable 5 Max が5項目、Grok 4.6 が3項目、GPT-5.6 Sol Max が2項目を獲得しています。つまり「GPT-5.6 に並んだ」という表現は、9テストを合成した総合スコアでのみ成立し、10項目の内訳で最も多く1位を取ったのは Fable 5 Max です。

Grok 4.6 が得意とする分野は2つに集中しています：ナレッジワークと法律です。ナレッジワークの2項目（GDPVal-AA 1753、AA-Briefcase 1577）はともに1位。法律の項目は差が最も顕著で、Grok 4.6 が15.8%に対し、GPT-5.6 Sol Max は2.5%と、6倍以上の差がついています。

弱点も明確です：Terminal-Bench は26%で、GPT-5.6 の34.6%、Fable 5 の34.1%に8ポイント以上差をつけられています。これはターミナル内での作業能力を測るもので、公式の文章では言及されておらず、表の中でのみ確認できます。

一方、前世代との比較では、進歩は確実です。Terminal-Bench は15.7%から26%へ、APEX-Agents は47.1%から57.5%へ、DeepSWE は54%から65.9%へ、AA-Briefcase は1313から1577へと向上しています。

仕様書2ページよりも、1つのプロンプトが効果的

公式は長いタスクで1つの変化を観測しました。モデルが自分自身をテストし始めたのです。1つのステップを終えると、まず自分の作業をチェックしてから次に進みます。

実測では、この挙動には明示的に呼び出せるスイッチがありました。たった1文です。

やり方はこうです。同じ「スプレッドシートアプリを作る」というタスクを、2つのモデルにそれぞれ2回実行させます。1回は2ページの仕様書を渡し、ツールバーのすべてのボタン、すべてのショートカットキー、すべての計算式を詳細に記述。もう1回は3行のプロンプトだけを渡します：

結果はほぼ同じでした。実際に結果を変えたのは、この1文を追加したことです：

これを追加すると、モデルは自分でアプリを開き、実際のユーザーパスに沿ってクリックし、ネストされた数式が正しく計算されるかを確認し、見つけた問題を修正します。これが数週間の中で最も効果の高い1つの変更でした。

このループが回るには前提条件があります。モデルのブラウザ操作能力が十分に高いことです。「自分で開いて確認する」能力がなければ、その後のすべては始まりません。

2種類のプロンプト長による出力比較。以降の各比較も、同じプロンプトを隔離されたワークスペースで2つのモデルにそれぞれ実行させたものです。先月の記憶に基づくものではありません。図 / Eric Zakariasson

検証をスキップするとどうなるか

反面教師となるのは、後述の Excalidraw プロジェクトです。ある実行後、サマリーは完了したように読めましたが、「ビューの追加」機能は実際には動いていませんでした。「実行してみせて」の1文で、壊れた import がようやく露呈しました。

言い回しは重要でない、長さが主導権を決める

同じ一連の実験で、プロンプトのスタイルもテストされました。結論は3つです。

長い仕様書が無効になったわけではありません。彼はフィードバックコンポーネント用に詳細な仕様を渡しました。セッションキャプチャ、サーバーサイド処理、クラウド Agent ディスパッチを含むもので、モデルはエンドツーエンドで追従し、構造も合理的でした。ただし具体的な問題が1つ：明示的に分割を要求しない限り、コンポーネント内で自分自身を繰り返します。

出力が自分で検証しにくいほど、あなたの監視が必要

実測全体を通じて最も応用が効く判断基準はここにあります。人間の介入が必要な場所は、すべて同じ根本原因に遡ります。モデルが自分の作業を検証できるかどうかです。

したがって、実用的な対策は2つだけです。「見る」手段を与えるか、自分でチェックすることを受け入れるか。

同じ原理は、検証が難しい出力にも当てはまります。3Dシーンに「マテリアルを改善して」と言っても、進展はありません。次の文に変えると、すぐに効果が出ます：

5つのプロジェクト実測：4.6 の初回バージョンは明らかに完全度が高い

以下の6本はすべて、同じプロンプトを隔離されたワークスペースで 4.5 と 4.6 にそれぞれ実行させ、左右に並べて録画したものです。先月の記憶に基づくものではありません。

数日間使ってみて、動画はモデル間の差が最も出る分野です。ウェブアプリでは互角に感じる2つのモデルでも、ここでは大きく差がつくことがあります。

サマリーは情報密度が高く、応答は高速—使い方は非同期から同期へ

作るものだけでなく、使っていて感じる手触りも変わりました。

速度の違いはより大きな影響を与えます。4.5 も速いですが、4.6 は速い上に明らかに賢い。この組み合わせが、作業スタイルを同期型に戻しました。大量のコンテキストを事前に用意して待つのではなく、少しだけ取り、確認し、次に進む。同じセッションで長いタスクに切り替えたい場合は、声をかけるだけです。

トレードオフはここにあります。非同期は人がいない間に多くの作業ができる一方で、手がかりを失い、最後に冷めた頭で巨大な diff をレビューすることになります。結果を本当に重視するなら、同期側にいる方が価値があります。

彼がついでに片付けた雑務

数週間の作業の大部分は普通の仕事でした。ウェブサイトのナビゲーション（特定のサービスプロバイダのコンソールにログインして API キーを作成することも含む）、実行中のアプリの機能・ビジュアル QA、受信トレイを本当に返信が必要なメールに絞り込むこと、2つの機能のリリースツイートの下書き、そして Remotion でそれらの発表動画を作成すること。

彼が今も自分でチェックしている場所

出力を「見た目の良さ」で判断する作業、動き、3D、最終的な仕上げは、彼はまだ自分で介入します。なぜなら、これらにはテキストでの説明ではなく、参考画像とスクリーンショットのループが必要だからです。さらに彼は、「完了」という一言を信じるのではなく、受け入れ基準を書き留めます。

彼が 4.6 をデフォルトのモデルにする理由は、特定の分野で最も優れているからではありません。尖ったモデルもいます。特定の1つのことには非常に優れていますが、日常の仕事は特定の1つのことではありません。彼が求めるのは、自分が十分に理解しているモデルです。どう振る舞うか分かっていて、任せられる信頼性があり、欠点も無意識に回避できるほど熟知しているモデルです。

プロンプト原文と活用法—コピーしてすぐ使えます

以下の文はすべて数週間の実測から得られたものです。英文が原文なので、そのまま使えます。

Verify the function and design after implementation, and keep on iterating and verifying until it's production ready.

タスクの説明の最後に追加します。モデルが自分でアプリを開き、実際のユーザーパスに沿ってクリックし、計算が正しいか確認し、見つけた問題を修正するようになります。この1文は、数週間の中で最も効果の高い変更でした。

capture the current frame, list what's wrong with it, then fix only those things

run it and show me

3番目の文は簡単に見えますが、これこそが「サマリーは完了を示しているのに、機能が実際には動かない」というケース（壊れた import）を露呈させたものです。

Build a polished Sheets/Excel-style app in Next.js and an AI chat that can analyze the sheet. Use the Cursor SDK for all AI features. Preload a realistic sample workbook so it looks good immediately.

効果がなかった表現

7つの活用法

使い方：アクセス方法、価格、初週2倍枠

アクセス方法は3つあります。Cursor、Grok Build、そして公式 API（console.x.ai）。その他、OpenRouter、Vercel、Cloudflare などからも利用可能です。

価格は入力100万トークンあたり2ドル、出力6ドルで、4.5 と同じ。fast 版は2倍ですが、速度の向上度合いは非公表。初週は Grok Build と Cursor で利用枠が2倍になります。

今回の売り文句は「GPT-5.6 Sol に並んだ」というもの。AAインテリジェンス指数（Artificial Analysis が9テストを合成した総合スコア）での比較です。10項目の内訳で1位を数えると、話は変わります。

Grok 4.6 はナレッジワークと法律に強み。弱点はターミナル作業で、この項目は公式の文章では言及されず、表の中でのみ確認できます。ベンチマークはすべて xAI の自己測定で、競合の数値は各社公開資料の最良スコア。第三者による統一再テストはありません。

Grok 4.6 を日常的に使い込んでいるエンジニアが対照実験を実施。同じスプレッドシートアプリ作成タスクで、1回は2ページの仕様書（ツールバーの全ボタン、ショートカットキー、数式を詳細に記述）、もう1回は以下の3行だけ。結果はほぼ同じでした。

これを加えると、モデルは自分でアプリを開き、実際のユーザーパスをクリックし、ネストされた数式の正しさを確認し、見つけた問題を修正します。前提条件はモデルのブラウザ操作能力が十分に高いことです。これは xAI が長いタスクで観測した現象（モデルが自分の作業をチェックしてから次に進む）と一致します。一方は xAI の観測、もう一方はユーザーが直接使えるスイッチです。同じ実験で、プロンプトの言い回しや長さ自体の影響は小さく、結果を大きく変えたのはこの検証要求の1文でした。

人間の監視が必要な場所は、すべて同じ根本原因に遡ります。モデルが自分の作業を検証できるかどうかです。ウェブサイトは最も簡単、3D はより難しく、動画と物理が最も難しい。

3Dシーンに「マテリアルを改善して」と言っても進展なし。「現在のフレームをキャプチャして、どこが間違っているかをリストアップし、それらの箇所だけを修正して」に変えると、すぐに効果が出ます。「見る」手段を与えれば、問題は半分解決します。