Anthropic が40万件の Claude Code セッションを分析:AIコーディングの成否を左右するのはコーディング力より専門性

23.5万ユーザー、7カ月にわたるセッション分析——専門家の検証成功率は初心者の約2倍、しかし上位10職種の差はわずか7ポイント以内
著者:Anthropic07-05 · 7 分で読了⚑ 研究論文
🎧 ポッドキャスト版0:00 / --:--
0:00 / --:--
研究解説 · 小互解読
5行で読む
  • Anthropic は2025年10月から2026年4月にかけての約40万件の Claude Code 対話セッションを分析、対象ユーザーは約23.5万人
  • 典型的なセッションでは、ユーザーが「何をするか」の意思決定の約70%を、Claude が「どうやるか」の意思決定の約80%を担う
  • あるタスクにおけるユーザーの専門度(プログラミング経験ではない)が高いほどセッションの成功率が高い——専門家レベルの検証成功率は28%〜33%、初心者はわずか15%
  • コードを生成したセッションに限ると、上位10職種カテゴリーの成功率の差は7ポイント以内に収まり、いずれもソフトウェアエンジニアに近い水準
  • 7カ月間で、バグ修正に費やしたセッションの割合は33%から19%に低下、一方で運用・ドキュメント作成・データ分析系セッションは倍増、平均タスク評価額も約25%〜27%上昇
⚑立場の明記:本記事のデータはすべて Anthropic が自社製品 Claude Code について行ったプライバシー保護分析に由来し、独立した第三者研究ではありません。成功率・専門度・職種・タスク評価額といったラベルは、いずれも匿名化されたセッション記録を Claude モデルが自動で読み取って付与したもので、人手による検証は経ていません。以下ではデータそのものを転述するにとどめ、判断は読者に委ねます。
1研究の背景

40万件の対話——決めているのは人間か、AIか

Anthropic は先日、2025年10月から2026年4月にかけての約40万件の Claude Code 対話セッションを分析した研究レポートを発表した。狙いは一つの問いへの答え——プログラミング経験のない人でも、AIエージェントを指揮して複雑な技術タスクをやり遂げられるのか。

これは Claude Code の実際の利用実態について、これまでで最大規模の公開分析だ。約40万件の対話セッション、約23.5万人のユーザー、7カ月間にわたる。研究が注視したのは一点——うまく使えるかどうかは、結局何で決まるのか。

◆

なぜ注目に値するか:二つの結論が呼応している。コードを生成したセッションに限れば、最大10職種の成功率はいずれもソフトウェアエンジニアとの差が7ポイント未満。一方、専門家レベルのユーザーが「検証成功」を得る割合(28%〜33%)は、初心者(15%)のほぼ2倍に達する。このデータに従うなら、成否を決めているのは「その人がコードを書けるかどうか」ではなく「目の前のタスクをどれだけ理解しているか」ということになる。

プライバシーを侵さずにこれほど大量の実際の対話をどう分析したのか。用いられたのはプライバシー保護分析という手法だ。Claude モデルに匿名化された各セッション記録を自動で読み取らせてラベルを付け、システムが自動記録したテレメトリ(そのセッションで実際にコードの追加・削除があったかなど)と突き合わせて検証する。研究者は個々人の具体的なチャット内容を一切読まず、大量のユーザーを横断した全体傾向だけを見る。両者の一致度は高く、AIが「コードを作成または変更した」と判定したセッションのうち、90%以上でテレメトリ上も実際にコードの変更が確認された。

約40万
分析対象の Claude Code 対話セッション数(2025年10月〜2026年4月)
約23.5万
対象ユーザー数。十分多くのユーザーを横断した集計結果のみを統計に用いている
90%以上
AIが「コードを変更した」と分類したセッションのうち、テレメトリ上も実際に変更が確認された割合
7.7%
「明確な目的がない」と判定され、以降の成功率分析から除外されたセッションの割合

対象範囲について:本研究が対象とするのはコマンドライン、Claude.ai、Claude Code デスクトップ版での対話セッションのみ。claude -p による単発コマンドの headless モードや、サードパーティの開発環境・SDK経由のバッチ利用は含まない。

2人間とAIの役割分担

ユーザーが方向を決め、Claude が細部を実行する

研究はセッション内の各意思決定を2種類に分けた。プランニングの意思決定は「何をするか、どの道筋を取るか、何をもって完了とするか」を、実行の意思決定は「どのファイルを直すか、何のコードを書くか、どの言語を使うか、どのコマンドを走らせるか」を管轄する。それぞれの決定を「人間が下したか、Claude が下したか」を分類器に判定させ、各セッションについて二つの数値を算出した。

プランニングの意思決定(何をするか):ユーザーが大半を占める
ユーザー 70%
Claude 30%
実行の意思決定(どうやるか):Claude が大半を占める
ユーザー 20%
Claude 80%

ひと言でまとめれば——人間が方向を決め、AIが細部をこなす。この役割分担は、セッション全体を通じて安定的に現れる。

視点を変えて、「意思決定」を「アクション」に置き換えてみる。Claude Code のセッションは、人間と Claude のやり取りの往復だ——ユーザーが1つの指示を出すと、Claude はひとまとまりの作業をこなし、その後ユーザーが次の指示を出す。典型的なセッションは約4往復。過去データでは、ユーザーの1指示あたり Claude は平均約10個のアクションを引き起こし、時には100を超えることもある。Claude は毎ラウンド、ファイルを読み、コードを書き換え、コマンドを実行し、平均約2400字の出力を書き記す。

どれだけ権限を委ねるかは、基本的に「誰が意思決定するか」次第だ。

ユーザーが実行権を握る
約8個
典型的なセッション
約10個
Claude がプランニングを主導
約16個

注:ユーザー自身が実行の意思決定の80%以上を担う場合、Claude は1ラウンドあたり約8個のアクションしか行わない。逆に Claude がプランニング権限の80%以上を握る場合、アクション数は最多の約16個に達する。

Figure 2 意思決定の分担分布
原文 Figure 2:セッション内のプランニング決定と実行決定のうち、どれだけが Claude に帰属するか。典型的なセッションではユーザーが約70%のプランニング決定を、Claude が約80%の実行決定を行う。出典:Anthropic
3専門度の定義

「専門家」かどうかをどう判定するか

ここで言う「専門家」が測っているのは、目の前の具体的なタスクへの理解度であり、職業の肩書きともコーディング能力とも無関係だ。これはタスク固有のものだ——ベテランのエンジニアでも Rust の質問に初めて向き合えばその件では初心者であり、Python を一度も使ったことがない経理担当者でも、照合ルールを正確に語れて、Claude が月末決算で見落とした例外を指摘できるなら、その件では専門家ということになる。

分類器は「初心者から専門家まで」の5段階スケールで各セッションを採点する。見るのは3つのシグナルのみ——指示がどれだけ正確か、Claude に何を検証させたか、そして人間が Claude を訂正しているのか Claude が人間を訂正しているのか。

初心者セッション · 例示

「このアカウントの照合をやってくれるスクリプトを書いて」

  • 指示が漠然としており、ドメイン特有の詳細がない
  • 受け入れ基準を示さず、何をチェックすべきかも明言しない
  • ルールを補ったり意図を推測したりするのはむしろ Claude 側
専門家セッション · 例示

「Python で照合スクリプトを書いて、この3つのルールでマッチングして。月をまたぐ未決済項目は別扱いにして、実行後は不一致の明細だけ別リストにして確認できるようにして」

  • ドメインルールと受け入れ基準を明確に示す
  • チェックすべきエッジケースを自ら指摘する
  • Claude を訂正するのは自分であり、その逆ではない

上記2段は分類器が見る3つのシグナルを説明するための例示であり、原文そのままの文章ではない。原レポートの等級づけの例は、公開されているエージェント型コーディング会話データセット SWE-chat から取り、改変・匿名化・要約した上で使用している。

4専門度 × 産出量

専門ユーザーほど、Claude により多くの作業をさせられる

専門度が高いほど、同じ一つの指示から引き出せる Claude の産出量も多くなる。典型的な初心者セッションでは、指示1つあたり Claude のアクションは約5個、出力は約600字。専門家セッションでは、アクションの連鎖は倍の12個に、文字産出量は5倍の約3200字に達する。

指示1つあたりの Claude のアクション数

初心者セッション
約5個
専門家セッション
約12個

指示1つあたりの文字産出量

初心者セッション
約600字
専門家セッション
約3200字
変数を制御しても成立

この傾向は、あらゆる作業タイプ、あらゆるタスク価値帯において現れる。作業タイプ、タスク価値、月、職種、モデルバージョンを制御した後でも、専門度が1段上がるごとにアクション数は+9%、文字産出量は+13%増加し、統計的に有意である(p<0.001)。

Figure 3 専門度が高いほど Claude の産出量も多い
原文 Figure 3:ユーザーの専門度が高いほど、Claude が1指示あたりに産出するアクション数(左)と文字数(右)が増える。白丸は幾何平均で、両方の上昇傾向は統計的に有意(p<0.001)。出典:Anthropic
5核心となる発見

成否を決めるのはコーディング経験より専門度

まず成功の測り方を明確にしておく。研究はユーザーの実世界での成果を直接見ることも、本人に直接尋ねることもできないため、セッション記録を読み解く2つの物差しに頼っている。

judged success · 判定成功

Claude が対話記録全体を通読した上で、この人が目的を達成したかどうかを主観的に判断する。選択肢は成功・部分的成功・失敗・目的不明確のいずれか。

verified success · 検証成功

より厳格な基準。成功と判定されるだけでなく、確たる証拠が必要——コードが実際にコミットされた、テストが実際に通った、あるいはユーザーが明確に「完了した」と述べたことなど。証拠の強さは「信号なし」から「複数の確たる信号」まで1〜5段階で採点される。

この2つの物差しで測ると、傾向は明確だ——セッションで示されるユーザーの専門度が高いほど、セッションが成功する可能性は高い。しかも大部分の伸びはスケールの下端に集中している。初心者から中級への差は、中級から専門家への差より大きい。

15% / 77%
初心者セッション:検証成功率 / 少なくとも部分的成功の割合
28-33% / 91-92%
中級以上のセッション:検証成功率 / 少なくとも部分的成功の割合
核心となる結論

専門家レベルのセッションが検証成功を得る割合は、初心者の2倍以上に達する。しかし中級から専門家へ進むにつれて、その伸びは明らかに緩やかになる。恩恵の大部分は、初心者から「使いこなせる水準の習熟」へと登る段階に由来する。

では職業的背景はどうか。研究はセッション記録から推測したユーザーの職業を、米国労働統計局(BLS)の23の大分類にマッピングした。結果は、コードを生成したセッションにおいて、職業的背景の影響は想像よりずっと小さいというものだった。

ソフトウェア関連職種
34%
その他すべての職種
29%

(コードを生成したセッションにおける検証成功率の)差はわずか5ポイントで、7カ月間で拡大も縮小もしていない。「少なくとも部分的成功」まで基準を緩めると、両グループはそれぞれ89%と88%になる。

さらに踏み込むと、コードを生成したセッションでは、データセット中の上位10職種すべてがソフトウェアエンジニアの7ポイント以内に収まる。マネジメント系職種の検証成功率はソフトウェアエンジニアをわずかに上回ることさえある——これはマネジメントスキルが本来的にエージェント指揮に向いているからかもしれないし、単にマネージャーが対話の中で「達成した」とはっきり述べる傾向が強く、検証成功の判定がこうした明確な確認に一部依存しているためかもしれない。

Figure 6 職種別の成功率
原文 Figure 6:推測された職種別の検証成功率と判定成功率(コードを生成したセッションのみ、上位10職種グループ)。いずれのグループもソフトウェア・数学系職種の7ポイント以内に収まる。出典:Anthropic
6挫折への耐性

つまずいた後、専門ユーザーの方が立ち直りやすい

専門度は順調な場面だけでなく、セッションが「つまずいた」時にこそ、より大きな差を生む。

「つまずき」の測り方

タスクそのものの難易度ではなく、プロセス中に「つまずきの証拠」が残っているかを見る——エラー、テスト失敗、繰り返しの試行、ユーザーの不満表明など。これらの証拠の強さを1〜5点で採点し、3点を超えると、そのセッションは実際に困難に遭遇したと見なされる。

下の図は、「検証成功率」を専門度5段階で並べたもの。全セッションと、困難に遭遇したセッションのみを切り替えて見ることができ、困難なセッションでは初心者はほぼ崩壊する一方、専門家はまだ持ちこたえていることがわかる。

初心者
15%
中級〜専門家
28-33%

検証成功率。「少なくとも部分的成功」まで基準を緩めると、初心者77%、中級〜専門家91%〜92%。

初心者
4%
専門家
15%

同じく困難に遭遇したセッションで、検証成功率は初心者ではわずか4%まで落ちるが、専門家はなお15%を保つ。「少なくとも部分的成功」まで基準を緩めると、初心者60%、中級〜専門家80%〜81%。(両パネルは同一スケールなので、そのまま比較可能)

もう一方の極端な例が「即座に諦める」ケース、すなわちセッションが失敗と判定され、かつコードが1行も書かれなかった場合だ。ここで初心者とその他の差が最も激しく開く。

初心者
19%
その他すべての人
5-7%

最も経験の浅いユーザーは、行き詰まった時に諦める割合が他の人の3〜4倍に達する。専門度の価値の一部は、エージェントを正しい方向に引き戻す能力にあるようだ。

一点、条件の細部を補足しておく。「困難に遭遇」という条件が絞り出すセッションは、人によって異なる。専門家は全体として困難に遭遇する頻度が低いため、彼らが本当に行き詰まったセッションは、往々にしてより難しい問題であることが多い。タスク評価額を複雑さの代理指標として見ると、つまずいたセッションの平均評価額は、専門度が最も低い層から最も高い層でおよそ倍になる。したがって回復率の差の一部は、初心者が定型的な問題でつまずき、専門家が手強い問題でつまずいているという違いによるものかもしれず、必ずしも挫折への耐性の差だけではない。

Figure 5 専門度とセッションの結末
原文 Figure 5:タスクにおけるユーザーの専門度別に見たセッションの結末。左:全セッション、中央・右:困難に遭遇したセッションのみ(失敗シグナル>3)。各点は作業タイプ、タスク価値、月、テーマ、職種について整合性を取る制御を行っている。出典:Anthropic
7作業構成の変化

7カ月間で、Claude Code の使われ方は変わった

研究は各セッションを9種類の作業パターンのうち最も当てはまるものに分類した。うち4種は直接コードを書く・保守する作業(構築、修正、テスト、他エージェントのオーケストレーション)。残りはソフトウェアの運用、システムの仕組みの解明、着手前の計画立案、そしてコードとは無関係なデータ分析やドキュメント作成だ。7カ月の間に、この構成は変化した。

最も顕著なのは、壊れたコードの修正に費やしたセッションの割合が33%から19%へと、ほぼ半減したことだ。空いた分は、コード周辺の作業へと流れた。

バグ修正 33%
運用 14%
執筆+分析 10%
その他 43%
2025年10月
バグ修正 19%
運用 21%
執筆+分析 20%
その他 40%
2026年4月
バグ修正 運用 ドキュメント作成+データ分析 その他(構築・テスト・計画など)

ソフトウェアの運用(デプロイ、設定、パイプライン実行、システム監視)は14%から21%へ上昇。ドキュメント作成とデータ分析は合わせて約10%から20%へと倍増した。人々は Claude Code を、コードを書く工程だけでなく、一連の作業の最初から最後まで、より広い場面で使うようになっている。

タスクそのものの価値も上がっている。研究は各セッションをフリーランス市場の相場に照らして評価額を算出し、典型的なセッションの評価額は7カ月間で約25%〜27%上昇、ほぼすべての作業カテゴリーで値上がりが見られた。

+25〜27%
典型的なタスク評価額の平均上昇幅(フリーランス市場の相場と照合)
+43%
サイト構築・ものづくり系タスクの評価額上昇幅
+34%
運用系タスクの評価額上昇幅
+32%
バグ修正系タスクの評価額上昇幅

これらの価格はあくまで概算であり、タスク間および時系列での相対的な変化を比較するためのものにすぎず、実際のドル建て金額としてそのまま受け取るべきではない。

Figure 4 作業構成と価値の時系列変化
原文 Figure 4:2025年10月から2026年4月にかけての、各作業パターンのセッション割合の変化。バグ修正は33%から19%に低下し、運用・データ分析・ドキュメント作成は同時に上昇した。出典:Anthropic
8現時点で言えること

これらの数字が現時点で言えること

このデータが裏付けられる結論を並べておく。物差しが測ったことだけを述べ、それ以上は外挿しない。

第一に、コードを生成したセッションにおいて、あらゆる業界の成功率がソフトウェア従事者に近づいており、コーディング経験がコード作成の成否に与える影響は小さくなりつつある。第二に、うまく使えるかどうかは、その人がどの分野にいるかにかかわらず、問題そのものへの理解度により多く左右される。第三に、これはこのレポートが繰り返し強調する点でもあるが——恩恵の大部分は「使いこなせる水準の習熟」に由来する。初心者から中級へ登るときの成功率の跳躍は、中級から専門家への小さな一段よりもはるかに大きい。

下の階段図は、「専門度の上昇とともに検証成功率が上がる」様子を描いたものだ。前半は急、後半は緩やか——それがこのデータが示す収穫逓減の形そのものだ。

検証成功率 ↑ 15% ↑ ~33% 初心者 初級 中級 熟練 専門家 タスク専門度 →
階段の高さは検証成功率に対応する。初心者から中級への上昇が最も急で、中級より上は一段ごとにわずかしか増えない。破線は各段の頂点を結んだもので、後半になるほど平坦になるのが一目でわかる。

留めておくべき境界がいくつかある。研究は実世界での成果、たとえばあるセッションで書かれたコードがその後実際に使われたのか捨てられたのかは見ていない。本記事が除外している非対話型利用(headless と API バッチ)はかなり大きな部分を占めており、それをどう測るかは次の重点課題だ。すべての分類は AI モデルによるセッション記録の読み取りに依存しており、大規模な検証自体が難しい上、Claude Code のセッションは長く複雑で、人手によるラベリングを正解として扱うのは難しい。

モデル、ユーザー、そして両者の分担が今後も変化し続けるにつれ、この全体像は継続的に更新されていくだろう。研究者によれば、今後注視すべきシグナルには、専門度がもたらす見返りが逓減し始めるかどうか、そしてソフトウェア以外の職種における成功セッションの割合がさらに伸び続けるかどうかが含まれるという。

9実践への示唆

この発見を、明日からの使い方に落とし込む

原レポートはここで終わっている。これは純粋なデータ分析であり、操作方法の提案は行っていない。しかし「専門度」を測るために使われた3つのシグナルを裏返せば、それがそのまま「Claude Code をより快適に使うための」チェックリストになる。以下の数項目は、研究の特徴から逆算した使い方であり、参考として提示するものだ。

⚑注記:以下の4項目は編集者が研究の「専門家セッションの特徴」から逆算したものであり、原レポートそのままの言葉ではない。原レポートはこれらをあくまで分類器が専門度を測る基準として記述しているのみで、ユーザーへの提案として示してはいない。
01 · 要件をはっきり伝える

「これ、なんとかして」で済ませないこと。ドメインのルール、制約条件、何をもって完了とするかを明確にする——研究における専門家セッションの第一の特徴は「指示が正確である」ことだった。具体的に伝えるほど、同じ一つの指示から得られる Claude の産出量は増える(専門家は初心者のおよそ2倍のアクション、5倍の文字量)。

02 · 何を検証すべきかを明示する

専門家は Claude に自己チェックを求める——テストを実際に通す、エッジケースを確認する、特殊なシナリオを照合するなど、走らせただけで信じたりはしない。何を検証すべきかを指名しておけば、「検証成功」に必要な確たる証拠(コミット、テスト通過、あなたの確認)も集めやすくなる。

03 · Claude を訂正するのは自分——推測させない

初心者と専門家を分ける3つ目のシグナル——誰が誰を訂正しているか。問題への理解度が高いほど、Claude がどこでずれたかを一目で見抜き、その場で軌道修正できる。ルールを補ったり意図を推測したりするのを Claude 任せにすると、その推測が外れていても気づかないままになりかねない。

04 · 行き詰まってもすぐ諦めない

データの中で最も目を引く一点——初心者は困難に遭遇すると、他の人の3〜4倍の割合でそのまま諦めてしまう。行き詰まったら、問題を小さく分解する、言い方を変える、より多くの文脈を補う——たいていの場合、これは一から作り直すよりずっと効果的だ。

コーディングエージェントはドメインの専門性に取って代わったわけではない。人がそれを使いこなす際に持ち込む理解が深いほど、生み出せる高品質な仕事の量は増える。 Anthropic 研究レポート「Agentic coding and persistent returns to expertise」
出典:Anthropic 研究レポート「Agentic coding and persistent returns to expertise」(2026年6月16日発表)。約40万件、約23.5万ユーザー、2025年10月から2026年4月にかけての Claude Code 対話セッションを対象としたプライバシー保護分析に基づく。本記事は小互解読站が編集・翻訳したもので、データと結論はすべて原レポートに由来する。成功率・専門度・職種・タスク評価額などのラベルは Claude モデルが自動生成したものであり、人手による検証は経ていない。原レポートの分類器はデフォルトで Claude Sonnet 4.6 を使用している。本文中の図2〜図6は原レポートの図であり、日本語の説明は編集者が追加したものである。
出典
AnthropicAnthropic·原文を見る
↑ 本文ここまで
✓ この記事は全文無料です

メンバーは全文 Markdown のコピー・保存に加え、自分の AI に購読・質問させることができます。

原文を読む ↗
📮 新着解説をメールでいち早く

役に立ちましたか?メールを登録すると、新着解説を公開と同時にお届けします。解除はいつでも。