Anthropic 研究 40 万次 Claude Code 会话:专业度比会编程更决定 AI 编程成败

23.5 万用户、跨 7 个月的会话分析:专家验证成功率是新手近两倍,但十大职业彼此只差 7 个百分点内
作者:Anthropic07-05 · 7 分钟⚑ 研究论文
🎧 听播客版0:00 / --:--
0:00 / --:--
研究解读 · 小互解读
五句话看完
  • Anthropic 分析了 2025 年 10 月至 2026 年 4 月约 40 万次 Claude Code 交互会话,覆盖约 23.5 万用户
  • 典型会话里,用户做出约 70% 的「做什么」决策(规划),Claude 做出约 80% 的「怎么做」决策(执行)
  • 用户在某任务上的专业程度(不是编程背景)越高,会话成功率越高:专家级验证成功率 28% 到 33%,新手级仅 15%
  • 在能产出代码的会话里,10 大职业类别的成功率彼此相差不超过 7 个百分点,都和软件工程师十分接近
  • 7 个月间,花在修 bug 上的会话占比从 33% 降到 19%,运维、写文档、数据分析类会话翻倍,平均任务估值涨约 25% 到 27%
⚑立场提示:本文数据全部来自 Anthropic 对自家产品 Claude Code 的隐私保护分析,不是独立第三方研究。成功率、专业度、职业、任务估值这些标签,都由 Claude 模型阅读脱敏后的会话记录自动打出,非人工核验。下文只转述数据本身,判断留给你。
1研究背景

40 万次对话里,人和 AI 到底谁说了算

Anthropic 近日发布研究报告,对 2025 年 10 月至 2026 年 4 月间约 40 万次 Claude Code 交互会话做了分析,想回答一个问题:没有编程背景的人,能不能指挥 AI 智能体完成复杂技术工作?

这是迄今对真实 Claude Code 使用情况规模最大的一次公开分析,约 40 万次交互会话、约 23.5 万名用户、横跨 7 个月。研究盯着一件事看:用得好不好,到底取决于什么。

◆

为什么值得看:两条结论彼此呼应。能产出代码的会话里,10 个最大职业的成功率都和软件工程师相差不到 7 个百分点;而专家级用户拿到「验证成功」的比例(28% 到 33%),接近新手(15%)的两倍。按这份数据,决定成败的是一个人对手头这件事有多懂,而不是他会不会写代码。

怎么在不侵犯隐私的前提下分析这么多真实对话?研究用的是隐私保护分析:让 Claude 模型自动阅读每一场脱敏后的会话记录,打上标签,再和系统自动记录的遥测数据(比如这场会话到底有没有增删代码行)交叉核对。研究者不读任何一个人的具体聊天记录,只看跨越大量用户后的整体规律。两套数据吻合度很高,被 AI 判定为「创建或改动了代码」的会话里,超过 90% 在遥测里确实有代码变动。

~40 万
分析的 Claude Code 交互会话数(2025 年 10 月到 2026 年 4 月)
~23.5 万
覆盖的用户数,只统计跨越足够多用户后的聚合结果
90%+
AI 分类为「改了代码」的会话,遥测里确实有代码变动的比例
7.7%
被判为「没有明确目标」、后续成功率分析中剔除的会话占比

范围说明:本研究只看命令行、Claude.ai 和 Claude Code 桌面端的交互会话,不含 claude -p 单条命令的 headless 模式,也不含通过第三方开发环境、软件工具包跑的批量使用。

2人机分工

用户定方向,AI 干细活

研究把会话里的每个决策拆成两类。规划决策管「做什么、走哪条路、什么算完成」,执行决策管「改哪个文件、写什么代码、用什么语言、跑哪条命令」。再让分类器判断每个决策是人拍板还是 Claude 拍板,给每场会话算出两个数。

规划决策(做什么):用户拿大头
用户 70%
Claude 30%
执行决策(怎么做):Claude 拿大头
用户 20%
Claude 80%

说白了:人定方向,AI 干细活。这个分工在会话里稳定地反复出现。

再换个角度看,把「决策」换成「动作」。一场 Claude Code 会话是人和 Claude 一来一回:用户写一条指令,Claude 就跑去干一串活,然后用户再写下一条。典型会话来回约 4 轮,历史数据里,每条用户指令平均引发约 10 个 Claude 动作,有时超过 100 个。Claude 每一轮要读文件、改代码、跑命令,平均写下约 2400 字的输出。

放权多少,基本跟着「谁做决策」走:

用户攥紧执行权
~8 个
典型会话
~10 个
Claude 主导规划
~16 个

注:用户自己做 80% 以上执行决策时,Claude 每轮只做约 8 个动作;反过来,Claude 掌握 80% 以上规划权时,动作最多,约 16 个。

Figure 2 决策分工分布
原文 Figure 2:会话中规划决策与执行决策各有多少归 Claude。典型会话里用户做约 70% 的规划决策,Claude 做约 80% 的执行决策。来源:Anthropic
3专业度怎么定义

怎么判断一个人是不是「专家」

这里说的「专家」,衡量的是对手头这个具体任务懂不懂,和职业头衔、会不会编程都没关系。它是任务特定的:一位资深工程师第一次问 Rust 的问题,在 Rust 这件事上就是新手;一位从没用过 Python 的会计,只要能精确说清对账规则、还能抓出 Claude 在月末结账时漏掉的特殊情况,在这件事上就是专家。

分类器给每场会话在「新手到专家」的五档量表上打分,只看三个信号:指令说得多精确、要求 Claude 去验证什么、以及是人在纠正 Claude 还是 Claude 在纠正人。

新手会话 · 示意

「帮我写个脚本,把这些账目对一下。」

  • 指令笼统,不带任何领域细节
  • 不说验收标准,也不点明要检查什么
  • 更多是 Claude 在替他补规则、猜意图
专家会话 · 示意

「用 Python 写对账脚本,按这三条规则匹配,月末跨月挂账的条目要单独处理,跑完把不平的明细单独列出来给我核对。」

  • 说清领域规则和验收标准
  • 主动点出要检查的边界情况
  • 是他在纠正 Claude,而不是反过来

上面两段为示意,用来说明分类器看的三个信号,非原文原句。原报告的分级示例,取自公开的智能体编程会话数据集 SWE-chat,经改写、匿名、压缩后使用。

4专业度 × 产出

专业用户,能让 Claude 干更多活

专业度越高,同一条指令能换来的 Claude 产出越多。典型新手会话里,每条指令引发约 5 个 Claude 动作、约 600 字输出;专家会话里,动作链条翻倍到 12 个,文字产出是 5 倍,约 3200 字。

每条指令引发的 Claude 动作数

新手会话
~5 个
专家会话
~12 个

每条指令的文字产出

新手会话
~600 字
专家会话
~3200 字
控制变量后仍成立

这条趋势在每一种工作类型、每一档任务价值里都出现。控制了工作类型、任务价值、月份、职业和模型版本之后,专业度每升一级,动作数仍 +9%、文字产出仍 +13%,统计上明显(p<0.001)。

Figure 3 越专业 Claude 产出越多
原文 Figure 3:用户越专业,Claude 每条指令产出的动作(左)和文字(右)越多。白点为几何平均,两条上升趋势统计上明显(p<0.001)。来源:Anthropic
5核心发现

专业度比编程背景更能决定成败

先说清成功怎么算。研究看不到用户真实世界的结果,也没法直接问,只能靠两把尺子读会话记录。

judged success · 判断成功

Claude 通读完整对话记录后,主观判断这人有没有达到目的,选项是成功、部分成功、失败、没有明确目标。

verified success · 验证成功

更严格。除了判断为成功,还必须有硬证据:代码真的提交了、测试真的跑通了,或者用户明确说了「搞定了」。证据强度从「无信号」到「多个硬信号」打 1 到 5 分。

用这两把尺子量下来,规律很清楚:一个人在会话里表现出的专业度越高,会话越可能成功。而且大部分收益集中在量表的低端,新手到中级的差距,比中级到专家的差距更大。

15% / 77%
新手会话:验证成功率 / 至少部分成功率
28-33% / 91-92%
中级及以上会话:验证成功率 / 至少部分成功率
核心结论

专家级会话拿到验证成功的比例,是新手的两倍还多。但从中级迈到专家,坡度明显变缓,收益的大头,来自从新手爬到「够用的熟练」这一段。

那职业背景呢?研究从会话记录里推断用户职业,映射到美国劳工统计局 23 个大类。结果是,在能产出代码的会话里,职业背景的影响比想象中小得多。

软件相关职业
34%
其他所有职业
29%

(能产出代码的会话里的验证成功率)差距只有 5 个百分点,且 7 个月里没扩大也没缩小;放宽到「至少部分成功」,两组分别是 89% 和 88%。

更进一步:在能产出代码的会话里,数据集里 10 大职业全部落在软件工程师 7 个百分点以内。管理类职业的验证成功率甚至略高于软件工程师,这可能因为管理技能天然适合指挥智能体,也可能只是管理者更爱在对话里明确说「达到了」,而验证成功部分依赖这种明确确认。

Figure 6 按职业分的成功率
原文 Figure 6:按推断职业分的验证成功率与判断成功率,仅统计产出代码的会话(10 个最大职业组)。每个组都落在软件、数学职业 7 个百分点以内。来源:Anthropic
6抗挫折能力

翻车之后,专业用户更容易爬起来

专业度不只影响顺风局,在会话「翻车」时差距更明显。

怎么算翻车

不看任务本身难不难,而看过程里有没有留下「翻车证据」:报错、测试失败、反复重试、用户表达不满。这些证据强度打 1 到 5 分,分越高说明中途越不顺。分数超过 3 分,就算这场会话真的遇到了困难。

下面这张图,把「验证成功率」按五档专业度铺开,你可以切换看全部会话和只看遇到困难的会话,会发现困难会话里,新手几乎垮掉,专家还能撑住。

新手
15%
中级到专家
28-33%

验证成功率。放宽到「至少部分成功」,新手 77%,中级到专家 91% 到 92%。

新手
4%
专家
15%

同样是遇到困难的会话,验证成功率新手只剩 4%,专家仍有 15%。放宽到「至少部分成功」,新手 60%,中级到专家 80% 到 81%。(两个面板用同一刻度,可直接比高低)

更极端的一头是「直接放弃」,也就是会话被判为失败、而且一行代码都没写出来。这上面新手和其他人拉开得最狠:

新手
19%
其他所有人
5-7%

最缺经验的用户,卡壳时放弃的比例是别人的 3 到 4 倍。专业度的一部分价值,看来就是把智能体往对的方向拽的能力。

一个口径细节:「遇到困难」这个条件,对不同人筛出的是不同的会话。专家整体上更少遇到困难,所以他们真卡住的那些会话,往往是更难的问题。用任务估值当复杂度的代理来看,翻车会话的平均估值,从专业度最低到最高翻了大约一倍。所以恢复率的差距,一部分可能是因为新手卡在常规问题上,而专家卡在硬骨头上,不全是抗挫折能力的差别。

Figure 5 专业度与会话结局
原文 Figure 5:按用户在该任务上的专业度分的会话结局。左:全部会话;中、右:只看遇到困难(失败信号 >3)的会话。每个点都做了工作类型、任务价值、月份、主题、职业的对齐控制。来源:Anthropic
7工作构成的变化

7 个月里,人们用 Claude Code 做的事变了

研究把每场会话归入九种工作模式里最贴切的一种,其中四种直接写或维护代码(建东西、修东西、测试、编排其他智能体),另外几种是运维软件、摸清系统怎么运作、动手前先规划,以及和代码无关的数据分析与写文档。7 个月里,这套构成变了。

最明显的是,花在修坏代码上的会话占比从 33% 掉到 19%,几乎腰斩。腾出来的份额,流向了代码周边的活。

修 bug 33%
运维 14%
写作+分析 10%
其他 43%
2025 年 10 月
修 bug 19%
运维 21%
写作+分析 20%
其他 40%
2026 年 4 月
修 bug 运维 写文档+数据分析 其他(建、测、规划等)

运维软件(部署、配置、跑流水线、盯系统)从 14% 涨到 21%;写文档和数据分析加起来,从约 10% 翻倍到 20%。人们越来越多地把 Claude Code 用在从头到尾的完整场景,而不只是敲代码那一段。

任务本身也更值钱了。研究把每场会话对标自由职业市场的报价来估价,典型会话的估值在 7 个月里涨了约 25% 到 27%,而且几乎各类工作都在涨。

+25~27%
典型任务估值的平均涨幅(对标自由职业市场报价)
+43%
建站、建东西类任务的估值涨幅
+34%
运维类任务的估值涨幅
+32%
修 bug 类任务的估值涨幅

这些价格是粗略估计,只用来比较任务之间和随时间的相对变化,不能当真实美元金额直接读。

Figure 4 工作构成与价值随时间变化
原文 Figure 4:2025 年 10 月到 2026 年 4 月,各工作模式的会话占比变化。修 bug 从 33% 降到 19%,运维、数据分析、写文档同步上升。来源:Anthropic
8目前能说明什么

这些数字目前能说明什么

把这份数据能支撑的结论列一下,只说尺子量到的,不往外推。

第一,在能产出代码的会话里,各行各业的成功率都逼近软件从业者,编程背景对写代码成败的影响正在变小。第二,用得好不好,更多取决于一个人对问题本身的理解,不论他在哪个领域。第三,也是这份报告反复强调的一点:收益的大头来自「够用的熟练度」,从新手爬到中级的成功率跃升,远大于从中级到专家的那一小段。

下面这张阶梯,把「验证成功率随专业度上升」这件事画出来,前段陡、后段缓,正是这份数据里回报的形状。

验证成功率 ↑ 15% ↑ ~33% 新手 初级 中级 熟练 专家 任务专业度 →
阶梯高度对应验证成功率:新手到中级抬得最猛,中级往上每级只多加一点点。虚线连起每级顶点,肉眼可见后段变平。

需要留住的几条边界:研究看不到真实世界的结果,比如一场会话写出来的代码后来到底被用了还是丢了;本文排除的非交互使用(headless 与 API 批量)是相当大的一块,怎么衡量它是下一步的重点;所有分类都依赖 AI 模型对会话记录的阅读,大规模验证本身就难,而 Claude Code 会话又长又复杂,人工标注很难当作标准答案。

随着模型、用户和两者的分工继续变化,这幅图景会被持续更新。研究者说,往后要盯的信号包括:专业度带来的回报会不会开始下降,以及软件类以外职业的成功会话占比会不会继续增长。

9实操启示

把这些发现,翻成你明天怎么用

原报告到这里就结束了,它是纯数据分析,不给操作建议。但它测量「专业度」用的三个信号,反过来读,就是一份「怎么把 Claude Code 用得更顺」的清单。下面几条是从研究特征反推的用法,供你参考。

⚑说明:以下四条由编者从研究里「专家会话的特征」反推而来,非原报告原话。原报告只把这些描述为分类器测量专业度的标准,并没有当作给用户的建议提出。
01 · 把需求说清楚

别只丢一句「帮我搞定这个」。说清领域规则、约束条件、什么算完成,研究里专家会话的第一个特征就是「指令给得精确」。你说得越具体,同一条指令换来的 Claude 产出越多(专家约是新手的两倍动作、五倍文字)。

02 · 明确告诉它要验证什么

专家会主动要求 Claude 自查,比如跑通测试、检查边界情况、核对特殊场景,而不是跑完就信。点名让它验证什么,「验证成功」需要的硬证据(提交、测试通过、你确认)也更容易攒齐。

03 · 是你纠正它,不是它替你猜

区分新手和专家的第三个信号:谁在纠正谁。你对问题越懂,越能一眼看出它哪里跑偏、当场拽回来;而不是让它替你补规则、猜意图,而它猜错了你也未必发现。

04 · 卡住了别急着放弃

数据里最扎眼的一条:新手一遇困难,直接放弃的比例是别人的 3 到 4 倍。卡壳时把问题拆小、换个说法、补更多上下文,往往比推倒重来更管用。

编程智能体并没有取代领域专业度:一个人带着越多的理解来用它,它能做出的高质量工作就越多。 Anthropic 研究报告《Agentic coding and persistent returns to expertise》
来源:Anthropic 研究报告《Agentic coding and persistent returns to expertise》(2026-06-16 发布),基于对约 40 万次、约 23.5 万用户、2025 年 10 月至 2026 年 4 月的 Claude Code 交互会话所做的隐私保护分析。本文由小互解读站编译整理,数据与结论均来自原报告;成功率、专业度、职业、任务估值等标签由 Claude 模型自动生成,非人工核验。原报告分类器默认使用 Claude Sonnet 4.6。文中图 2 至图 6 为原报告图表,中文说明为编者所加。
来源
AnthropicAnthropic·查看主材料
↑ 正文结束
✓ 本篇全文免费开放

会员可复制、下载全文 Markdown,还能让你的 AI 订阅和提问。

阅读原文 ↗
📮 新解读第一时间进邮箱

读完觉得有用?留个邮箱,每篇新解读发布就送达,随时退订。