Anthropic 研究 40 万次 Claude Code 会话:专业度比会编程更决定 AI 编程成败
- Anthropic 分析了 2025 年 10 月至 2026 年 4 月约 40 万次 Claude Code 交互会话,覆盖约 23.5 万用户
- 典型会话里,用户做出约 70% 的「做什么」决策(规划),Claude 做出约 80% 的「怎么做」决策(执行)
- 用户在某任务上的专业程度(不是编程背景)越高,会话成功率越高:专家级验证成功率 28% 到 33%,新手级仅 15%
- 在能产出代码的会话里,10 大职业类别的成功率彼此相差不超过 7 个百分点,都和软件工程师十分接近
- 7 个月间,花在修 bug 上的会话占比从 33% 降到 19%,运维、写文档、数据分析类会话翻倍,平均任务估值涨约 25% 到 27%
40 万次对话里,人和 AI 到底谁说了算
Anthropic 近日发布研究报告,对 2025 年 10 月至 2026 年 4 月间约 40 万次 Claude Code 交互会话做了分析,想回答一个问题:没有编程背景的人,能不能指挥 AI 智能体完成复杂技术工作?
这是迄今对真实 Claude Code 使用情况规模最大的一次公开分析,约 40 万次交互会话、约 23.5 万名用户、横跨 7 个月。研究盯着一件事看:用得好不好,到底取决于什么。
为什么值得看:两条结论彼此呼应。能产出代码的会话里,10 个最大职业的成功率都和软件工程师相差不到 7 个百分点;而专家级用户拿到「验证成功」的比例(28% 到 33%),接近新手(15%)的两倍。按这份数据,决定成败的是一个人对手头这件事有多懂,而不是他会不会写代码。
怎么在不侵犯隐私的前提下分析这么多真实对话?研究用的是隐私保护分析:让 Claude 模型自动阅读每一场脱敏后的会话记录,打上标签,再和系统自动记录的遥测数据(比如这场会话到底有没有增删代码行)交叉核对。研究者不读任何一个人的具体聊天记录,只看跨越大量用户后的整体规律。两套数据吻合度很高,被 AI 判定为「创建或改动了代码」的会话里,超过 90% 在遥测里确实有代码变动。
范围说明:本研究只看命令行、Claude.ai 和 Claude Code 桌面端的交互会话,不含 claude -p 单条命令的 headless 模式,也不含通过第三方开发环境、软件工具包跑的批量使用。
用户定方向,AI 干细活
研究把会话里的每个决策拆成两类。规划决策管「做什么、走哪条路、什么算完成」,执行决策管「改哪个文件、写什么代码、用什么语言、跑哪条命令」。再让分类器判断每个决策是人拍板还是 Claude 拍板,给每场会话算出两个数。
说白了:人定方向,AI 干细活。这个分工在会话里稳定地反复出现。
再换个角度看,把「决策」换成「动作」。一场 Claude Code 会话是人和 Claude 一来一回:用户写一条指令,Claude 就跑去干一串活,然后用户再写下一条。典型会话来回约 4 轮,历史数据里,每条用户指令平均引发约 10 个 Claude 动作,有时超过 100 个。Claude 每一轮要读文件、改代码、跑命令,平均写下约 2400 字的输出。
放权多少,基本跟着「谁做决策」走:
注:用户自己做 80% 以上执行决策时,Claude 每轮只做约 8 个动作;反过来,Claude 掌握 80% 以上规划权时,动作最多,约 16 个。

怎么判断一个人是不是「专家」
这里说的「专家」,衡量的是对手头这个具体任务懂不懂,和职业头衔、会不会编程都没关系。它是任务特定的:一位资深工程师第一次问 Rust 的问题,在 Rust 这件事上就是新手;一位从没用过 Python 的会计,只要能精确说清对账规则、还能抓出 Claude 在月末结账时漏掉的特殊情况,在这件事上就是专家。
分类器给每场会话在「新手到专家」的五档量表上打分,只看三个信号:指令说得多精确、要求 Claude 去验证什么、以及是人在纠正 Claude 还是 Claude 在纠正人。
「帮我写个脚本,把这些账目对一下。」
- 指令笼统,不带任何领域细节
- 不说验收标准,也不点明要检查什么
- 更多是 Claude 在替他补规则、猜意图
「用 Python 写对账脚本,按这三条规则匹配,月末跨月挂账的条目要单独处理,跑完把不平的明细单独列出来给我核对。」
- 说清领域规则和验收标准
- 主动点出要检查的边界情况
- 是他在纠正 Claude,而不是反过来
上面两段为示意,用来说明分类器看的三个信号,非原文原句。原报告的分级示例,取自公开的智能体编程会话数据集 SWE-chat,经改写、匿名、压缩后使用。
专业用户,能让 Claude 干更多活
专业度越高,同一条指令能换来的 Claude 产出越多。典型新手会话里,每条指令引发约 5 个 Claude 动作、约 600 字输出;专家会话里,动作链条翻倍到 12 个,文字产出是 5 倍,约 3200 字。
每条指令引发的 Claude 动作数
每条指令的文字产出
这条趋势在每一种工作类型、每一档任务价值里都出现。控制了工作类型、任务价值、月份、职业和模型版本之后,专业度每升一级,动作数仍 +9%、文字产出仍 +13%,统计上明显(p<0.001)。

专业度比编程背景更能决定成败
先说清成功怎么算。研究看不到用户真实世界的结果,也没法直接问,只能靠两把尺子读会话记录。
Claude 通读完整对话记录后,主观判断这人有没有达到目的,选项是成功、部分成功、失败、没有明确目标。
更严格。除了判断为成功,还必须有硬证据:代码真的提交了、测试真的跑通了,或者用户明确说了「搞定了」。证据强度从「无信号」到「多个硬信号」打 1 到 5 分。
用这两把尺子量下来,规律很清楚:一个人在会话里表现出的专业度越高,会话越可能成功。而且大部分收益集中在量表的低端,新手到中级的差距,比中级到专家的差距更大。
专家级会话拿到验证成功的比例,是新手的两倍还多。但从中级迈到专家,坡度明显变缓,收益的大头,来自从新手爬到「够用的熟练」这一段。
那职业背景呢?研究从会话记录里推断用户职业,映射到美国劳工统计局 23 个大类。结果是,在能产出代码的会话里,职业背景的影响比想象中小得多。
(能产出代码的会话里的验证成功率)差距只有 5 个百分点,且 7 个月里没扩大也没缩小;放宽到「至少部分成功」,两组分别是 89% 和 88%。
更进一步:在能产出代码的会话里,数据集里 10 大职业全部落在软件工程师 7 个百分点以内。管理类职业的验证成功率甚至略高于软件工程师,这可能因为管理技能天然适合指挥智能体,也可能只是管理者更爱在对话里明确说「达到了」,而验证成功部分依赖这种明确确认。

翻车之后,专业用户更容易爬起来
专业度不只影响顺风局,在会话「翻车」时差距更明显。
不看任务本身难不难,而看过程里有没有留下「翻车证据」:报错、测试失败、反复重试、用户表达不满。这些证据强度打 1 到 5 分,分越高说明中途越不顺。分数超过 3 分,就算这场会话真的遇到了困难。
下面这张图,把「验证成功率」按五档专业度铺开,你可以切换看全部会话和只看遇到困难的会话,会发现困难会话里,新手几乎垮掉,专家还能撑住。
验证成功率。放宽到「至少部分成功」,新手 77%,中级到专家 91% 到 92%。
同样是遇到困难的会话,验证成功率新手只剩 4%,专家仍有 15%。放宽到「至少部分成功」,新手 60%,中级到专家 80% 到 81%。(两个面板用同一刻度,可直接比高低)
更极端的一头是「直接放弃」,也就是会话被判为失败、而且一行代码都没写出来。这上面新手和其他人拉开得最狠:
最缺经验的用户,卡壳时放弃的比例是别人的 3 到 4 倍。专业度的一部分价值,看来就是把智能体往对的方向拽的能力。
一个口径细节:「遇到困难」这个条件,对不同人筛出的是不同的会话。专家整体上更少遇到困难,所以他们真卡住的那些会话,往往是更难的问题。用任务估值当复杂度的代理来看,翻车会话的平均估值,从专业度最低到最高翻了大约一倍。所以恢复率的差距,一部分可能是因为新手卡在常规问题上,而专家卡在硬骨头上,不全是抗挫折能力的差别。

7 个月里,人们用 Claude Code 做的事变了
研究把每场会话归入九种工作模式里最贴切的一种,其中四种直接写或维护代码(建东西、修东西、测试、编排其他智能体),另外几种是运维软件、摸清系统怎么运作、动手前先规划,以及和代码无关的数据分析与写文档。7 个月里,这套构成变了。
最明显的是,花在修坏代码上的会话占比从 33% 掉到 19%,几乎腰斩。腾出来的份额,流向了代码周边的活。
运维软件(部署、配置、跑流水线、盯系统)从 14% 涨到 21%;写文档和数据分析加起来,从约 10% 翻倍到 20%。人们越来越多地把 Claude Code 用在从头到尾的完整场景,而不只是敲代码那一段。
任务本身也更值钱了。研究把每场会话对标自由职业市场的报价来估价,典型会话的估值在 7 个月里涨了约 25% 到 27%,而且几乎各类工作都在涨。
这些价格是粗略估计,只用来比较任务之间和随时间的相对变化,不能当真实美元金额直接读。

这些数字目前能说明什么
把这份数据能支撑的结论列一下,只说尺子量到的,不往外推。
第一,在能产出代码的会话里,各行各业的成功率都逼近软件从业者,编程背景对写代码成败的影响正在变小。第二,用得好不好,更多取决于一个人对问题本身的理解,不论他在哪个领域。第三,也是这份报告反复强调的一点:收益的大头来自「够用的熟练度」,从新手爬到中级的成功率跃升,远大于从中级到专家的那一小段。
下面这张阶梯,把「验证成功率随专业度上升」这件事画出来,前段陡、后段缓,正是这份数据里回报的形状。
需要留住的几条边界:研究看不到真实世界的结果,比如一场会话写出来的代码后来到底被用了还是丢了;本文排除的非交互使用(headless 与 API 批量)是相当大的一块,怎么衡量它是下一步的重点;所有分类都依赖 AI 模型对会话记录的阅读,大规模验证本身就难,而 Claude Code 会话又长又复杂,人工标注很难当作标准答案。
随着模型、用户和两者的分工继续变化,这幅图景会被持续更新。研究者说,往后要盯的信号包括:专业度带来的回报会不会开始下降,以及软件类以外职业的成功会话占比会不会继续增长。
把这些发现,翻成你明天怎么用
原报告到这里就结束了,它是纯数据分析,不给操作建议。但它测量「专业度」用的三个信号,反过来读,就是一份「怎么把 Claude Code 用得更顺」的清单。下面几条是从研究特征反推的用法,供你参考。
别只丢一句「帮我搞定这个」。说清领域规则、约束条件、什么算完成,研究里专家会话的第一个特征就是「指令给得精确」。你说得越具体,同一条指令换来的 Claude 产出越多(专家约是新手的两倍动作、五倍文字)。
专家会主动要求 Claude 自查,比如跑通测试、检查边界情况、核对特殊场景,而不是跑完就信。点名让它验证什么,「验证成功」需要的硬证据(提交、测试通过、你确认)也更容易攒齐。
区分新手和专家的第三个信号:谁在纠正谁。你对问题越懂,越能一眼看出它哪里跑偏、当场拽回来;而不是让它替你补规则、猜意图,而它猜错了你也未必发现。
数据里最扎眼的一条:新手一遇困难,直接放弃的比例是别人的 3 到 4 倍。卡壳时把问题拆小、换个说法、补更多上下文,往往比推倒重来更管用。
编程智能体并没有取代领域专业度:一个人带着越多的理解来用它,它能做出的高质量工作就越多。 Anthropic 研究报告《Agentic coding and persistent returns to expertise》
决定 AI 编程成败的,从「你会不会写代码」→ 变成「你对这件事有多懂」
Anthropic 分析 40 万次真实 Claude Code 对话,一页带图讲清:什么样的人能真正驾驭 AI 编程。
↓ 一页读完 · 有一张会动的图
Claude Code 是 Anthropic 的 AI 编程智能体(一种能自己连续读文件、写代码、跑命令的 AI 助手):你用大白话下指令,它替你把技术活干出来。Anthropic 想搞清一件事,没有编程背景的人,到底能不能指挥它完成复杂技术工作?用得好不好,又取决于什么?
他们没做问卷,而是扒了自家产品上真实发生的海量对话来找答案。做法叫「隐私保护分析」:研究者不读任何人的具体聊天记录,只让 AI 自动读脱敏后的对话、打标签、算整体规律。
研究把会话里每个决策分成两类:「做什么」(定方向、选路线、什么算完成)和「怎么做」(改哪个文件、写什么代码、跑哪条命令)。谁拍板,一算就清楚。
用户 70% / Claude 30%
方向盘握在人手里。
用户 20% / Claude 80%
具体怎么落地,交给 AI。
一场会话里两边一来一回约 4 轮,用户每下一条指令,Claude 平均自己跑约 10 个动作(读文件、改代码、跑命令),有时超过 100 个。分工很稳,但真正的问题是:什么样的人,能让这套分工产出好结果?
研究里的「专家」不看职业、不看会不会编程,只看对手头这件事懂不懂,资深工程师第一次碰 Rust 也是新手;从没写过代码的会计,只要能说清对账规则、还能抓出 Claude 漏掉的月末特殊情况,这件事上就是专家。
按这个标准量下来:一个人越懂,会话越可能成功,而且专家能让 Claude 每条指令干更多活(新手约 5 个动作、600 字,专家约 12 个动作、3200 字)。但成功率的涨法有个形状,前面陡,后面平。
把「验证成功率」按专业度五档垫成台阶:小互从新手爬到专家,脚下垫得越来越高(做成的比例越高),但越往上每级只多垫一点点,回报的大头在「从新手到够用」这一段,不在「从够用到顶尖」。(中间三档为示意插值,实测只给出新手 15% 与中级以上 28–33%)
「成功率 15% 对 33%」太抽象。换成同样跑 100 次会话、各自能真正做成几次,就清楚了。这里的「做成」是最严的一把尺子,验证成功:不光判定成了,还得有硬证据,代码真提交、测试真跑通、或用户明说搞定。
更意外的是职业几乎不重要:能产出代码的会话里,数据集 10 大职业的成功率彼此都在软件工程师 7 个百分点以内,管理岗甚至略高。7 个月里,人们花在修 bug 上的会话从 33% 掉到 19%,省下的力气流向运维、写文档、数据分析这些端到端的活,任务估值也涨了约 25–27%(对标自由职业报价,只看相对变化,别当真金额)。
被灌输:
会敲代码
才叫
本事。
却说得清对账规则、
逮住月末的漏洞,
这事上她就是专家。
- × 全是 Anthropic 测自家产品
- × 标签靠 AI 自动打,非人工
- × 没有第三方复现
不是定论。
