AI 自我进化，先改模型外面的外壳：Lilian Weng 讲透 harness 工程
- 前 OpenAI 安全系统负责人 Lilian Weng 发文提出「harness 工程」：包在 AI 模型外面、负责工具调用、上下文管理、记忆和评估的那层运行系统，是通向 AI 递归自我改进（RSI）的关键、却常被忽视的一环。
- 她把 harness 里被优化的对象归纳成一条进阶阶梯：提示词，结构化上下文，工作流，harness 代码本身，再到优化器代码；越往上，可搜索的设计空间越大。
- 文章梳理了 ACE、MCE、Meta-Harness、STOP、Self-Harness、AlphaEvolve、DGM 等 20 多项 2023 至 2026 年的研究，展示 AI 已经能自己给自己的「外壳」提改动、跑测试、留下更强的版本。
- 实测证据显示自我进化确实有效：DGM 让编程 agent 在 SWE-bench Verified 上从 20% 进化到 50%；但 STOP 的实验也表明这套机制只有底层模型足够强时才管用，弱模型反而会退化。
- 文章最后列出这条路目前撞到的 7 个卡点：评估标准太弱太模糊、奖励黑客、多样性坍缩等等，并强调人类要留在关键节点做监督，而不是被移出循环。
为什么模型外面那层东西突然重要了
OpenAI 前安全系统负责人 Lilian Weng，在个人博客 Lil'Log 上发表长文，提出「harness 工程」这一命题，把它和 AI 递归自我改进（RSI）的研究方向系统地连接起来。
她的核心论点很简单：模型与真实世界之间的那层系统，和模型本身的原始智能同样重要。人们习惯盯着模型有多聪明，却常常低估了包在它外面、负责调度一切的那层外壳。
为什么值得看：RSI 这个想法可以追到 1965 年 I.J. Good 提出的「超级智能机器」（一台能造出比自己更强机器的机器），2008 年 Yudkowsky 给它起名叫「递归自我改进」。现代版本可以是模型直接改写自己的权重，也可以是模型去改进训练管线和部署系统，这条更间接、但更现实的路。Weng 指出，Anthropic 和 OpenAI 都已观测到前沿实验室的研究速度明显加快。
Weng 的判断是：近期的 RSI，不太可能一上来就是模型直接改自己的权重。更可能先落在「部署系统」这一层，而部署系统里最关键的部件，就是 harness，也就是 Claude Code、Codex 这类成功编程 agent 产品背后的那套系统。这篇文章聚焦的正是围绕 harness 工程的研究，以及它怎么一步步通向自我改进。
Harness 到底是个什么东西
harness 是包在一个基础模型外面的整套系统，它负责编排整个执行过程，决定模型怎么思考和规划、怎么调工具去行动、怎么感知和管理上下文、把产物存到哪、以及怎么检验结果对不对。
早期讲 agent，公式是「agent = 模型 + 记忆 + 工具 + 规划 + 行动」。harness 工程在这之上又多包了几层：工作流设计（比如怎么设计那个循环）、评估、权限控制、持久状态管理。它已经很接近运行时和软件系统的设计，讲的是模型怎么观察、怎么行动、怎么记忆、怎么自查、怎么改进这一整套。
harness 和模型的关系，很像操作系统和 CPU：模型是那颗提供原始算力的 CPU，harness 是围着它跑的操作系统，负责调度、权限管理、文件存储这些「脏活」。跟操作系统一样，好的 harness 会把复杂逻辑都藏在里面，对外的接口却保持简单。Weng 也提到，随着行业发展，配置、工具接口这些协议会慢慢走向标准化。
让模型自己规划、记忆、还能分身干活
Weng 先给出三个具体、可操作的 harness 设计模式。它们回答的是同一个问题：一个能长时间自己干活的系统，最底层需要哪几块拼图。
范式一：给模型一个能反复迭代的工作流
关键是先划定一个模型可以在里面「动手、测试、再改」的流程。常见的做法是一个目标导向的循环：先规划，再执行，然后观察或测试结果，接着改进，再执行，一圈圈转下去，直到达成目标。过程中它也可以主动回头问用户，把任务说清楚。Karpathy 的 autoresearch 仓库就是这种工作流的一个干净范例。这个循环特别强调一点：模型要去分析自己跑过的轨迹和失败案例，然后基于这些去迭代，而不是死守一个固定的提示词模板。
范式二：把文件系统当成模型的长期记忆
长时间干活的 agent，实验日志、代码 diff、论文摘要、报错记录、过往的执行轨迹，很快就会长得比模型训练时见过的上下文窗口还长。所以 harness 不该把整个流程和所有日志都硬塞进上下文里，而是把这些持久状态写进文件，需要时再读回来。读、写、改文件（一般靠 bash 命令）本来就是 AI 模型的基础技能，用文件这种最朴素的形式来管理长期记忆，天然会随着模型本身能力的提升而变好。
范式三：派出子 agent 并行干活，还得管得住
一个 harness 可以派生出多个子 agent 并行执行，再盯着这些后台任务。当主 agent 需要同时试好几个假设、并行跑实验、或者把一些独立的子任务甩出去、又不想污染主线上下文时，这招很有用。这时主 agent 需要一个小型的进程管理器：能启动任务、查看日志、取消失败的运行、再把结果合并回主线。
这里最关键的设计是：让并行这件事变得可检查、可留痕。如果子 agent 的产出只活在易失的对话上下文里，它们很快就会过时、被淹没；只有把它们存成文件、日志和状态记录，模型才能在中断后恢复，并回过头去梳理自己的执行历史。
把这三块拼起来，就是当下主流编程 agent 的样子。Weng 指出，Claude Code、Codex、OpenCode、Cursor 这类产品的核心接口已经趋同，都用类似的一套工具在跑：
| 工具分组 | 代表工具，各自干什么 |
|---|---|
| 文件系统 | 找文件 glob grep ls；读文件 read；改文件 write（写整个新文件）、edit（精确替换字符串）、multi_edit、apply_patch（打结构化补丁） |
| Shell 执行 | 跑命令：bash、PowerShell |
| IO 与 git | lsp，以及 git_status、git_diff、git_commit 等 git 工具 |
| 外部上下文 | MCP 工具、Skills（技能） |
| 网页搜索 | web_search、web_fetch、浏览器工具 |
| 产物生成 | 读文档和图片，生成 HTML、图片 |
| 后台进程 | 如 CronCreate、CronDelete、CronList |
| 子 agent 派发 | 如 spawn_agent、resume_agent、wait_agent、list_agents、close_agent、interrupt_agent |
被改的东西一直在升级：从改提示词到直接改代码
这是全文最核心的一条脉络。harness 系统里「被拿去优化的对象」，正沿着一条阶梯往上爬：提示词，结构化上下文，工作流，harness 代码，再到优化器代码。模型越强，它能驾驭的优化目标就越复杂、越通用。
（把鼠标放到层名上看这一层改的是什么）
阶梯的底层是手写提示词，改的只是措辞；越往上，改的东西越接近程序和系统本身。到了顶层，被优化的甚至是「负责优化的那段代码」。之所以能一路往上走，是因为代码是一门通用语言：一个 harness 本质上就是一段代码，把提示词、工具调用、子 agent、控制流、记忆、工作流逻辑串在一起。只要 AI 能优化这段执行 agent 的代码，它能触及的设计空间就远远大于手写提示词。
下面用三级递进的三个案例，把这条阶梯讲透。
ACE：把上下文当成一本活页笔记本
把所有工具返回和模型生成一股脑往上下文里堆，任务一长就会失控。Agentic Context Engineering（ACE）换了个思路：把上下文当成一本不断增补条目的活页笔记本来维护，而不是一段越写越长的固定文字。笔记本里每条经验都带一个编号和一句描述。它靠三个角色协作：
生成任务轨迹→ Reflector
从成败里提炼经验→ Curator
整理成条目并入本
ACE 的一个关键设计，是 Curator 不去重写整块提示词，而是产出一批「编号 + 描述」的条目，用确定的逻辑合并进结构化笔记本，还会定期精炼、去重。这样就避免了老毛病：反复重写导致「越改越丢细节」（也就是上下文坍缩和越写越简）。
MCE：连「怎么管笔记本」这套方法也拿去优化
ACE 能从执行轨迹里学经验了，但它的更新规则和整套流程还是人手写死的。Meta Context Engineering（MCE）再往前一步，把「机制」和「内容」分开：一层管具体上下文里装什么（内层），另一层管「用什么方法去管上下文」（外层）。
具体说，内层给定一套策略，去优化某个任务的具体上下文；外层则在一个记录了历史策略和评测成绩的技能库里，用交叉（crossover）的方式演化出新策略。跟 ACE 不同，MCE 不强行规定上下文该长什么样，而是用自由形式的「技能」来存一个任务最重要的知识，让技能和它对应的上下文一起迭代进化。落地形式是一个专属目录下的一堆文件：既有静态的 skill.md，也有动态的上下文和数据文件。
Meta-Harness：直接用一个编程 agent 去造 harness
Meta-Harness 又深了一层：被优化的对象，直接是那段决定「什么信息该存、该取、该呈现给模型」的代码本身。名字里的「Meta-」意思就是，这是一个用来优化 harness 的 harness。
负责提出新 harness 的那个提议者，本身就是一个编程 agent，它最终产出的是一批落在帕累托前沿当几个指标没法同时最好（比如又要准又要快）时，挑出「没有别的方案能在所有指标上同时碾压它」的那一批，而不是强选唯一最优。上的 harness 候选。几个细节值得记：整个执行历史都放在文件系统里，编程 agent 靠 grep、cat 去读它，而不是把所有东西塞进一个提示词；每个被提出的 harness 是文件系统里的一个字典，装着自己的源代码、分数、执行轨迹和状态更新；这个循环反复造出新 harness，只有达标的才被留下。
这三级下来，Weng 想说的一点很清楚：一旦 harness 的设计变成一个可执行的搜索空间，一个足够强的编程 agent，就能去开采人类工程师用的那同一片设计空间。
点开看细节：把工作流本身也当搜索问题
阶梯里的「工作流」那一层，同样可以交给算法去搜，而不只靠人手工设计。ADAS（Automated Design of Agentic Systems）把 agent 设计本身当成一个优化问题：先用 CoT、self-refine 这类简单 agent 建一个档案库，再让一个元 agent 参考库里已有方案，用代码写出新的 agent 设计，评测通过就加回档案库，反复迭代。
AFlow 把一个 agentic 工作流表示成一张图，节点是调用模型的动作，边是用代码实现的逻辑操作，然后用蒙特卡洛树搜索（MCTS）去优化这张图：从模板起步，按分数和探索的混合策略选节点、让模型基于当前表现改出新工作流、评测、有提升就加回树里，直到分数见顶或用完预算。在问答、代码、数学任务上，AFlow 相比人手设计的工作流和 ADAS 都有不错提升。
专门为自动科研设计的工作流也有不少，比如 AI Scientist（提想法、写代码、跑实验、写论文、做同行评审的整条流水线）、ScientistOne（把可验证性当成核心约束，每条主张都要能追溯到证据源）、以及做「数据科学家」的 Autodata（用出题者、强解题者、弱解题者、裁判几个角色，去合成难度「刚刚好」的训练数据）。
让 harness 自己给自己动手术
上一节还只是「优化目标」在爬阶梯。这一节，AI 已经能真正自主修改自己的运行系统代码，不只是调调参数。
STOP：不解题，改「负责解题的那个改进器」
Self-Taught Optimizer（STOP）是递归改进外壳的早期案例之一。它有一个「种子改进器」，输入是一个初始解、一个衡量好坏的效用函数、一个当黑盒用的语言模型，输出是一个更好的解。STOP 真正要优化的是这个改进器本身：用上一版改进器生成下一版改进器，一层套一层地自我优化。
在 Zelikman 等人的实验里，进化出来的改进器真的自己长出了各种策略：遗传算法、把问题拆开分别改进、多臂老虎机式的提示词搜索、模拟退火、调温度、束搜索或树搜索。这正好说明，一套 harness 工作流是可以被当作优化对象来处理的。
一个关键结果：用 GPT-4 驱动时，STOP 一轮轮迭代确实让平均表现越来越好；但换成较弱的 GPT-3.5、Mixtral，它反而会退化。光有递归结构还不够，底层模型必须强到能真的改进这套机制。harness 改进能让模型部署得更好，但智能本身仍是核心，这套自我提升不是免费的。
Self-Harness：挖弱点，提改动，验证合并
更近的 Self-Harness 让 agent 通过「提议，评测，接受」的循环来改进自己的 harness。整个循环分三步：
把失败聚成有因果的模式→ ② 提改动
在限定范围内提候选→ ③ 验证合并
两组测试都不倒退才并入 ↻ 合格改动并入，得到下一版 harness
挖弱点：用当前 harness 去跑任务，收集执行轨迹来分析。两次失败在报错里可能长得一样（都是超时、都是产物缺失），底下的因果机制却不同。所以要的是一份信息丰富的失败记录，既有验证器层面的终端原因，也有相关行为的因果状态和轨迹暴露出的抽象机制，用来挖出根因，而不是只看表面报错。
提改动：同一个模型被当成提议者，喂给它一份限定的上下文：当前 harness 里可以改的部分、验证过的失败模式、那些应该保留的通过行为，以及之前试过的改动摘要。它优先挑那些反复出现、又能靠窄改解决的错误（不是任务本身太难那种），并且候选之间要各不相同、有多样性。
验证合并：候选改动要在两组数据上做回归测试，held-in（检验弱点是否真被解决）和 held-out（检验有没有引入别的未知问题），两组都不倒退才被接受、并入成为新一版 harness；被拒的候选记录下来，但不改动正在用的 harness。在 MiniMax M2.5、Qwen3.5-35B-A3B、GLM-5 三个不同底座模型上，Self-Harness 都学出了各自的专属 harness 指令，针对不同模型的不同弱点，提升了 held-out 的通过率。
Self-Harness 这类工作让 Weng 有个担心：如果一个程序被允许去编辑「操作系统」级别的东西，抽象的边界就被打破了。因此可编辑的范围必须好好设计，权限控制和安全层必须留在这个循环之外。所有关于奖励黑客的老问题，在这里依然存在。
另一条路：批量生变体，留强的淘汰弱的
前面是一步步改。还有一条路是像自然选择一样：批量产生变体，只留下「适应度」高的，淘汰掉弱的。当搜索空间又大又怪、难以直接用梯度优化、但很容易给一个方案打分时，这套进化搜索就派上用场，而 harness 搜索正好符合这个特征。
进化搜索早就用在提示词优化上，比如 Promptbreeder（连「让模型去改提示词的那个变异提示词」本身也一起进化）、GEPA（把基于反思的提示 + 进化搜索结合，用自然语言反思试错轨迹来提改动）。到了改代码这一层，代表作是下面几个。
AlphaEvolve：维护一个程序池，让模型不断提 diff
AlphaEvolve 是一个编程 agent 式的进化搜索系统：它维护一个候选程序池，让冻结的模型生成 diff 式的修改，反复评测子代程序、留下成功的，随时间找出更好的解。几个设计细节：提示里会带上亲代程序、结果、指令，有时还有元信息；编程 agent 能看到整个仓库，但可以进化的代码区域被显式地用 # EVOLVE-BLOCK-START 和 # EVOLVE-BLOCK-END 标出来；元提示词本身也跟着解题程序一起进化。后续的 ShinkaEvolve 又加了三招提升采样效率：更省样本的亲代采样（平衡表现排名和后代数量）、用嵌入余弦相似度剔掉和现有种群太像的候选、以及在一个元便签本里记下成功方案的好模式来指导后续变异。ThetaEvolve 则把进化搜索和强化学习、上下文学习结合了起来。
DGM：直接进化「能改自己代码的编程 agent」
Darwin Gödel Machine（DGM）跟上面那些优化「解」的方法不同，它瞄准的是进化一个可编辑的 harness 代码仓库：这个 agent 被允许直接修改自己的 harness。流程像达尔文进化论：
从池子里一个编程 agent 起步；每轮按「表现越好、已有子代越少」的概率挑一个亲代，去修改并分裂出新 agent；被选中的亲代会翻看自己的评测日志，然后对自己的 harness 代码提改进，生成新一版；代码编辑只用两个基础工具，bash 和 editor（查看 / 新建 / 编辑文件）；新 agent 评测后，只有表现足够好的才被加回池子。DGM 是在固定模型下进化 harness，实验用的底座是 Claude 3.5 Sonnet。后续的 Hyperagents 又引入一个元 agent，专门控制「怎么改造已有的 task agent 来生出新 agent」。
Weng 指出，这一家方法在「候选方案能被自动评测、适应度好量化」的领域最管用，比如矩阵乘法、GPU kernel 优化、算法竞赛、数据中心调度。一旦到了评估慢、模糊、主要靠人工判断的领域，它就很吃力，而且进化本身的算力效率和有效性也是要担心的问题。
点开看细节：能不能让模型同时改自己的权重
harness 进化改的是模型周围的非参数系统。要做到完整的自我改进，模型也可以被允许同时更新自己的权重，靠改进训练管线或测试时的持续学习来实现。SIA 是把 harness 改进和模型参数更新放进同一个优化循环的早期尝试，设计里有三个角色：Meta-Agent 提出初始 harness、Task-Specific Agent 执行任务、Feedback-Agent 根据近期轨迹决定这一轮该改 harness 还是改权重。不过 Weng 指出 SIA 的实验里有一些混淆因素让结果不好解读（比如执行任务的 agent 比另外两个角色用的模型弱得多，基线也偏弱），方向有意思，但证据还只能算初步。持续学习本身，值得单开一篇来讲。
这条路现在撞到的 7 堵墙
进展是真的，但边界也很清楚。Weng 列了 7 个目前还没解开的卡点，扫一眼就知道现状停在哪。
研究主张、创新性、长期科学价值都没有又快又准的验证器。自我改进目前只在指标能量化、够客观的任务上工作得好。
长程 agent 越自主，记忆问题越大。这不该只停在软件系统层，未来应该成为智能本身的核心部分。
文献本就偏向成功叙事，模型训练数据里成功远多于失败，模型因此不擅长判断何时该放弃一个假设、如实报告失败。
进化和强化学习循环容易挤向已知的高分套路。真正更优的路，一开始在当前评估器下往往看起来更差。
你给什么信号，系统就钻什么信号的空子：奖励来自单元测试就讨好测试、来自评委模型就针对评委取巧、来自榜单就钻榜单漏洞。评估和权限控制应放在被优化的循环之外。
现在的 sandbox 式训练很难衡量可维护性、权责边界、迁移成本、向后兼容、未来的调试负担这些长期账。
人类应该被推到系统更高层去做监督，而不是被移出循环，也就是在对的时机、对的抽象层级提供把关。
关于奖励黑客这一条，Weng 补了一句更具体的：评估器和权限控制最好坐在进化 harness 的那个循环之外，配上留出的 held-out 测试、轨迹审计，以及在关键决策点保留人工评审。这些监督到底能被自动化、被规模化到什么程度，本身还是个开放的研究问题。
AI 自己搞科研，现在到哪一步了
最后把话钉在实测数据上。AI Scientist 这条线证明了，一个专家设计的 harness 确实能协调自动科研循环的很大一部分。但写出一篇像样的论文，不等于做出了科学发现：系统可能写出看似合理的稿子，底下却是伪造的引用、走样的实现、或站不住脚的实验结果。
下面这张速查表，能一眼看出「自动科研」目前卡在哪个水位：
| 基准 | 测什么 | 当时的成绩 |
|---|---|---|
| PaperBench | 从零复现 20 篇 ICML 的 Spotlight / Oral 论文，共 8316 条评分细则 | 当时最强的 Claude 3.5 Sonnet 约 21%，仍不及机器学习博士生 |
| CORE-Bench | 复现 90 篇论文的 270 个任务，考察研究的可复现性 | 当时最强 agent（GPT-4o 和 GPT-4o-mini）在最难档只有 21% 准确率 |
| ScienceAgentBench | 从 44 篇论文抽出的 102 个数据科学任务（数据处理、建模、分析、可视化） | 覆盖数学、化学、生物、地理四个学科 |
| RE-Bench | 7 个真实 ML 研究工程环境，直接和人类专家比 | 2 小时预算下最强 AI agent 得分是人类 4 倍，但 8 小时、32 小时长预算下人类反超 |
| MLE-bench | 75 个 Kaggle 竞赛复刻，训练模型、跑实验、提交预测 | 最好方案 o1-preview + AIDE 编排，在 16.9% 的竞赛里拿到铜牌水平 |
| KernelBench | 250 个 PyTorch 任务，考能不能写出又快又对的 GPU kernel | 指标 fast_p：生成的 kernel 里又对又比基线快的占比 |
补充：RE-Bench 里，人类专家在 82% 的 8 小时尝试中拿到非零分，24% 达到或超过参考方案；数据来自 61 位专家的 71 次八小时尝试。
把一个想法真做成一篇论文，会在哪儿翻车
Trehan & Chopra 2026 做了个更接近真实的实验：只给模型 read_file、write_file、llm_search、list_files 这些基础工具，看它能不能从一个研究想法一路走到成稿。他们在世界模型、多智能体强化学习、AI 安全与对齐三个领域各准备了 45 到 50 篇高质量种子文档来激发新想法。
过程里反复暴露出 6 种失败模式：
- 偏向训练数据里的默认值：用老旧的库、过时的命令、标准格式，或者一些没根据实际仓库和数据集就下的假设。
- 执行压力下的实现漂移：一旦实现变得技术上复杂，模型容易滑向一个更常见、更简单的方案，而不是原本提出的方法。
- 记忆和上下文退化：长程项目里，关键细节除非被写成持久的产物，否则就会丢。
- 过度乐观：实验结果还是噪声、甚至已经失败了，模型却宣布成功，也就是别处观察到的「p 值凑数、假装顿悟」，用「数值胶带」硬糊上去。
- 领域直觉不足：模型缺少那种只可意会的手艺，比如预判实现的复杂度、判断一个实验结果是否可信、知道哪些基线才重要。
- 科研品味弱：实验能跑通，却回答不了真正该问的那个问题。
Weng 的收尾态度很明确：往完整的 RSI 走，研究者取得了实打实的进展，但上面这些卡点还在，而这些卡点大多需要人类的反馈和引导。毕竟，我们造这项技术，是为了人类更好的未来，而不是反过来。
模型与真实世界之间的那层系统，似乎和模型的原始智能同样重要。 Lilian Weng，《Harness Engineering for Self-Improvement》，Lil'Log，2026 年 7 月
AI 自我进化的关键：从「把模型练得更聪明」→「改它外面那层外壳」
前 OpenAI 安全负责人 Lilian Weng 梳理近 30 篇研究：让 AI 学会改自己的运行代码，一页带图讲完。
↓ 一页读完 · 有一张会动的图
AI 圈有个大目标叫「自我进化」（RSI，递归自我改进）：让 AI 用现在的本事，去改进「让自己变聪明」的那套机制，改完再造出更强的下一代，像滚雪球一样越滚越大。最直接的想法，是让模型直接改写自己的参数。
✘ 让模型直接改写自己的「权重」来自我进化 ， 近期做不到
直接改权重（模型脑子里的参数）太难、也危险。于是大家总盯着「模型多聪明」，却低估了它外面那层负责调度一切的外壳。
Weng 的判断是：近期的自我进化，别指望模型直接改权重，先落在「部署系统」这一层，而其中最关键的部件，叫 harness（包在模型外面那层运行系统，负责调工具、管上下文和记忆、检验结果对不对）。
想让 AI 更强，只能回炉重训一个更大的模型。
让 agent 改自己「外壳」的代码，跑测试，留下更强版本。
但「改外壳」到底改的是什么、AI 又怎么自己动手？这正是全文的核心。
被改的对象，沿着一条阶梯往上爬：提示词 → 结构化上下文 → 工作流 → harness 代码 → 优化器代码，越往上，AI 能自己搜索的空间越大，也越吃模型底子。最关键的一层，是让 AI 直接改自己的运行代码，具体这样转：
官方说「跑分从 20% 涨到 50%」，普通人没感觉；换成同一批具体的题就清楚了（长条越长 = 修好的题越多）。
脑子直接改！
改它脑内的参数
换外面那层！
验结果，脏活全包
↓
② 提改动
↓
③ 验证合并
只改「外壳」
- × 弱模型？越改越差
- × 数字多来自团队自家论文
- × 只在能自动打分的活上灵