深度 · 小互解读

OpenAI 前 CTO Mira Murati:AI 该放大人,不是取代人

从隐性知识、交互带宽到模型对齐,论证 AI 发展为何离不开人类参与。

速览
  • Thinking Machines Lab 发布使命博客,提出以「延伸人类意志和判断力」为核心的 AI 发展路线,作为对业界「自主智能」路线的对照。
  • 公司列出三条技术投入:训练前沿模型、开发让用户自行微调模型权重的工具 Tinker、研究支持实时多模态互动的「交互模型」。
  • 文章以国际象棋和数学证明为例,指出 AI 能自主超越人类的领域都满足两个条件:目标静态可表达,且不存在隐藏的隐性知识;大多数实际工作不满足这两个条件。
  • 文章批评当前以 METR 等「自主任务时长」为代表的评测体系只衡量 AI 单独能干什么,没有衡量人机协作的效果。
  • 文章提出「去中心化对齐」主张,指出各实验室普遍用上一代旗舰模型生成下一代训练数据和奖励信号,会导致模型代际性格趋同。
⚑ 本文基于 Thinking Machines Lab 官方使命博客整理,文中主张、论证与技术路线描述均为该公司自身表态,非独立第三方评测或验证。
1公司与使命

这家公司想做一种什么样的 AI

Thinking Machines Lab(OpenAI 前 CTO Mira Murati 创立的 AI 实验室)发表使命博客,提出「AI 应该延伸人类意志和判断力」的公司使命,并给出实现这一使命的三条技术路径。

这篇博客定了一个方向:用 AI 放大人的意志和判断,再把这个方向拆成三条具体的技术投入落地。

这篇文章的看点在于,它以公司使命的形式,正面提出一条与业内主流「自主智能」路线不同的技术路线,并公开列出三项具体投入:训练强模型、开发微调工具 Tinker、研究交互模型。
训练强模型

让模型在多模态互动、可定制性这些能力上持续逼近前沿,人类的判断需要靠强模型才能落地。

开发 Tinker

一套工具,让用户能自己微调模型权重,按自己的需求把 AI 改造成专属的样子。

研究交互模型

让模型原生支持实时、多模态的人机互动,把这项能力直接训练进模型本身。

公司同时提到,会把相关研究和实践手册向科学界公开,让更多人有能力用上这套微调能力。

2核心论据

下棋和证明数学题,AI 能一个人跑赢;大多数工作不行

AI 服务的是人做事情所依赖的知识:怎么把事情做好、什么事值得做。这类知识由做事的人在工作中持续产生。厨师琢磨一道新菜、店主调整货架上商品的摆放和定价,两人追求的是一套外人看不透的复杂目标,用的是自己的门道。这些门道会随着现实反馈不断更新,没法整理成写进数据库的静态清单,而且是局部的:换一家餐厅换一家店,追求的结果和用的办法都不一样。厨师和店主的全部知识,分散在每一个厨师和店主自己手里。

知识的分散是整套系统多样性、适应力和韧性的来源,也是自由市场胜过计划经济的原因。计划经济会失败,根源在于生产性知识本身的性质:只可意会、局限于当下场景、随时在变、并且私有地掌握在干活的人手里。想把知识集中起来交给一个中心化的智能使用,会撞上同样的难题。

这类只可意会的知识有个名字,叫「隐性知识」:干活时凭手感、经验、直觉做的判断,写不进说明书,也没法整理成数据库交给别人,只能靠一个人在工作里不断积累和更新。

类比

老厨师尝一口汤就知道该加多少盐,却说不出精确克数,这就是隐性知识。

核心论据

文章指出,AI 能靠自己反超人类的领域,都同时满足两个条件:第一,目标是静态、可以清楚表达的,比如赢一盘棋、证出一个定理;第二,这个领域不存在隐藏的隐性知识,规则完全公开,棋盘上的每一步谁都看得见。国际象棋和数学满足这两个条件,最强的棋类引擎靠自我对弈训练就能超过人类,前沿模型也在独立解出数学难题。走出棋盘和证明之外,光靠智能是不够的。

国际象棋 / 数学证明
  • 目标从一开始就写死:赢一盘棋,或者证出一个定理
  • 规则完全公开,棋盘上的每一步谁都看得见
  • AI 自己跟自己练就能反超人类
厨房 / 商店等大多数实际工作
  • 目标一直在变,每家店想做的和追求的都不一样
  • 靠的是干活人自己的手感,写不进说明书
  • 知识分散在每个厨师、每个店主手里,没法打包喂给一个 AI

理想中的 AI,应该帮组织持续培养和更新这份独特的知识,让它跟着人一起成长。

3案例

丰田把老师傅请回了生产线

2014 年,长期以自动化著称的丰田,把资深匠人重新请回生产线,明确目的是培养工匠精神和技艺。牵头这件事的人叫 Mitsuru Kawai,他这样解释原因:「要当机器的主人,得先有教机器的知识和技能。」

知识的生产和智能的应用会相互成就。人做的工作会变化,会更多转向只有人能带来的部分,但最好的组织会把两者都用到极致。AI 应该帮每个组织在自己的路上做到最好,保留组织之间本来的差异。

4协作瓶颈

人和 AI 之间,隔着一个太窄的文本框

让人持续参与设定目标、和 AI 分享知识,不等于抵制自动化。机器能可靠独立完成的事,就该让它去做。但它还需要知道什么时候该自己动手、什么时候该请示和等反馈,就像人在团队里共事时会做的那样。这对 AI 的设计和评估方式,都提出了新的技术要求。

眼下把人类知识和判断带入 AI 工作的一大瓶颈,是人和 AI 之间的沟通渠道:一个小文本框,加一段长时间的等待。这个渠道窄到装不下人类判断的丰富度,也慢到跟不上持续反馈的节奏。人和人协作最顺畅的时候,是实时协作:会打断、会纠正、会回头再看一眼、会一边说一边打手势、会话说到一半就改口。

现在

打字进一个小框,发送出去,等模型答完一整段,再读一遍决定接下来怎么说。

交互模型的设想

像和人说话一样实时打断、当场纠正、连说带比划、话说到一半改口,模型直接听得懂、跟得上。

这种设想有个名字,叫「交互模型」:把「实时、多模态互动」这个能力直接训练进模型本身,模型越聪明,互动能力也跟着一起变强。这样设计出来的界面,不只是允许人参与,还会主动邀请和奖励人的参与。

5评测盲区

现在评价 AI 进步的尺子,只量了一半

另一个挑战,是给评估和优化定对目标。眼下衡量 AI 智能最常用的尺子,是它能不靠人帮忙、独立执行软件任务的时长,METR 等机构的图表就是这么追踪的。这类指标还会继续进步,但它量的只是 AI 单独能做到什么,量不出人和机器一起能做成什么。

METR 在测什么

AI 不靠人帮忙,独立完成软件任务能撑多久,撑得越久代表能力越强。

没有测什么

人和 AI 搭伙干活,一起做出来的东西够不够好、够不够多。

衡量后一种效果更复杂,也没法由一个实验室单独完成,每个组织得自己判断 AI 有没有帮它磨快判断力、发展出新知识、达成目标。把 AI 做得能让使用者长期变强,也让各方的利益方向一致:一个所有客户共用同一个模型的实验室,靠的是吸收每个用户的独特之处;把 AI 做成可以被定制、可以被协作的样子,实验室的利益就和客户发挥自己的独特优势绑在一起。这种优势要靠组织自己拥有并调教这个 AI 才能拿到。

6权力与对齐

如果 AI 的「三观」只由几个地方说了算

人的价值观和人的知识一样,长在每个人自己脑子里,很难被归拢到一处。但现在,AI 的价值观和话语权,却是由为数不多的几个地方决定的。一个统一的价值对齐中心,不管运营得多好,都会变成一个值得被夺取的权力中心。

这在多数有价值的工作都由 AI 独自完成、很少需要人插手的情况下,尤其危险。政府和企业、公民之间的社会契约,最终靠的是个人的生产能力:政府的主权、企业的利润,都建立在这份生产能力之上。一旦这种权力不再需要从人身上获取任何东西,它照顾人的需求和价值的动力也会随之消失,转而只顾自己延续下去。

7去中心化对齐

每一代新模型,都在模仿上一代的脾气

就算出发点再好,一个在单一地方训练出来的模型,编码进去的终归是它所有者那一套价值观。

核心机制

现在各家实验室的普遍做法,是用自己上一代的旗舰模型,去生成下一代模型的训练数据和打分依据。不管这个循环里长出什么样的「性格」,所有用户拿到的都是同一种性格,而且一代继承一代:每一代都在上一代的输出里长大,被上一代的品味打分。单一的对齐规范会压制创造力和多样性,拖慢整个领域的进步。言论自由和自由市场让新想法、新产品、新服务不断涌现、彼此竞争,而不是把某一时刻大家的偏好取个平均数,定成唯一标准。

上一代 旗舰模型 这一代 旗舰模型 下一代 旗舰模型 生成数据 + 打分 生成数据 + 打分 同一种「脾气」,一路传下去

要让组织和个人能把 AI 对齐到自己的价值观,这些价值观得被编码进模型的权重里。如果用户的价值观和诉求只能靠提示词去影响模型,模型表面的行为会变,深层习惯留在原地不变,这样一个可以被提示词大幅改变的集中式模型,也更容易被反复攻击突破防线。能大幅改变一个模型的力量,同样也是能把它改坏的力量。让机器保持安全,是一个靠持续判断和选择推进的过程,不会有终点。Thinking Machines Lab 表示,他们想在不拿走这份所有权的前提下,给做这些判断的人更强的工具。

8愿景

让每个人都能写出自己的答案

科技行业已经在教机器怎么思考这件事上取得了很大进展,但机器该想什么,这件事得留在人类手里:什么值得追求、什么值得做、这段时间该怎么用。文章希望让每个人都有能力,把自己的答案变成前沿 AI 发展的一部分。

人类靠个体的独特和彼此间的创造性张力走到今天。文章设想的对齐,是一整个生态系统的属性:很多在不同地方养出来的 AI,彼此不同、互相争论、互相竞争、互相学习。保留这份各不相同,本身就是目的。

当前 AI 发展的主流路径朝着中心化和自主化推进,把人的参与当成一种取舍:参与和能力二选一,所有权和安全对齐二选一。文章把这些框架成技术问题去解决:让 AI 因为鼓励人的参与而变得更强,让组织因为把 AI 调教成自己的样子而在长期获益,让对齐从多样的、被使用者塑造的 AI 里自然生长出来。

左边:单一模型吸收所有人,生成同一种样子。右边:多个不同形状的 AI 各自连接,保持各自的样子。

文章的结论是,不同的路通向不同的未来,选哪条路是可以选的。Thinking Machines Lab 说,他们在建的技术,是想让「生下来的」和「造出来的」一起走这条路。

技术里有用的部分和有害的部分,总是紧挨在一起,没法把狮子和羊羔彻底分开。约翰·冯·诺伊曼,1955 年
内容来自 Thinking Machines Lab 官方使命博客(thinkingmachines.ai/blog/the-future-worth-building-is-human),由小互解读整理。