ElevenLabs 联合创始人深度访谈:如何打造一家 AI 原生公司,以及如何把服务客户的 FDE 变成免费的研发实验室
Mati Staniszewski 复盘 ElevenLabs 的产品策略、团队管理和企业增长方法,重点拆解从 Palantir 学来的 FDE 打法:让工程师进入客户现场,再把交付经验写回通用产品。
商业播客主持人 David Senra 对 ElevenLabs 联合创始人兼 CEO Mati Staniszewski 做了一次 71 分钟深度访谈。Mati 毫无保留地分享了他们如何在几年内迅速崛起,以及背后非常硬核的商业逻辑、产品策略和团队管理哲学。
其中我觉得最有意思的点是:偷师数据巨头 Palantir 的“驻场工程师”玩法。
- 不迷信西装革履的销售:Mati 以前在硅谷著名的大数据公司 Palantir 工作。他把老东家的打法带了过来——不只靠传统销售去卖软件,而是直接派“前线部署工程师”(Forward Deployed Engineer,FDE)进入客户办公室,和银行、电信等大型企业的团队一起解决问题。
- 把大客户变成免费的研发实验室:更关键的是,这些 FDE 属于产品团队,而不是销售团队。他们帮助大客户解决语音客服、系统集成等实际问题后,会把可复用的行业知识带回公司,写进 ElevenLabs 的通用产品。下一位客户因此不必从零开始,真实企业现场也持续替 ElevenLabs 暴露产品缺口。
Mati 与相识 15 年的朋友 Piotr Dąbkowski 在 2022 年创办 ElevenLabs。Piotr 此前在 Google 从事文本模型研究,更早还做过计算机视觉;Mati 学数学出身,先在 BlackRock 做风险模型,后来到 Palantir,把优化模型送进英国疫苗分发、油气作业等真实环境。一个负责把音频研究推到前沿,一个擅长把模型送进客户的生产环境,这组分工后来变成了 ElevenLabs 的基本结构。
一次完整配音做不成,反而找到了第一款产品
ElevenLabs 的起点来自两位创始人在波兰长大的共同记忆。当地引进外国影视作品时,长期存在由一个旁白员为整部作品所有角色念台词的做法。男人、女人、老人和孩子共用同一种声音,角色原有的情绪、语调和身份感几乎都消失了。2021 年,两人发现这种体验仍然存在,于是想到:能不能让内容跨越语言时,仍然保留原声的特质和情感?
愿景听起来像“自动配音”,工程上却是三项技术串成的长链条:先把语音转写成文字,再翻译成目标语言,最后用另一种语言重新生成语音。Mati 回忆,当时转写已经有 NVIDIA 等机构的研究,DeepL 和 Google 的翻译也有一定可用性,但整条链路仍远未成熟。尤其是语音生成,现有方案听起来机械,有些开源项目虽然效果稍好,却很慢、很不稳定。
与此同时,团队拿着配音设想去找创作者,得到的反馈比技术评估更具体。创作者当然想让内容进入更多语言市场,但他们眼前还有更急的问题:视频录错一句话,能否只修改那一句;拍摄前,能否先把脚本念出来试听;制作旁白时,能否直接使用自然的 AI 声音。
于是,研究瓶颈和用户需求在同一点相遇了。Piotr 带研究团队先攻文本转语音(Text-to-Speech,TTS),产品侧先帮助创作者生成旁白、试听脚本和修正音频,暂时把完整的跨语言配音放到后面。按 Mati 的回忆,2022 年的第一代模型终于跨过了声音“像真人”的质量线。更重要的商业逻辑是,团队没有把宏大愿景缩成一句口号,而是从长链条里找到了一个能独立解决问题、又会推进底层研究的环节。
很多所谓“小切口”只是市场更窄。ElevenLabs 的切口不同:它同时降低了产品复杂度,并把有限研究资源压到了整条配音链路最薄弱的位置。一旦语音生成变好,旁白产品可以立刻成立,未来的配音愿景也会向前移动一步。
研究只做音频,产品却可以有很多种
ElevenLabs 后来让主持人感到困惑的地方,是“专注”和“产品众多”同时存在。公司既有 ElevenReader 这样的阅读应用,也做创作、本地化、企业客服和销售 Agent。Mati 对公司的概括却一直很稳定:研究加产品交付。
主持人用本田宗一郎的“发动机研究实验室”作类比。本田可以制造摩托车、汽车和其他设备,但共同的技术核心是发动机;如果一个新产品不需要发动机,本田就没有必要为了多元化而进入。Mati 认同这套思路。ElevenLabs 的研究侧只专注音频,产品侧则把音频与知识库、大语言模型、品牌素材和企业系统结合起来。
主持人随后把它归纳成三层,Mati 表示认同:最底层是文本转语音、语音转文字、本地化和对话编排等音频研究;中间是一套可以接入知识、品牌和外部系统的平台;上层才是 ElevenReader、内容创作、客服、销售和运营等具体应用。
这三层解释了为什么“产品多”并不自动等于失焦。判断新方向时,公司会问:音频是不是这段体验的关键瓶颈,自己的模型能否带来独特提升?如果决定成败的主要问题在视频、图像或通用推理,团队就缺少亲自从头建设的理由。
数字人和口型同步是 Mati 给出的反例。团队曾考虑把跨语言音频与数字人结合,但当时画面质量才是整体体验的主要短板。即便接入很好的声音,成品仍会被视频模型拖累,于是他们暂停了相关投入。后来外部图像和视频模型改善,ElevenLabs 可以重新考虑广告本地化等组合产品,但仍然选择使用外部视频能力,自己聚焦已有素材的音频、语言和局部改造,不训练类似文本生成视频的底层模型。
这条边界同样排除了通用知识工作和代码模型。ElevenLabs 把目标放在“沟通平台”上:企业把自己的知识、品牌资产和系统集成放进来,再把一致的声音与对话部署到营销、销售、客服和运营的整条客户旅程。它只争夺人和企业如何通过声音传递内容、知识与对话这一层。
德国电信如何从一个内容产品走到通信网络
Deutsche Telekom(德国电信)的合作展示了这套平台如何进入大型企业。双方并未从最核心、风险最高的客服流程开始。两年前,语音 Agent 在 Mati 看来还不够可靠、也不够快,德国电信先在营销和内容场景使用 ElevenLabs:在 Magenta 应用里生成每日音频内容,也用它制作广告。
第一项应用真正部署并产生价值后,合作才进入呼叫中心。此时自然的声音只是最外层,Agent 还要连接德国电信的知识库和 CRM,理解产品信息、退款流程与近期账单;输出端要接入电话系统,包括 SIP trunking 或 Twilio 等通信方式;业务团队还要把“电话接起后应该怎样处理”转换成 Agent 可以遵守的流程。
上线前,双方先做模拟测试、核验通话记录,再从小范围运行开始。正式上线后也不会立即结束,而是逐步增加使用量,并持续评估、监控和调整。再往后,Mati 说德国电信甚至把 Agent 部署进通信网络,T-Mobile 用户可以让它加入通话,协助订位或完成实时翻译与配音。
这条顺序揭示了企业扩单的真正逻辑:先用风险较低的场景验证产品价值,赢得进入下一段工作流的机会;越接近核心业务,模型之外的集成、测试和运营工作越重。一个展示效果很好的语音接口,距离可处理真实账单和退款的客服系统,中间还隔着整套企业工程。
Mati 也因此把概念验证和价值验证区分开来。客户愿意看一次演示,只证明技术有趣;第一项应用在真实环境中跑起来,才给第二项合作提供理由。
德国电信的扩展路径
越靠近核心业务,新增的就越不只是一个语音模型
选择一层,观察价值证明、系统连接和运营要求如何同时加深。
低风险入口
先证明产品能在真实环境产生价值
- 实际应用
- Magenta 应用里的每日音频内容,以及广告制作。
- 主要新增
- 把生成能力接进内容生产流程。
- 通过条件
- 从“演示有趣”走到第一项应用真正部署。
核心工作流
声音之外,开始承接企业系统和业务规则
- 实际应用
- 语音 Agent 进入客服电话,处理产品、账单和退款问题。
- 主要新增
- 知识库、CRM、电话系统、业务逻辑与通信连接。
- 通过条件
- 模拟测试、通话记录核验、小范围运行,再逐步扩大并持续监控。
网络级能力
Agent 成为通信过程本身的一部分
- 实际应用
- 加入 T-Mobile 用户的通话,协助订位、实时翻译和配音。
- 主要新增
- 从单个企业流程进一步进入通信网络。
- 通过条件
- 前序场景已经证明价值,并建立起更成熟的集成和运营能力。
当前观察:先用内容场景证明价值,换取进入下一段工作流的机会。
FDE 要完成两次交付
一个语音模型在演示中听起来像真人,距离它能接起德国电信的客服电话,中间还隔着一套生产系统。模型并不知道客户资料放在哪个 CRM 里,也不会自动理解退款和账单流程;它必须接入知识库和电话系统,按照企业的业务逻辑行动,还要经过模拟测试、通话记录核验和小范围运行。正式上线以后,团队仍要持续评估、监控和调整。
负责跨过这段距离的,是前置部署工程师(Forward Deployed Engineer,FDE)。在德国电信项目中,ElevenLabs 的 FDE 去德国波恩,与客户团队肩并肩完成集成、测试和上线。这里的“前置”不是地理意义上的常驻,更重要的是工程师站到问题发生的一边:不等需求经过销售、项目经理和管理层层层转述,直接看清现实系统怎样运转、产品到底卡在哪里。
Mati 对这种工作方式的信任来自 Palantir。此前在 BlackRock,由于合规和安全要求,他入职后一度连向外发送邮件都要先经过团队审核;到了 Palantir,入职培训刚结束,他就被派往苏格兰阿伯丁,接近北海油气业务的一线人员,弄清实际问题,再把知识带回公司。两种经历让他意识到,离问题越远,信息越容易在汇报过程中被整理成一个看似清楚、实际失真的需求单。
但“工程师去了客户办公室”仍不足以定义 FDE。系统集成商、实施顾问和售后工程师同样会到现场。ElevenLabs 这套做法真正不同的地方,是 FDE 在组织上属于产品团队,不属于 go-to-market 团队,并且深度了解产品路线图。他们既要对眼前的上线结果负责,也要判断现场遇到的问题会不会改变产品本身。
因此,FDE 实际上要完成两次交付。
第一次交付给当前客户:让 Agent 在真实业务里跑起来。以德国电信为例,这意味着打通知识库、CRM 和电话系统,把业务规则变成 Agent 能执行的流程,验证通话结果,从小范围运行逐步走向正式上线。完成这一步,证明的不是“模型可以说话”,而是这套系统能够进入企业现有的技术和运营环境。
第二次交付给 ElevenLabs 的通用产品:把现场经验从一个项目里带回来。新做出的连接方式,能否成为其他客户也能使用的标准集成?在医疗或电信项目中反复出现的工作方式,能否变成更合适的产品流程?一次失败究竟来自这家客户的特殊配置,还是暴露了许多企业都会遇到的产品缺口?FDE 了解路线图,正是为了把这些问题交还给产品团队,而不只是留下一堆能让当前项目勉强运行的补丁。
FDE 的两次交付
第一次让客户跑起来,第二次让产品变得更通用
切换两种结果,看同一次客户上线会把公司带向哪里。
CRM、电话系统、知识与业务规则互相缠绕。
与客户并肩集成、测试、上线,再持续观察。
判断哪些经验能变成通用集成或产品体验。
成果留在专用配置和补丁里;客户越多,重复交付与维护负担也越重。
重复问题被做成标准集成或默认流程;新项目由此少走一段旧路。
当前结果:现场经验进入通用产品,下一位客户不必从零开始。
如果成果只留在一个客户的配置与补丁里,完成的是服务;如果它改善了通用产品,客户现场才成为研发加速器。
判断第二次交付有没有发生,可以看下一位同类客户。假如团队仍要重新编写相似的连接、重复解决同一种产品缺口,前一次项目留下的主要是个人经验;如果已有集成可以直接复用,产品的默认流程已经吸收了前一次部署的教训,新客户便不必从零开始。这才叫“知识回流”,而不是开完一场复盘会、把经验写进文档就算完成。
这一步也决定了一家公司是在卖产品,还是逐渐滑向定制服务。如果每增加一个大客户,都要增加一支队伍重新搭系统、维护专用补丁,收入增长就会不断带来同比增加的交付负担;现场项目越多,产品反而越碎。若 FDE 能把重复出现的问题做进平台,前一位客户支付和参与的那次落地,就会降低后一位客户的重复工作。客户现场由此不只是产品的交付终点,也成为发现通用产品缺口的地方。
标题所说的“免费研发实验室”,真正免费的并不是客户的人力和资源,而是 ElevenLabs 无须关起门来猜测企业会遇到什么问题。德国电信自己的套餐、账单规则和运营方法仍属于它的领域专长,也是它参与竞争的能力;ElevenLabs 可以带走的,是软件应该怎样承接这类知识——例如需要什么集成、产品流程怎样组织、哪类能力应成为平台的一部分。客户的专有业务不能被包装成公共模板,承接这类业务的软件方法才可能被抽象。
所以,FDE 不是在销售和研发之间增加一个新职位,而是在两者之间建立一条闭环:一端把产品送进最复杂的真实环境,另一端把环境暴露的问题送回产品。这个闭环要成立,FDE 必须靠近客户、属于产品团队、理解路线图;后方团队还必须能够接收并处理这些一线信号。于是问题自然从“怎样派工程师去现场”,转向“公司内部怎样让现场信息不在层级中消失”。
AI 原生组织首先是一套信息机制
FDE 从现场带回大量信号后,公司内部还要有能力接住。ElevenLabs 的扁平化并非只靠“少设几个管理层”完成,Mati 描述的是几项彼此依赖的机制。
公司不设传统头衔,组织层级深度上限约为五层;具体产品和交付团队很小,五人左右已经算相对大的团队。Mati 还说,公司里很多人有接近十名直接下属。小团队获得较强自主权,宽管理幅度则减少中间层级,但也会制造新的困难:一个管理者怎样知道这么多团队正在发生什么?
他的答案是尽量让信息来自最接近问题的人。产品负责人应该能看到实际开发工程师的情况,客户信息也应尽可能保留原始对话,而不是只剩经过多层整理的摘要。按照 Mati 的描述,公司保持很高的文档透明度,几乎每个人都能访问内部文档;AI 再从大量记录中汇总哪些做法有效、哪里出现缺口,让管理者主动发现需要介入的位置。
这解释了 AI 在组织中的一个具体作用:它扩大管理者能够读取的原始信息范围,帮助宽管理幅度继续运转。但这套机制能否有效,取决于文档是否完整、团队是否愿意记录,以及访问边界怎样设置;AI 汇总不会自动产生正确决策。
另一项选择,是把工程能力放进非技术职能。招聘、运营、法务等团队内部也配置工程人员,帮助自动化重复工作,并提升业务同事使用 AI 的能力。采用新工具因此可以从小团队内部发生,不必等待管理层统一发命令,再由中心 IT 部门逐层推广。
公司仍保留需要集中建设的能力。Mati 以法务和 Revenue Engineering(营收工程)为例:前者集中帮助各地团队理解复杂产品应该怎样销售,后者构建通话提示、转写、字段回填等工具,把销售与客户沟通中的知识保存下来。中心团队还开发 AI SDR(AI 销售开发代表),再交给各地团队做本地化调整。
官网上的 AI SDR 很能说明“吃自己的狗粮”怎样产生新信息。潜在客户既可以填写下拉表单,也可以直接与语音 Agent 交谈。Mati 说,公司观察到选择对话的人更放松,留下的问题和使用场景也比表单丰富。语音产品在这里同时承担销售入口和用户研究工具的作用。
少层级、小团队、透明文档、AI 汇总和职能内工程能力并不是五个互不相关的管理技巧。它们共同解决一个问题:让现场信号尽量少损耗地抵达能行动的人,再让团队有能力把判断变成工具或产品。
模型优势会缩小,产品和生态要接上第二棒
现场经验可以推动产品变得更通用,却不能保证模型优势永远存在。Mati 判断,长期来看,ElevenLabs 在纯研究上的优势可能没有今天这么大,因此平台、品牌信任和创作者生态也必须形成防线。
声音市场(Voice Marketplace)就是其中一个尝试。声音创作者或配音演员可以创建并认证自己的 AI 声音,其他用户调用时,声音拥有者获得报酬。Mati 在访谈中称,市场当时大约有两万个声音,ElevenLabs 也会在语言、口音、年龄或风格出现缺口时主动寻找合作者。主持人使用 ElevenReader 中名为 George 的声音时,背后对应的配音演员会随使用获得收益。
这个例子把“模型生成一个声音”变成了另一种产品关系:平台需要持续获得有辨识度的声音资产,创作者则需要认证、分发和回报机制。研究模型决定声音能不能被高质量复现,市场机制决定谁愿意把声音放进来,以及用户下一次为什么还回到这里。
产品层也在继续分化。Mati 将公司当时的业务描述为三条核心产品线、三条孵化中的方向,下面还可以长出二三十种具体工具。ElevenReader 把文档变成可听内容;Eleven Productions 在自动化流程中加入人工修正和本地化;创作工具与企业 Agent 则构成他所说的两大收入来源。这里的统一性来自底层音频能力和沟通场景,而不是所有产品长得相似。
哪些行业先采用语音 Agent,也暴露了落地条件
Mati 说,当时 ElevenLabs 的主要收入来自创作产品和企业 Agent,语音 Agent 的部署用例增长很快。
在行业采用速度上,他把金融科技放在最前面,并举出 Revolut、Klarna 和 PagBank。医疗与电信随后,零售和电商则在访谈所处的年份开始出现更明显的采用。他也提醒,不同地区的监管环境并不相同,因此这些公司之间不能只按技术热情比较。
这段信息的价值不在于排出一个永久行业榜单,而是说明语音 Agent 的扩散速度由多种条件共同决定:客户交互是否足够高频,企业是否已经数字化,内部系统能否接入,以及组织愿不愿意承担测试和持续运营。德国电信案例进一步表明,即使需求明确,越核心的业务也会采用更渐进的上线方式。
访谈末尾关于行业会议的讨论,也补充了企业增长的另一面。Mati 早期没有成熟产品时去参会,只感到疲惫和低效;现在他每季度参加两三场,并提前安排密集的一对一会面,把许多客户和伙伴同时出现的场合当作“强制汇聚机制”。会议本身没有突然变得有价值,变化来自公司已经知道要卖什么、想见谁,以及一次会面怎样推动现有合作从一个用例扩到更多用例。
音频既是科学问题,也是品味问题
ElevenLabs 只研究音频,并不意味着这是一项容易用单一指标衡量的技术。Mati 认为,声音处在科学与艺术的交界:模型需要数据、算力和架构,生成结果却带有强烈的主观感受。每种声音都不同,同一个声音在不同听众耳中也可能产生不同评价,这让文本转语音模型之间的基准测试格外困难。
当产品进入品牌场景,问题又从“像不像真人”延伸到“这个声音是不是这家公司的表达”。语调、节奏、情绪和风格都涉及品味。Mati 回忆,Palantir 内部曾有“艺术家聚落”的说法;到 ElevenLabs,他才更具体地理解艺术与工程为什么需要并存。公司甚至设想过 forward deployed creative——可以理解为走到客户现场的创意人员——与 FDE 类似,帮助客户把技术能力转化成合适的表达。
语音 Agent 的一次产品经历进一步说明了这种主观性。团队最初试图做一个毫无瑕疵的 Agent,结果听起来反而不像人。加入“嗯”“呃”和思考停顿后,Mati 观察到交流效果明显改善,用户更愿意继续说下去。设计重点因此不在于机械增加口头禅,而在于让停顿、犹豫和情绪符合真实对话的节奏。
声音不只传递文字,也承载一个人的身份
主持人把播客与阅读作比较:即使非常喜欢一位作家,他对熟悉播客声音形成的情感连接仍然更强。Mati 接着指出,声音比文字多出语调、停顿、情绪和不完美。听见熟悉的声音时,人可以立刻认出对方是谁。
这种身份属性让语音技术超出内容生产工具。Mati 在访谈中称,ElevenLabs 已帮助超过一万人重建声音,并与约八百家机构合作。他提到一位失声后重新与老乐队演出并巡演的音乐人、一位使用 AI 声音在英国国会发言的女议员,以及因渐冻症失声后用重建声音制作播客的前 NFL 球员兼作家 Tim Green。主持人还提到一位在婚礼前失声、后来用重建声音宣读誓词的女性。
对失去声音的人来说,这项技术的价值不只在于重新获得“可听见的文字”,还在于恢复能够被亲友辨认、与自身经历相连的声音身份。
声音可以被重建,也意味着声音可以被冒用。Mati 在谈到无障碍案例时主动提及安全的另一面:声音生成能力越强,身份认证、防冒用和授权机制就越需要同步建立。
声音会成为重要入口,但 ElevenLabs 不准备造一条“巴别鱼”
Mati 对长期机会的判断,是智能能力继续提升后,人们如何与智能沟通会成为新的瓶颈。几十年来,人需要学习键盘、屏幕和编程语言来适应机器;语音 Agent 的方向,是让技术理解人本来就会使用的交流方式。
他设想未来系统能够同时处理知识与情绪,也就是访谈中所说的 IQ 与 EQ:理解说话者知道什么、想完成什么,也感知情绪变化,学会停顿、思考和在合适的时候重新进入对话。在 Mati 的设想里,声音会成为未来最主要的交互方式之一,让人们不必像今天这样持续盯着手机,屏幕可以更多时候回到口袋里。
创业初期,两位创始人的幻灯片上就有《银河系漫游指南》中的“巴别鱼”:放进耳朵便能理解不同语言。ElevenLabs 的北极星指向把实时语音和跨语言理解带到人们已有的设备、场景与工作流中,无须由公司亲自制造一件独立硬件。这一点也与公司的平台选择一致——把音频能力嵌入其他系统,无须占有交互链条里的每一层。
ElevenLabs 也用拒绝收购表明了这项长期选择。Mati 说,公司曾收到三四次严肃、具体的收购要约,最近一次约在录制前一年的六月,团队全部拒绝。他给出的理由是,AI 带来的许多事情尚未被写定,而自己、Piotr 和研究团队恰好拥有适合这个问题的技能,也处在难得的时间窗口。对他们来说,继续建设仍然比退出更有吸引力。
ElevenLabs 真正想复制的,是问题变成产品的速度
ElevenLabs 的方法依赖几组同时成立的关系。
研究要足够集中,才能解决语音生成这样的底层瓶颈;产品又要足够靠近用户,才知道先把哪项研究变成可用工具。进入企业后,FDE 需要完成现场交付,还要把经验带回通用平台,否则规模增长只会带来更多定制工作。组织想保持少层级和小团队,就必须让原始信息更透明,并把工程能力分布到真正需要改造流程的职能里。
声音市场、品牌表达、不完美的 Agent、无障碍重建和“巴别鱼”看起来属于不同话题,背后都指向同一个事实:声音传递的不只是文字。它包含身份、情绪、节奏和关系,也因此同时带来商业机会、设计难题与安全责任。
ElevenLabs 接下来的难题,是能否长期保持研究领先、企业交付和产品复用之间的平衡。它的下注路径已经清楚:聚焦音频,把模型放进真实环境,再尽快把环境暴露的问题变成下一版所有人都能使用的产品。
