Nathan Lambert 对 RSI 叙事的批评向来犀利：他不认同 AI 即将突然起飞并迅速失控的说法。
他真正担忧的是更实际的问题：AI 实验室自身那些未加固的基础设施。他创立 Trillium，正是要把这个被闭源实验室渲染得神乎其神的概念拉回现实，让外界去验证前沿系统的递归能力究竟发展到何种程度，以及它无法完成哪些任务。
这期 a16z 播客中，Trillium 创始人 Nathan Lambert 与 a16z 合伙人李丽莎的对话，从 RSI 转向了更硬核的领域：开源究竟能否跟上闭源的步伐，在算力受限的条件下初创 AI 公司如何生存，以及蒸馏到底能否被阻止。
“说中国缺乏人才，这完全是个错误，他们缺的是算力。”
Nathan 提出了一个清晰的框架：模型进步依赖三个要素——算力、数据、人才。 美国前沿实验室三者兼备，而中国实验室则受困于算力瓶颈。他举了一个例子：中国研究人员听说，一个普通的 OpenAI 研究员随手就能调用相当于 5000 个 H100 的算力。
但 Nathan 反复强调的另一面是：中国实验室在这种约束下磨练出的工程效率，是许多其他国家团队所不具备的。算力差距使得蒸馏成为一条现实路径：语言模型的输出本身就是算力的函数，如果你已经知道需要什么样的输出，这效果等同于你自身拥有那么多算力。
“如果中国的实验室只做闭源 API，几乎不会有人知道 Moonshot AI。”
这是 Nathan 解释中国为何选择开源的方式。这不是出于理想主义，而是为了登上牌桌。中国实验室清楚美国市场存在巨大的付费需求，它们在非常务实地顺应这一趋势，这更像一家初创公司在做出显而易见的生存选择。开源是最佳路径，让它们在缺乏算力优势的情况下，用工程能力换来了话语权。
“服务条款不是一份签署的合同。他们不会停下来。”
谈及蒸馏，Nathan 毫不留情：“你不能像起诉违约那样起诉他们，你只能取消他们的访问权限。”他对国会立法同样不抱希望：“他们不会停止。如果你对蒸馏采取任何行动，造成的伤害将超过好处。”
“前沿实验室没有想象中那么封闭，保密几个月可以，长期做不到。”
对于 OpenAI、Anthropic 等公司为何能快速发展，Nathan 并未夸大其技术的先进性，而是调侃道，“我们都是科学家，如果有人取得突破，他们自然会想告诉朋友。可能只是一杯啤酒的事，他们能保密几个月，但要长期保密，不太可能。”
在几个有争议的问题上，Nathan 的回答并不煽情：开源会赢在数量上，闭源会赢在收益上，RSI 的真相介于营销与恐惧之间。
以下是对谈原文的删减版，各位 enjoy~
自上而下彻底重构组织，对前沿模型发展很有效
主持人： Nathan，很高兴你能来。感谢你亲自来到现场。我记得我们之前聊过很多关于开源的话题，这也是你非常关注的领域。无论是闭源实验室还是开源模型，究竟是什么推动它们发展到了今天的前沿水平？你会如何拆解其中的因素？或许可以先从更高的层面谈起，比如预训练、中期训练和后训练，以及后训练是如何演变的。
Nathan： 当我思考模型进步时，归根结底就是你为模型投入了哪些不同形式的资本，也就是算力、数据和人才。
各家实验室在这些方面的资源都不一样。我认为，闭源前沿实验室，比如 OpenAI、Anthropic 和 Google 等显然拥有最多的资源。我们看到，各家实验室在如何组织和运用这些资本方面存在不同能力。
要让组织架构真正服务于模型开发，是一件非常困难的事。 这也是为什么有些公司不得不自下而上地彻底重组；而且，有时这样做真能奏效。比如 Meta 就经历了全面重组，后来又重新走上了积极发展的轨道。我对竞争为何能推动技术前沿，以及组织架构为何如此重要这些与人有关的因素，非常感兴趣。我们看到的这些现象，在开源与闭源的竞争格局中同样发挥着作用。
选择开源是初创 AI 公司上“牌桌”的捷径
Nathan： 如果有人想从事最前沿的人工智能研究，我通常会建议他们去 Anthropic 或 OpenAI，我认为这两个选择最稳妥。Meta、Google、SpaceX AI 等公司可能也处于这个领域，但从外部来看，要判断它们的实际情况就困难得多。这些公司为了走到今天这一步，很早就做出了最具雄心的尝试。这也是为什么 OpenAI 推动了推理模型革命的开端。
我认为，这种突破，以及那张展示推理阶段扩展规律的漂亮曲线，就是 OpenAI 的高光时刻。他们非常擅长展示一张能够改变所有人思考方式的图表。另一方面，Anthropic 一直非常专注于模型最终能够完成哪些任务，而他们长期专注于编程领域，最终得到了回报：Claude Code 迅速走红。这两家公司有着一些微妙但重要的文化差异。我认为，它们最具备前瞻性，也最愿意投入惊人的资源，去推动那些人们原本认为不可能实现的方向。
中国的公司之所以进入这个领域，是因为它们想打造一家有影响力的公司。如果它们只是在中国开发模型，然后尝试通过 API 出售，根本没人会知道它们的存在。几乎没人会知道 Moonshot AI，也只有很少的人知道智谱，更不用说后面还有一长串公司了。这是一个非常务实的决定。它们紧跟行业讨论，知道这里会形成一个巨大的市场，也知道美国有大量用户愿意为这些服务付费。
因此，发布开放模型就成了一条捷径，能让它们迅速进入行业视野和讨论。 我认为，关于它们为什么这么做，外界存在很多复杂的猜测，比如政府是否参与其中。但事实未必如此。它们只是在努力打造一家初创公司。这并不意味着它们最终无法跻身前沿。
中国政府采取的一些行动，会让美国人感到非常震惊。我认为，这也意味着中国的实验室对安全问题可能有着更为严肃的态度，因为在中国，企业做出某些事情后，政府采取的应对措施可能比美国严厉得多。我就不在这里深入展开了。但回到开源与闭源之间的平衡，中国的一些公司正在努力追赶。这与我之前谈到的 OpenAI 和 Anthropic 有着截然不同的竞争逻辑。 后两家公司试图创造全新的范式，希望率先实现真正的递归自我改进（RSI），这样一来，只要它们最先做到，就可能凭借最好的模型长期保持领先地位。这类公司押注的是一些宏大的理念。
而中国公司更像在填补市场空白，开放权重模型正是它们实现这一目标的方式。 我认为，随着时间推移，开放模型会逐渐形成不同的层级。最顶尖的仍然是闭源模型，因为它们可以获得最高的利润率； 再往下，是落后前沿一步的近前沿模型，这些模型则可能以开放权重的形式发布。这是一种自然的供需关系演变：开放模型可以帮助公司进入一个利润率可能较低、但不同于原有市场的新市场。例如，某些企业拥有自己的私有数据，需要能够适应这些数据的模型。
开源企业的存续时间，已经远超业界想象了
Nathan： 我们刚才谈到了前沿发展。如果回到资本投入这个角度，中国公司拥有的资本更少，因此赚的钱也可能更少。但这没什么问题。我认为，它们追赶前沿的动力非常强。一旦 Anthropic 和 OpenAI 展示了你需要构建什么样的模型，后来者就更容易明确方向：原来我们只需要把这件事做好就行了。它们还会购买类似的数据集。整个过程会沿着数据经济的产业链逐步扩散。
OpenAI 和 Anthropic 会投入更多资金，推动数据产业发展；一年之后，这些数据公司可能就会把数据卖给其他所有人。它们需要尽可能提高投资回报，而且此前可能存在一定期限的合同约束。这里面有很多复杂的动态，因此，快速跟进其实是完全可行的。
这种循环已经持续了一段时间，比很多人预想的还要久。我记得 ChatGPT 发布时，我们曾讨论过行业整合，并预测这种情况会发生。我认为，现在我们才刚刚开始看到一个更加活跃的并购市场。不过，我原以为这两年前就会发生，而开源模型公司存续的时间比我预想的长得多。
中国人才实力不够，简直大错特错
主持人： 这里面有太多值得深入探讨的话题了。我想先从你刚才提到的两家顶级前沿实验室在组织结构上的差异谈起。
其中，一个值得探讨的话题是蒸馏。大多数人都认为，蒸馏是中国团队能够如此出色、而且表现越来越好的主要手段。过去几年，开源模型与前沿模型之间的差距一直在缩小，如今可能只差两到三个月。这也促使前沿实验室考虑关闭 API，不再开放最好的模型，而是把它们用于自营服务。
一方面，这样做可能是为了获取更多商业价值；另一方面，关闭 API 也会让蒸馏变得更加困难。当然，不是完全不可能，但难度确实会高得多。我们先说蒸馏：这种说法是不是有些过度简化了？你与中国的实验室有过接触，也对它们进行了深入研究。那么，它们是不是其实在各个方面都很强，不仅擅长预训练，也拥有自己的优秀后训练方案，只是未必对外公开？你认为，哪些因素正在加速它们的发展？
Nathan： 是的。中国的实验室在技术上非常出色，但我认为，它们面临的主要问题是算力短缺。
毫无疑问，它们拥有可与美国相媲美的人才储备。 如果一定要比较，可能会因为人工智能真正兴起时人才所处的位置不同，而存在一点点优势差异。但如果你说中国的人才实力不够，就很难自圆其说，因为中国有太多人接受了极高水平的训练。它们真正缺少的是算力。
你和那里的研究人员交谈时，可以告诉他们：“我听说，OpenAI 的普通研究人员平均随时都能调用相当于 5000 张 H100 的算力。” 他们听完下巴都要掉下来了，简直无法想象。而这说的还只是某家知名实验室里的顶尖预训练研究人员。我见过几次类似的反应，所以我认为，算力才是双方最大的差距。
蒸馏真能缩短中美AI差距？别高估了它的作用
Nathan： 蒸馏也与此有关，因为它是一种有效增加投入、以获得相当于更多算力所能产生的模型输出的方法。语言模型的输出本质取决于算力。如果你已经知道自己想要什么样的输出，那么获取这些输出，就相当于拥有了算力来让模型生成它们。
我观察过不同发展阶段的蒸馏技术。在我看来，早期的后训练更加依赖监督微调， 也就是 RLHF 时代的那套方法。后训练最初就是在这样的背景下发展起来的，当时，只要利用一个非常强大的模型所生成的输出进行训练，通过预测下一个 token 的损失函数，就能获得大部分性能提升。当时有一种非常成熟的做法：找到你能获得的最强模型，让它生成回答，然后用这些回答训练自己的模型。只要你能拿到合适的提示词，训练出来的模型通常就会相当不错。
提示词一直都是后训练的关键。 我记得在 AI2 工作时，我就负责后训练，我们总是说，提示词是后训练最基本、最关键的单元。你需要先获得提示词，然后在训练的不同阶段以不同方式利用它们。但如今，后训练已经逐渐转向以强化学习为主的环境。问题在于，很难把过去这种后训练方式：获取模型生成的回答，然后不断提高评分，与当今推理模型的训练方式对应起来。
根据公开的研究文献，很难让我相信蒸馏是一个决定性因素。 举例来说，在完全开放的研究领域，人们一直尝试开发开放的后训练方案，但所有开源模型的开发者似乎都被困在使用一个相当过时的模型上，因为他们无法弄清楚怎样才能获得合适的模型。
我的假设是，某些中期训练方法，以及常见预训练数据中的某些开放数据，可能让这件事变得很困难。所谓这件事，就是从最顶尖的模型那里获取推理过程记录，再用监督微调进行训练，最终让模型的各项指标提升。所以，假设我在开发模型时，能够获得 Claude 的推理过程记录，比如 Claude Opus、Claude 4、Mythos 之类的模型生成的内容，我也不确定这是否真的能让我们的模型性能大幅提升。
这就是我为什么认为蒸馏很难的一些依据，它们来自现有研究文献。接下来还有一个问题：你如何利用模型的输出构建强化学习环境，并开展大规模强化学习训练？因为像 xAI 这样的公司会进行为期一周的开放式强化学习训练，然后告诉大家自己做了什么，接着发布模型。但问题是，蒸馏究竟在哪个环节发挥了作用？它们很聪明，也很擅长营销。我们会有一些疑问：它们是不是提前完成了某些工作？因为它们先进行了强化学习训练，然后才发布模型，而技术报告又称，在强化学习之后还增加了一个额外的后训练阶段。
这里面确实存在一些疑点。但要把已有的蒸馏研究与它们实际采用的方法对应起来，是非常困难的。不过，也有一些疑点让我对这些实验室的说法稍微更能理解一些。例如，中国存在一些模型代理和模型中介服务，它们会消耗海量 token，也拥有大量账号。甚至曾经出现过这样的情况：Kimi 在自己的产品中向用户提供 Claude 模型服务。我确实不太明白，这些做法如何与蒸馏作为一种常见后训练技术的具体机制对应起来。当然，我们也应该关注这些问题。中国公司大规模使用 OpenAI 和 Anthropic 模型输出的其他异常情况，也值得注意。
所以，我认为还有很多问题需要回答。大多数理性的人在讨论蒸馏究竟能缩小多少差距时，都会承认其中存在很大的不确定性。但当我说蒸馏可以帮助它们缩短几个月的差距时，我的依据是现有的科学研究文献。我们应该开展更多开放研究，让研究人员能够深入分析这个问题。但基于目前的证据，我不知道为什么有人会得出完全不同的结论，认为蒸馏在当下的后训练中具有极其巨大的影响。
归根结底，中国人确实非常擅长构建模型。我认为，有些人其实是在自我安慰，觉得只有自己才懂得如何构建模型。但事实是，已经有很多公司在开发优秀模型，大概有二三十家。 你完全可以去读相关资料，看看实际情况。
禁止蒸馏的后果：弊大于利，他们不会停止
主持人： 我记得黄仁勋好像在某条推文或某次采访中说过这样一段话。也许我们可以把它放进节目里。
黄仁勋（画面引述）： 每天都有人蒸馏我的产品。他们拿到产品后，把它拆解成最原始的组成部分，并对所有东西进行测试。这就叫竞争。
主持人： 你觉得这种做法可以接受吗？你认为蒸馏不算掠夺吗？这就是竞争？
Nathan： 我很能理解这种观点，因为人工智能安全社区一直在呼吁美中之间展开对话，而现在人工智能已经发展到了如此高的能力水平，我们确实需要这样的对话。如果你要求企业不断打压本国的人工智能产业，对蒸馏行为施加越来越多的惩罚……
主持人： 所以，你的意思是，国会不会通过立法来监管蒸馏，而是由联邦政府采取一些行动，让这些公司的日子变得不好过？
Nathan： 对，与此同时，我们还在讨论如何管理前沿人工智能带来的风险。闭源模型在训练过程中会不断访问互联网，接触各种不应该接触的内容；我们也确实有理由担心开放权重模型会带来什么后果，尽管到目前为止，这方面还没有出现明显的危害。
但我们也应该思考，为什么人们会选择闭源模型，并想办法绕过它们的安全防护，而不是直接使用开放权重模型？我们希望能够与中国的科技公司进行沟通，共同讨论这些问题。我只是觉得，如果对蒸馏采取任何强硬措施，最终造成的伤害可能会大于好处，因为它们不会停止。说到底，它们还是会继续这么做。
开源市场经济不是泡沫，很可能抢占前沿模型市场
主持人： 对，开源社区也会从中受益，因此初创企业也能获得很大的好处。我们可以深入探讨这个问题。它其实不只是中美之间的竞争。我也能理解前沿实验室的立场，甚至可以说，我试着站在它们的角度思考：构建这些前沿模型需要投入前所未有的巨额资本，如果开源模型通过蒸馏或其他相关方法迅速追赶上来，那么这种持续推动发展的飞轮可能难以为继。这确实令人担忧，也不利于这种良性循环持续运转。
另一方面，中国的开源模型对初创企业生态系统有着巨大的帮助。有些公司尝试过大量微调工作。现在有很多初创公司提供不同形式的后训练服务，并试图将这些服务产品化，而且这种模式确实行得通。因为借助 Kimi K3、GLM，或者你喜欢的其他开源模型，你就有机会达到生产环境中可实际使用的前沿水平。
所以，综合考虑这两方面，你认为未来几年竞争格局会如何发展？谁会胜出？而这又与你自己致力于开源的原因有什么关系？
Nathan： 开源模型和闭源模型的发展，实际上处于不同的指数增长周期。闭源实验室的各个环节高度整合，拥有高效的推理系统。当模型准备就绪时，它们能够依靠充足的资源，大规模提供模型服务。它们可以提前规划，并率先进入价值非常高的市场。
编程领域就是一个例子，也是今年最引人注目的发展故事。相关收入几乎是从零迅速增长到了千亿美元规模，而且很可能还会继续增长。
开源模型实验室则有所不同，部分原因在于经济结构上的限制。作为快速跟随者，它们无法获得同样的信息流，也无法拥有同样的收入流。开源模型生态系统中，有模型开发者、负责推理服务的公司，以及专门提供后训练服务的公司。模型的客户会提供非常重要的信息，例如模型需要完成哪些任务。但这些信息很难顺畅地反馈给模型开发者。
与此同时，开源模型公司也缺乏足够的规模经济，无法像大型闭源实验室那样服务大量用户，也难以同样高效地提供服务，更难在推理服务上获得同等的利润率。这一切都需要更长时间才能发展成熟。
不过，如果某些能力逐渐成为标准化商品，情况就会有所不同。现在，很多企业似乎都希望拥有私有数据。有许多信息，它们根本不能通过 API 发送出去。至于零数据保留政策是否足够可靠，我们也可以进一步讨论。
企业需要花很长时间，才能弄清楚自己是否具备内部专业能力，或者能否建立真正与收入挂钩的内部评估体系。接下来，它们还得研究如何微调模型；或者，它们会去寻找 Thinking Machines、Prime Intellect 这样的公司，并告诉对方：“如果我们能微调出一个解决这个问题的模型，就有机会大规模赚钱。”
这些公司确实有客户，但参与整个过程的企业实在太多了，因此推进速度会慢得多。
不过，在这个过程的终点，它们将真正拥有模型的所有权：拿到模型权重，不再受服务条款的限制，还可以在自己的硬件上运行模型，并且已经弄清楚如何从中获得投资回报。
这就是为什么我认为，开源模型经济需要更长时间才能建立起来。我也不太担心这个市场只是一个泡沫。随着人们逐渐弄清楚如何找到完成特定任务的最低成本模型，以及如何通过利润率展开竞争，开源模型可能会逐步侵蚀那些发展极快的前沿模型所占据的市场。
不过，我也确实不知道最终会发生什么。我认为，现在下结论还为时过早。
前沿模型进步的最大谎言，泛化能力是主要抓手
主持人： 是的，这真的很难判断。这始终是我非常关注的问题。接下来，我想问的是：在判断前沿模型与开源模型之间的竞争格局时，你认为哪些证据最有说服力？哪些证据最能支持我们对未来平衡状态的不同判断？
Nathan： 我一直认为，对于那些无法完全验证结果的领域，前沿模型取得的许多进步，都来自购买高质量数据，并为模型提供可以采取行动、不断探索的环境。
我认为，这里有两种不同的情况。一种是数学和编程，我们还不知道编程市场最终会有多大。另一种则是其他所有领域，包括知识型工作、生物学、医疗保健、法律等等。这些领域的结果不像数学和编程那样容易验证。
我认为，这更接近于 OpenAI 大量购买机器人数据所体现的模式。它们可能会告诉我们，这一切都是模型泛化能力的神
