开源模型对闭源生态的冲击与未来商业模式重塑 硅谷101播客 2026-08-01

开源模型K3引发硅谷关注

大家好,欢迎回到《硅谷101》,我是Yiwen。硅谷前沿AI实验室的商业模式大家应该都不陌生,把智能封装成API,再按token出售给用户。但现在,几家中国实验室正在用开放权重模型挑战这套模式。7月27日,月之暗面正式发布了Kimi K3的完整模型权重。在此之前,K3的横空出世以及它在多项测试上展现出的竞争力都已经说明了一件事,开源模型正在逼近甚至超过最强的闭源模型。这意味着企业未来可能都不再需要完全依赖OpenAI或者Anthropic,也可以部署、定制和掌控自己的模型。

K3的发布也在硅谷引发了一场更大的讨论。过去几周,包括英伟达在内的数十家科技公司和机构签署公开声明,呼吁美国支持开放权重模型和更开放的AI生态。但与此同时也有批评者提出质疑,能力如此强大的模型是否应该开放,它会不会带来新的安全风险,中国模型的快速进步又在多大程度上涉及蒸馏。所以在这期播客里面,我们邀请到了两位身处这场变化中心的嘉宾,前Hugging Face亚太开源生态负责人王铁震,以及TinyFish联合创始人Keith Zhai。我们一起讨论了中国开放模型为什么能在这么短的时间里逼近前沿,最近争议很大的“蒸馏”到底是什么、又能解释多少模型能力呢,当开放模型持续压低token价格,它将如何冲击闭源实验室的商业模式,又会怎样改变整个Agent应用的生态。

其实我们录制这期节目的时间是北京时间7月28日上午,昨天月之暗面发布了Kimi K3的完整模型权重。其实K3从7月16号的API上线以来,在硅谷的热度可以说是居高不下,而且也成为了硅谷最近讨论开源模型的时候最重要的案例之一。我想先请两位从你们的观察来回答一下这个比较大的问题,你们觉得K3真正让硅谷感到意外的是什么。

要不先从Keith开始,因为你们公司是base在硅谷的。如果我们稍微退一步看,整个时间轴其实有几个部分,最早的当然是从DeepSeek那个时候开始,但接下来最近的两个,一个我认为应该还是回到了GLM,就是Z.ai他们这样一个环境下。过去的几个月里整个AI对硅谷带来的影响,变化是极其大也极其快的。在年初的时候,所有人在讨论的问题就是说我们要赶快用AI,但是很快当时是Uber,包括其他几个公司,大家就开始晒账单,说账单已经没有办法再支撑了,一个月花了一年的预算等等。在这样一个环境背景下,Z.ai以及中国的这些模型开始引起新的讨论,包括当时的Cursor(AI编程工具)来用了中国模型等等这些事情。因为Kimi K3作为一个开源模型,它其实达到了一个在很多人看来很新的一个高度,在一个成本主权等等讨论情况下,这样的一个新的群体的开源模型到底会走到什么一个程度,以及它对所有的闭源模型会带来一个什么样的冲击。它已经超出了说是一个讨论,而是更多大家在看在使用的情况下具体应该怎么样做调整。

铁震有什么要补充的吗。我特别同意Keith的说法,我觉得K3的发布并不是一蹴而就,它实际上是有一个漫长的铺垫的过程。从去年年初的DeepSeek R1那个时候,第一次带来了开源版的推理模型,让大家知道推理模型是怎么做的。那个时候非常有意思,因为我记得当时纳斯达克跌得也很厉害,那个时候大家就在想中国模型、开源模型已经非常接近闭源的前沿模型,不管是从硬件生态、整个AI的估值体系还有模型公司的生态,大家都有一个反思。结果过了一年大家发现是一个狼来了的故事,因为过去一年的开源和闭源模型性能的分化实际上是非常大的。闭源模型可能能做到月更,开源模型可能是季更。在性能上不管是Opus 4.6、Opus 4.7、Opus 4.8其实都是远远领先于开源模型的。但是最近几个月发生了一些变化,包括Keith刚才说的GLM 5.2,我也是重度在使用,我已经用GLM 5.2完全取代了Opus 4.8的一些功能。但是大家觉得可能还好,因为美国模型又出下一代了。只要闭源模型领先于开源模型超过一个世代,那没有太多可以担心的,大家还是要用最好的闭源模型。所以这是一个时间点大家就在说,OK,GLM 5.2挺好的,但是我们不担心。

直到过了一段时间大家发现K3出来了。K3不是说跟Opus平级的一个问题,它是基本上已经追上了Fable,甚至在某些场景上要比Fable做得还好。闭源模型瞬间就发现自己没有一个护城河了,因为开源模型跟自己又是回到DeepSeek R1的那个时代跟自己又是平级的一个时候,所以大家就很FOMO。然后又很担心说那我们整个AI估值的泡沫怎么办,我们整个场景是不是还可以按照过去的模式继续运转下去,大家还是要用闭源模型。有可能未来我们要完全转向一个基于开源模型的生态,所以美国内部就会有很多讨论。他们关注的点实际上有两个:第一个是Fable在讲自己非常不安全,所以我们要限制Fable模型的使用,实际上更多的是之前的Mythos。如果有一个开源模型,它的能力已经接近Fable,是不是它也是不安全的,然后你又把这么一个不安全的模型给开源出来,那你冒着什么心态。另外一个话题就是说,美国人就会在想说你为什么能够在这么短时间内,好像就在这几个月连续取得这么多的突破,你一定是在蒸馏我的模型。

Fable和K3的实际用户能用上的发布,中间只隔了大概15天左右。这也是一个非常有意思的话题,就是说K3到底有没有在蒸馏Fable。我个人倾向于是没有的,因为你十多天连模型发布的准备都来不及,你何谈说收集到足够多的语料并且蒸馏Fable。所以K3这个时候发布,像DeepSeek V1当年一样有着非常多的话题,大家也对Kimi这个公司非常有兴趣,包括杨植麟之前的一些观点非常有兴趣,所有这些加起来就是K3之所以这次在硅谷取得这么大关注的一个原因。当然很快后面中国模型像MiniMax、像千问都要发2T到3T的模型,甚至智谱可能也会有一些动作。所以后面我们可能会看到更多除了K3之外,其他中国模型在硅谷引起的非常多的讨论。所以我们就拭目以待,这个行业是变化非常快也非常有意思的。

企业使用开源模型与成本考量

我觉得你提到两个非常关键的问题,就是我们这期节目也想深入探讨的。第一个就是一个能力如此强大的模型,它去开源到底安不安全;第二个就是关于蒸馏指控的这样一些问题。因为你们都提到了,硅谷对于中国开源这件事情整个时间线上的一个变化,对此态度的一个变化。我想再深入捋一下这个时间线。所以说在GLM之前,硅谷对于部署中国开源模型的态度是怎么样的?就是从企业的角度来说,有没有因为成本的考虑,在某一个时刻选择我就要从Anthropic的模型换成中国开源的模型,这个大概是在一个什么时间点发生的?

这肯定要分行业。比如有些行业就是一个非常敏感的行业,那就天生的不可以使用其他国家模型的,从美国来说。当然这个东西适用在其他一些地方,比如说欧洲的一些国家,包括日本等等地方。但与此之外,AI的变化是极其快的,其实很多时候大家第一个反应应该是在讨论说我们怎么样来使用模型。其实很多的时候应该考虑的是我怎么样用到最好的模型,Cost在这个问题只有在上了一个很大的量之后才会变成一个更显著的问题。就算从硅谷来说,成一个大规模上量级的使用是因为Coding整个这一块所带来的一个巨大的变化。Coding之前其实大家大多数的一个消费场景是RAG(检索增强生成),但其实RAG对token的消耗量往往无法跟相当于Coding一开放之后生产力所带来的改变(相比)。所以大家最大的一个调整是Coding之后。其实是从去年大概9月份前后,Anthropic开始比较大规模地推动之后才开始的。那在6个月时间里,Coding从一个大家赶快去需要到突然意识到说我花了太多钱了。而且包括从我们这样一个公司来说,才50多个人,一个月其实整个消费也是大概是要6位数左右的美金,其实是一个很高的Cost。不要提那种更大的公司、更大的企业都会面临很多挑战的。而这种转向几乎就是在一个月之内发生的。而智谱当时的推动因为不是开源,它虽然没有改变事情本身,但它从价格上,当时对很多人来说,说原来模型可以这么便宜又这么好,其实有很多就开始更多地去看比如说千问等等的这种一个开源模型所带来的进展了。而这回Kimi相当于在大家这样一个焦虑的时间点上更高地推动了一步。其实都是在很短的时间内发生的,但整个AI行业有点像是天上一日,人间一年这样的一种感觉,进展得实在很快。

对,所以其实K3相当于是再次加深了大家的印象,就是现在的开源模型的能力已经可以做到和闭源模型能力一样强了。所以在这种情况之下企业才会去做这样一个成本的判断。就像你刚刚说的,今年的前几个月大家主要是在“token maxing”,去最大化Token的使用量,现在可能是一个“token optimization”优化的状态。

对。其实这个东西我倒感觉不是说是开源模型就跟闭源的达到一样强。第一点是整个成本,另外一个主要的问题就是所有权。如果模型一切都是取决于对方是否开放,这就是Fable今年早一点Anthropic这个事情,其实对大家影响很大的,说突然有一天美国商务部说这个不可以用了,那就一夜之间都不可以用了,那之前你做的部署,之前什么可能都没有了,这种情况怎么办?很多时候大家就会发现说我可能不需要用最好的模型。前一段埃森哲做了一个内部的调研。埃森哲作为世界上最大的咨询公司之一,他们又是专门做AI相关的,其实他们的员工使用模型做的最多的事就是生成PDF。那这个东西其实你不需要用最新模型去做的。

中国开源模型成本优势与架构创新

对。成本上我是这样想的,为什么开源模型的推理成本一般会比闭源模型要便宜,它有几个结构性的原因。第一个如果你看闭源模型,成本拆开看的话,那它一部分是实际买硬件去做推理的固定的成本,另一部分是说它要为这个模型付一个溢价。因为这是一个闭源的模型,他卖API的时候肯定是带了闭源模型本身的一个成本。但如果我们去看开源模型推理的一个成本的结构体系,比如说Fireworks,比如说TogetherAI,其实只有一个硬件的成本和它自己为推理服务所赚的钱,它并没有为模型额外地付钱。这是现在的情况,未来可能会变化。所以从结构上来讲,它应该是会比闭源模型要低的。

第二个也要看到中国开源模型实际上一直都在卷一个东西,叫“scaling efficiency”(扩展效率)。在你去做scaling的时候是不是能够同时把成本降下来。那Kimi K3的那个报告里面有一个图,它横轴是说你的flops,然后纵轴是说你达到同样的模型的能力,比如说用这个模型训练的时候这个Loss来衡量,它有两个曲线,一个是K3一个是K2。我们看到说虽然K3比K2大一倍甚至还多,但是实际上它的扩展效率扩大了2.5倍。也就是说K3通过一个模型架构上的演进,达到了模型更大且模型更高效的这么一个效果。这个也是导致成本能够快速降低的一个原因。这里面起到作用最大的可能就是它用的KDA和其他的一些优化的技术。这一方面比如说KDA或者是RWKV或者是其他的一些Linear Attention(线性注意力)技术,是国内每家厂都在研究的。但是我们很少看到海外的闭源厂,比如说Anthropic或者ChatGPT去讲说它用什么样的这种技术。其实Linear Attention整个这个领域,目前最火的能让大模型更便宜的技术的这个领域,主要都是由华人研究者来主导。所以这个是可能开源模型另一个方面的优势。因为他出生在一个算力受限的国家,所以它天然第一天就很关注这种模型训练和推理的时候是不是都可以变得非常高效。这也就导致说为什么开源模型的成本会低。

第三个原因就是说,国内的开源模型实际上现在没有足够的算力去Scale到那么大的一个规模。网上有传言说Fable这个模型可能它的本体有8到10T那么大,但是K3的话它实际上只有3T不到。也就是说3T的模型可以跟10T左右的模型达到同样的效果。单看这个尺寸的话,其实我们也能想象推理成本本身也是有一个巨大的差别的,开源模型可以以更小的模型做出更多的事情,所以它会比闭源模型更便宜。

我觉得这个特别有意思。因为其实我本来有一个关于算力的问题,因为从DeepSeek开始大家就是在说,中国的整个模型是算力受限导致创新倒逼的这样一个叙事。那现在听起来其实K3的思路也还是一样的,但是虽然这个模型结构的演进会带来很多的方便,但是在工程适配上确实带来了很多很多挑战。这也需要很多额外的工作才能够把理论上的极限实际在工程上做出来。

对,还是要给中国infra(基础设施)专家们打Call。是的。

关于模型蒸馏的争议与真相

既然我们聊到了Kimi的能力还有训练这个方面,我们就来解决一下蒸馏这个争议。因为你们之前都提到了Anthropic对于包括月之暗面在内的三家公司,DeepSeek、月之暗面和MiniMax,三家公司在今年2月提出的蒸馏的指控,包括最近Kimi把K3放出来之后,其实美国的政府也有所介入,提出了针对中国开源模型是否要限制的这样等等一系列问题,并且在讨论相应的政策。这个网络上有很多的讨论。我觉得咱们先做一个科普,就是蒸馏到底指的是什么?因为我觉得其实Anthropic它说的蒸馏和我们在说AI训练当中蒸馏的这个过程,其实之间还是有一些细微区分的。铁震要不要先帮我们解释一下。

蒸馏实际上是一个现在被用烂的词。很多不同层面的蒸馏的词语都混在一起。从纯技术角度,蒸馏是一个非常中性的词。蒸馏就是说,我现在有一个大的模型,然后我现在另外有个小的模型,我怎么样让这个小的模型学会大的模型的一个能力。它可能有很多种方法,最传统的方法就是说我们看一下大的模型推理之后,它输出的这个logits。就是正常我们用比如说闭源模型,你是看不到这个logits,但logits就是说每一个位置上,每一个token它的输出的一个概率。然后让小模型去学这个概率的分布。比如说你用闭源模型,你能拿到的就是它最后样品,就是它的采样出来了哪一个词,你是没有办法反推回来它的分布的。所以用经典的我们聊的蒸馏的这个技术的词汇,你是没有办法做到比如我们拿一个开源模型让它去学会Fable的这种事情的。

所以本身我们说这个蒸馏,实际上是一种滥用。现在大家谈的蒸馏更多的是说,利用闭源模型生成出的文本来学习,然后让开源模型拥有闭源模型的一个能力。这个事情其实就非常有争议。说起来就非常有意思,闭源模型可以拿所有人类的数据去学习,然后学完的东西,在被闭源模型输出之后,不能被别人用来做下一个模型,这不是很可笑吗?相当于是闭源模型练了一个宝典,然后它就把所有的语料都扔掉,不告诉你说它是在哪学的,也不跟你讲说它学到的这个东西是什么,不允许开源模型拿它的这个输出去训练。或者换一个例子,有人读了一本书,然后他拿这个书的内容去写了一些自己的创作,跟所有别的人说你不能读我写的这个东西。实际上就是一个非常有意思的点,就是版权法是不是能保护闭源模型的输出不能够被其他模型拿去做训练。那在这个点上,开源模型实际上是非常开放的,R1出来的时候它直接说,我们支持所有人去蒸馏我的开源的这个模型,我甚至官方推出了一些数据集和模型,然后让大家可以去蒸馏。那蒸馏有很多好处,比如说大家实际需要的是一个非常小的一个比如说3B的模型,那你可以把DeepSeek某一个方面的能力给蒸馏进去。而且DeepSeek是直接给你开放logits,所以你想要去做传统意义上的蒸馏,你是完全没有问题的。Kimi也是一样,就是它其实在许可证里面并没有明确地限制说你不能把这个开源模型的输出用作提高其他的跟它竞争的这个模型。

另外一个层面抛开这个,就有很多人说蒸馏是什么呢?当我用这个开源模型的时候,这个开源模型会自己说我是Claude,你问这个开源模型你是谁,你不要加这个系统提示,它就会说我是Anthropic,我是ChatGPT。然后很多人说你一定是在蒸馏这个闭源模型。实际上这是一个数据污染的问题。在Opus 4.7的时候,我记得如果你把系统提示拿掉,然后你用中文去问它说你是谁的时候它会说自己是千问。其实也就是一个数据污染的问题。因为各种模型的输出已经在互联网上大量地存在了,所以这些模型在预训练的时候,会学到各种不同的身份,导致它意识有点错乱。但解决办法就是你在系统提示里面很明确地跟它说你是谁,也针对性地做一些微调和训练。但是这个问题肯定是没有办法完全得到解决的,总会有一些情况下这个模型会对自己是谁的这个认知有一个错乱,我并不觉得说它是一个蒸馏的问题。

说回来K3有没有蒸馏的这个事情。那我为什么相信它并没有蒸馏?是因为蒸馏是一个训练的过程,它是你在训练的时候去学习另外一个模型的表现。你学的这个过程实际上是非常漫长的。就是一个经典的这个模型训练可能需要三个月,那它绝对不可能在比如说十多天,就积累到足够多的语料然后去学习。另外一点为什么开源模型其实很难从闭源模型蒸馏,是因为闭源模型不给你暴露它的思维链。闭源模型蒸馏开源模型是非常容易的,因为开源模型已经把所有的logits、所有的思维链全都暴露出来,所以闭源模型想要去追完全没有问题。但是开源模型如果他们真的在蒸馏,并且想蒸馏这个闭源模型的话,实际上是很难的。它又不给你暴露Logits,又不给你暴露思维链,它只给你暴露最终的结果。如果说我们看到一个人做事情的结果,我们就能学会他内心怎么想的话,那我们人类社会互相学习太容易了。包括我们再去向某些人学习的时候我们需要打开他的内心,知道他内心是怎么想的。我们只看他的结果,实际上是很难学会他的行为的。所以闭源模型不暴露它的思维链,就导致闭源模型非常难被蒸馏。那我们也很难通过闭源模型来提高开源模型的一些能力。

比如说我们从这些前沿实验室Anthropic和OpenAI的角度来看,他们对于蒸馏的担心,你觉得是出自什么样的证据也好或者他们的经验也好,我们怎么样去理解他们最近的这些指控?

我觉得抛出蒸馏这个概念的人其实不见得是技术圈的人。每个公司肯定都是有不同背景的人,那大家竞争或者是怎么样,它肯定是有一些方向和战略。那不见得说是技术圈的一个蒸馏的指控。可能更多的是一个比如说商业目的或者是给大家一些预先的植入,就是说其实开源模型没有那么好了,它都是蒸馏闭源模型蒸出来的或者是怎么样。你也很难抓到一个具体的事实去说,你确实是在蒸馏。其实我觉得这些闭源厂商借着蒸馏这个名号,其实也做了很多很夸张的事情。比如说他们曾经把几万个账号,被质疑是在蒸馏数据的这个账号给关掉,那其实本质上就说明他们实际上在看所有用户的数据,他们才知道他觉得谁在蒸馏。所以我觉得整个这个事情其实就有点像是所谓的这种国家安全的自我强化的一个预言。那你总要有一个靶子,然后你就照着这个靶子去打,说不定能搂草打兔子然后找到一些什么东西。如果能出一些社会影响力当然好,如果出不了那也就这样对吧。技术圈其实一直对大家的蒸馏的这个说法有很多质疑,但是也就这样了。

蒸馏本身是一个中性词,但现在蒸馏已经变成了一个贬义词。但事实上蒸馏本身,它是一个很标准的技术。所有的公司包括OpenAI、Google、Anthropic,大家其实都在用大模型蒸馏各种小模型,这都是已经存在的。第二个误解就是把模型能力完全归结于蒸馏。就模型只要是比较好了它就全都是因为蒸馏。但实际上不是的,如果这么简单的话,那所有人就随便训练出来一个模型了。这里面它的强化学习、数据工程、架构的各种创新,包括最开始DeepSeek所做的很多东西,这是一个非常复杂的问题。蒸馏可以让你很快地去达到一个及格线,而像Kimi K3,它其实已经远远超过及格线了。因为蒸馏它能省的,一个是比如说是算力,第二个数据标注上,其实可以省不少的一块东西的,当然还有时间。它的迭代、什么各种周期可以变得更快,以及很大的一个挑战就是对齐,但是从本质上它无法实现超越或者是达到一个上限的。所以目前很多的时候,关于蒸馏的讨论它其实会落在法律和商业的伦理层面,而不是一个技术层面的讨论了。因为几种情况被认为越界的话,它不是一个技术的越界,而是比如说它违反了模型的服务条款。第二点可能就是规模化或者系统化地用对方的API去提取大量的训练信号。第三个可能就是涉及到这个模型的权重、商业机密直接窃取了。

关于Kimi是不是蒸馏,或者说中国的open source这些模型大家是不是蒸馏这个情况,我认为因为这是一个非常抽象的概念,它又被简化为一个抄袭,所以其实好多的主张是混合到一起了,我们应该把它给拆开来看。第一个有没有中国的一些实验室,可能是不是系统性的没有经过授权,调用了比如说包括Claude在内的这类的前沿的模型,它们的API去提取训练信号。很多的证据其实围绕在这里的,比如说账号的大规模的自动化请求、各种调用,这个是可以被检测系统所抓到的。但第二层很多的一些指控,比如K3是靠蒸馏Fable 5拿到的什么的,这个是证据非常薄弱的。时间上来看,这个Fable 5的话它是7月初,1号还是2号刚开始的,中间其实很短的,要在两周左右的时间把一个前沿模型换成另外一个训练数据整个跑,这个其实是极其困难的一个事情。第三点,蒸馏这件事情本身,让这些开源模型包括Kimi K3在内的所做的成就是不是就不存在意义了?这个我认为是一个错误的观点,因为蒸馏就是一个比较久的技术,模型输出本身它很多时候不受传统版权法保护。从这个角度,它其实还做了很多东西。它本身还是实现了很多技术上包括各方面的一些推动和革命的。就算可能有一些实验室在去蒸馏,其实中国目前开源模型的成功实际上可能有比如说十个理由,包括刚才我们说到的模型架构,包括infra上面一些工作,包括一些中文数据的工作等等,其实可能都是非常重要的点。如果说美国的这些前沿的实验室只关注蒸馏一点的话,其实他们有点“只见树木不见森林”,可能会完全忽略掉中国模型在其他方面的先进性。这是因为涉及到法律或者是商业上的一个伦理道德的很多东西。所以这个其实很难做出一个具体的说是不是这样的一个判断。但是我感觉目前所有的证据应该倾向于指向的是,可能会存在一些没有授权的大规模的数据抓取行为,但并不代表说能得到的结论说Kimi K3包括其他在内,他们的核心能力来自于蒸馏,尤其是蒸馏Fable。这两个是不同的事情。

是的。对,我觉得这里两位都回答了两个核心问题,一个是到底有没有蒸馏,第二个是蒸馏构不构成这个模型的核心能力。我觉得是非常好的总结。

K3商业授权协议与开源商业化

其实我想再从K3的角度来看一下这件事情。其实铁震你提到了K3的这样一个商业授权模式,我觉得也是这次技术报告放出之后特别有意思的一个点。Kimi它使用的是一个单独的Kimi K3 License,它规定了如果一家公司它卖的是模型,并且公司以及它的关联方在连续12个月内的总收入超过2000万美元,或者说这个公司它在把K3和它的衍生模型用于商业服务之前,需要和月之暗面另外签署一个协议吗?而且这个Model as a Service,就是对于这类模型公司的定义,不包括嵌入具体产品功能的终端应用。其他的就是内部使用、月之暗面官方产品和其他的合作伙伴不包括在内。这样一个商业授权协议体现出了Kimi商业化上的一个什么样的趋势,以及我们之前有没有看到过这样的一些?

第一个我觉得赚钱的开源模型才是好的开源模型。这个事情可以有几个佐证。第一个,比如说之前我们看文生图模型领域的翘楚Stable Diffusion,它后面是由Stability这个公司研发的,它这个模型一直没有办法赚到足够多的钱,所以就渐渐销声匿迹了。第二个就是千问。千问可能也是因为开源做得很好,但是商业化做得不好。所以我一直觉得能够赚钱的开源模型才是可持续的开源模型,才是可以让我们一直享受下一代开源模型的这么一个模型。

第二个就是,这个license赚钱的事情其实Kimi不是第一个提出来的。当年的开源模型的祖师爷Llama,他们当时在license里面也有一个限制。当时大家不是特别清楚具体他这些东西要怎么执行,Kimi这一次就把具体执行的内容都给写得很清楚,也是比较可操作的。我觉得这实际上是license法律或者是商务层面的一个进步。

第三个就是它现在把这个东西写清楚之后,很多专门做模型推理和云厂商实际上没有办法去“搭便车”了。因为之前很多开源的一些数据库项目现在最担心的就是云厂商没有出工没有出力,然后拿这个开源项目部署在自己的云上就可以卖钱了。所以free ride这个事情实际上是开源社区一直想要避免的。之前在开源软件时代大家都想出了很多办法,比如说可以有两个license,或者说专门有一个license排除对云厂商和一些专门做线上业务的人的排除。那我觉得Kimi也是延续了这个精神,包括MaaS厂包括这些云厂,他们需要在自己通过开源模型赚到的钱里面给Kimi做一些分成,我觉得这也是非常合理的。

可能是一个反常识的观点就是,云厂和这个MaaS厂实际上应该是非常欢迎Kimi找他来收钱的。因为只要你来收钱,就说明你跟Kimi有一个官方的认证关系。大家如果去看Kimi的官方的一些发布,它实际上是有一套官方认证流程的。你只有过了这个流程,你卖出来的token才能被证明说是好的token,包括准确性包括性能都是有保障的。如果你官方认证都没有过,你都没有给Kimi付钱,你都不是Kimi的官方合作伙伴,那大家可能也不愿意去采买你的token,从营销的角度说。

那另外一点就是,其实这些MaaS厂和云厂包括一些小的专门卖推理的公司,其实它整个的业务都建立在他们能拿到不限量的开源模型,并且不停地用开源模型做推理卖给他的客户这个点上。所以他们也非常希望开源模型的生态是一波接一波持续不断的。他也希望这些开源模型公司是能够赚到钱的,不然如果有一天大家都不开源了,那这些比如说拿了很多融资的专门做推理的厂,或者是买了很多卡然后想要自己做推理的new lab,它的整个业务逻辑就不成立了。所以说现在有一个能够让大家整个生态持续发展的方式,那大家应该都是非常欢迎的。我相信这个应该不是第一个尝试这方面license的公司,Kimi之前MiniMax其实也做过一些尝试,后面我们应该也能看到更多的企业做更多不同的尝试。我们能不能稍微和别的中国的开源厂商做一下对比。

商业模式与开源授权的落地挑战

比如说我理解千问的这个商业模式,可能是回到他们的云服务。这个能不能跟我们解释一下,哪家厂商有什么不同?千问的商业模式肯定是绑定阿里云,但这只是过去的一个状态。如果说Kimi的这个授权转变是很成功的,大家也都愿意付这个钱,并且产生更紧密的整个生态的一个连接的话,我相信其他家去复制这个模式也不是一个不可能的事情。所以这个逻辑本身是不新的。比如说从早年的MongoDB、Elastic,其实大家都做得差不多。因为那会儿云厂商大家很多时候就是“白嫖”,所以整个这个逻辑,MIT、Apache,都是在这种情况下出生的。包括Llama其实也是这样的,它的整个逻辑也是对着当时非常大的Microsoft、Amazon等等AWS这样的东西来设计的。所以其实Kimi的整个设计应该是两块:第一块就是一个云厂商,因为其实你可以想象,像现在非常火的Together AI、Fireworks,大家核心都是靠这些开源模型来赚很多钱,这是一份中间商的差价。第二一部分,其实就是终端应用方,那也就涉及到了,比如说Cursor之类的,它是一个终端的时候,那你的这个情况应该怎么样。这个其实已经是一个非常细化的了。这个其实就回到和闭源模型,或者闭源整个Frontier Labs在打仗的这样的一个场景里边来去看。比如说MoonShot,它现在核心的应该是靠开源的这样一个逻辑去铺量,去挤压包括OpenAI、Anthropic这样的一些生存生态或者生存方式,已经形成一个新的心智上的占领。但是与此同时,这个世界也非常新,因为跟过去Claude不一样,现在的情况下它已经没有办法自己去能承担得住这种一代又一代模型迭代的训练成本了。所以如何能保证开源这样的一个大的叙事,但同时又不能把自己最好吃的蛋糕就给大家随便去“白嫖”,这种情况应该怎么打?所以目前来说这是一个相对妥协的结果。但是最难的角度就是落地,就是执行情况。你怎么去知道一家非中国本土的公司在过去的营收达到比如2000万美金?这应该是一个坎。那怎么去衡量呢?比如说很多公司它本来就是AI Native公司,你也不知道它赚多少钱。这是打官司到时候,它因为现在是自觉申报。因为申报这个东西,像Cursor这种是容易看到的,那很多公司你怎么去看呢?打官司、跨境执法怎么办?这个东西从传统的角度都没有去解决的事情,在今天这个AI的行业里怎么去解决呢?其实有很多很多的灰色地带。这个其实是一个非常难以去界定的事情,在我看来。

开源软件在国内的付费现状与Kimi的授权前景

那你们觉得这个有什么过去的案例是值得参考的吗?无论是成功或者失败的例子,还是说现在还是一个太新的东西,我们没有办法去衡量?确实收钱这是一个很难的事情,尤其是license收钱。而过去大家一直有抨击说中国的企业,尤其是中国的大厂,他根本不看认证,我只要偷偷地用,然后你找不到证据没关系。但是实际上我看到这几年情况在快速地好转。包括阿里,我知道它也是付了很多license。然后包括一些非常传统的软件,比如说服务器的什么Load Balancer(负载均衡器)什么的,其实在国内也都能收上来钱了。其中背后的原因,我觉得有几个。第一个就是说,至少这一代程序员,大家还是有比较强的给license付费的一个意识。第二个其实厂家也发现,带着原厂一起去做一些事情,一起去合作营销,实际上是能给它带来很多好处的。比如说某云厂可能对某功能有一个定制化的需求,他自己不一定能搞得定;或者说他就算自己搞定了,他对开源代码的改动是非常有侵入性的,导致开源代码一更新,它这边的所有的模改全都不能工作。所以每次更新都是一个非常痛苦的过程。这些云厂通过资助这个开源项目,或者买它的license,或者加入基金会等等,他可以跟这些原厂有一个非常紧密的连接。他可以说:“OK,我需要你帮我把这个功能推进去,下次我更新的时候我就很容易。”这种事情多了之后,大家就养成一种意识,就说那为什么我们不跟你原厂搞好关系?我要偷偷摸摸地用,我让原厂来帮我宣传不好吗?第三个就是,包括Linux基金会等等这些机构,在国内比如说通过每个企业的OSPO,就是开源办公室的一些合作,实际上里面很多信息现在是非常透明的,就大家知道谁在用什么。而且这个人员流动也很频繁,尤其是非常大量地使用,然后你想藏住,实际上是很难很难的。一旦你被发现,有明确的证据链之后,法院也是会支持开源一方面,因为这边已经有一些比较好的判例了。第四点,我们再回到Kimi的这个授权能不能收上钱来。因为我们知道Kimi这个模型实际上是一个非常大的模型,它是一个3T的模型。想要把这个模型在云上面服务好,实际上是很难的。虽然我们看到像VM、像SGLang都对它做了一些社区项的支持,但是真正能够把它大规模跑起来,并且有很高的性价比,然后有很高的使用体验,并且把它跑起来,其实全球也没有那么多的机构。第一个,你首先要有几百张、几千张、几万张NVIDIA的卡。那首先你就是一个要面子、在这个行业里面靠品牌吃饭的一个人,如果你没有一个很好的品牌,NVIDIA甚至不愿意给你卖卡。然后第二个就是,你肯定在这个里面投入了相当多的人去做所有的推理优化了,你这个事情是藏不住的。第三个,所有API的售卖其实大部分都是公开的一个售卖。就是你想要走量达到Kimi的那个量级,你需要自己有一个API,然后放出来让大家买一些token,或者是面向ToB的一些场景,大家能够在你的网站上直接看到说你在卖Kimi的token。虽然你可以藏一部分销售的量,我觉得但是大的量你是藏不住的。所以综上几点,我非常有信心Kimi能把这个钱收回来。肯定是会有一些漏网之鱼,但是应该不影响他们公司的业绩。如果说卖license这个路径被Kimi证明成功,实际上这是比Kimi自己去做推理要好得多的一个商业模式。这就是“无本万利”,你只要把模型做好,大家都直接给你上供,你连自己买卡或者是怎么样都不太需要。尤其是中国企业可能在买卡上还面临一些挑战。个人情感上我也希望说Kimi这条路径能够走通。我觉得这个非常有意思。

开源模型对闭源实验室估值与竞争格局的冲击

而且其实这是一个很好的过渡。如果说license这一套模式可以走通的话,它会对地缘实验室的收入模式造成什么样的影响呢?我觉得第一波影响应该是估值体系。今年ChatGPT和Anthropic都要上市,OpenAI和Anthropic上市的时候大家就会问,你这个公司到底值多少钱?在开源模型追平Fable之前,大家会觉得闭源模型它的模型本身是一个非常有价值、非常有稀缺性、非常值得溢价,甚至是垄断性的一个东西。我记得前几天看到一个笑话就是,有一个Hackathon,在Hackathon运行的中间ChatGPT的服务器断线了,然后就没有人在Hackathon去搞东西了,因为大家的智能被断供了,大家都没有办法继续去做这个事情。所以它垄断智能这个事情,实际上是比垄断任何商品威力要恐怖得多得多。所以它天然就值得万亿的市值。但是有一天大家发现好像竞争变多了,好像不止这几家可以训练模型,好像很多家都可以训练模型。有了开源模型之后,非常聪明的模型变成了一个流通的商品,甚至是被平民化了,变成一个社会的基础服务了。那这个时候你再去想OpenAI和Anthropic的价值可能就要稍微打一个问号。大家就会问说,那你商业化到底能做到什么样程度?有多少企业愿意在这种开源模型已经遍地开花的情况下,还愿意付钱买你的闭源模型?闭源模型你商业的Margin能做到什么样?然后你后面发展的这个scaling law,我是不是还可以投无限的钱让你去无限扩展,还是说你现在要抓紧去想一想怎么样让你token的效率更高?所以整个这些东西压下来,这个饼就没有那么容易画得圆。估值体系肯定是会受到一定的压力。第二个就是说,如果说未来所有美国的new cloud都变成Anthropic和ChatGPT的竞争对手,因为他们天然就有开源模型,哪怕交一点授权费他们还是能赚钱,比数据中心低价卖给Anthropic还是要赚很多钱的。这时候就会发现,OpenAI和Anthropic的业务其实很难再有爆炸性的推进了。因为所有的这个new cloud他们之间可以互相卷价格,他可以把token价格压到很低。甚至有的人可能是通过一些资本市场的手段,让数据中心的成本在资本开支里面去摊销成本,它的token可以卖得很便宜。这样的情况下OpenAI和Anthropic会不会被动地陷入一种价格战?其实我们已经看到,以前Anthropic和ChatGPT它是很高傲的,它说封你号就封你号,前几个月前我们就看到是这样。后面ChatGPT为了做一些商业的手段,开始了国内外卖送券的这个模式,不定期地给大家发一些重置券。这就已经开始一些很商业化,可能会损害公司的margin,但是圈更多用户的一个手段。而且我们看到Anthropic最近封号也变得没有那么疯狂,可能最后大家为了业绩,可能对很多号的管理也没有那么严谨了。最后都会反映到他们的财报上面,都会反映到市场的竞争里面。所以我觉得开源模型的普及,实际上是对他们造成了一些困扰的。我觉得这也是为什么,他们可能会想要提议说禁用开源模型,或者是在法律和市场层面去给潜在的竞争对手造成一些阻碍的原因。

开源与闭源的立场冲突:以Anthropic和NVIDIA为例

最近有一个背景就是,美国的一大批科技公司还有一些机构,签署了这样一封公开信,这封公开信的名字叫做《开放权重和美国AI领导力》。这个是黄仁勋加入X之后发的第一篇推文,所以也造成了很大的影响。这个应该是在上周五,就是7月24号的时候,应该有25家公司还有个人和机构签署了这份公开信。在几天的发酵之后,大概是达到75家。这其中Anthropic是一直没有签这份公开信的。当然今天Dario Amodei刚发表了一篇他自己的文章,然后也解释了,就是Anthropic对于开放权重这件事情的一个看法。所以我觉得这个立场其实特别有意思,然后我们又在这个背景之下去讨论他们的商业利益的关系,所以我觉得也是形成了这样一个冲突。在这个背景之下,能不能请两位再给我们分析一下,Anthropic现在它的立场是什么样的?这个闭源实验室到底在这波开源模型中受到了什么样的冲击?其实这个公开信我自己感觉,因为它整个核心就是关于要不要开源,或者应不应该接受开源。开放的一个生态和一个闭源的生态,它的商业逻辑从根本上其实就应该是一个对立的。开源模型它每一次的开放,肯定都会给专门是卖API这个cost整个闭源的带来一个巨大的冲击。甚至是黄仁勋所被指责的一个点,NVIDIA其实从芯片、基础设施这个角度来看,那肯定是每个人都能自由搭建一个最好,这样他们可以卖出更多的铲子,因为他并不在乎谁能挖到金子。而对于模型厂商,其实核心就是保住自己的护城河。但是双方所互守的东西,在这个环境下,就会发生两个完全不一样的角度了。整个会走得甚至可能会越来越远,在这个利益上应该是完全不会对齐的了。甚至你会看到从闭源模型的整体来看,它也发生了很大的变化,就是包括我们刚才谈到的OpenAI、Anthropic这种主要是靠可以说卖API来赚钱的这样的公司;另外一种其实是包括Meta、包括阿里这样的公司。Meta和阿里都是有自己的分发和基础架构的,因为阿里其实主要赚的就是云服务,通过开源到闭源,这样的话它可以从云服务的角度来去做更多的业务。而从Meta的角度来说,WhatsApp,第一次我发现WhatsApp今天增加了一个收费版,299一个月可以开始收费。它是可以靠自己的Instagram各种的APP矩阵去实现转移它自己目前受到的开源上的压力。但是这两种情况是目前为止OpenAI和Anthropic他们都是没有的,因为他们在过去的时间主要focus API的这样一个模式。无论是从基础卖铲子公司和希望别人用API的公司这个角度来说,以及闭源公司本身它也已经开始越来越分化,它是一个结构层面的变化。我非常同意Keith老师的观点,不管你在商业竞争的哪一个层面,其实你都希望跟你同层面竞争的人越少越好,但是你的上游和下游都是越来越多的。那站在NVIDIA的角度,他肯定是不希望这个模型厂是一个处到垄断地位的,因为这样他们的议价权就会很强。他希望说自己处在一种垄断地位,但是不管是上游的模型厂还是下游的new cloud,都是尽量丰富的一个生态。那么在这种情况下,他们去支持开源我觉得也是非常可以理解的。而且其实NVIDIA从早期到现在,它一直都是开源非常好的一个支持者。像早期它之所以能在研究员群体里面建立早期的生态,让深度学习最早的一些故事全都发生在英伟达的这硬件上,也就是因为它比如说CUDA的这个生态,它有一个非常好的开发者社群。然后围绕这个CUDA的生态有非常多的开源项目,从最早的贾扬清的Caffe,到后面Google的TensorFlow,到后面的Pytorch,都是搭建在NVIDIA硬件上面的一套非常完善的开源软件的体系。这种体系形成了一个非常强的壁垒。一旦说你已经成为开源的标配,比如说AMD想要进来,那它就要跟所有这些开源厂商一个一个去聊说:“我是不是能够在PyTorch里面做一个集成?我是不是能在比如在VM、SGLang里面去做一个集成?”但这其实要花很多的工夫。NVIDIA作为开源的先行者,实际上在这里面是有不少红利的。相当一部分的所谓的CUDA的护城河,实际上都是围绕在CUDA周围的这些开源生态造成的一个护城河。所以我觉得NVIDIA来支持这个事情也是非常合理的。第三点就是,Anthropic其实有点走向“邪路”。它实际上是在以安全的名义为用户增加很多的限制。一个最让大家诟病的就是,比如说你在用Fable的时候,如果你不小心触发了那个贼敏感的检测器,那它有可能会瞬间给你降至到Opus 4.8。导致一个什么后果呢?就是你想要测试Fable的极限能力,如果你不是Anthropic的员工,你被过滤器限制你是没有办法去做任何事情的。因为随时比如说测出来一个不好的成绩,你都要怀疑说:“是不是我被降值到Opus 4.8?”比如说像我们平时去做一些AI方面的探索,哪怕我就是做一个很简单的推理,如果我不精心构造这个prompt,我就不要说是骗Fable说这个东西不是一个AI的东西,很有可能我就是做一个简单的模型的推理,然后Fable就直接告诉我说:“你这东西有风险,我不能支持你做这个事情,我就给你限制。”这个filter,我相信他做得这么敏感也是有一定的意义,因为我知道Anthropic理念光做模型外安全的这个团队都要几百人。他做成这个样子到底是故意的还是不故意的?这个我不是特别清楚。但是我觉得他至少现在的产品平台对用户造成的烦恼,是远远多于他潜在的安全的考量的。一个让用户如此不爽的公司,能够突然发现自己瞬间有了好多竞争对手,然后大家对自己不爽,然后大家都想要支持开源,也不是一个非常难以预料的事情。我觉得这个非常有意思。

模型厂商选择开源的商业与地缘考量

其实中国的模型厂商它并不是从一开始就是开源的。其实Kimi K1这个模型,Kimi的第一个模型,也是一个闭源模型。而且一开始很多的模型提供商都是去做这样一个闭源的商业模式的。通过开源我们可以看到可能有更强的分发能力,有更多的用户,就相当于是把这个名声打出去。然后把这个开源的好处,让很多模型厂商选择了开源。所以我觉得我们做一个思想实验,就是说如果Kimi有OpenAI那么强的分发能力和那么高的API收入,它还会选择开源吗?我不知道。就是如果你有这个OpenAI这么多的收入,它是不是还会开源?就是我觉得可以做一个类比,Linux早期是作为一个反抗闭源Unix生态的一个先行者,但是当这个Linux发展到现在,已经基本上所有的设备上面都在跑一个Linux的时候,Linux依旧是一个开源的底层的一个东西。所以我更倾向于说,只要我们找到开源生态一个可以持续运转、并且能赚钱、并且能赚大钱的一个商业模式,那没有理由他们不开源。整个这个东西,其实在某种程度上也不一定受实验室自己控制了。因为它已经从商业竞争开始变成了一种地缘政治的一个博弈,就在这个框架下,它的这个商业逻辑其实变得是第二节了。

Thinking Machines与美国开源生态的反思

其实在这里我还想聊一个公司,我觉得Thinking Machines很有意思。它在应该是K3发布前的一周前也发布了Inkling,Inkling是一个开放权重的模型,并且它参考了DeepSeek的架构。因为Mira Murati也是从OpenAI出来的,其实我还蛮想听一下大家的看法,就是Thinking Machines为什么会选择开放权重这件事情?我的理解是,他们有一个叫Tinker的后训练的线上的服务。他为了让用户把这个东西用起来,他肯定是要把基础的模型,就是Tinker训练出的这个模型的一个结构放出来然后让大家用。这样Tinker每次训练出一个什么什么东西,它开源的适配已经都完善了。所以我觉得从这个角度来讲是非常合理的去做一些开源的工作,只要说这个开源的工作不会影响到比如说他的一些商业利益或者是什么,我觉得是没有问题的。另外其实美国学界也在反思说,为什么美国的公司做开源做得越来越少了?因为像开源模型的这个鼻祖就是Llama,那个时候都是美国公司在领导。从DeepSeek出现之后,美国的参与开源的比例就会大幅地下降。所以当时Thinking Machines这个模型出来了之后,我就记得很多人就讲说这是一个美国很重要的开源模型等等,可能也有一些这方面的考量。那么在美国的一些研究员可能也在想说,为什么我们不能参与到开源的游戏里面呢?我们也可以对社区做一些贡献。Thinking Machines发的这个模型,其实它的架构或者是在它整个的技术报告里面,都是有一些很不错的有意思的亮点也是值得学习的。我觉得其实开源界不怕说大家卷起来,不怕大家发很多模型然后一个比一个好,其实最担心的就是开源界没有人发模型,变成一潭死水。只要是有新的开源模型出来,总能给大家一些启示,每个人在做不同的尝试的话,也会让这个领域推进得更快,不管说这些开源模型是哪个国家的。Thinking Machines这个模型,因为我的理解,它的整个方向虽然它是开源,但是它跟Kimi完全不是一套打法。他们整个核心应该就是现在企业都需要一个部署自己的模型,他们会帮着企业做微调做各种。这套逻辑的话,现在是美国非常普遍的一套逻辑。因为ToB在美国是一个很大的生意,而在中国其实不是一个很好的生意。“Intelligence我应该是租借的还是我应该是变成自己的?”很多的企业现在越来越接受的观点就是Intelligence应该是owned,而不应该是rent。这就是它的整个大背景下。

企业级AI部署与“中间商赚差价”的现实

我好奇比如说你们看到的服务美国企业的场景,大家对比如说用Thinking Machines的这个模型或者说用中国的开源模型,会有一些技术之外的看法吗?或者说大家主要看的点是什么?大家主要在用哪些模型?对,我感觉这个东西还是看具体的应用场景以及你的垂直场景。垂直场景,比如说一些政府端的肯定是不可以,包括一些国家可能也不太方便,这就给了包括Thinking Machines这样的一些公司的模型很好的一个切入点。Cursor应该有很多大单,但是这并没有影响到它的一个部署。因为开源其实不拿用户数据,它其实理论上不应该涉及到这个安全问题。但是现在的一个大时代背景是什么都会涉及了,包括你这模型干什么用、你是不是做Coding、还是你要做什么。但是我感觉大多数的美国公司并不是非常在乎这个模型是不是中国的,但是他有没有能力去调校自己的模型,这是另外一回事。那你觉得当开源模型的能力足够强之后,会催生更多提供微调、适配企业需求的服务的这样一些公司吗?对,这个已经是一个现实了。日本是没有一个自己模型的,它就有一个最开始的SakanaAI,对不对?它的SakanaAI其实没有什么东西出来。所以他们很多的时候就是把国外的模型部署到自己企业里面。那在美国的话,这几家公司,他从个人的开发者的使用角度来说,他已经没有那么多了。Cognition AI举个例子,其实是一个不是被广大开发者所使用的一个产品,但是并没有想到它赚了很多钱。从ARR的角度来看,企业、政府很多的这种客单是有很多的。所以我感觉这个是在未来一段时间内的一个现实。因为大家是想使用AI,但是大家并不知道如何部署,或者应该怎么样选择。就像一个市场极其混乱又没有那么透明,所以就会多了很多的中间商赚差价。很多时候大家就会想如果我去找中间商赚差价,把这个钱交给像埃森哲这样的公司去赚,我不如自己去做这个事。这也就为什么说OpenAI也好、Anthropic也好,他们都成立了部门专门就是做部署。

行业分层与充分竞争带来的机遇

那比如说像OpenRouter这样的公司是不是也是受到这一波开源模型的影响,然后最近才火起来的?是的,他们其实压力很大的。因为在很长一段时间,市场的叙事是要用最好的模型,而这个最好的模型就是闭源的。你想他们的优势是很少的,就我为什么需要另外一家厂商去来帮我做这件事呢?而这一波你可以看到在过去几个月的时间里,包括OpenRouter在内,包括另外我们提到的这几家公司,他们的估值,就是ARR都是翻倍快速增长的。但就是核心利用了中国为主的开源模型这一大批,因为中国这批之外没有那么多开源模型的。生态多元,然后生态分层,实际上对整个行业是一个非常好的事情。我们可以拿比如说IBM的兼容机和苹果的所谓的一体机来对比。如果说在行业的早期,每个人都可以做自己最擅长的事情,比如说做模型的做模型、做推理的做推理、做企业服务的做企业服务。那每个人都可以在自己的位置上做出最高效的一个决策,也可以做出最快的一个迭代,让大家也可以卷得更厉害一点。我觉得这个实际上是对行业非常好的一个方法。总比像传统中国互联网企业喜欢从头做到尾、什么都自己做、最后靠的不是一个纯市场竞争来打败对手,而是很多技术之外的方式,比如说流量扶持或者是封禁一些内容然后来做到这个效果是好很多的。但最后会演化成什么样子?可能又会回到某一家独大或者是怎么样,也有可能。但是至少我们在当下,就可以好好享受现在这种市场充分竞争的一个业态,不管我们做什么,都是有非常多的机会。

AI Agent应用层的危机与Infra层的新逻辑

明白。在这种竞争的情况下,对agent(智能体)行业还有生态会造成什么样的冲击吗?正面或者是负面的?因为agent是一个比较宽泛的概念。就是我理解你提到的agent可能主要的是关于因为从工作流上的这种具体的这些应用,这一层的agent我感觉已经发生了很大的变化了。我前一段跟一个VC的朋友聊,他说估值越高,我们反而会越愿意投,估值很低的agent,我反而可能不愿意投了。因为你的这一层很容易可能就会被吃掉。第二点,闭源模型包括其他的模型,如果单纯靠API去赚钱这个事情,就是我最好我要是随便地收溢价,我也不在乎客户了什么的这种服务的这样的一个逻辑,肯定是已经被拆解的。它应该是不是比如说开发更好的harness(脚手架),它会把工程的整个agent的这个能力的垂直的调整变成一些新的护城河?这些事情都已经正在发生了,对吧?无论是说OpenClaw也好,包括其他的harness的这个Layers,包括后来比较火的Loop Engineer什么的,这个模型很快就可以吃进去。所以如果我们讲的是应用这个层级的话,我感觉这个事情对于整个生态来说会发生很大变化的。因为AI还是很早,它其实也就是最近这几年,在整个长河中它是非常短的时间。如果我们把它放在一个五年的时间来看的话,我并不是很认为说以后会有很多的agent应用的公司。但是回到另外一个角度就是说,Agent infra,Agent当它能实现做很多事情,包括在互联网上的使用,它的逻辑又是一个变化。现在的模型厂商或者大家在做的事情,它是做ISP,它都是一个广泛变成一个大宗商品、变成一个像水和电一样的消费来说的话,那应该还有什么?这是一个我们应该重新考虑的问题。

Token成本下降与AI作为服务型行业的前景

是的,铁震你觉得呢?其实现在我们看到很多Agent workload(工作负载)和传统的推理,比如说做一个ChatBot或者是做一个简单的RAG,它的对模型侧的要求是不太一样的。比如说之前可能是短输入长输出,现在可能是非常长的一个输入然后非常短的一个输出,并且它的英文对话能够重用的prefix,就是KV cache(键值缓存)的重用率是非常高的。其实这里面也能做很多新的优化。在这个模型之外怎么去推理模型,这个事情也可以根据我们当下主要跑的这些任务的特性不同,然后做出很多极致的优化。比如说如果我们能够控制这个harness,能够控制比如说Claude Code或者是open code这一层,我们可以自己去定义一个跟模型通讯的接口。那它有一个什么好处呢?就是我们可以完全地掌控这个KV cache的生命周期。那对于很多推理的降本、提效或者是做一些调度,都是有非常多的好处的。所以我觉得这个行业就是一个方兴未艾然后有太多可以做的一个事情的这么一个状态。包括我们今天看到的token的成本,用美元折算的单位智能的这个成本在过去几年可能下降了一千倍。未来几年我们能看得到的,可能在硬件上还能抠出来至少十倍,如果有下一代的硬件或者是有未来更多的ASIC,那可能还会继续再能抠出十倍。还有workload本身,在软件层面能给我们打破不同通讯层的交互,然后做一个极致性的优化,那我觉得可能还有十倍。那也就是说比如说未来的三年,我们还能看到同样的智能它的成本又下降了一千倍。这个对于企业的应用肯定是一个非常好的事情。Keith老师一开始在播客之前说很多企业也都在考虑成本的问题,随着开源模型的普及、随着整个Infra行业的极致的优化,其实最终受益的就是每一个有实际业务然后能赚到钱的企业。AI应该是一个服务型行业,应该是支撑他们的发展,而不是说一个抽血机,然后把这些实体行业的钱全都赚到AI公司里面,让大家付很多不必要的成本。所以我觉得未来还是非常值得期待的。我觉得非常好,是个很好的落脚点。最后其实就是想回到我们最开始提到的关于安全的问题,因为我们讲了那么多关于开源模型带来的影响,我们整体的方向还是非常正面的,所以我想再回到硅谷的评论人员还有从业者提出的一个批评,就是K3这么强的一个开源模型,它到底应不应该开放权重?它相当于是一个接近Mythos时刻的这样一个情况,包括OpenAI的Dean Ball。

开源模型到底安不安全

还有Dario Amodei在内的人,都认为这种接近前沿能力的模型,它不应该是开源的。在播客的最后,我们可以回应一下这样一个顾虑。开源到底安不安全这个事情,其实也有很多的数据,包括对Kimi K3其实有很多新的数据去来验证的。比如说它在Exploit Bench(网络攻防测试基准)这一个蛮权威的数据,就是网络攻防的测试里面,它其实得分是比较低的,30%几,远远低于整个前沿模型75%以上这样的一个数据。当然很多人认为是不是一种,比如蒸馏能力的限制。但另外一种方面也可能说,它没有把最强的攻击性网络这一部分的能力开放出来,这也是有可能的。它到底是不是一个非常权重公开带来风险的这个事情,我并不认为说现在是有一个很具体的东西来支持这个事情。因为现在有两种讨论,第一个问题是开源模型本身到底安不安全,另外一个才是Kimi K3具体有没有已知的安全问题。Kimi K3本身我认为肯定是目前没有看到任何的可证据的已知的安全问题。

安全的相对性与互联网架构

但是开源模型的话,它肯定会多多少少,就是如果它随着更多的公司来做开源,我们会应该相信这个技术会越来越容易被更多的人来去调试,它肯定会带来更多的安全问题。它的安全问题是相对的,我们是基于现在的互联网的设计,互联网的环境,来认为它是不安全的。但是整个目前互联网架构还是基于上一代的互联网架构,就我们这互联网核心就是给人使用的。那你说难道Cloudflare这样的一个模式就是对的吗?我也并不认为这就是一个终极问题。因为当所有的信息本身都已经不是人生成了,那为什么我不能让机器再随便获取这些信息呢?这又不涉及到知识产权,甚至都。所以这些东西都是在一个演变的过程中。所以这并不光是开源模型,包括闭源模型,它也会涉及到很多的安全不安全的一个问题的。而这个判断交给谁呢?我这个东西安不安全,为什么交给一家商业公司来做决定说这个东西它所有行为就是不安全的?这东西怎么去规定呢?这个现在也没有一个很好的答案或者一个机构来去执行,我并不认为它很快会有,所以这是一个行业整体的问题。

Hugging Face被攻击的例子

我觉得刚刚Keith老师提到的这几点都特别好。我们就可以拿最近的一个场景做例子。比如说Hugging Face被OpenAI的一个测试的智能体给不小心攻击了。故事也很有意思,就是这个智能体足够聪明,它说我直接去抄答案比我自己去摸索要好得多,要不我就顺便把别人的网站给黑了拿到答案,这样我就可以直接获得高分。这就是一个非常典型的这种安全风险。我们可以去想,假如这个世界没有开源模型,闭源模型可能攻击也就攻击了。模型的攻击是比人类攻击要更难以追踪的,因为产生的这个数据量太大了,人脑已经没有办法去看明白说他攻击的这个模式,并且从里面拿到足够多的线索。所以后面Hugging Face就说好,那我拿模型来分析一下整个攻击的过程,然后尝试复现一下看看它是怎么进来的,能不能找到说到底是谁在攻击我们。然后它就拿闭源模型去做测试,闭源模型告诉它说,你做的这个事好像挺不安全的,我不能帮你分析网络安全的这个语料。Hugging Face直接就处在一个非常不利的模式,因为可能有一个前沿模型在攻击它,但是另外一个前沿模型不会给它任何有用的信息。这时候它只能用开源模型,虽然这个开源模型可能在模型攻击的这个层面没有前沿的开源模型强,但是它实际上可以帮助人类去做很多辅助的分析,因为它没有一个看着很敏感的这个filter然后决定说你能做什么你不能做什么。

闭源模型公司的监管困境

我觉得这个才是一个真正的技术平权。为什么我们会把网络安全这么重要的一个话题放心地交给两家最前沿的模型公司来评判?为什么我们能够让他们去又做运动员又做裁判?一方面他可以评价说别人做的事情安不安全,另一方面他可以自己有意或者无意地放自己的agent出去攻击别人。所以我觉得这个事情实际上是非常魔幻的。就是有很多人支持闭源公司然后打着安全的大旗,然后说你们都不要做别的什么事情让我来做,只有我做才是最安全的。我觉得这个事情本身就是很不安全的。我甚至最近在看一些网上的AI剧,各种神奇的场景,短剧。对,各种短剧,然后YouTube上面也很多,那些短剧其实制作都很精良。然后我就反反复复去想说,这个事情是不是在我们当下也有一些参照性,但我不知道是不是一个不合理的比喻。就比如说“伞公司”在设计策划病毒的时候,其实也是打着安全的旗号,再去讲说我们要治愈人类的一切疾病。但我们最后也知道说它制造出来了什么。所以我觉得这个里面其实还是需要更多社会层面的监管,我没有办法相信某一两家公司对自己的一个监管是足够到位的。我们永远不知道说他们一旦发现自己的技术远远超过于时代之后,那他们会不会有一些动力去做一些我们想象不到的事情。

攻击能力与智能程度是独立的

回到最开始的这个话题,开源模型到底是安全还是风险,我们需要整个社群有能力去验证说你这个模型到底是安全还是危险的。我们不是说它模型智能程度达到一定程度就一定是危险的。这可能是前沿模型尝试告诉我们的一个结论,但实际上并不一定。K3虽然在某些能力上达到了Fable的级别,但是它在安全的这个场景里面还是相对安全的。我个人的一个猜想就是,它并没有拿很多定向攻击非常聪明的,比如说黑别人的语料拿去训练。它没有这方面的语料,模型就算再聪明它也没有办法悟到原来我可以做一些坏事。那为什么Anthropic或者ChatGPT在训练这个模型的时候不能够对训练数据做一个过滤,而是要过滤用户的行为?我觉得这个思路实际上一定程度上是有问题的。比如说中国的这些开源模型公司虽然它能够制作一个在某些领域足够聪明的模型,但不代表说这个模型一定就能自己找到怎么样去巧妙地攻击别人的方法。因为攻击和智能,我觉得这两个是完全独立的两个话题。你可以有一个人像爱因斯坦一样聪明,但是爱因斯坦不知道怎么去黑NASA的网站。你可能有一个人没有那么聪明,当然也得是足够聪明,可能是一个比如说18岁的高中生,他就有能力去把NASA的网站给黑了。所以智能和安全这两个事情本身有一定的相关性,但绝对不是决定性的。

监管机构更应关注训练语料

我其实建议的是说,比如说社会有一个足够透明的监管机构,那么它不仅要从模型本身对用户最终表现出来的这个行为来评审模型是不是安全。因为比如你在你模型训练完之后,不管你对这个模型的使用施加了任何的限制,总会有一些场景导致这个模型超出你的预期做一些什么事情。监管机构更应该做的是看到这个模型用什么样的语料去训练,把一些比如说生物安全或者是网络攻击的语料从这个里面删去,这样导致这个模型就只会比如说在生物领域它去做一些幻觉,我觉得这是一个更稳妥的安全。不管怎么看,没有开源反而是这个时代最不安全的事情。

开源模型更可控更受限

我觉得这个讲得特别好,安全与否是一个相对的。我们之前跟一个日本最大的公司他们的这个NO.2,我们在起私下的一个沟通中他就提到了说,当时Fable它不能用了,这个事情对他们来说是一个巨大的影响。影响不是在于说Fable不能用了本身会怎么样,而是对大家来说原来这个东西是不安全的。也就是说我做完所有的部署之后突然有一天,你可以随时随地一个新的政策也好或者whatever,因为各种的原因突然就开始封号,或者服务变更,调整了你的访问权限,这个全都会发生变化。而这个是一个当我们涉及到安全的时候其实应该是一起讨论的一个问题。因为闭源的话,整个核心就把东西都交给别人,开源模型说白了就是你把整个东西都下载到你自己的硬盘上,你不会有这样的一个风险的。很多人说开源模型不安全,然后它的所有的问句其实都可以重复地用在闭源模型上。比如说有人说可以用开源模型去做一些邪恶的事情,其实他用更强力更方便使用的闭源模型更容易达到一些邪恶的目的,他只要把那个filter攻破就可以了。他使用开源模型的话需要首先,比如说现在部署K3这个模型他首先要搞一堆B300的卡,你一个机器还不够他需要两个机器,那这个成本就很高可能一年光租金就有上百万,他还要在开源模型的基础上想办法去补齐它和闭源模型这个能力的差距。其实所有这些加在一起,比他直接用闭源模型然后尝试去攻破那个filter然后让它去做一些邪恶的事情要难得多。其实很多我们说开源模型不安全的点完全可以用在闭源模型上。我记得千问在2024年底火的时候,有人在Reddit发了一个帖子说虽然千问很好但是我不能用它,不是说他不想用,因为他是一个技术的,知道说开源模型其实是没有什么风险的,只是说他们公司的法务和他们公司的各种限制就不允许他们在公司内部去部署开源模型。当然这个人也做了一些解释说你只要把这个开源模型关在一个机器里面,严格地控制它的输入和输出,它实际上是比闭源模型要安全很多的。但是有些人就会有很多形而上的想法说,既然是一个中国训练的模型,那这个模型里面会不会有一些后门,比如说它看到某一些输入的时候它就可以输出一些攻击性的语料,然后就把你公司内部的所有安全的信息给窃走。那我就在想说闭源模型不是在这个方向更不安全吗?因为你连这个模型在什么时候会输出什么样的东西都完全不了解。但是开源模型其实是一个在更可控更受限的这个环境下去执行的一个模型,如果你去做的话是有更好的办法可以保障模型的安全性的。

算力是开源模型的监管抓手

最后一点就是说,监管总是担心如果我用一个闭源模型那我至少我能够看到谁在用这个闭源的模型,那我可能能比如说抓到滥用这个模型的人。但开源模型的话因为大家可以在自己电脑上跑,所以他没有办法做到这个事情。这个我觉得是一个时间的问题。至少在此时此刻甚至我相信明年也不会发生这样的事情,一个足够强的开源模型它的权重还是比较大的,它需要在一个比较复杂的推理环境下才能够正确地去执行。所以现在的抓手可能就是说谁拥有算力,那他可能去跑开源模型。只有这些有算力的人才有可能拿开源模型尝试去做一些坏的事情,所以也并不是完全没有抓手。所以现在这个时候去聊开源模型一定是不安全的我觉得还是为时过早。好的,我觉得特别好。我们这个播客就到这里结束了。非常感谢大家的时间,谢谢。谢谢。好了,以上就是我们这期播客的全部内容了,我们部分的文字稿还会收录在《硅谷101》的微信公众号上。谢谢大家,我们下次再见。

📌 文中提及的人物和组织

关键字: model-openness cost-efficiency deployment-strategy model-distillation security-risk