Karpathy的“焦虑”与大厂归宿

主持人: 强如Karpathy也没办法跟HR解释我那几年空窗期干嘛去了，我的gap year干嘛去了。对我而言是有点意外，他是说他跟不上现在的AI发展。我靠他都跟不上，对他都跟不上。大家最近的目标都是干OpenAI，你们全部要扶持我。Google老大哥、马斯克老大哥都在扶持Anthropic。而且不光这个老大哥，谷歌的AI掌门人Demis Hassabis，他是Anthropic早期投资人，是不是？马斯克是要做太空的黄仁勋现在，Anthropic一个月付给他钱，顶他去年一年的收入。我都严重怀疑啊，Karpathy去Anthropic是马斯克叫他去的。哈哈哈哈哈。主要是如果有经常听我们早晚报的朋友，就会发现说唉，我们早晚报里面有个角色叫卡帕东。对吧哈哈哈。啊这这个主要是我们个人对Karpathy的偏爱啊。好所以老修，你帮跟我们梳理一下Karpathy入职这个Anthropic的事情。

老修: 嗯哎，我我看了一个新闻，第一感觉就是妙啊妙啊就是妙。为什么？是因为他其实提了好多次，他是说他跟不上现在的AI发展的。嗯，他一直在讲他跟不上。他都跟不上，对他都跟不上。你想想他是什么人？你说师从了那么多，什么OpenAI、特斯拉、各种地方实际干都实际干出来的，又什么李飞飞的学生啊，我靠那我不焦虑是我有病啊？哈哈哈。结果他都跟不上。他三四个月前他就说他已经跟不上了，就这么个情况，要回大厂。

Agent与底层预训练的博弈

老修: 所以这个时候，就是我觉得说就是出现的时候，他去加入Anthropic啊。那这个时候，我觉得说很合理的地方就是，agentic（代理）的东西，虽然说都很花也很很厉害的样子，不管哪一家，现在肯定都在说我的agentic agent多么厉害。但它再厉害，其实从核心上来讲，我们工程上来看，他还是在做软装，更多一点，软装修更多一点。但是这个硬装，就是底层或者框架这个东西，你还是得靠这个大模型底层的这些预训练，以及后训练，这两个很重要的环节啊，就是推理对这些东西的。

老修: 然后呢，那他这一次其实也很明确的说，去的就是搞那个预训练的团队。这个我就觉得很奇怪嘛，因为按道理来讲，现在的这个预训练跟后训练的比例已经倒挂了，对吧？之前还有说是个五五分，那现在可能就是二八。所以其实我是觉得，恰恰有可能是现在又要倒挂回来，又要倒挂回来。

主持人: 为什么就是前面一段时间为什么会倒挂？

老修: 是因为大模型能力还不错。大家是用用大模型套到那个Agent里面去嘛，够用。然后会发现说把它从够用变成好用的时候，你就优化Agent就行了。你大模型可以慢一点，也在优化，但是优化Agent带来的效果更好，就简单的先搞后训练。

主持人: 哎对，我就说低垂果实，预训练跟后训练反正都是很耗资源的，尤其是预训练。而且很多数据也不够了，这之前都讲过了好多次的问题。数据不够啊，然后很多case都只在那些专业的领域里面，我也拿不到那些数据。是啊那问题就是说现在要倒挂回来，但是数据还是那些数据嘛，用完了该用完了就用完了嘛，那怎么搞嘞？

Karpathy与合成数据

老修: 所以这个里面又有一个跟Karpathy背景很相关的一件事情。他是17年就离开OpenAI，他OpenAI的早期的那个员工之一嘛。特斯拉的早期，也是OpenAI早期的那个co-founder队伍里面。然后他离开以后，但是二三和24年，有在短期又回了OpenAI，就是两年前，两年多前。

主持人: 对二进宫，那个时候就刚好应该是DeepSeek横空出世前的那个段时间，24年年初嘛。

老修: 他那段时间主要在搞的，就是跟预训练相关的，就是有中间的训练，还有很多的合成数据。嗯他的合成数据其实很强，因为在特斯拉要做大量的合成数据。

主持人: 哦啊哈哈，哎你这么讲就通了哈。

老修: 对应该是遇到了，不不不是说只是数据脏的问题，还有很多数据不存在，或者说你不够，太少了。那他要有非常优质的，这种我们叫做什么，就可以像是做配方一样，就像是厨师做配方一样。他知道一些怎么去组一些数据，来再提升你这个大模型的那个智能。但是这些数据不够，就是现实中可能很多数据已经没有了，对还有就是在专有的这领域里面，是你也拿不到，是是啊。

个人动机与行业大势

老修: 我会突然想到我们前两周刚讲的，不是Anthropic也搞了一个合资公司？而且是用那种直接是控股的那些PE，就是跟私募搞各种私募公司，他们是直接控股那些传统企业或者相关企业，就逼你就是一步到位AI化，就是我指着你干，你必须得干嘛，因为它是直接具有那个投票权的嘛，然后就必须执行。其实就是说，我会觉得说，可能有些行业数据，在现在至少加入Anthropic是拿得到的。但是我就觉得感觉好好奇，他为什么就这个时候选择加入这个Anthropic呢？

老修: 动机我是觉得作为一个技术人员，你说的这一点肯定是重要的一个点的。就是直接加入Anthropic，大概率下半生估计财富自由没问题了。因为有个很实际的事情啊，虽然说他17年就在OpenAI，但是OpenAI的人才还是非常多的。

老修: 他毕竟是当时相当于技术的1号位嘛，首席科学家。然后Andrej就是Karpathy这边的话，还是属于更偏工程化，具体落地这一块的。所以我相信，肯定不是完全不是一个量级的那个股权啊。

主持人: 而且你刚才说他去加入，他是带着Claude去加速这个模型的这个迭代，那这个事情其实应该会有会有一个划世纪的一个作用。大家一直在讲，每次训练一个新模型要花多少的卡，多少的这个电，多少的人力物力，然后这些东西的话，因为都是人在干嘛，那肯定是很耗资源的。如果说他以他擅长的预训练、中间训练、然后数据合成这些事情，如果能再带着Claude跑，一定的就像我们刚才说，他给了大家开源的一个简单的能够自我迭代的研究员助理，这个东西能够带着Claude，能把Claude做成一个比较可靠的研究员助理。

联乌抗曹与资本狂欢

主持人: Anthropic已经可能干到1.1万、1.2万亿了，完了很吓人。而且最近好像就是说，因为他的那个营收，原来大家以为是个十几倍，结果搞出了80倍的营收，80倍的增长。就是这这种概念，所以他的那个市值，都有人说炒到可能2万亿去了。

主持人: 就是这典型的联乌抗曹啊。对不对？既然你OpenAI当时风头正劲，估值又高，然后一枝独秀，大家都看你顺眼。然后突然一下，你看这个马斯克跟着Sam Altman打官司，对吧？然后这边的话给你支持大家，这不明显的嘛。就是不能让你OpenAI一人过爽了。而且现在OpenAI走背字，所以一下子把这个Anthropic给抬到这个空间上了。

主持人: 我严重怀疑啊，Karpathy去Anthropic是马斯克叫他去的。哈哈哈哈哈哈，原来他是双多重间谍。我严重怀疑。

主持人: 我觉得就是这里面来讲，Nvidia也是个万亿级公司都觉得好好牛逼，现在来一个个人万亿级。现在什么？现在是马斯克要做太空的Nvidia。马斯克是要做太空的黄仁勋。现在我的感觉就是，美国市场需要这么一个很好的故事，让这个狂欢，让这个宴会能继续下去。