---
author: 硅谷101
date: '2026-08-03'
guest: ''
layout: post.njk
source: https://www.youtube.com/watch?v=svNElhOYajQ
speaker: 硅谷101
tags:
  - model
  - inference-engine
  - software-development
  - architecture
  - personal-growth
title: 前沿人工智能基础设施的构建与开源生态的商业化探索
summary: 文章探讨了从学术研究到行业实践的跨越，重点介绍了推理引擎、大模型基础设施（LLM Infra）的发展愿景。核心内容包括对高强度驱动力、形式化验证在AI领域的应用、社区项目孵化以及构建与强力AI共存未来的哲学思考。
insight: ''
draft: true
series: ''
category: ai-ml
area: tech-engineering
project: []
people: []
companies_orgs: []
products_models: []
media_books: []
status: evergreen
---
<!-- chunk 1/4 -->

### 播客开场与嘉宾介绍

Hello各位，欢迎来到《硅谷101》，我是陈茜。这期视频播客，我们的嘉宾是xAI前推理系统负责人、开源推理引擎SGLang的发起人盛颖。

盛颖本科毕业于上海交通大学ACM班，之后在哥伦比亚大学获得计算机科学硕士学位，并在斯坦福大学获得计算机科学博士学位。她的研究经历横跨算法、形式化验证和大模型系统。大模型浪潮兴起之后，她成为LMSYS开源社区的核心成员，参与推动了一系列具有行业影响力的项目，并创办了推理引擎SGLang。之后，盛颖加入xAI，并共同领导Grok的推理团队，将开源研究带入全球最前沿的大模型工程实践。如今，她从SGLang开源生态中孵化出创业公司RadixArk，希望把只有少数科技巨头才能拥有的前沿AI基础设施，变成整个行业都可以使用的开放技术底座。

RadixArk创立之初便完成1亿美元种子轮融资，投资方几乎集齐了硅谷所有的算力巨头和技术领袖人物。RadixArk最终使命是要做下一代AI。我想要构建的那个未来，就是一个跟强力AI共存的未来。以模型为目标的这些公司，在Infra（基础设施）的美感上有所妥协。以我跟Infra之间的浪漫关系，我觉得Infra它不是一个辅助的角色，Infra本身在我眼中就是产品。

你本身是一个喜欢高强度（intense）的人吗？我是个必须高强度的人。你是ADHD（注意力缺陷多动障碍）吗？但它不是一个疾病，它是一个特点，它是一个手册。我突然知道了，我应该顺着我的天性去做事情。然后你一旦悟到了这个之后，很多事情就迎刃而解。你这个电视剧看到一半，你突然诶，我怎么突然开始知道怎么解决这个问题了？暂停，去写证明。你还记得是什么电视剧吗？《甄嬛传》。

世界上存在那么纯粹、那么好的导师，存在那么好的投资人，存在那么好的采访者。那些好东西都存在，但是你要非常相信它。你要相信到，你身边没有这样的人，你还相信它。然后有一天那个跟你一样相信的人，他有一天会跟你相遇。

这期视频播客，我建议大家配合我们上一期的解释性视频一起看。上个视频我们从SGLang的技术入手，解释了AI Infra的作用，以及软件层怎么能把“硅”的极限榨出来。相信对AI Infra的技术比较了解之后，再来看这期我和盛颖的对话，可能会有不一样的感受。还有就是嘉宾在美国多年，谈到技术的时候有些词汇用英文表达，我们也在字幕上给出了翻译，请大家多担待。那么以下就是我与盛颖的视频播客。

非常感谢盛颖，欢迎做客《硅谷101》。感谢你们的采访。我看你们是刚刚搬来这个新的办公室是吗？对，6月1号刚搬过来。你们现在大概多少人？现在有40多人。扩张会非常的迅速吗？其实比我预期的快，因为事实上我们扩张规模增长得也比想象的快。各个地方都需要人，我们能招进来的人也比我想象的要更有更多合格候选人，所以我们也稍微有点压力，但是我们已经在控制。

### 从上海到纽约的求学经历

今天会讲一讲你整个的学生时代，到你之后的研究时代，再到你出来在xAI，还有你自己现在初创公司。我们可以按照这个顺序来讲。首先你其实是大学在上海交大上了ACM的荣誉班，2017年就来到了美国哥伦比亚大学读硕士学位了。你当时出国是因为大家都要出国吗？为什么选这条路呢？

确实也是因为大家当时很多人是要出国，但是我其实对出国的概念知道得很晚。我觉得我从江西到本科的时候，是经历了很强的文化冲击的一种感觉。我觉得我身边的人更理解职业发展、人生发展，他们有更多的规划。其实我是处在一个无知状态。我记得我本科刚毕业的时候，一开始其实我甚至没有申到什么。就是我申请了美国的大学，但我其实没有拿到录取通知。一开始当时有一个港中文大学的PhD（博士）的录取通知，我接了，甚至都已经申请的时候我记得有个君子协议，4月15号，君子协议都已经过了的第二天，我突然收到了哥大给我发了一个很普通的研究生，就硕士学位录取通知。

它其实是个很普通的录取通知，很多人都能拿到，但是我当时就觉得我想接触一些新的东西。因为那个时候的学术中心还是在美国，我觉得我想出去看到，哪怕哥大的这个硕士项目它不是一个特别顶尖的项目，但我希望我想看到。当时还给我爸打电话说，我们前面PhD录用通知能不能毁，我还需要交一笔违约金，但是我想出去看看。我还犹豫了一下，给我爸打了一通电话，但我爸非常快，就是一分钟就说好，你去，就交了违约金。

你说你从江西到上海其实是有一段文化冲击的。你从上海到美国，也是不是经历了文化冲击？也有吧，我觉得我确实是每一段都是舒适圈打破，在早期的经历里。但是我在纽约的感受是，纽约是很包容的一个城市，这个冲击其实不太冲击，就是我感到不一样，但我觉得极大地被包容了。具体体现在什么方面？就是我觉得在纽约当时的文化让我觉得没有人盯着我看，没有人在乎我穿什么、想什么、做什么，我想要什么。我在纽约感受到的那个冲击更多的是一个不需要被评判，也不需要评判别人的冲击。这个冲击是从一个被限制状态到一个完全自由状态的一个冲击。对，它是个冲击，但它其实是个更放松的过程。

### 学术道路与心流状态

挺好的。我看你在哥大硕士阶段发表的论文还是比较偏理论的，主要是测试函数、线性回归的数学性质。后来到了斯坦福读PhD的时候，你选择了形式化验证方向。能不能先跟我们说一下在哥大你从事的这些研究，其实对你后来的研究有产生任何的影响吗？

我刚上研究生的时候是没有想要做研究的。但是我第一学期时候上了计算复杂性的课，当时觉得很有趣。我又碰巧交了一些当时的博士生朋友，他们都是做理论的，我就觉得这个领域非常有意思。我就找老师和这些同学们说能不能有一些问题可以研究。研究了一段时间觉得很有趣，也有成果，所以自然而然地就到了斯坦福。

就是你研究生毕业的时候，有考虑过我要工作，还是说我要申请博士吗？我一开始是没有想要申请博士，或者说我也没有觉得我不会申请博士，但是我没有盯着这个目标去，我没有对着这个目标去，我觉得它是开放的，所以我也保留了这个选项探索了一下。但我后来发现这个理论的问题非常有意思，我自己也非常享受。我当时就是觉得我甚至也不需要赚很多钱，我觉得我想stay poor（保持清贫）。我想找一个没有人的地方。

我当时有一次去普林斯顿，我去参加一个workshop（研讨会），我当时被那个环境就直接包围了。进到普林斯顿校园那个环境里面，我就突然觉得与世无争，非常的学术。跟哥大不一样，它也不是学术，它就是与世无争。进到那里的感觉就是，你会觉得你人世间的很多这种大家所在乎的东西，你平时去挣扎沉浮的东西都非常没有意义。

是学校的环境给你这样的感觉，还是说那边的人他的氛围是那样的？应该也还是那个workshop给我带来的，那个环境加上那个workshop里的人，大家讨论的这个氛围感。那个氛围感让我觉得所有事情都是不重要的，我觉得人的想法、七情六欲都是不重要的，都是甚至看上去有点荒诞的。那什么是重要的？就是什么都不重要是重要的，就是一种虚无。你觉得虚无才是它真实的东西。就只有真实是重要的。真实是重要的，数学在那个环境下就会显得特别的美好，特别的优美。因为它是确定性，而且是绝对化的，你在跟它打交道的时候，没有什么其他东西需要思考，它可以让你非常地沉浸和专注，或者说你可以在这个环境里面进入心流状态。思考问题的时候进入心流状态，这个心流状态是与人无关，与其他所有事情都无关。大脑被完全地调转起来的时候进入了一种生理性愉悦。我有点描述不出那个感觉。我能理解到你的意思，但是这个状态我觉得非常的纯粹。就是很纯粹，很像会成为一个数学家的人的状态。

但是你后来为什么没有成为一个数学家呢？对，我当时就是很想成为一个数学家。我当时觉得我就要成为一个数学家，我觉得我只想做数学。但是，事情的发展总是没那么简单嘛。毕竟我还是有生活上的各种干扰。到了斯坦福之后第一年也确实没有再，我觉得到了斯坦福我就没有那个感觉了。

所以斯坦福不如普林斯顿纯粹吗？普林斯顿那个只是一场旅行，我人在哥大，但是我在哥大的时候也能感受到这个氛围。我甚至现在觉得，是不是西海岸和东海岸其实有点这种文化的差异性在。西海岸就是慢慢你会感觉到更多的这种关于成功与否的这种noise（噪音），就是你想要参与世界的推动，我又开始觉得我跟世界有关，我又觉得我不想跟世界无关。但我在东海岸的时候，我觉得我希望我跟世界无关，我希望我被世人遗忘。很不一样的一种感受。

但我在斯坦福第一年的时候想做理论，那个时候斯坦福是有PhD rotation program（博士轮转制度），要配导师。配到了之后才决定你后面5年PhD的旅程怎么走。前面几期我觉得是因为各种各样的原因，比较复杂，各种各样的原因，没有再遇到很让我觉得能够进入心流状态的问题，也没有跟哪个老师能够双向的都觉得很兴奋。可能老师们也觉得我对他的问题不是特别感兴趣，有一些情况有时候我可能也觉得那个老师我们没有完全匹配上。最后到了第四轮，跟我后来导师Clark匹配上的时候，就已经进入到一个新的课题了。

### 斯坦福形式化验证研究

是Clark Barrett教授，对吧？他其实是做形式化验证的一个方向。能不能跟我们的观众来解释一下什么是形式化验证？这个领域也很大，但我可以简单讲我当时做的一部分的课题。我们当时一部分的课题是，我们要把我们人写出来的代码进行拆解和映射，把它映射到底层的数学逻辑上。你可以把这个代码映射到一阶逻辑。你在这个逻辑出来之后，你就可以从数学角度去证明，你写的这份代码它是不是具备某一个性质。我更具体地来说的话，我一份代码，你隐藏地来说，我们是有一个东西叫做specification（规范）。Spec其实是说明了这个代码它应满足什么前驱条件，它会有什么样的invariant（不变量），你代码执行完之后要满足什么样的条件。你可以有这样一套语言去描述这个程序，你要证明的就是，如果你在有这个spec的情况下，你的代码是不是真的符合了这样一套逻辑。从代码映射到这个逻辑公式之后，公式之间的这个证明和推理，就是我做的那个研究领域，SMT solver（SMT求解器）做的事情。我的研究大部分是在SMT求解器的那个求解器本身的优化。优化一方面跟效率有关，一方面跟正确性有关，但是它更多的是跟你怎么定义语义有关。就是你定义什么样的语义空间可以去表达你一份代码所做的事情。

在斯坦福其实你开始深入形式化验证之后，我们看到就是开始哐哐出论文。2020年是拿到了IJCAR（自动推理国际联合会议）的最佳论文奖。2022年是拿到了IJCAR（自动推理国际联合会议）的提名。后来又是cvc5的贡献者之一，是拿到TACAS的最佳工具论文奖。太高产了。对。你觉得这段时间你的一个研究状态是什么样子的？

其实这个真实的过程，比外面看到的这个简历上的内容要干瘪很多，其实是要无聊很多。我其实在斯坦福前几年的经历并不顺利。一个是我首先刚进来第一年的时候，找导师其实就不是很顺利。被动地进入了形式化方向的领域。因为我要读PhD，所以我才需要把这个地方不停地去做研究，产出论文。我其实是比较被动的状态。当然我在做的过程中，慢慢地也欣赏到了它的美感。后来我慢慢理解这件事情它为什么有意思，以及我后来有些更多的思考。我觉得它其实还有个很有意思的未来。

但是最开始做politeness那篇论文的时候，就是我第一次拿IJCAR Best Paper（最佳论文）那一篇，非常非常的意外。因为我当时是一个完全小白的状态，我对这个领域不知道，导师给了我一个问题我去解决它而已。我做完它的时候我也没有任何的认知说，什么样是这个领域里最好的论文，因为我看的论文还不够多。所以这个奖出来的时候，我完全没有想到。被别人祝贺的时候得知拿到了这个奖。那个是我进这个领域发的第一篇论文。但是发完这篇论文之后，其实我就又重新进入一个很低落的状态。就是我还是没有找到我想要做的下一个问题在哪，就是令人兴奋的问题在哪。

在那篇文章做完之后，我记得就进入疫情了吧。进入疫情我其实有长达一年的时间是没有做任何事情的，接近一年的时间，在一个depression（低落的）状态里。但我遇到了非常好的导师，Clark非常地支持。他完全理解说我要调整好这个状态。他只关心我是不是有一个好的精神状态，只关心我是不是能够走出来。他没有给我施加任何我需要继续产出论文或者做研究的压力。他说那我可以去上一些课，做一下TA（助教），做一些这种很轻量级的事情。那段时间还回国待了半年，一个疗愈期。我其实没有产出论文，但是Clark从来没有断过我的经费。确实是非常好的导师。

我一年之后才慢慢走出来之后，才又做了Sequence那篇论文。我们前面也有过很多挣扎，证明应该是写了20多页吧，来来回回改了四五次，而且有两次，我几乎是全部推翻重写的那个证明。已经花了一两个星期推出来的证明，十几页的证明，全部推翻。因为你从一开始地方发现有个基点错了，那个错了之后，后面所有的后续推理全部是错的，所以那个证明从前面要一直修正到全部重新推翻重来。但是这个过程走完之后很有成就感。最后这个证明完全写完之后，比一开始设想得要复杂得多很多，我们都觉得这段证明写出来和这段经历非常的accomplished，很有满足感。我记得那个时候Clark自己也说，那篇论文里的证明是他过去一年的高光时刻。当时也是最佳论文提名，但是没有被公开，就是大家讨论过，最后没有被选上，但是很接近。如果说我在形式化工作的话，这篇论文可能是我觉得最愉悦的一段时间。从这篇论文开始我看见了形式化理论这个里面的一些深刻含义和它的优美之处。

它的优美之处在哪里呢？它让我理解了程序语言设计的几个不同角度吧。形式化的这个方法去设计语言，它是从数学的角度去理解程序语言的。程序语言我打了很久的交道，我打了20年的交道了，但是我从来没有以这样的角度去看待过它。它给了我一个全新的视角。但是你会发现程序语言里面，它也有很多的trade-off（权衡）。不同角度上，有一些语言更接近数学，有一些语言更接近硬件。你其实很难有一个支点让你一个语言它离数学和硬件都很近。接近数学的语言它会更容易被验证，更容易被形式化。接近硬件的语言会更灵活、更高效，更接近人的思维习惯，当你需要编程硬件里面的具体运算的时候，那样的mapping（映射）又更直接。

### 转向AI领域与面对空窗期

最后没有再往这个领域继续地走下去，是因为什么呢？我看到了它有意思的地方，但是我也看见了它这个领域的局限性吧。它能够在现实中实际被应用的场景太少了，你要验证一个程序太贵了，但是它能验证的又很少，不能产生足够大的影响。但是我觉得我想离世界更近一点，我还是想要做更接近真实生活的东西。当时觉得，所以我那个时候就开始探索AI。我开始寻求双向转化。开始探索AI这个过程其实也不太顺利。可能我又有一年时间的空窗期。就是你看上去我的发表论文没有停，但其实我中间有很多的空窗期。

外界的空窗期跟你自己定义的空窗期是不一样的。对，我自己定义的空窗期就是，那段时间我没有做任何我其实没有取得进展的事情。在我转AI的时候又有大概一年的时间，我其实没有任何新的想法，我实际上没有做成任何事情。可能长达一年之后，我突然某个时间找到事情可做了之后，我三个月产出了一件事情。但是外人看来，你会觉得那个作品是我过去一年的成果，实际上它是我过去一年里最后三个月的成果，前面九个月我都在这个零状态，完全不知道自己在干什么的状态里。

我非常理解这个过程，就像我们记者写稿子也是一样的。对，你给我一个月的时间，前面29天的时间我都在做调研，或者是放空或者是采访，我其实这个稿子就是用一天时间写出来的。对。所以你看上去比如说我形式化，我可能发了3篇论文分布在3年时间里面，但每篇论文真正推动其实它都只花了三个月的时间。我这三年里面每年都有九个月不知道在做什么，其实也不叫在做什么，你可能是在迷茫想要去找到你想解决的问题。因为我听下来是说，要去找到一个你真正感兴趣的问题并且解决它真的是你的一个驱动力。

是的。我确实有一些特点，就是我没有办法妥协。我后来服从了我的这个特点。就是我原来在不理解我自己的时候，我尝试努力去适应过一些规则。但是我后来发现我自己是不能被勉强的。就是我没有办法做我不感兴趣的事情，没有办法做好。我能做，但其实我没有办法做好。我只有这个事情它让我觉得非常兴奋，我才有可能把那件事情做好。

这是一个特别纯粹的性格，你当时什么时候发现说，这个性格就是这样了，我必须要去服从我这个性格呢？这是一个缓慢发展的过程，倒也没有某一个时间点突然顿悟了。它是一个我慢慢意识到以及终于有一天我完全接受它的一个状态。我完全接受它可能是在博士的最后一两年吧。

### 高强度的驱动力与ADHD特征

你本身是一个喜欢intense（高强度）的人吗？我是个必须高强度的人，从小就是这样的。对，我觉得从你发论文的那个数量跟节奏就能看出来。对，我没有办法，就是我哪怕睡觉的时候也会一直做梦，就是我没有办法停下来。你做梦也会梦到跟你研究或者工作相关的事？那肯定会，肯定会，大家都会吧。有时候的梦是完全无关的。我都还是挺有关的。就说明你在睡觉的时候，你的潜思维其实还是在工作。也可能是生活、就工作生活，但它一般来说都不是没有任何关系的东西。但肯定会有虚假的成分，会有想象的空间，但是它不会是毫无关联的。

我觉得我PhD经历的那段低落的时期，就是因为那段时间太无聊了。因为疫情的时候大家都放慢了，我根本没有办法在一个慢速的环境里面保持我精神的健康。所以就是一定要忙起来才能让你健康地运作？我不一定要忙起来，我硕士做那个理论研究做数学研究的时候是不忙的。那个时候你是很沉浸的。因为那个问题它就是，你除了看着一张纸在那想其实没什么能做的，就我看上去很闲。我每天可能也就想4个小时，工作4个小时我就去打游戏了，其实我硕士期间打了好多游戏，因为那个问题都太难了，你没什么事可做你只能空想。

打游戏的时候也很高强度，对吧？其实也没有。我觉得做理论非常不一样，做理论就是有很多灵感你只能等它来，其实你没什么事情可做，你只能在那等，你等着那一刻来临。所以我有大量的时间去打游戏。在游戏中，灵感来了，然后去写一写是吗？其实我当时那个题目解出来，就是在你看电视的时候想到的主意。对，我也不知道为什么。但确实那个情境是，我看电视之前看了一篇论文，然后我就开始看电视去了。看到中段的时候，不知道为什么那个论文里的东西突然回响出来，然后突然又想到了论文的那个点，突然意识到这个地方可能是一个解法突破点。那个就是关键点。就是你那个问题被解决了，发生的那个瞬间，那个真的是有一个phase transition（状态转变），那个是一瞬间的事情。好神奇，那个问题被解掉了。你那个电视剧看到那一半你突然，我怎么突然开始知道怎么解决这个问题了？暂停去写证明。你还记得是什么电视剧吗？《甄嬛传》。我是真的记得。太神了。我一般是在洗澡的时候会有灵感突然击中，这种也会有。对，但是电视剧我觉得我很少，因为看电视剧你还是要很沉浸的。看起来你看电视剧的时候你的潜思维感觉还是在一直在思考一些东西。

我会。就前面说到我跟我自己和解，我是怎么和解的，就是我以前不知道ADHD（注意力缺陷多动障碍）这个东西，有一天我就慢慢地了解到有个东西叫做ADHD。然后我看完各种症状，深入理解之后我发现好多东西都可以被解释。就你觉得你是ADHD吗？我确实是，我定期要看心理医生。但它不是一个疾病，它是一个特点。学习之后我发现，好多事情被解释了。它给我带来最大的帮助是，我通过理解它而理解了我自己，像是我找到了怎么使用我自己的一把钥匙。我突然知道了就是，手册有了。对，它是一个手册，我突然知道了我不应该逆着我的短处去，我不应该逆着我的天性去做事情。我应该顺着我的天性去做事情。它告诉我这件事情，你一旦悟到了这个之后很多事情就迎刃而解。其实很多事情你是不要勉强的。是没有必要勉强的。对，所以我前面说的我只能做我喜欢做的事情，当你把这个当成真理的时候你就不再跟它对抗了。

特别棒。对，然后我们聊，我刚刚说这个是因为，可能我已经开始有点这个症状显现，它的这个特点之一就是我看电视的时候也是不专注的。你是不专注的。对，就我看电视时候我也会跟不上那个电视的内容，我经常要回退。好。我经常要往回拉，刚刚讲了什么。30分钟视频，我经常看四五十分钟才把它看完。

比如说你自己在做研究或者你在工作的时候，就是什么样的时候你会非常专注，什么样的时候你其实是没有办法专注的？就是我自己特别被它吸引的时候我非常专注。它这个是两极化的，我专注的时候非常专注，专注的时候我会听不见别人叫我的名字，不记得时间，不知道外面发生的事情，会错过很多个会议。不专注就是根本没办法专注，就是哪怕这事情很重要我也无法专注。看《甄嬛传》都没有办法专注，是吧？说明《甄嬛传》不够吸引人，它如果够吸引人，我就会非常专注。打游戏会非常专注。打游戏非常专注。有些竞技性运动也会。它需要非常地高强度。对，它要非常高强度，它要非常激烈，它要竞争。游戏的话你是对打，有输赢，球类运动也是，你有输赢。这个时候我就会非常专注。

所以你是一个好胜心很强的人？我觉得我不是真的很在乎输赢，但是我在乎那个高强度的感觉，我喜欢那个感觉。我其实不在乎输赢，我游戏可以输，打比赛也可以输，没关系。我也不会觉得我非要赢。但是你这个机制设计进去了之后我会很享受那个心流状态。就是还是那个，我喜欢心流状态。你的大脑被抓住。就是心流吧，人非常专注的时候那个应该就叫心流状态，是很享受的。所以打游戏、研究、学习，这个上面你都可以获得你的心流状态。对，学我喜欢的东西可以。

### 天分、研究员与科学家

再提一个你大学的问题，我们聊到这个公司上面来。就竞赛圈，它其实是一个很有那种天才标签的这样的一个圈子。对，你觉得天才这个词在你身上安得多吗？很多人会跟你说，你从小是个天才？不多。甚至你拿了这个竞赛的金牌之后都没有吗？我没有拿金牌，首先。对，你是拿了全国信息学奥林匹克的银牌。但是我记得你好像是在纽约的一个区域赛冠军。区域赛冠军，好。区域赛冠军也是组队，就是三个人一个小队，也没有说是我个人成就，我的队友其实非常强。非常运气好，有非常强的队友把我带飞了。不是经常，肯定有，但是小时候更多一点，后来不是经常。因为，虽然有拿了这些奖项，但好像其实都不是，就比方说那银牌不算啥，还有很多金牌选手，所以对啊，就看你跟谁比嘛。但是我在的那个环境里面，他们总是有比我更强的。比如说我在ACM班，ACM班里面有比我更强，有很多比我更强的。

所以你觉得，努力这件事情更重要，还是天分这件事情更重要？我赞同天分。你觉得在研究上面，天分它主要表现在什么样的方向？天分是指当外界人不把研究当回事，不觉得研究是件伟大的事情的时候，你还想做它，那就是你的天分。那叫兴趣。我觉得大部分时候，天分和兴趣相关性还是蛮强的。那这么说吧，可能很多人想当研究员，但不是很多人都能研究出来或者解决这个问题，就你能解决这个问题肯定是有你的天分在。对，是有天分的。

但我其实首先不觉得，大多数人真的想成为研究员。我见过太多的人他们想做研究，想成为研究员，是因为他们觉得这件事情酷，是因为外界的环境让他们觉得这件事情很酷。或者当教授是一个铁饭碗，类似吧，反正就一些原因。但这并不是。如果说当所有人都开始觉得，当教授是一个被人唾弃的职业时候，他们马上就不会想做了。这你能识别出来。但是在我当时想要做这件事情的时候，其实我是，就是比方说我在的环境里面，其实大家也没有觉得做理论是件多么伟大的事情，你赚的钱也很少。但是你还是想，你还是觉得它有意思。我想做一件事情，是因为我希望跟别人无关，是因为我享受无关。那个时候才是你真正的所谓的兴趣和天分所在的时候。我也不敢说我有天分，我毕竟也没有发明过什么，也没有什么巨大的数学成就，我也不能算有天分。你肯定是算有天分的，不然的话你论文怎么能发那么多？有很多人论文发得很多，比我发论文多的人还有很多。那可能就是更有天分的。

发论文只是一个，发论文是有套路的。什么套路？就是发论文其实你如果掌握了发论文，发论文本身是一个技能。发论文跟做研究是两件事情。发论文跟人们定义的做研究，和真正意义上的科学家是三件事情。好。发论文是有套路的。你完全可以一个人，根本就不怎么懂研究他也能发很多论文。就像是一个什么命题作文一样是不是？你套着它那个框去写就可以了？对，就是你只要掌握了这个规则，你掌握这个体系的规律，在同样的规律里面不停地产出，你就可以一直发很多的论文。但是顶刊也很少。不少了，现在顶刊一年都几千篇、上万篇。这么多人去投稿的话，顶刊还是算少的。对，那肯定是有范围的，那我可能还是比平均要有天分一些。对，掌握这个套路本身就是一件有天分的事情。

所以你说发论文跟做研究，跟当科学家是三件事情。发论文跟打工人是一样的。跟打工人是一样的。是一个非常平凡的事情。OK。做研究跟当科学家，这两者有什么区别吗？做研究的话就是，有很多研究它们其实是不突破的，也是不关键的。但是不是没有价值，所以做研究它仍然是个职业，它只不过是件职业。只不过是我作为一个研究员，我喜欢享受做研究，所以我在这里做研究，而并不是我比别人更有天分。我没有天分我也可以是个研究员。所以研究员只是一个职业。但我所说的科学家，这个名词我可能也用错了，但我就说还有另一类，就真正在推动人类知识边界的人是非常少的。这批人一般来说，但我的标准也很高，就是在我眼中真的在推动，这个推动就是指如果不是他，这个事情会晚很长时间发生。这个是被我定义的。所谓真正的科学推动者，就是推动人类边界的这批人。这批人就非常少了。绝大多数的教授可能都不是。绝大多数教授还是在第二类，是研究员。所以Geoffrey Hinton、Yann LeCun，还有Yoshua Bengio，就是图灵奖的这三个人，你觉得他们是科学家吗？或者是你定义的第三类人吗？应该是吧。不过我没跟他们直接接触过，所以还是不给我的直接定论。我非常在乎一手信息的，我非常在乎求真。我不想评价我没接触过的人，但既然他们世俗成就这么高，他们应该是的。

### 谷歌实习与初识AI大模型

你在谷歌实习是什么时候？2022年的暑假吧，应该是。在谷歌实习了之后，你想要转去做AI的，还是在谷歌实习之前，你就看到了这个方面有非常大的一个前景发展很快了？我是在去谷歌之前就想要转AI，我是因为想转AI所以找了那份实习。那份实习是AI for code（编程）。我之前也尝试了一些其他的纯AI岗，他们都不收我，我都没有拿到机会。这一个岗位跟程序分析有一点关系，我因为这个背景被招进去了。所以我接触到了AI。但我其实是因为想接触AI进去的。但是我进去之后发现，当时的人们做AI for coding（编程）的时候，还企图利用一些原来的程序分析里面的技术或者工具什么的，非常的无力。其实什么忙都帮不上。AI人的幻想说，我是不是可以利用一些另外一个领域的工具，交叉学科的这种希望，利用另外一个领域的工具来帮助更好地解决这个问题。但是我作为从另个领域过来的人，我其实发现这个工具非常地无力。当时就是看到了那个大模型已经是编程直出，相反，我反而看到的大模型。

<!-- chunk 2/4 -->

### 初入大模型赛道与选择Infra

其实已经把传统这个领域里的技术，都完全覆盖了。那个时候其实还挺早的，2022年。应该ChatGPT它还没有出来，但是在谷歌内部，大家其实已经看到了这个方向了，是吗？我估计其他的公司肯定也是有的，但是确实ChatGPT还没有出来。那个时候是谷歌刚出PaLM，内部有那个LaMDA，就大家其实已经有所感觉了，只是没有到全民爆发的阶段。

当时好像有个谷歌的程序员，他号称LaMDA是有意识的。对，就是那个时候，那个时候我们还做了个报道，还讨论了一下AI是不是有意识的，对，就是那个时候的事情。我相信很多程序员，他们可能也是第一次或者是很新鲜的一个感觉去接触AI，才会有它到底是不是有意识的这种讨论在那个时候。对，其实确实已经很多人是已经看见了那个很大的潜力，但是当时的模型潜力离真的生产代码还有挺大距离的。我记得当时都是做一些生成一两百行的代码。

当时你们那个小组有多少人？AI for code（编程）那个小组，那个也是谷歌内部孵化的创业项目，就Google X里面。全职应该，我其实有点不记得，但好像一二十个人吧。那个暑假他们非常激进，他们想要尝试很多方向，所以他们招了跟全职等量的实习生，让这些实习生全都去疯狂尝试不同的方向，他们希望能从中看到一点东西。

后来这个实习结束的时候，大家看到了什么东西？我觉得当时那批人其实很多人后面还是，很多人就还在做编程。那段经历对我的影响很大，它让我看见了，因为我原来是不知道AI是什么事情的一个人，我进来之后看见了AI原来这么的强大。我发现原来根本就不需要什么显式的推理，我是被震惊到的那个人。它让我非常坚定地进入了这个新的课题，我就要做大模型。

但大模型其实有很多分支，跟不同的垂直领域，但是你选择了做infra（基础设施）的那个赛道，为什么呢？其实也不是我选择，我其实也尝试了不是infra赛道的，就是分析一下算法上的事情，但我发现我更适合infra。我那边可能没有太成功，infra成功了，所以最后发现就是我爆发都在infra这一侧。做infra跟我的思维习惯更接近，它是co-reason（协同推理）的、确定性的、基于数学的、基于代码的。数学和代码这两件事情我都很熟悉。

### 从FlexGen到SGLang开源

能不能说一下，你最开始做SGLang是什么样的一个契机？我转了AI之后，最后PhD的两年就是在做LLM（大模型）推理相关的很多研究。FlexGen是我的第一个研究，连续的一系列研究到SGLang，它类似于成为了一个收官之作。我那个时候就是PhD我可以毕业了，我也觉得我已经做了很多不同角度的研究，但他们都比较局部。SGLang是我希望把它们都集大成一体的一个作品。

所以SGLang时候我们就开始把它做成开源，希望走向的是product-ready（部署就绪状态）。这个从一开始就想好了，从做SGLang之初，就希望它是做成一个部署就绪，可以被广泛使用的推理引擎，被大规模使用的推理引擎。

其实你在做SGLang之前，vLLM已经推出了半年多了。你之前其实在vLLM也是做了一些项目的，对吧？为什么已经有这样的一个东西，你自己还是想要做SGLang呢？这个历史也比较长，我在vLLM的研究论文上，这个其实也是我本来自己在做研究。其实当时我听到有这个vLLM项目的时候，vLLM当时想法跟我们在思考的另一个想法是类似的。所以其实当时我是被说，那既然我们想法类似，那我要不合并进那个项目吧。在我的视角里，我是被合并进了vLLM那个项目。因为我觉得这个项目已经在做了我想做的事情。

vLLM做开源，其实是论文之后的另一个节点，并不是在论文的时候就是一个开源项目。真的把它推成开源了之后，你就要做很多除了研究之外的，不仅仅是创新的事情，你要做项目的维护、社区的维护，还有很多工程细节的琐事。那段其实我就没有太参与，但我还在继续做我自己的其他研究。包括S-LoRA、SGLang、Fairness这些事情，就是Serving（在线推理/模型部署）里面其他的问题，我继续在做研究。

SGLang是一个想要把我的思想，能够在另一个地方继续往上推的地方。本来它也是以某一个创新为起点，去做成一个general engine（通用引擎）。在我看来是，当时有很多这样的Serving Engine（服务引擎），SGLang是其中一个，并不是存在我在vLLM的这个引擎里面，做到SGLang引擎里。

那比如说SGLang跟vLLM的核心差异性有吗？还是说其实大家都差不多？不同的团队做出来的肯定不一样，但是差异性它随着，就如果你不把时间维度放进去的话，他们是会类似的。因为相互会学习，如果你有好东西一定会相互学习，会趋同。但是你如果把时间放进去的话，每个时刻可能大家会有不同的侧重点。比方说SGLang在更早地进军了scale up（规模化）的方向，就是把大规模的Serving（模型/推理服务）、生产，这种千卡级别、万卡级别的Serving，甚至千万卡级别、百万卡级别做好了。vLLM可能在社区的覆盖、长尾模型的支持上做得更早。所以大家的专注是有所不一样。但是你现在去看的话，可能两方又在互相学习，在补齐短板。

### Databricks经历与导师影响

（2024年）你在Databricks不是也做过五个月的时间吗？当时公司的联合创始人之一Ion Stoica也是之前伯克利的教授，他跟你有什么样的合作吗？他是我在伯克利访问的时候的教授。所以我们在伯克利的时候，就一起做了很多的研究。他对你有什么样的影响吗？在专业水平上给我带来了很多启发。其实我跟Ion Stoica我们还一直保持联系。除了是我那个时候的研究的一个导师之外，他也是我可能终身的一个导师。整个终身的一个导师，Ion Stoica还是个很特别的人，当然他这么成功，那肯定是很特别的一个人。

你觉得他特别之处在哪里？他其实是个很立体的人，他做很多事情，他同时开很多公司，然后是一个教授。但如果你真的靠近他的话，他的骨子里，他最自我认同感高的还是教授这个身份，就是教授和学生。这个是他所有身份自我认同感的，如果你追溯到根源，这是他的根源所在。他很在乎making impact（产生影响力）。Impact（影响力）可能是他做所有事情的动力之源。他也把这个精神传递给了他的学生，他底下的学生和跟他一起共事的人可能都受到了这个影响，就是making impact（产生影响力）。

但我其实不一样，我其实在另一个价值观里面，但是我能理解到了这套价值观。所以making impact（产生影响力）不是你的价值观吗？对，不是同一类价值观。那你的价值观是什么？我在乎的不是making impact本身，我会更在乎一些我想要make的impact。如果我觉得有一种impact，我有一种价值观，我希望它被执行和被推向这个世界，我就会非常努力地去推动它和希望它发生，我会尽一切努力。但其实我不是完全在意这件事情是不是我推动的，别人推动也可以。如果有人愿意帮我把这个事情推动，太好了。

但一般来说不会有这样一个人。但是我慢慢学会的是，我真正自己想做的事情没有人会代劳，因为他有他想做的事情，别人有别人想做的事情。最后你自己真正想做的事情，你其实只有自己去坚持不断，你只有自己能够长时间地去为那一件事情所奋斗，让它发生。所以在另外一个价值观说，making impact有可能是非常地说我希望我个人有impact，但是你更在乎的是这件事情。对，我更在乎有一些我觉得正确的事情发生。这个有时候会让我显得很opinionated（有强烈主张的）。因为我会有一些事情我有观点，会非常希望我的观点发生，但我其实不是在乎它是不是我的观点，而是就是这个观点，我不知怎地被它intrigued（产生兴趣）了，被它给吸引了。

### 加入xAI的契机与环境

我们说一下你在xAI的一些经历，2024年10月份你是当时加入了xAI，当时为什么选择xAI呢？我当时PhD刚毕业的时候，想要推广SGLang这个项目。对，我到目前为止，从我开始做SGLang之后，我的整个规划都跟SGLang紧密相关。我当时刚去Databricks的时候想要在Databricks里面推广它，推广SGLang。或者说我至少找到一个地方，可以好好地开发它。我也不一定说它能够取代所有的技术栈，但是我希望它是给我一块地方，可以让好好开发的。

我在刚加入的时候，我觉得Databricks跟我说有这样的自由。但是实际上Databricks里面的业务模式还是不那么一样嘛。而且Databricks毕竟是一个已经很成熟的公司，它不是你可以随便说我想做什么就做什么，它做每件事情都需要理由，或者充分的理由。我作为一个研究员，新毕业的研究员进去其实也没有太大的权力，我自己也不够成熟，就是你怎么在一个成熟的企业里面去推动一个比较大的项目，我还不会这件事情。所以我觉得当时那几个月尝试没有特别成功。可能也造成了一些影响，但不算特别成功。

xAI给的这个机会就是它愿意去支持我，和Lianmin，是我的丈夫。他已经在xAI，那个时候在xAI之前还是在做训练，但是正好xAI到了一个节点就是需要去做product inference（生产推理）。就有了这样一个机会，我和Lianmin可以去xAI，共同建立整个推理技术栈、整个推理的解决方案和团队。所以它可以给我两样东西，一个叫做Support（支持），一个叫做Freedom（自由）。同时有support和freedom的时候，我就能做这件事情了，所以我就选择加入xAI。

而且当时应该只有xAI才真正给我这两个，我有些其他的机会有些是只给support，有些只给freedom。确实我觉得能这两个支持你去做这个事情跟又让你自由地去做这个事情，这个机会其实是蛮罕见的。是不是也是因为xAI那个时候比较早期，所以才有这样的机会？是的。

那个时候的xAI是什么样子的呢？就在你能说的范围内给我们描述一下。我觉得xAI是我生命中非常重要的一部分，就虽然我没有工作特别特别多年，但是我在很多地方工作过，xAI时光是我回忆最美好的。xAI的时光是我回忆最美好的一段时光。

评价这么高！而且我离开xAI的时候其实也非常不舍。我离开xAI的时候是因为SGLang开源的一些需求，到了一个节点我觉得我不得不去出来把RadixArk新的公司扶起来，让我们社区能够很好地继续发展。如果不是因为这个原因的话，我是不可能选择离开xAI的。也不是说完全不可能，但我说就是非常非常不希望也不舍得离开xAI。而且我觉得这个想法不是我一个人有的，其实我知道在我们早期的那一批员工里面，大家都有很多人有类似的想法。甚至有些人可能在xAI的工作已经有点承受不住了，因为压力强度都很大，但他们还是一直在里面坚持，就是因为他们不想离开这群人。我的想法是类似的。

所以是这群人，你们形成了一个非常好的团队的感觉。对，我觉得是，我觉得早期的xAI，就我在之前的xAI，我所体验到xAI是一个，就是个个都是人才，里面个个都是人才。大家互相之间也都很支持、很友善、很懂感恩、很谦逊。这是当时xAI给我的印象。

跟你的价值观很像。对，我觉得非常的，就是我觉得当时在xAI，我能够非常专心地做事情，没有太多的杂念。而且大家都是这样的，大家都能够非常直白地做事情，都知道把事情做成最重要。我经历过那么多公司，RadixArk之前，那（xAI）是我第一次经历到一个团队一个公司里面完全没有任何人际博弈，没有任何办公室政治。当然后面可能慢慢地也会有，公司大了就肯定会有。那个时候多少人xAI？不到100人吧，我加入的时候。100人没有办公室政治还是挺难得。可能也有，我没有看见，但是至少我看见的范围里面我没有看见办公室政治。我很幸运地在一个我能够非常好的思考问题的那个环境氛围里面，我只要思考怎么做事情，我身边的人他们也在思考怎么做事情，大家也会有一些摩擦，那很正常。但是是一些，就说不影响团结的摩擦，这些摩擦是不影响我们始终在一起。我觉得现在我们在RadixArk是带过来了这个氛围的。

### xAI的演变与全栈挑战

那好棒。你把你在xAI的时候描述是V1.0（版本），没加入之前是V0.0（版本），可能现在是多少，V3.0、V4.0（版本）？我也不知道大家怎么定义的。因为后面我也不在了，我只能听大家的说法。但是我能够感觉出有那么几个阶段。

所以V0.0跟V1.0的时候是非常美好的。对。那个时候Elon的重心也不在你们身上。就V0.0的时候应该是Elon不怎么在。V0.0是我听说的，我不在V0.0里。V0.0的时候Elon对大家都非常好，V0.0应该是非常非常美好，像一个家庭一样。V1.0的时候其实已经开始生长了，已经开始有这个生长痛。V1.0的中途Elon回来了。但是我觉得就算在那个时候，V1.0里面产生的阵痛，大家也还是共同克服难关的，我没有感觉到军心有什么动摇。我觉得大家都非常团结，也彼此照顾。我觉得那个时候是彼此照顾的状态，构建了一段战友情的这种感觉。

这段故事特别珍贵，是因为它跟现在大众对xAI的一个认知差距是非常大的。因为现在大家的认知说，就前段时间xAI的联合创始人全部都离开了，要么被解雇或者被裁员，或者自己辞职的。就感觉这两个叙事，就好像在说两个不同的公司一样。

确实很不一样。因为后面公司大了，我觉得xAI是没有过那个阵痛期的，是没有过那个从很小的、很团结的一个创业公司变成一个需要靠体制来运转而不是靠人来运转大公司的状态，它这个过渡期的阵痛是没有很好地抚平掉。所以产生了这些巨大的变化。但有天它可能又会找到一个新的解决方案。因为xAI还在那里，新的人员在新的组织架构，有天它可能会找到一个新的解决方案，但是就是可能是一个另一家公司。从人员上来看的话，反正Elon还在。对，这是最重要的，又被SpaceX收了，上市了。

这段我觉得就是对组织架构的一些震动期，因为你肯定有你的观察，你觉得对你之后做初创公司，因为你们现在也是几十个人对吧，可能很快你们会上百个人、几百个人的一个规模，会对你有什么样的经验教训吗？有的有的。我觉得我们现在就在一个很美好的时期，其实我知道我们现在在一个很美好的时期，这段时间一定会成为我们所有人以后人生中非常珍贵的一段回忆。但是我们也一定会面临那个挑战，扩大规模的挑战。

对，就是你在人少的时候你是可以通过文化，通过人的管理去实现运转的。但你规模化上去了之后，其实文化就很脆弱了，人也很脆弱了，个人能力都会变得很脆弱。那个时候你能不能把公司做大，能不能把一件事情推动好，更多的就是看你的系统搭建得怎么样，体系构建得怎么样，最后是靠体系去支撑的，而不是靠人去支撑的。这个转变可能，我其实不知道正确答案，因为我没有经历过，但是我能学到的经验就是，这个过程要非常的intentionally thinking（有意识地思考）。它不是一个会自然发生的事情。它不是一个你只要公司这个计划有，然后往前推进，有scope（业务范围）有事可做，你就理所当然会得到的东西，它不会。如果你不上心它是会破裂。它就会破裂。

你当时主要任务是什么？当时你在xAI，比如说给Grok构建推理系统的时候。我们是负责引擎那一块，我们要同时服务其他很多组，包括product serving（产品服务）。产品服务是他们会部署、做deployment，我们需要跟他们对接。他们遇到问题回来会报给我们说引擎里面可能有什么事、有什么问题，我们也要帮忙部署上的一些协调，configuration（配置）什么的。也要跟研究团队合作，研究团队做评估、跑RL rollout（强化学习试验），用的也是我们的inference engine（推理引擎）。所以我们也要去支持他们这个workload（业务）里面的各种适配。

当时在xAI的时候，因为它整个算力系统也是非常庞大对吧，它后来又买了非常多这样的卡，你觉得在整个的过程当中，比如说你是不是在里面受到了全栈的训练，这对你来说产生了什么样的影响？对，我觉得在xAI的是，机会就是能看到所有。因为当时团队小所以能看到。而且xAI，我觉得Elon还是设置了一个我很喜欢的文化，Elon有一些他的问题，但是他有一些很突出的地方，而且我很喜欢的地方，就是Elon能设置一个没有边界的文化。

一个没有边界的文化。对，就是在xAI里面，至少我还在的时候，我觉得任何事情我都是可以接触到的。我不会说，当然组与组之间是被隔开的，你必须限制在一个很小的范围里面只能做这一件事情，你不知道外面发生了什么。xAI里面是不会这样，也没有特别多的人员管理。xAI里面都是技术性的，而且它非常重工程师文化，所以你做事情可以非常直接。这样一个文化就使得我能够看见很多很多个层面和很多个模块之间，大家是怎么合作的，事情是怎么发生的，它作为一个整体是怎么发生的。这个给我带来非常大的成长。因为原来我确实没有办法看到这么多的东西。并且在xAI因为强度很大压力很大，人都是被训练出来的，你一定要高强度。你只有经历过那个高强度，你的成长撕裂，就像你健身你一定要很累了，你感觉到痛了你才——对，开始长肌肉。xAI这个高强度它给我们带来的成长就是，可能你在那里待了一年，可能在外面是好几年才能拿到的成长。

### 创立RadixArk与离开xAI的抉择

你当时是决定说SGLang想要把它商业化，去成立RadixArk，是一个什么样的时机点？对，这个是因为当时在2025年的时候，前面有几波浪潮把SGLang推到了一个还不错的被关注点，有很多的需求向我们涌过来，想要使用和让我们参与一起开发之类的。但是我们社区，SGLang社区是一个虽然最早我们也是大学里面做了一些研究，但从很早的时候开始SGLang就已经变成了一个纯社区项目。我们的核心开发者都是网上认识的，我们都是网友，就跟我小时候在网上学习，大家可能都没见过面。没见过面。就现在还是核心开发者，我们已经共同工作了两年了，我还不知道他们长什么样子。有好几个是这样，可能也没有好多，有那么几个吧。我不知道他们长什么样。下次年会的时候可以把他们请过来。对，我们已经开了很多次会，但是从来没有开过摄像头。好。

我们也从来没有要求过对方开摄像头，大家就有一个默契，这个默契就是我只要看到你的代码，我就知道你是谁。我也只想只看到这个部分，所以开摄像头或者是真正地认识对方这件事情不重要。还是说大家都是i人，所以不想开摄像头？我觉得大家没有i到完全不想开摄像头，没有这么夸张。我觉得是他自然到你根本没有想起来这件事情。没有说大家拒绝开，但是自然到你根本没有想起来这件事情。

对，SGLang是个这样的社区，但是这样的社区也会导致我们大家其实没有那么的有组织纪律性。虽然大家都很有热情，也非常在乎这个项目，但是你还是很难说让大家有时间去把项目非常严肃地给它做好，做成一个成熟的高质量水准的一个项目水平。除非我们有自己的公司变成我们的全职工作。大家其实有自己的全职工作，也只是说其他空闲的时间来为这个社区做贡献的。对，就是晚上熬一下夜，通个宵，周末再工作一下，放假的时候过来写代码，这样子去维持。

但是我们当时的增长是快到你不可能用这样的方式去维持。那个时候接到的很多需求，我们想要去抓住这些机会，想要跟对方合作，想要交付一些东西。但是我们还是强撑了一段时间。但我觉得强撑的那几个月之后发现的就是没有办法交付。就其实大家都是很想交付的。你觉得我们已经不能再透支了。你知道这个团队已经不能再透支了，它就是被团队的带宽限制住了。我们没有办法很好交付，都是勉强低空飞过，或者甚至没有成功交付。

所以到了大概七月份那个时候就已经，我觉得我自己的焦虑已经到了一个，我觉得如果我们再不出来做这件事情，我再不把这个背后实际上的空白——就是这个是个中空的状态，我再不把这个空白填充的话，我们就快要让外界失望了。所以我自己焦虑到了一个，我觉得我没有办法再拖的这个状态里。

所以我从xAI出来。从xAI出来应该放弃了很多金钱上。那倒也没有，还好吧。而且Lianmin他在xAI比我多，但我确实是没满一年，就是我是有一年的cliff（悬崖期）的。我出来的时候是10个月。对。其实我只要再待两个月，我就可以拿到我的第一年的vesting（股权激励）。所以两个月都不能待。对，因为等不了了。等到7月份已经是等了很久了。其实我可能5月份就已经有点受不了了。到7月份时候已经实在是受不了了，如果不出来的话，可能这个社区就——两个月都等不了了，是吗？对，大概是那样的结论。我的心理状态到了一个我没有办法专注做xAI的事情，我已经没有办法高效地生产我对xAI的价值。但是我不能忍受自己在一个，就是如果我是在xAI上班的，我就觉得我要对它有用，不然我就会觉得我不配在这个地方。所以我当时已经到了一个，我觉得我不配再继续待下去的一个心理状态了，它不是我能控制的。

刚才忘了问一个问题，你觉得金钱对你有任何的重要性吗？有必须性，没有重要性。它的必须性来自于，有金钱可以让我解决很多事情更容易，这个我承认。就我没有追逐过它，但是你真的说它不重要吧，我也没有到那个程度。它能够给你带来的底气就是，比如说我想创立这个公司，如果有一天我融不到钱我自己还有钱。这是它对我的意义。

### Two Sigma经历与对冲基金体验

忘了提一段经历，你在哥大毕业之后，其实是到了华尔街的一个对冲基金，叫Two Sigma。里面是工作了有几个月吧。是不是，没有到一年。有半年，6个月。好，就那段经历是什么样子的？就是在华尔街大家觉得说，纽约华尔街上纸醉金迷，在一个对冲基金里面好像跟你之前做研究的这个氛围是不是会完全不一样？但我们那个对冲基金是一个tech（技术）的对冲基金。对，我知道，量化。对，技术的。但是我当时确实是想要接触金融，觉得挺有意思的。我有一任前男友是学金融的，这个剪掉，我一定会放出来的。

所以当时我确实对那个，就觉得金融挺有意思的，有点好奇。当时量化大家的说法就是，那里面的人很聪明。是。都是那个好多PhD什么学物理的。就好多PhD后来我们学校的都去量化了。就是我不知道为什么，我就是喜欢聪明的，跟聪明的人说话。我喜欢做有挑战的、跟智商挑战的事情，所以它这个特点当时吸引我，当然这个也是吸引很多其他人的原因。那个时候我也就21岁吧，22岁。单纯地被这东西吸引，我觉得我要去体验一把，我觉得这个事情我要是不体验的话以后我会一直想着它，但是我又觉得金融不是我的人生追求。我又觉得天天在那玩钱没啥意思。对。

所以刚好PhD中间隔了有个半年的gap（间隔期），然后完成一个体验，挺好的。我就去那里做了半年。那半年的回忆也非常好。如果要我排序的话，我工作过的所有公司排第一的是xAI，排第二是Two Sigma。评价这么高！但是我听说Two Sigma，就我在的时候又是它最好的时候。我很幸运，我每次在都是它最好的时候，后来可能就有些变化了。但是我在的时候是Two Sigma最蓬勃发展，甚至拥抱开源，他们那段时间。Two Sigma那段时间是做开源项目的，非常拥抱科技，也拥抱新技术、AI、大数据什么的。里面的人也是非常地互相帮助。我没有感受到任何多余的东西。所有人都只是在做事情，所有人都非常地开放。非常开放。非常喜欢分享，质量也很高。里面当时交到的很多朋友到现在也还是我的朋友。大部分人还继续在华尔街量化里面。还是也都会出来开始做AI？都有，有些出来的，有些还在里面。

Two Sigma让我看到一个非常有组织的公司的样子，至少在当时。所以它是非常有组织。我当时觉得Two Sigma非常有组织。我当时不觉得，但我后来去了其他公司之后我再回想我就觉得，原来其他地方这么乱是吗？对，原来其他地方这么乱。Two Sigma它都不是一个技术公司，但是Two Sigma的基础设施跟其他的比起来是最稳定的一个地方。有意思。你觉得原因是什么？公司文化就是这样的吗？就让它非常地干净。我觉得是它的聚变不多，它的业务模式比较稳定。所以大家可以在那里一直做维护，大量的维护。所以对于做一个金融，追逐那个回报的数字赚钱这个事情，在你这边就不是优先事项，你只是想体验一下。对，我只想体验一下。对，我一开始就知道那不是我的优先事项。体验还不错。对，体验不错，挺好的。

### LLM Infra的愿景与版图

这个技术稍微给大家去科普一下。LLM infra（大模型基础设施），你们在做什么样的事情，你们在解决什么样的问题？Infra分好几个模块。我们长远的目标是，我们希望整个infra，我非常模糊地说，我们的这个结构性思考是我们希望RadixArk在一个地方它可以给你提供很好的基础知识，让大家根据你不同的使用场景，不同的数据的形式，不同的产品目标和不同的survey（探索）目标，你有可能希望模型它可能解决个很简单问题但是你希望它很快，又或者是它要解决一个很难的问题但它可以比较慢。你都可以用这套工具源源不断地产生适应你不同目标的最好的模型。

我们希望把这个foundation（基础）做出来，这个基础我统称为infra（基础设施）。它会包括传统意义上大家所理解的推理引擎、推理和训练、后训练，这些都是大家传统的脑中的关键词。我还想在这里其实加一个组件，就是基座模型也是infra，在我看来。整个这个基础里面是包括了所有你需要的ingredients（要素），包括了这些codebase（代码库）、Tool（工具）、Toolbox（工具箱）、Sandbox（沙盒）、Environment（环境）和一些中间状态的模型检查点。它们在一起变成个工具箱，你可以在这里进行组合，去不断地产生更适用于你的场景和目标的特异化模型。

整个这个工具箱，这个基础，是我们要做的infra的部分。现在我们，因为要聚焦，一步一步来，所以我们现在是聚焦在Inference（推理）和RL（强化学习）。它们处在你这个生产模型整个流程的末端。假设说我前面已经走完了，我的基础模型预训练已经做完了，我有基本的checkpoint（检查点）。现在我开始要适应不同的任务，我需要过后训练的时候大家开始用RL。这个地方已经开始开枝散叶。因为AI进入人的生活的各个方面，有不同的场景需求。这个时候你开始需要有，不是一个模型解决所有问题，你可以开始有多次训练产生多个模型解决各种各样的问题。并且多个企业他们可能都想有自己的模型，所以post-train RL（后训练的强化学习）在这个地方是一个fan-out（散开）的状态。

所以它是比较适合做我们想要的这种给所有人分享技术，然后做一套基础设施，让所有人都使用的这样一个模式里的。后训练完之后的模型推理，那就更加fan-out（散开）了。推理就是真的到了末端，模型都已经完成了。推理，我需要让你模型的架构和weights（权重）都已经有了，我需要让你模型在硬件上跑起来，跑起来之后可以被，你有个end point（接口）可以被cover（包含到），别人可以来，别人可以使用这个模型。推理就是在那个更末端贴近用户的部分。整个的Infra LLM Serving这个版图其实中间涵盖蛮多领域的，比如说vLLM是解决内存管理。

<!-- chunk 3/4 -->

### 解决各种技术问题的路线图

H2O是做KV cache的压缩，S-LoRA是解决多适配器的并发，Chatbot Arena做测评，SGLang做结构化生成。有非常多不同的方向。对这部分的研究，其实是一次性看见短时间内一下看见了很多问题，但做的时候得一件一件做。想法肯定是跑得比手要快。也不是我一个人看见，很多人都看见了，上来一下看见很多问题，然后大家慢慢地把每件事情都解决掉。

在解决这些问题的时候，我觉得没有哪个点是难的，去做掉就可以了。优先级是根据哪一个能带来最大的边际收益（margin），哪一个是最大的瓶颈来排序。先解决最大的瓶颈。也有些是依赖的（dependent），比方说你要先解决内存的KV cache的碎片化问题、管理问题，然后才能解决前缀缓存（prefix cache）的问题。

对于这些问题是否完全被解决，肯定总是有优化的潜力。注意力机制（Attention）现在有这么多的变种，稀疏注意力（Sparse Attention）还可以做得更激进。新的创新是不会停止的。这一块其实应该是一个很大的市场，但也不能说是从开源跑出来的。因为推理已经很长时间了，推理服务提供商（Inference provider），你看从Fireworks、Together这些公司，已经存在好几年了。这些公司都很不错，有很大的使用量。推理的领域有这么多的竞争者，每年都在不停地出，但是你会发现这个游戏里面没有输家。所有的推理服务提供商不停地出来，但是没有任何一个因为有竞争的存在而消减下去，所有人都是同步增长的。

### 基础设施的品味与美感

之前跟你联合创始人邦华聊的时候他说，做infra的人需要的品味（taste），跟做预训练的研究者的品味是不一样的。我其实不确定是不是真的不一样，本质可能是相通的。不论是在做预训练算法还是在做infra，做一件事情时候是不是喜欢精益求精。它是一个很细节的活，因为效率要做到非常极致。如果你追求一个目标的话，可能就不在品味这个维度上。如果有品味，其实就是关注的不仅仅是最终目标，并且还有这个最终目标的组成。就是我的系统不仅能跑，并且知道它是怎么跑起来的，它是以一个设计良好的形式形态跑起来的，还是一个豆腐渣工程、很粗糙的（hacky）方式跑起来的。有品味就是说更在乎它是一个很优美的形式跑起来的。

我非常在乎这点，这是RadixArk的文化之一。我们非常强调这一点，我们想要好好地做一家基础设施优先（infra-first）公司。因为在很多其他的以产品、以模型为目标的公司，在基础设施的美感上是有所妥协的。他们在基础设施的功能上还是很追求的，但是在美感上是有所妥协的。基础设施的人在整个全栈里面，可能长期处于一个被低估的状态。他们需要被迫去不停地支持其他的组件，需要去支持研究者很好地使用基础设施工具，把实验跑起来去迭代，也需要支持产品端的人能够把自己的产品运行得又稳又快。但我跟基础设施之间有这种浪漫的关系，我觉得基础设施不是一个支持的角色，基础设施本身在我眼中就是产品。推一个产品的时候，你会想这个产品不是只有功能，我希望它好看、好用，被人所喜欢，击中用户心里的痛点，击中人性。但是没有人会说我希望基础设施击中人性，但是从我的视角里看，我觉得基础设施也是击中人性的。它只是没有直接到用户，没有那么直接的联系而已。但实际上它产生的深远影响，是从底层就开始往上传递的。

写基础设施的人都是能理解的。你会去觉得代码写得怎么样，其实有很多这样的一批人，他们都很在乎基础设施构建的时候系统优不优美、稳不稳定。然后他们总是被迫去做一些粗糙的事情来达成目标，其实他们都会在一个被拉扯的状态里。比如在OpenAI、xAI这样的大厂里，基础设施团队它总是一个支持者的角色，所以有很多需要去妥协的地方。但如果是自己出来做一家原生基础设施（infra native）的公司，就可以达到基础设施优先的美感。比如在RadixArk，我们是反过来的。比方说我们也有训练任务，但并不是说需要一个基础设施团队去一直支持这个训练任务跑得非常按计划进行（on track）。我们希望训练任务可以没有压力，只需要跑，然后一旦任务被卡住了、遇到问题的时候，大家的注意点是把这个问题系统化地解决，而不是打一个补丁上去，让这个训练任务必须跑。任务是可以跳过的，我们也不着急刷一个非常好的基准测试分数。如果能刷高当然是好的，但它不是紧迫感的来源（source of urgency）。紧迫感的来源是任务不能被迭代的时候，这个问题本身应该从深层次地去解决它。

### RadixAttention前缀缓存技术与SGLang的设计初衷

我们再在技术细节上看一下RadixAttention，它是SGLang的核心技术之一，用基数（Radix）树来做前缀的缓存，避免重复地计算KV cache。这个技术其实也比较简单，就是当有很多的请求发到引擎这边需要处理的时候，如果请求有一个公共前缀，那我们就不需要重新计算这个公共前缀所对应的KV cache，而是可以复用第一次计算过的KV cache。所以这套内存管理系统，就是对前缀的共享结构做了索引（indexing）和存储。首先对进来的请求之间的前缀的关系，要建立前缀树来做索引；做完索引之后，需要把已经计算的KV cache存在KV内存池（KV memory pool）里面，然后把这个索引跟这个KV内存池映射（mapping）起来。

假设用户每次发的问题都是全新的，没有共同前缀，比如长文档摘要或者创意写作。因为智能体（agentic）场景和复杂场景的出现，大部分都是会有前缀共享的。因为只要进入多轮对话，后面的对话都会要复用前面已经对话的历史，所以前缀复用大量存在在几乎所有的场景里。它一直都是需要被解决的，智能体来了之后，它确实变得更被大家所关注到了。

其实SGLang在两三年前刚出论文的时候，确实是以智能体为入口进来的，为什么要新设计SGLang这套体系，当时还设计了一个前端语言，都是为了智能体的用例所设计的。因为我们觉得大语言模型（LLM）变得非常强大之后，需要构建一套人与AI之间交互的界面（interface）。SGLang的创作动机其实是想要去定义和构建这套界面，让人和AI可以更好地交互。发展到今天，因为推理挑战的重点更为突出，所以大量的开发精力移到了后端的运行时的优化。但我觉得有一天，我们还是应该回顾一下最初的想法，就是为什么要设计SGLang。SGLang原初化结构（structure general）是语言，设计的时候是希望它是一个语言。有一天我们会重新审视这个部分，最终它还是应该是一个语言的形式，是人与AI之间交互的窗口。

### 模型的Day-0兼容与推理引擎的适应力

在模型发布后的Day-0，也就是第0天开始兼容，这件事情很重要，是市场觉得它很重要。我们做开源，哪些事情重要和不重要，还是被市场所决定的。人性就是很希望东西刚出来时候就能用上，这个愿望从用户端传递到了推理服务商，又传递到了我们，进而再传递到了模型厂商。它满足的心态就跟抢购新产品一样。

前段时间DeepSeek v4发布后我们达到了Day-0兼容，这跟模型的复杂度很相关。DeepSeek v4在架构（architect）上做了很多创新，所以团队花了特别大的精力去做这个模型的支持和各种优化。我们的DeepSeek Day-0兼容，支持的这次功能集（feature set）做得也非常全。很多功能都是第一天就兼容了。并且也是我们第一次有这个强化学习（RL）的Day-0。Miles是我们的RL框架，因为DeepSeek v4的架构设计跟之前的模型有太多的不一样，很多算子层、一些实现大部分代码基本上都要重写。如果模型架构变得非常大，重新适配的工作量就会更大。如果架构完全不变或者只是更新权重（weights），几乎都不用适配。

最近有研究探索模型直接在潜空间（latent space）里面推理，而不是逐字生成token，比如Meta的Coconut和字节的Cola DLM。如果这个方向成熟，推理过程形态不一样了，很多事情是会变的。但这也本来就是写推理引擎的一环。世界在变，结构在变，你的事情又一直在变，这是一个持续存在的过程。真正的难点从来都还是在回归人和团队本身。技术上总是能做的，AI现在写代码这么快，产生巨大变革的地方不在于技术本身。

### 团队文化与RadixArk的下一代AI使命

我觉得我们的团队团结、专注且谦逊、精益求精。不同团队各有所长，都会形成自己的文化。我们追求极高的审美，追求把事情做扎实。我们希望RadixArk的人都是对自己的作品特别挑剔的人。

今年年初看到vLLM的核心团队也商业化成立了Inferact公司，融资1.5亿美元。这个产业之后会有更多的推理公司不断涌现。但我其实不觉得我们在推理这个赛道里，虽然我们有SGLang，但RadixArk的长远使命不属于这个赛道。RadixArk的目的是想把最好的AI带给大家。我们最终想做的事情是不一样的，我认为RadixArk最终使命是要做下一代AI（Next Generation AI）。我们的本质不是单纯的基础设施实施（Infra implementation）。它不一定是模型，是下一个形式。我不讲它是什么，但我们并不是停在这个地方，推理或者基础设施只是一个起点，一个前提条件。我们将来想做的事情不是一个现在世界上已经存在的东西。所以我不觉得我们跟现有的这些推理公司是一个类别里面的。

推理不是RadixArk的长远核心，所以我们跟其他的推理公司都保持良好的关系。引擎是全开源的，SGLang属于LMSYS社区的，公司在SGLang的所有贡献都是开源的，没有私有派生仓库（private fork）。我们只是希望这些东西被所有人使用，并没有想要通过这里制造差异去获取利益。公司的命脉不在推理引擎这。

### AI基础设施生态链的演进与合作

做推理引擎的创业公司最近体量也不小，比如Baseten融资3亿美元、Fireworks AI估值40亿美元、Together AI寻求10亿美元新融资。大的云厂商如AWS、Google也在提供托管推理服务。今年AI变得更有用之后，市场的投入从训练转向推理，开始需要让它盈利和兑现，这个转化使得推理市场进一步爆发。同时AI原生的（native）公司开始感受到继续使用现有模型做提示词工程（prompt engineering）的局限性，需要利用好自己的数据去做定制化的需求。这个需求从另一方面在推动强化学习（RL）的市场化。一方面有很多新推理公司出来，另一方面已建立的推理公司在往RL那边扩张，这是最明显的两个趋势。

Baseten、Fireworks也是我们的用户，但我们不把他们当成竞争对手。我们是更想和谐相处的，重点并不在这个地方。我们因为开源的意愿，希望被大家使用，希望他们是我们的盟友。我们更希望聚焦在AI本身的一些技术迭代上，跟他们共同发展，促成业务模式的增长。

我们的客户类型很多，从数据中心（data center）、新云（Neocloud）、超大规模云服务商（hyper scaler）这些有GPU的云服务提供商，帮他们销售GPU到推理服务提供商；再到AI公司使用AI infra去训练（train）或服务（serve）模型；还有想用AI助力原来业务的传统大公司。

SGLang之后开发的Miles，主要是用在RL上面的。因为我们做的是整个AI infra，推理和强化学习是在最靠近用户的两个末端的步骤。做这两个东西难度还好，因为非常相关。RL里面很大一部分的挑战来自奖励引擎（reward engine），它也是跟推理引擎相关的。做RL更多的是要做一些调配和权重转移（weights transfer）之类的胶水性工作，调度（Scheduling）算法有一些新的东西，但是在系统层面有非常大的重叠。

### 从研究者到管理者的角色转变

关于优秀的管理者特质，“管理”这个词很宽泛，不同位置的管理者功能不一样，也是职能分工的关系。一件大事要做成，背后一定要有一个人非常地跟这件事情绑定，不遗余力地推动事情发生。他需要有很清晰的想法，知道我们从哪里来，要去哪里，有远见能看见想推动的未来。有远见的这个人不一定具备管理者需要的所有特质，公司里还需要其他管理者去执行不同职能，比如把远见变成真实、可执行，把合作关系调度好。管理者的架构制度非常重要。

在xAI和现在创业面临的挑战是完全不一样的。在xAI，我不是所有者，没有被赋权（authority），只是一个小团队负责人，没有权力做很多决定。在xAI学到一句话：权力（authority）和责任（responsibility）要匹配。我没有权力，就负不了责。但现在这家公司，我必须要做决定，这是我的义务。做好了是团队的功劳，事情没有做好，所有的责任全部在我头上，我就要背锅。

从研究员到自己创业，我对自己的定位一直都只想我想做什么事情，不管是做教授还是开公司，那只是为了做成事情可以借用的途径。两年前我觉得想创造那个未来，教授是一条路；两年后的今天觉得教授这条路走不通，就开始开公司创业。融资这些事情以前不懂，是被迫去做的，用第一性原理思考（First principle thinking），该做就去做。融资挺曲折的，但现在对这个行业有更多理解，对投资人有更多尊重和理解。学术界体系跟投资人体系不一样，规则机制做事方式都不一样，但归根结底都是人、人性，人与人之间是共通的。进入另一个体系只要学习那个体系的利益平衡怎么运转，以同样的人的根本作为推理基点，对体系的理解是可以被推理出来的。就像发论文有套路，所有常见的事情都是有套路的。

### 投资人的认可与个人的根源

我们罕见地拿到了英伟达、AMD、英特尔这些最大的半导体公司的投资。他们为什么投我们，如果让我推销的话，我觉得我们是在这个赛道里跑出速度的玩家，让大家可以看见我们的未来。我们也有机会去创造新的市场，助力现有的市场，赋能其他公司制造AI的能力，利用AI创造更多价值。这是我们值得被投资的原因。早期投资人和事一起看，我们有开源的基础在。

对于开源的在乎，不是刻意执着，是自然发生的，从这里获得价值观确实跟我以前经历有关。我出生在江西这样一个中部的省，不是很发达。但我已经在江西省受到了很好的教育。

<!-- chunk 4/4 -->

### 早期编程学习与开源文化的启蒙

但是你放眼全国，甚至国际去比的话，那我当时受到的教育还是很朴素的，一段教育经历。当时我想要学编程，其实没有太多的资源可以学，所以我大部分的学习都是从互联网上拿到的。计算机那个时候也不是最火的专业，计算机竞赛更不是大家追捧的竞赛。所以你能够在市面上搜集到的教材，或者是各种资源都非常地稀少，都是未经加工的。所以当时我的学习全都是来自于我去互联网上，去看到的那些非常随机别人留下的帖子，CSDN、各种当时在线评测系统的网上题库。我从那些地方学到的东西，都是来源于一群我不知道是谁的人。我至今也不知道他们是谁，当时我也不知道他们是谁。我只是过非常自私地把代码拿走了，我回家研究，我都不知道写这个代码的人，把它生出来的人是谁。我是被这样一群人，被互联网上不知道世界上在哪里的人给raise（养）起来的，就是我是被他们教会的。所以分享开放的这个文化，它对我来说就像我生活的空气一样存在，我也没有觉得我在刻意追逐它，但是它对我来说就是一个，从我很小很小开始它就一直在我身边的，像空气一样。我觉得它理所应当，你有一个想法，你做了一件事情，你不分享出来，那才觉得奇怪。我其实是这样一个状态。

### 开源社区的变化与功利主义

你觉得开源社区在最近几年有发生什么变化吗？一个好的变化，一个不那么好的变化。

好的变化是我觉得开源越来越多了，大家越来越追求开源，越来越愿意开源，越来越相信开源的价值。不管是大家的思维模式，就是人对开源的欣赏，还是资本对开源的认可，都是上升状态的。但是有那么一点不好的变化是，它的这个追捧上升中也开始掺杂一些其实不是那么纯粹的东西在里面。你掺杂一些不是那么纯粹的东西，一个是会破坏原来我们所想象的，那个开源带来美好的事情本身；另一方面是，你如果开始有这样的东西存在了，会让原来相信这件事情的人变得不那么相信。开源里面混进了一些功利主义者，这些功利主义者的存在使得那些本来不是功利主义的人分不清楚，开源里面的成分哪些是纯粹的，哪些是不纯粹的。他们影响的不仅仅是他们自己，这是我可能觉得开源也，你在变好的过程中，也同时会开始出现的一种平衡。阴阳总是共存的，一种平衡。

### AI时代开闭源之争与民主化

大家最近对开闭源之争也聊得蛮多的，你觉得整个AI的走向会慢慢地往闭源那边去迁移吗？还是说以后……

我觉得应该还是共存状态。我觉得开源不会停，而且根据我的了解它也没有停，有更多的人一直在想要进来贡献自己的力量。但我也不觉得所有东西都应该开源，因为你不能没有规则，你也不能没有界限。就是完全地开放开源这个状态，如果你没有掺杂太多可套利的空间，它可以是美好的；但你一旦把它完全打开的话，人性的恶也会被放大。

是。

所以我觉得两种论点都是正确的。我确实也不觉得AI应该完全地展现在所有人面前，它确实有风险，我不否认这一点。我也不站在，AI应该完全被握在一小批人手上，我也不站在那一侧。我觉得AI应该均等地，被握在不同的人的手中，我们想做的就是这件事情。RadixArk其实不是纯粹为开源服务的，就我们是有开源文化在，但并不意味着我们做的所有事情都是开源和为开源服务的。我们也为闭源模型服务，但是我们说的democratization（民主化）是，我们认为开源闭源是共存的，但是我们希望闭源它存在，但不centralize（中心化）。

理解，但这个怎么实现呢？

所以我们希望提供这个能创造最好的闭源模型的工具链，让所有人都拥有制造属于你自己的AI的能力，但是你制造出来的AI属于你自己。

Anthropic昨天呼吁大家都停止AI的研究，但是它又加了一个附加条件，就是说我现在确保大家都停止了我才停止。你现在能接受这些最强大的模型都被握在这么几个闭源模型的玩家手中这件事情吗？这件事情它能被打破吗，你觉得？

我觉得这件事情很难发生。它是违背人性的。

你是说所有人停下来AI研究这种事情是（违背人性）？

因为你跟大家没有在这样一个体系里面，大家没有拿到同样的资源，所有人都想要接收到最好的AI，所以这个事情就很难发生。我不觉得它不正确其实。如果说现在有一个非常强力的上帝，他下来安排每一个人做什么，那这件事情是可以发生的，我不认为那是一个非常差的世界结局。就是大家都停了，然后Anthropic领先，我不觉得这是个极度差的世界结局。但是世界不可能停在那个地方，因为没有这样一个上帝下来可以把所有人安排得按部就班，一定会有人要在里面起义，所以我觉得它不可能发生。

### AI的未来走向与人类共存

那这个事情会往哪里走呢？终局可能不知道是不是一个会非常美好，就像你说的一个非常decentralized（去中心化的）、每个人都能有自己的AI的这样一个终局。但是你觉得接下来是什么？

这看我往多远的未来去想。如果我想到很远的未来的话，我觉得现有的AI还没有强到，它会真的完全控制和威胁到人类。所以在可见的目前我能够保证看到的未来里面，人类还是安全的，我觉得。如果是这样一个前提下的话，大家还是会互相追逐，然后AI会变得越来越强，但是它这个强是一个生产力上去取代人类的一些功能性的强，它不能完全地取代人类，它只是取代了人类的一些功能。但这个变革肯定也是巨大的动荡，它会对人类的社会结构、权力结构产生巨大的动荡，就是跟过往发生过的每次工业革命一样的一些席卷性的这种动荡，可能比以往的工业革命更加工业革命，但是它是个你可以理解的范畴。

更远的未来就是，如果说AI它真的可以强到，已经开始操控人类，就它真的已经over（超越）人类，Dominate（统治）人类了，能够做人类做的任何事情。如果那天真的能来的话，我们是阻止不了的我觉得。我觉得那天就会来。或者说你想阻止它的方式不是通过呼吁所有的人类停止来阻止。这个事情是不太可能发生。

对。

你阻止它的方式一定是发明、发现另一条路径，使得你允许AI继续前进，而人类还不会输。

你在这中间想做什么事情吗？

我觉得我想、我想要构建的那个未来，就是一个跟强力AI共存的未来。我们现在说我们要把强力的AI、最好的AI带给所有人，人类需要这个公平。你不太可能通过一小部分人，把好的AI握在手里，其他的人都无能，来维护你表面上的和平，这是不可能的。如果说AI一定要往前走的话，那所有人都往前走，所有人都能够去——不一定是所有人，不是字面意思的所有人，但是我说大家都不是被这样bond（关联共处）的，而是如果你是个、你有这个想法潜力，你知道往前走的时候你能够接触到最好的人类知识的话，你需要在这样的竞争环境中往前走。它是一个健康的与AI共存和大战的状态。你先要有这样一个假设，然后整个人类他们才能是团结在一起，去寻找这个解决方案的。所以这件事情是必然的。我们不管，如果那天发生，真的到了有一天你需要让人类寻找一个新的解决方案的话，这个它都是个前提。你先要让所有的人类平等共处，团结一致，然后你才能再寻找一个人类与AI共存的世界。

### LMSYS项目的创立与平权理念

LMSYS，你想说一下那段经历吗？

LMSYS是我们想、我跟Lianmin最早一开始想成立一个机构。这个机构可以让不同学校的人参与研究。LMSYS到今天，虽然它是一个非盈利组织，我们大家都在里面兼职地帮一些事情，但是LMSYS其实是一个我们想要非常严肃做的事情。如果说RadixArk有一天，我希望它永远走下去，但如果有一天它不是走到底的话，LMSYS是那个我终生会做的事业。但是它跟RadixArk有些共同性，就它们都有个共同的价值观，就是关于平等和关于平权。

LMSYS的平权是来自于我们希望能够孵化优秀的人才做的项目，即便他们没有充分的背景、没有充分的后台、没有充分的品牌。这个是来源于一些我自己个人经历也、我经历过很低谷的时期，也经历过很高昂的时期。我自己能感知到这里面的不同。可能同样是我，同样做了一件事情。我在高昂的时期做的那件事情，非常容易被大家关注到，被大家记住，甚至被大家夸大。但是我在低谷时期做的事情，有些也不错，但是其实你就很难被大家所看见或者是被大家认可。但我觉得这个不同是没有必要存在的，而且它是破坏社会公平竞争结构的。LMSYS希望做的是抹平这个差异，希望好的项目真的能够被托举出来，并且我们希望功劳能够分到做事情的人身上。让可能还没有积累、没有建立声望的人，对项目有更强的掌控权。保护未建立声望的真实的开发者的掌控权，对项目的掌控权。

我看你在开源社区的时候，还做了蛮多其他的一些项目，比如说LM Arena。这个东西其实在行业里面影响也是挺大的，那段时间你其实主要还是一个主线，只是说不同的项目，它在不同的project这样来推进，是吗？

Arena是当时我们做LMSYS那段时间其中的一个有趣的项目。当时觉得这个事情挺有意思的，然后做了一下。它意外地得到了挺多的关注。可能大家当时就觉得排行榜这个事情，可能本身它具有一定的娱乐性。但是我觉得这个Arena确实是我们开始做的，但你真的说把它壮大，然后做成公司，那确实还是我们后来就是Wei-Lin Chiang，我们把这个项目交给了Wei-Lin Chiang他们，后面有些新的人也加进来，是后面这个新的团队把它们真的做成商业级别规模的一个项目。

### 性别不平等与权力重构

刚才你说每个人要公平、要平权，平权更多的是说相同的机会。

相同的机会。

特别是对于科技方面的一个，怎么说，程序员也好，或者是研究员也好，你对这件事情的在乎是因为什么样的契机或者是什么样的经历，可以跟我们分享一下吗？

一部分是我觉得我好像天生就是这样的，我生下来就是在乎这个事情。另一部分可能也是一种延伸。我觉得我从小到大是、我觉得我是经历和看见了很多性别歧视。我觉得虽然大家回避这个，就没有那么……这个话题有一定的可争议性，就是你怎么鉴定是或者不是。但我觉得我还是很明显地说，这个事情它存在，你无法回避它存在，而且我非常切身地经历过无数这样子的例子。每一个例子你单拎出来它都非常小，但是它是那种，一件在你生命中无时无刻每天发生的平凡的小事。所以它其实对那些被影响到的人造成的影响，不是你听到一个例子时候所感受到的冲击，而是把那一件小事的冲击乘上一亿倍，那才是对那个人人生的真实的冲击。然后你再把它扩大到整个群体，它所造成的这个互动性影响，就是常识的影响，刻在所有人共同认知里面的影响，是没有办法用一个例子去说清楚的。我觉得这个是它造成了我为什么特别在乎平权和公平、平等这些东西的一个性格特质的原因。

第三个就是我刚跟你讲的，我自己经历过，我能感受到，包括我自己做的、我发的那些论文，有些论文其实我觉得也就一般，但是那个论文可能就是因为是我发的，或者是我一个斯坦福发的、伯克利发的，大家就会觉得它是一个标准。但其实同期可能有一些跟我做的论文差不多的论文。我其实只是一个研究者，我不是那个科学家，但是因为这样一个身份，让我这篇论文被定义了。但是我觉得这个事情它本不应该这样子。虽然我是获益者，但是当我是获益者的时候，我觉得我现在终于有力量可以、因为我是获益者，我终于有力量把这个事情往外推动一点。

LMSYS想要以什么样的形式，去把这个权力很公平地分给每个人？

很难。首先我们都知道这是个结构性问题，它不是我能做的或者是一个机构能做的。我记得有一次我跟Ion Stoica聊天，我忘记是具体聊的什么内容了，但是我跟他说，我想改变一些东西。他聊到一个什么事情，我说这个事情我想改变，他说你改变不了。或者是来问我说，你觉得你能改变吗，改变得了吗？然后我就说，我说不能改变，我确实没办法改变，但是如果我能改变1%的话，我愿意用我的一生去改变这1%。

一样的答案，我觉得我改变不了，这个挑战对于我来说，在这个挑战面前我太渺小了。但是我觉得我能改变一点点，或者是改变我身边的一点点人，这个一点点人，他们会把这个精神再传递到更多的人身上，它就发生一点点变化。那我就觉得它值得我用一生去做。

但是这个里面有一个很微妙的地方，就是当我们想要改变一件事情、推广一个价值观、或者你想改变身边的人的时候，这个传递是非常容易出错的。

对。

是非常容易出错和被人利用的。其实真正最后你能够传递的是，你是不是能够把、你要挑选的人非常重要。有很多人他就不在这个里面，他根本就不在这个体系里面，所以不是所有人都可以被教育的。所以你要找的那些人不是、打个比方说，我现在想帮助弱势群体，但不是说我真的去帮助弱势群体，这事情就能被解决，解决不了。你要解决的是，你要找到那些跟你一样想去找到想帮助弱势群体的人的人。你只能去找到那个能把这东西散布出去的人，而不是直接去做到。就比方说，哪怕你培养更多的学生成为老师都是不够的，你要培养的是，想要去把学生培养成老师的老师。你需要把那个recursive（递归）的链条建起来才有用。

对。

这个事情它会非常的慢，它非常非常的慢。所以我觉得我做不了多少事情。但是它的好处是，你如果能做到一点，它就做到了，它不是个会回退的边，它不是个会回退的改变。它是一个渐进的，就是你往前推了它就是往前推了，它至少是扎实的一个改进。我觉得所有的改进，只要它是扎实的话就可以。如果它不扎实，但是看上去是个跃升，但它不扎实，那你这个跃升就是没有意义的。就我们平时推项目，我也这么跟他们说的。我说不用着急，我们不用到那个目标，但是我们重要的是，你团队能不能训练出来一套系统化方法，我的每一小步的移动是不是扎实的。哪怕我就动了一点点，比你那个动了很大一部分，将来还要退回来，要好很多。

在研究界也会有性别歧视吗？

它也不能叫歧视，其实没有那么严重，叫性别不平等。它可能都没有到平不平等和歧视的地步，但是它会有。但是很多很微妙的意识层面的不对称，是无处不在的。我给你举个微妙的例子吧，有多微妙这个事情，微妙到你会觉得它不是个事。就打比方说小时候，比方说我竞赛出身，我打竞赛打得很好，如果我是个男生，大家就会说我是天才；如果我是个女生，他就会说“她很努力”、“她很听话”、“你很用功”。

对，他会觉得。或者“你运气好”。

我小时候经历的是什么呢？就是有一年的竞赛，那年我一直成绩是各种大赛比赛都是很好、都是顶尖最好的，反正至少是比我们学校里跟我同龄的人要好很多。但是我身边的人会找无数个理由来解释我为什么好，他们觉得你赢是不应当的。他们否认你是天才这件事情。他们不否认，他们不会否认，但是他们会觉得你，如果换一个人，那个人赢是理所应当的，但如果是我赢了，他们会觉得你这个赢需要被解释。但是你正常情况下，一个人赢是不需要被解释的，我为什么要去解释他为什么赢呢？

他厉害呀。

对。但是我的每一场赢都要被解释，背后都有个原因，叫做我为什么赢，而不是你为什么输。就是这个解释可能是，她的对手最近状态不好，然后下一场，她的对手状态还没回来。下一场是，她这个题押中了，这个题她以前做过，但是可能其实我并没有做过。

但是你感受到这个也不是故意的恶意。

让人很窒息。

这些微妙的存在也会出现在你之后做研究、读博士、做项目……

对，是源源不断的。也都会一直有这样的存在。

就是说你赢了，你比人厉害，大家就会给你找理由说，她为什么，为什么是她，为什么她赢？

对，他们会说我要再去研究一下，这个人为什么可以，她为什么可以，她为什么能发这么多论文？因为没有看《甄嬛传》。一旦有一个合作方，这个合作方他是男性，或者是他是被公认的，别人就会觉得这个想法会不会不是她的？就是些很微妙的事情。你单独去看的时候它们都很小，但是我说这是一件持续发生、每天发生、每分每秒在发生的小事，而且它会波及到每一个在这个群体里的人。

确实会，对。

你根本就没有办法跳出这个框架。因为一旦你跳出，别人就会觉得你小气，别人就会觉得你格局小。我年轻的时候对这件事情的态度会更极端一些，但我后来已经觉得没什么好、这个事情是不需要被讨论的。你要解决这一点只有一个方法，就是你让所谓的“弱势群体”或者说如果在这个特殊例子的话，就是女性真正拥有权力，除此之外没有别的办法。

你就是不断去赢就好了。

对，而且这个权力是所谓的人类的真的头部0.001%、0.01%、0.1%、1%里面全部平权，她们只有真正获得权利，这个事情才会被改变。其他所有的一切，通过教育是达不到任何目标的。

你觉得在过去10年有好一点点吗？还是没有？

肯定有好一点点吧。对。我觉得社会是在向前。但是这个它，你如果拆分到不同的方面的话，有些地方可能也在、也有、也不是都在变好。对，它那个价值观是一个很波动的状态，但你整个来说的话，我觉得是在变好。

### 投资人、导师与真实的正反馈循环

好的，我觉得我们覆盖了大部分的东西。你让我再看一看有没有什么问题，你觉得有什么问题我们漏掉的吗？

我没有想过有什么问题要问，但是结尾的时候，我倒是可以有一件事情想说。昨天你们过来，你给我看那个文档的第一眼，我其实当时挺打动。就是那个文档里面已经有很多对我的描述。就感觉你们已经对我……我不知道这是AI生成的还是人做的。

没有，我们看了很多论文，是人做的。

挺详尽的。我觉得很多投我的投资人，都没有这么样地去看过我的经历。在我跟他们聊天中，我发现他们不了解我的经历，他们不了解发生过什么，他们可能在别的侧面去打听了。但是这份文档还是我当时印象很深刻，我觉得包括融资的这段经历给我的一些成长。很多职业本身我们觉得会做的事情，其实它们不是自然发生的。也许我原来觉得一个做采访的人，他就应该对被采访者先有一个深度的研究；但事实上很多的采访者，他们并不一定真的会做这件事情。也许我们觉得投资人，他应该创始人做个很深度的调查；但实际上大多数投资人，都没有去做深度的调查。也许我们觉得一个PhD应该好好做研究；大多数PhD未必真的好好在做研究。有很多事情它在定义里面该发生的，其实不会发生。我后来发现，一个人，他只要能把职业里面该做的事情做完，其实就已经非常稀有。我觉得我昨天看那个文档的时候，我不喜欢采访，本来我们也差点就要推掉了。

对。

但是我昨天看那个文档时候，其实我觉得我愿意好好做一下采访。因为我觉得你们做了这个劳动，我是尊重的。我就想说一句尊重。

谢谢，我也很尊重你。

我觉得很多、就刚刚聊到的比方说我的PhD，其实前面也有很多波折。融资时候有很多波折。我们这个开源项目做起来也有很多波折。但我现在你真的要我说结局怎么样的话，其实这三段波折，或者说过往包括童年很多波折，他们波折之后的那个终点都非常的好。我的PhD第一年，Rotate（博士轮转项目）找导师不是很顺利，但是最后我找到那个导师，他是一个教科书般完美的导师。我们这个开源项目，一开始也有各种各样的被打击，但走到今天，我们有了一个这么好的团队，我们团队大家都这么的有能量，这么的有热情，还这么团结。融资，我前面也经历了各种各样的事情，但我觉得最后我们容纳进来的这些投资人，也是教科书般完美的投资人。

是。

我在当时刚出来融资之前对融资一无所知，所以我想去学点东西，我就去看了一些书，理解了一下。融资的书，怎么去融资的书。类似吧，可能创始人跟投资人之间相关的一些书。

Fundraising 101（投资入门）

差不多，然后我想理解这是什么东西。那个时候我很多名词都不知道的。我不知道什么叫term sheet（投资条款清单），我是在一个这样的状态下出来融资的。我也不知道什么叫做估值，什么叫做Seed轮（种子轮），我都可能都没有概念。很多基本概念我都不知道，都不理解。

Pitch deck（融资演示文稿）是什么。

Pitch deck这个词我都没有听说过。什么叫pitch？Deck是什么？要写多少页，每页写什么？对，是完全没有概念。就是没有概念到Pitch deck这个词我都没听说过，Term sheet（意向条款书）是什么东西。有个人跟我说，你们有没有拿term sheet？我说啥是term sheet？我是在这样一个状态里面，所以我就尝试去学这些东西。但是我从书本里面看到的，书本里写的都是美好的。书本里面告诉我的那个，投资人和创始人之间的关系，是一个终身友谊的关系，是一个你们并肩作战的关系。虽然我早有准备，童话总是美好的。虽然我早有准备，但发现现实不是这样的。现实总是复杂很多，但是我最后真的跟我们匹配的投资人、这些合伙人，他们又回到了我当初在教科书里面看到的那个、所谓的投资人跟创始人之间的关系。书本也没有骗我们。

包括我以前PhD之前很多人跟我描述过的、PhD导师跟学生之间的关系，可能也是过于美好的，但是我最后拿到了。那些美好的描述，它们都没有骗我。世界上存在那么纯粹那么好的导师，存在那么好的投资人，存在那么好的采访者。但是绝大多数人他们没有坚持到把那个跌宕起伏的过程走完，没有坚持到相信那个好的东西其实是存在的。只是说你要筛选，只是说你要有耐心等着它最后显露出来。你要有这个耐心，让那些不是理想状态的沙砾自己脱落掉。

很多人可能在中间就开始怀疑了，然后放弃了。

对，怀疑了、放弃了，或者是他不再相信。借这个机会，我其实想说，那些好东西都存在。所有好的东西都不是编出来的，但是你要非常相信它。你要相信到，你身边没有这样的人你还相信他，然后有一天那个跟你一样相信的人，他有一天会跟你相遇。

坚持。这一段特别好，刚刚我都有点想流泪你知道吗。这一段太好了。最后两个问题，你是一个逻辑如此缜密之人，但是就像你说的，这个世界上很多东西是乱的，或者它逻辑上是不成立的。就很多随机的地方。

世界是一个草台班子。

这件事情能自洽吗？还是说，你其实是会痛苦的？

我在我的逻辑里是自洽的，我的逻辑不受我看到的事情的干扰。痛苦也有，就是会痛苦。我其实很情绪化的，我是非常情绪化的人其实。很多很微小的事情，会对我造成非常大的情绪影响。但是我能够把那个情绪影响，跟我的价值观构建分离开。比如说我看到了很多事情，我不想看到，我不希望它发生，但它们都发生了，然后我觉得很不高兴。但是我看完它们之后，不会导致我觉得那个是正常的，我仍然会坚信那个我没看见但我相信的东西是对的。我仍然会坚信，就像我刚刚说的，我仍然会坚信有一个我想看见的世界，但是我现在没看见。只是我还没看见它而已。这个事情，我可能会相信它。几年、十年的时间我还相信它在那里，这个东西很难被改变。

但是我过往的经历告诉我，它们其实都存在，最后我都遇到了它们。所以我有很多正反馈。但我觉得有很多人是没有看到正反馈的，所以你也不能说要求所有人都坚持。但是我觉得我是幸运的，因为我全都看到正反馈。就是我的正反馈循环，让我可以在后面遇到这种类似情况时候坚持得越来越久。可能我第一次时候我等了几个月，然后它被验证了；下一次我等了几年，它被验证了；再下一次我等了十年，它又被验证了。但我就知道了，它总是能被验证。下次我可以等20年，再下次我可以等——就没有，人生可能等完了。但是我想，至少我等到了，我觉得别人也能等到。

你有没有想过，因为你是对的人，你是正确地去做这件事情的人，所以你等到了？比如说有些人他可能对自己的认知有误，他可能不是最正确的那个人，他可能不是有天分的那个人，可能他等下去就是等不到的？

就需要找到这个自洽吧。比方说我说我等了10年，最后等到了，但是我其实自己心里的一些认知跟世界一直是不吻合的。这10年里我一直都是很割裂的存在，我觉得也可以。我也可以一直就很割裂地存在，就算我整个人生都很割裂，我也不想妥协。就是你能不能找到那个边界是重要的，其实这件事情可以、我想说，有这个割裂其实是完全可以的。它不会真的很痛苦，人们只是害怕而已。但如果说有个人告诉你说就这样，就这么回事，没关系，其实就真的没关系。但是首先这世上也没有绝对的正确，我也不能说我是正确的人。大家都是正确的人，但我只说每个人都有你自己的想法，你所谓的正确在别人的眼中不正确也是可以的，也是完全可以，没有任何问题。但是它的唯一重点就是，你是不是按照你自己的想法去认知和行动？还是你其实是被别人牵着走的，或者你觉得自己在妥协？你只要不觉得自己在妥协，都没关系，哪怕你真的错了就错了吧，也没关系。但是我非常不喜欢的是，大家都变成了不能执行自己意志，这样是不好的。如果所有人都执行自己的意志，哪怕你不和谐，那也是自然存在的，其实本来就合理。

好的，以上就是我们所有的问题了。非常感谢，谢谢盛颖。

以上就是我和盛颖的视频播客栏目了。这一期节目我们录制于6月初，当时RadixArk刚宣布融资。不到两个月的时间，AI市场经历了开源模型爆发，而SGLang等推理引擎作为AI Infra的重要技术框架，正在成为AI时代新的核心技术层，链接英伟达、AMD还有谷歌TPU等芯片与各大模型和应用。而我们也很期待，盛颖口中保密的目前还不存在的“下一代AI”是如何的形态。好，以上就是这期视频的全部内容了。你们的点赞、评论和转发，是支持我们硅谷101做好深度科技和商业内容的最佳动力。我是陈茜，那我们就下期视频再见啦。