---
author: WhynotTV
date: '2026-01-17'
guest: ''
layout: post.njk
source: https://www.youtube.com/watch?v=I0DrcsDf3Os
speaker: WhynotTV
tags:
  - reinforcement-learning
  - ai-infrastructure
  - open-source
  - career-development
  - agi
title: 翁嘉译：从清华到OpenAI，RL Infra与AGI之路
summary: 本期访谈嘉宾翁嘉译分享了他在清华、CMU的求学经历，以及在OpenAI参与ChatGPT、GPT-4o等核心模型研发的经验。他强调打破信息差，热衷开源项目如“天授”和“退学Online”，并将工程能力置于学术研究之上。翁嘉译深度剖析了OpenAI的团队文化、组织架构和技术挑战，讨论了强化学习、后训练基础设施的重要性，以及对AGI、确定论和未来AI发展的独到见解。
insight: ''
draft: true
series: ''
category: ai-ml
area: tech-engineering
project: []
people: []
companies_orgs:
  - OpenAI
  - Google
  - CMU
  - 英伟达
products_models:
  - ChatGPT
  - GPT-4o
  - GPT-5
  - Sora
  - WebGPT
media_books:
  - 创战纪
status: evergreen
---
**主持人**: Hello，大家好，本期嘉宾**翁嘉译**，他于2022年加入**OpenAI**，并且是OpenAI一系列模型背后的核心贡献者。从**ChatGPT**、**GPT-4o**再到**GPT-5**，你能看到的每一个模型跃迁背后都有他的身影。而他的核心贡献可以被总结为三个关键词：**强化学习**、**后训练基础设施（Post Training Infra）**。但对我来说，翁嘉译不只是把模型做得更强的人。在加入OpenAI之前，他就已经用开源和代码影响过无数人。从在清华开源作业与资料试图打破信息差，到开源强化学习框架**天授**，做出免费签证查询系统。他把代码工具视作一种慈善。在这期播客，我们会从翁嘉译的童年聊起，到清华与**CMU**的求学之路，再到2022年加入OpenAI之后的亲身经历。站在世界AI风暴中心的他看见了什么？这里是Why not TV Podcast，现在请和我一起进入翁嘉译的世界。

**主持人**: Hello，嘉译，欢迎你来到Why Now TV Podcast。

**翁嘉译**: Hello Hello。

**主持人**: 我觉得这期很奇妙的一点，就是我在给你准备这期的Outline的时候，我用的是**GPT-5**的Deep Research。就相当于是你自己在背后作为核心开发者的产品和模型，然后它们自己在Deep Research，想这些问题来采访你，你是背后他们的生产者及他们的Developer。我觉得这是一个比较奇妙的闭环。今天我们会谈到很多部分，从你的童年成长，清华的本科经历到CMU读研，再到2022年加入OpenAI至今的所有核心开发的经历。我想先从最早你的童年开始，能不能给我讲讲你觉得你小时候是一个什么样的小孩？

### 数学天赋与兴趣萌芽

**翁嘉译**: 我小时候特别喜欢奥数。我从一年级就开始学奥数。开始的时候，我爸妈让我去听这个进修校的一个奥数课跟语文课，然后我对语文完全不感兴趣，但是我对奥数就非常感兴趣。然后我就进去了。从一年级开始就一直上到六年级，然后初中也是。我发现我做数学题做得比谁都快。小学的时候，比如说别人做口算题，像二年级的时候，口算题可能还没做完，可能写到一半，我就已经做完了。就是那种不用过脑子的，可能用现在时髦话说就是System 1。直接表层意识直接过，直接看一眼出来答案那种。这个让我做数学题非常有成就感。因为我觉得我是一个学习相比于其他人算比较偏慢的人。

**翁嘉译**: 怎么说呢？就是学一个新的东西，我经常要花别人两到三倍的时间。现在也是这样，比如说我读一段代码，我就是要比别人花很多的时间去理解这整个内容，整个Context。但我一旦理解之后，我用得就非常快。有个不太恰当的例子，就是比如说我小时候经常不是要背书嘛，背一个课文。我在睡觉之前，我想尽所有方法，然后能够磕磕巴巴地完整背出来，哪怕有很多停顿，只要想起来都好。然后睡一觉，第二天醒来发现这个倒背如流。我当时想法是，因为我需要花更多的时间，所以说我需要比别人提前学东西。所以当时我就是在初中的时候开始上高中数学，然后直接问初中的数学老师各种高中数学的一些问题，他也非常热情回答我。我也非常感激。初二的时候就已经把高中考完了，然后初三就开始学微积分数学。

**主持人**: 你天生就觉得你做得快，然后比别人都快，但同时呢你又觉得你学东西慢。

**翁嘉译**: 我感觉应该就是我需要更长的时间构建我的知识树。就是正常来说这个知识树是比如说有个根，然后往上拓展，再往上拓展，再往上拓展，然后好几层。你每次比如说拿这个最顶层的这个结论去应用到这道题当中，你要从头到尾过一遍，然后你要慢慢慢慢想出来。但我可能就直接建立一个链接，Shortcut，然后直接上去，然后就不用反应了。

**主持人**: 所以你从小就意识到我好像比别人更聪明？

**翁嘉译**: 没有没有这种感觉。

**主持人**: 没有。所以你只是说你只是觉得你对这事感兴趣，那你愿意提前学数学这个事里面的核心兴趣是哪来的？

**翁嘉译**: 我想投资未来，我想投资我自己的未来。

**主持人**: 所以你在初二的时候，你就意识到我这个时候学提前学高中数学是一种投资。

**翁嘉译**: 对，对于我未来的一些学习生涯是有帮助的。与其说我现在浪费时间在这个刷题上面，那不如学一点对未来有用的东西，然后后面的收益可能更多。

**主持人**: 这是你父母跟你讲过的故事吗？

**翁嘉译**: 不是。我父母无所谓，我父母根本不是怎么关心我是怎么学的。

**主持人**: 但我还是特好奇，为什么你初中的时候就有投资未来的这种想法？因为我相信你那时候肯定学有余力。你为什么不去玩啊？你为什么不去打篮球打游戏？你为什么想着我要学高中数学，我要怎么怎么样？

**翁嘉译**: 首先是因为对这个感兴趣了，我觉得这个初等数学太无趣了，然后稍微有意思一点的数学更能引起我的兴趣。

**主持人**: 那是谁让你有这种兴趣呢？是天生的吗？

**翁嘉译**: 数学可以算是吧。

**主持人**: 或者说还是说是小学的时候你因为这事有成就感？

**翁嘉译**: 你可以这么认为。就是有一个初始的成就感，然后初始的**奖励（Reward）**，然后慢慢慢慢地你就会慢慢慢慢把你数学这方面的技能树慢慢开始点。因为你每点一次你都会有个**正反馈**，然后再点一次再有正反馈，你就会一直在这个上面走。但像比如说打篮球，我试过，但是没有正反馈。我经常被我舍友按着打。体育，我练过跆拳道，我觉得跆拳道还可以，但是跆拳道一打实战我就被对手揍着了。

**主持人**: 所以反而是这种正反馈，像你本身也擅长，然后你对这个也不排斥，慢慢慢慢就变成了一种自发的内生的兴趣了。

**翁嘉译**: 对。

**主持人**: 所以其实倒不是家庭环境，而是你自发产生的，是吧？这是数学，你初中的时候提前学高中的数学，那你高中的时候为什么又对编程产生了兴趣呢？

### 编程与竞赛生涯

**翁嘉译**: 我编程是初一开始的。初一编程是因为小升初的时候，我去了时代中学，它是个私立校。私立校的话，有一个编程兴趣班，我就抱着玩。

**主持人**: 我能理解高中有兴趣，但其实初中搞编程应该对升学没有太多用，对不对？

**翁嘉译**: 是的，没有太多用。

**主持人**: 那这个事儿也是你自己找的兴趣班，还是你父母给你找的？

**翁嘉译**: 我父母觉得这个可能对我挺有意思的，我就试了试，我觉得还可以。

**主持人**: 好，那我们聊你高中，我觉得其实我最感兴趣的是你**信息学奥林匹克（OI）**升学经历，能给我们讲讲吗？

**翁嘉译**: 为什么要搞竞赛呢？因为升学压力还是有的。你如果不搞竞赛，那对于非北京的人员来说，想上清华北大是非常难的，难如登天。

**主持人**: 所以当时是因为升学压力搞的OI。

**翁嘉译**: 是的，大部分是因为升学。因为我之前就已经在搞数学竞赛跟OI了。我高一的时候，花了一点时间去做数学竞赛，拿到了一些还可以的名次。但是再往上的话，就是省选数学竞赛的省选，我们学校是没有那个基础的，自己学也很困难，所以说我就放弃了。并且我对再往上的就省选往上的数学题，我觉得我非常困难，因为我没有那么早地去接触。我觉得学习其他的非常累。

**主持人**: 你觉得你哪怕初中就开始学高中数学都不够早？

**翁嘉译**: 初中开始学高中数学竞赛可能够早一点。我没有那么提前。所以说我掂量一下，还是放弃了。

**主持人**: 你就搞OI信息学竞赛了。能给我们介绍一下，靠信息学竞赛然后升学，这个一般要经过什么步骤？

**翁嘉译**: 先**全国青少年信息学奥林匹克联赛（NOIP）**，相当于一个普及组，不是提高组NOIP提高组的一个省里面的一个选拔赛，差不多是十月。后面是弄完，是每个省都有每个省不同的选拔标准，要选出来省队去参加国赛。省选的话，福建是有两轮，一轮在寒假，还有一轮在四月份。选完之后，五六月应该有一个清华或者北大夏令营可以二选一，可以拿一些优惠条件。至少当时是这样的，七月到八月去搞**国际信息学奥林匹克竞赛（IOI）**的国赛。

**主持人**: 那给我们讲讲你在这个过程中怎么样？第一轮第二轮第三轮？

**翁嘉译**: NOIP还好，NOIP就是因为从初中开始搞的，所以说还好。省选，省选这个高一的时候，连省选都没过，完全不会做，几乎不会做。高二的时候会做一点点，就是会乱搞，然后会一些**启发式（heuristic）**的方法。就比如说省选有一道题提到**最小二元覆盖**，我当时搞出来七十分，我当时好像是全场最高，因为我做出这一题。后面就进了省队。但是进完省队之后，清华夏令营感觉还可以，拿到一个降六十，无条件降六十。有条件本一线。

**主持人**: 这个怎么理解？

**翁嘉译**: 就是高考的成绩直接会给你加六十。如果你没有保送的话，如果这个线过了清华当年的录取线，那么清华就会要你。有条件本一是说，如果在IOI比赛里面考到了前一百五十名，应该是银牌的线，那么就有本一。你只要高考的成绩过了本一，那么就无条件录取。但是如果你是金牌的话，那你就连这个都不用了，你直接保送。

**主持人**: 你当时拿到IOI的有条件本一了吗？

**翁嘉译**: Unfortunately没有。就因为这是一个黑历史，我是当时的福建省的倒数第一。福建省内就只有当年只有一个铜牌，就是我。剩下人都银牌以上。

**主持人**: 这事儿的失利对你的升学有影响吗？

**翁嘉译**: 嗯，还是有挺多影响的。因为我当时毕竟高二下半年没有搞文化课，我对我的未来也不是很确定，我不知道我到底能高考考多少分。有些之前的例子，比如说有学长，把六十分加分全部用完了，然后就真的是一点都不剩。我觉得这个万一我也这样怎么办，就很危险。我对于这种不确定性非常害怕。但是想一想我觉得我应该也没有那么差吧，还是就咬牙选了这个清华六十。

**主持人**: 所以你当时另外一个选择是更保险一点的？

**翁嘉译**: 更保险的一点就是直接可以在IOI现场，签一个上海交大的本一线录取。

**主持人**: 所以当时这是一个很艰难的决定？

**翁嘉译**: 也还好。主要是心态方面当时毕竟很难过，对未来不确定性自己感到会害怕。但是家人鼓励还是让我选择了这个清华六十。

**主持人**: 那当时是不是弄完OI搞完竞赛之后到高三你就不碰这些东西了，就All in高考？

**翁嘉译**: 也没有，就是可能会偷偷地碰。就比如说我觉得我对代码的优化有特别的追求。我会我当时甚至练成了，在iPad上面直接，因为Safari它是没有代码编译器的，我就直接用iPad键盘裸打代码，然后没有编译。那一段经历，其实我觉得也很锻炼自己的思考能力。因为它需要你对于整个题目或者整个逻辑有个完整的认知。哪里错了，你要能快速地定位到是哪里错了，它会很锻炼你的反应能力的。我觉得这个对我来说是一个很好的锻炼了。

**主持人**: 但对你来说当时其实不需要这种锻炼。

**翁嘉译**: 是的，这只不过就是自己很感兴趣。就比如说当时OI还有一个叫**常数优化**。就比如说有一个算法，时间复杂度可能都是N平方，但它的这个前面是带了一个常数的。OI的评测都会有这个结果。就比如说按照跑测试点的时间来排序，跑得最快的，那么就排第一。如果跑一样快，那么按照代码长度的长短。所以说我会同时Optimize这两个指标。然后刷这个东西就感觉很有意思，虽然说没什么用，但是很有意思。

**主持人**: 你真是搞这个的圣体，因为你真喜欢这个东西是吧？你从中可能获得快乐。

**翁嘉译**: 对。

### 清华求学与信息平权

**主持人**: 那我们来聊聊清华。如果我跟你说你在清华2016年开始读本科，你直接跟我说有没有什么现在想起来特别值得回忆的事，第一个浮上你脑海的是什么？

**翁嘉译**: 真有的话，就是我把我所有的作业都**开源**了。因为不同的人对这件事情有不同看法。像比如说有些学长学姐是比较反对这件事的，但是我觉得我应该做这件事。我当时把我所收集到的有上古作业，上古材料，全部在**GitHub**上开源了。除了那些有版权问题的，我没开源，剩下的我没有版权问题的都开源了。

**主持人**: 为什么？

**翁嘉译**: 因为我觉得应该**打破信息差**。信息差是一个如果你在清华生存的话，是一个很有用的东西。但是我觉得每个人都应该平等地拥有这个信息。你现在回去，你再回去随便抓个计算机的学弟问问你认不认识捐这个新戏楼的人，哪怕他把他的名字放在戏楼上面，你认不认识他？不认识他。你不认识翁嘉译应该认识。因为毕竟这个大家都看我的作业，火的比捐楼有用。

**主持人**: 此处弹幕应该闪过“嘉一”。如果我用过看过你的作业，就应该在这时候发个弹幕啊。但为什么你会把你的作业开源？这个里面本质为什么和信息差有关系？

**翁嘉译**: 我想打破这个信息差，就是我不想让后人重蹈覆辙，经常疲于奔命。就是很多人其实他不是很擅长收集东西，但是他其实很有能力的。但我其实如果能够给这些人有一个**信息平权**的机会的话，那他可能在清华会活得更好。

**主持人**: 所以你的信息平权是指知不知道往年的作业这种信息，和学长学姐问过以前会考什么重点这种信息？

**翁嘉译**: 以及作业，以及老师没有规定不能放出来的作业。不然的话你会经常会花可能十几二十个小时，你又不敢问助教，你又不知道怎么做，你就会花一些巨大块的时间，一直在钻牛角尖，反而对整个学习是很没有帮助的，收益很低。但这样的话就是如果我当时觉得如果我把自己的作业开源的话，那么我可能会帮到一些这样的人。可能会帮后面更多的一些学弟学妹，用我更多自己的时间来去做他们更想做的事情，而不是要能就是做这些没有什么比较浪费生命的。

**主持人**: 所以你这事做成了，现在你的作业应该在清华已经成为一个很广为流传的GitHub Repo是吧？

**翁嘉译**: 嗯。

### 误打误撞进入强化学习

**主持人**: 那这个之外呢，我看到你应该大一大二大三多久开始入门科研？这些什么时候开始的？

**翁嘉译**: 这个应该是大二吧。然后后面就是问学长说有没有哪个推荐的实验室？当时有学长跟我说三个名字：**朱军老师**，然后**汤杰老师**，还有**崔鹏老师**。我默认这个按排序，按照每个人牛逼程度排序，但可能不是这样的，但是我当时就是按照这个排序。

**主持人**: 然后你以为先后顺序？

**翁嘉译**: 对，我以为先后顺序。就报了一个计算机的学术新星计划。后面应该是全录取了，我就选朱军老师。大二的时候就跟朱军老师先见了一面，然后就是问有什么方向。有三个方向：贝叶斯、对抗网络（**GAN**），还有一个强化学习。强化学习。对，就是三个方向。我当时其实想搞的是GAN，我觉得这个图像非常有意思。但是我不知道哪个是GAN。

**主持人**: 然后我就想要RL？什么叫不知道哪个是GAN？

**翁嘉译**: 我当时真的什么都不知道，我就是个小白。然后我就误打误撞想要RL，没有什么特别的。就我觉得RL应该是搞那个图像的东西，就这样。

**主持人**: 所以是一个相当Random的决定。

**翁嘉译**: 是的，但是后面搞**强化学习（RL）**，发现这是一个打游戏的东西，觉得挺有意思的，然后就一直搞下去了。对，但是实际上我最开始想法是我其实有三个大的方向，我其实都挺喜欢的。一个是**人工智能（AI）**，另外一个是**图形学**，还有一个是**网络安全**。网络安全，我觉得这个Hacker非常酷。我在大学的时候，其实业余时间也搞了很多网络安全的相关的东西，还给学校修了不少校园网的Bug。比如说修了一下免费下成绩单的这个一分钱下成绩单的事儿。就是成绩单，下一次要十块钱。我跟另外一个学长发现了一个Bug，可以一分钱也可以不要钱下来。然后下载几次之后，把这个Bug给修了。就是直接反馈给学校教务部门。

**主持人**: 所以你是很享受这种Hacking的过程。所以网安是一种Hacking。

**翁嘉译**: 图形学的话我感觉也是个Hacking。对现实世界的Hacking，就是你可以以自己的视角去构建你脑中想象的场景，这样会让你觉得你是上帝，你是King。我其实当时最感兴趣的还是图形学。因为我在初中的时候看过一电影叫**《创：战纪》**，它是一个科幻片，它的电影特效就非常厉害。当时我看后非常震撼。我想如果有一天我能做出这种特效，或者说我可以像《创：战纪》这样构建一个自己的虚拟世界，那我就圆满了。我觉得图形学是实现这个的一种手段。所以说我当时就特别感兴趣图形学。我在大二的时候就上图形学。我当时因为特别喜欢，所以花特别多时间去做图形学的大作业。当时应该是拿了全班唯一唯二的A+。发明了一个新算法，能够减少迭代的收敛次数，以及用了一堆三力来跑来渲染一个巨高清的图，应该十六K的图。当时在我之前是完全没有人渲染十六K的图的，并且十六K的图完全没有噪点。

**主持人**: 那当时那么感兴趣，图形学后来继续下去了吗？

**翁嘉译**: 没有。因为我觉得如果你要搞科研的话，那还是专心比较好，不能脚踩两条船。

**主持人**: 因为你当时已经去朱军老师那儿了。

**翁嘉译**: 对，我当时已经去朱军老师那儿。有个项目是搞那个**Doom（毁灭战士）**，一个差不多九十年代的游戏。当时是有一个比赛，想用一个神经网络去在一个固定的地图里面，把这个游戏打通关。就是有个出生点，有个终点，然后你要在这个地图里面去杀怪，去捡血包，避障，然后最终到终点，然后去通关。

**主持人**: 所以这个其实是你强化学习的入门，第一个项目。拿冠军是吗？所以当时你是很享受做强化学习科研？

**翁嘉译**: 没有，很不享受。因为这个任务，这个环境太过于单一了，你要疯狂地**过拟合（overfit）**。就是你要用各种技巧，防止它训练的时候崩了，以及基础训练没崩，你也不知道怎么调参才能调。这个是真的炼丹。它的调参难度可能要难上十倍一百倍。然后都是瞎选，你必须要用一些非常规的方法去避免一些**启发式（heuristic）**的Corner Case。

**主持人**: 所以你当时就意识到那段时间的RL研究全靠Heuristic和调参。

**翁嘉译**: 是的。就是改算法其实没有那么本质。因为我当时的那个任务过于单一了，大部分情况下都是不能Work的。

**主持人**: 当时的任务，第一个当然是V-Doom，那后面是不是就什么**Atari**、**MuJoCo**、**Control Suite**？

**翁嘉译**: 我觉得MuJoCo跟Control Suite要比V-Doom还要简单。V-Doom算难的了。但是在这种Case上面，就对于人类而言，它是一个简单的Task。但是对于RL而言，它是一个非常非常难的Task。因为它需要大量的知识，就比如说什么是障碍物，这个对于人来说不需要反应的。但是对于RL来说，或者对于AI来说，这是完全两个不同的难度了。

**主持人**: 所以你在当时就有很清晰的认知，认识到了环境太单一。Overfit的算法不是问题。你做过程中就会发现太多挑战，太多黑箱。

**翁嘉译**: 对。所以说我不是很享受这个科研的过程。我会有意识地把我的重心放到了如何帮助这类科研更顺利进展的过程上。所以我会在大四的时候，想着打造一套RL的**基础设施（Infra）**，或者说RL的小**库（Library）**，能够更方便地让这些想在这个领域深耕的人去深耕。这样的话，我觉得我非常擅长这个事，非常擅长类似**软件工程**的这些方面的东西。然后可以重构代码，让代码看起来更好，更好用，用户体验做好。但是至于这个东西怎么调，我非常有这种生理上的抵触。

**主持人**: 你不是不擅长，就是喜不喜欢，不想排斥做这个事儿是吧？是的，这也就是你大四做**天授**。天授我们等会着重聊。

**翁嘉译**: 是的。

### 申请PhD的挫折与个人评价体系的建立

**主持人**: 所以你大二开始搞科研，搞了V-Doom，然后到了大三，是不是面临一个申请暑研？

**翁嘉译**: 是的。

**主持人**: 当时是什么样的节奏和状态？

**翁嘉译**: 申请暑研为了还是为了大四的申请，发了一堆的套磁信，但是也没有什么结果。后面还是我导师帮我联系到了**UCSB**的某个教授，然后我就过去了。其实我那段暑研做得也没有那么成功。我们当时都是在**MILR**，对吧？对，是在MILR。当时是2018年，不对，2019年，2019年的暑假。首先UCSB是2019年，应该是四月还是五月拿到**图灵奖**，我是在那个之前申请的，所以还好。后面的话就是教授给我们，给我跟带我的博士后的任务是做一个类似于**混合专家模型（MoE）**的东西。

**主持人**: MoE。

**翁嘉译**: 对。当时还能用**多层感知机（MLP）**的MoE。首先这跟RL没有任何关系。其次就是纯**语言模型（Language Model）**，就**Transformer**。当时没有MoE，我们不知道MoE是什么，怎么Work。但是它有一个MoE的Idea了，就是有一个**路由器（Router）**，可以选择不同的**路径（Path）**，然后让我去实现。

**主持人**: 所以他招了一个做RL的人去做**自然语言处理（NLP）**。

**翁嘉译**: 是的，我觉得很奇怪。但我需要花Again，我不擅长学东西，我花了很长时间去入门，去从头学习NLP这个东西。然后看着这个搓一个东西，但是搓一个东西出来也没有什么好效果。因为现在回过头来看这个你这个东西要Work。首先你要有算力，你要有很强的工程能力。你要Scale Up。当时一个人就几块卡，搞不出来State-of-the-art的东西。所以说你肯定做不出来，哪怕方向是对。那你也是搞不出来的。

**主持人**: 但其实你有没有觉得好像冥冥之中，就是把你往OpenAI现在的这条技术路线上推？你先搞了RL，然后教授又让你搞NLP，这两个Pieces，你全部就冥冥之中，就在OpenAI之前，你就全部都经历过。

**翁嘉译**: 你要真这么说，强行这么说也可以啊，就是马后炮是没有用的。

**主持人**: 对。在当时其实我知道你完全Get不到未来的情况。所以你当时对NLP是什么看法？在经历了那个暑假的时候。

**翁嘉译**: 我觉得NLP Task都是太分散了。当时很多人就在想，如何把RL应用到语言模型训练上面。因为当时这个问题还没有解的，因为Transformer直接在强化学习上面跑的话，它会崩，它很容易崩。大家都没有想出来这个东西到底该怎么防止它不崩。后面证明了就是你的环境要是一个纯的环境。然后你的Reward需要是一个很强的Reward。

**主持人**: 什么叫纯的环境？

**翁嘉译**: 比如说**纯文本（Text Only）**。那之前大家做的不纯的环境是比如说你用Transformer做一些Atari Decision，比如说你把图像弄成Embedding，或者说你把这个Atari游戏的内部的信息结构化表示，然后塞到Transformer里面，然后跑。而且Transformer是一个随机初始化的Transformer。我当时首先我没有足够多Context，我们对于这个领域没有足够多认识，所以我做起来就是非常挣扎了。这个我觉得我如果现在回去来直接来帮助我，到时候我呢可能还是这个样子。

**主持人**: 你是觉得就是当时就处在一个怎么都不可能把东西搞Work的一个局面。

**翁嘉译**: 是的。因为算力不够。然后对于当时的一些认知，MoE的认知也不够。你哪怕就这么说啊，哪怕当时有了现在的认知，那还是做不出来。

**主持人**: 因为Engineering不够，然后Compute不够。

**翁嘉译**: 受限于当时的这个资源，你就是做不出来。

**主持人**: 那当时可能暑研结束了，然后就回到清华，开始准备申请。当时那当时是什么样的状态，就是会压力很大吗？

**翁嘉译**: 当时其实整个人状态其实不大好。因为暑研没搞出来，周围的同学比如说去**Stanford**，去CMU暑研，都搞出来很多东西，发论文（Paper）都有一作论文。通常来说你需要发个一作论文，不然的话，你会被别人刷下去，这个就没有办法。所以说我做完暑研，其实只拿了一个推荐信，但是我也不知道推荐信里面写了什么样。然后就是挺没底的。

**主持人**: 鉴于结果怎么样？后来。

**翁嘉译**: 后来我是对着**博士（PhD）**申请的，但是我只拿到**硕士（Master）**。

**主持人**: 因为那个时候我大二。你申请的时候，我应该刚刚大一大二。然后每年知乎上都有那种19年**申请结果**怎么样？20年怎么样？当时我就看到了你的回答，我印象还挺深刻的。当时你就因为我看你履历，说图灵奖强推怎么怎么样，结果最后我当时看到你申请结果不好就没升到PhD。当时我觉得哇这么竞争这么激烈，你自己作为当事人经历那样的申请期，对你的来说是一种挫败吗？

**翁嘉译**: 可能还有一点吧，但是后来来看也还好啊。首先我在当时的那个环境，我确实会很大程度上受当时的小环境的影响。PhD是要比Master好的。

**主持人**: 这个应该是整个清华内部的那种氛围，那种比较。

**翁嘉译**: 是的，这个是如果你身在其中，你是很难摆脱这个影响的。即使是国外的PhD和Master，跟国内的PhD和Master都是一样的，就是PhD要好于Master。因为大家会有一种固有的认知，说学历越高越好，对于今后的发展会更好。但是很多时候这个是不成立的，真的取决于你到底干了什么。当时的话我确实是有一点失望了。我其实也花了一段时间来调整自己。后面觉得我一直以来应该是都是想做一些让自己与众不同的事情。

**主持人**: 就是说你当时可能在尽力地挣脱出固有的那种评价体系。

**翁嘉译**: 是的。我一直以来就觉得GPA不是唯一的一个评价体系。你需要自己在大学里面找到适合自己的评价体系，然后为这个评价体系去奋斗，让自己开心。你即使在GPA拿第一，那么你可以跟往年比一比，跟其他学院比一比，跟其他学校比一比。这个反正有的是人，并不能说你有多么好。我觉得该这么看，就是从需求方的角度。就比如说如果你的最后目的是找工作，那么找工作的人会看重什么？他会更看重你的相关经验。他不会那么看重你的GPA，因为这个对他来说没有意义。如果你是有当前这份工作很匹配的经验，那么其实可以抵好几年工作经历。哪怕你是一个New Grad都没有问题。因为招人最主要的目的是招进来能用能干活。

**主持人**: 所以你在本科是有认识到这一点？

**翁嘉译**: 我在后面认识到了这一点，就是我在Master的时候认识到这一点。

**主持人**: 但你本科其实还是在那个评价体系下面？

**翁嘉译**: 我本科我尝试挣脱这个评价体系。但是我挣脱了一点，还没有完全挣脱出来。

**主持人**: 那一点是什么？

**翁嘉译**: 就是我意识到了应该要创造自己的评价体系，而不是用其他人提供的评价体系。我采用了非官方的评价体系，就是我的导师给我推荐的评价体系。我一直记得这句话，就是计算机系的评价体系。他认为的有三个指标：一个是论文，一个是比赛，还有一个是GitHub的Star三位数以上。我觉得这个确实是有意义的。因为它给我了一个完全不一样的想法，就是不一样的领域。我其实可以在开源社区搞一些事情，让我有一些跟别人与众不同的地方。这样对于自己的长期发展是更好的。而不是说你就是花很多时间去学GPA，就是刷GPA这种事情。

**主持人**: 这个我有同感。我觉得我在本科的时候，我也是很早，我就意识到GPA，特别是本科的GPA是一个三年之后，四年之后你都不用写在简历上的东西，是吧？但是那三年四年里面的本科生又不得不把自己百分之八九十的精力放在这上面。因为无论你是找工作还是申请出国，还是要保研，都是看GPA。你是怎么处理这个矛盾的？就是一个三年内重要无比的东西，和一个三年之后完全不重要的东西。

**翁嘉译**: 我会最低限度地投入。就是我会花最低限度的时间来让它达到我想要的这个要求，这个标准。再往上一点我都不愿意投。

**主持人**: 多一分都不想花时间啊。

**翁嘉译**: 对，多一分都不想花。

**主持人**: 够用就行。

**翁嘉译**: 够用就行。这个其实挺简单的，你就算一下就比如说在期末考之前算一下你现在已经多少分了，你就可以安排一下这个考试到底要不要复习。

**主持人**: 比如说你觉得如果现在GPA够了，你宁愿那个课考六十分你就不管了啊。

**翁嘉译**: 是的，我一直以来都是这样。然后可能六十分不太够，就是比如说八十七分是B+，然后我就很满足了。

**主持人**: 你觉得你挣脱了这种吗？因为比如说你出国这种选择是那种评价体系给你带来的，是那种氛围给你带来的。

**翁嘉译**: 不是当时的氛围，其实已经是国内读书比国外好。2018、2019年，2019年已经是了。清华会有百分之只有百分之二十左右，但我们那届更少，因为科班的，只有百分之五去出国。

**主持人**: 你应该是2019年十二月申请季，对不对？所以你应该是还在等Offer的时候就疫情了，对吧？然后你应该比如说拿到Offer之后，美国领事馆就关了。你还是坚持要出国？

**翁嘉译**: 是，这个是个很难的选择。

**主持人**: 因为当时应该是有疫情，然后国际政治局势又不很稳定的。那你个人的未来还要和这两个息息相关。那种不确定性下你当时是什么样的状态？

**翁嘉译**: 我觉得我当时可能更专注于手头上的事儿。比如说在家里写**天授**，在学校里写这个**退学Online**，写这个**签证查询系统**。我就只是把注意力转移，不要天天去关注一些宏大的国际叙事，而是专注于手头上的事情，这样可能让自己内心更平静一些。

### 开源项目：天授与退学Online

**主持人**: 好，那我们就聊聊那段时间的两个项目。第一个是天授，第二个是退学Online。我们先聊天授吧。天授，刚刚其实你已经讲了天授。你说动机是因为你觉得当时环境太Overfit了，RL其实算法的创新没有那么重要，反而是这个**基础设施（Infra）**或者说好的一个**实现（Implementation）**。给我们讲讲为什么做天授。

**翁嘉译**: 其实就是首先我在2019年十二月，我有一个很内心强烈的冲动。就说我其实已经写了很多RL的一些实验的代码了。我为什么不把它们整合一下，然后让自己的实验跑得更好。这是出发点。我在2020年二月份的时候，一月放假，二月就看了一下**Ray RLlib**的代码。我本来第一步想的是用RLlib来看看能不能改改，然后来支持我自己的实验。我看了一个月，太复杂了，抽象太多了。这个一个RLlib有几十万行代码，完全不可能接受。我根本不知道我要改的东西我该怎么实现。然后就决定不干了，直接从头推倒重来。

**主持人**: 推倒重来。我特想知道，就是你当时做这个事儿，其实还有功利的考虑吗？因为很多人那段时间就是想做一个Policy Optimization的Euro's Paper。

**翁嘉译**: 没有，我不想发Paper，我觉得发Paper完全没有意义。

**主持人**: 给我们讲讲为什么，为什么你已经挣脱出这种评价体系了。

**翁嘉译**: 首先我已经有Paper了，我觉得多一篇少一篇对我们来说没有任何意义。并且我申请已经够用了，比赛我也有了。GitHub三位数可能算有。就比如说我自己搞那个课程Repo，但是那个是不是正儿八经的。我还是想有个正儿八经的三位数。

**主持人**: 那就是天授当时看了Ray RLlib之后不好用，然后你当时对Paper没兴趣。但你对开源代码是很有兴趣的，你对一个好用的能够推动这个领域前进的一个开源代码非常感兴趣。做这个事有多难？

**翁嘉译**: 当时做天授很简单，两周。只要两周第一版。

**主持人**: 第一版有什么算法？

**翁嘉译**: 好多算法啊。就是你对着那个论文实现一下就好了。对，如果你把抽象搞对的话，那么实现算法可能就是二十行不到一个算法。

**主持人**: 那为什么你两周就能搞出来一个第一版，Ray RLlib能写几十万行？

**翁嘉译**: 我觉得可能是因为它最开始设计有一点问题。可能像合作人多了，大家都往里面贡献代码，最后就变成了项目，整个项目会逐渐腐化。

**主持人**: 所以你是一个人独力完成的？

**翁嘉译**: 对。

**主持人**: 所以这种一个人高效的迭代，然后做好一个顶层设计之后就去执行。你觉得反而会迸发出更大的力量。

**翁嘉译**: 是的。我觉得代码或者说一个项目，更多有用的东西是**一致性（Consistency）**。如果这个项目从头到尾都是一致性的话，那么它就是个好项目。像比如说很多项目的腐化都是由于不一致性。就比如说两个人或者说十个人，十个人的话就是每个人写了点代码，但是每个人其实都不太知道对方到底写了什么东西。然后有一些假设（Assumption）没有办法去及时地传递。然后会导致比如说代码在很多地方复制粘贴，或者说一些不好的行为，不断导致代码越变越膨胀，然后去腐化。

**主持人**: 你觉得当时天授一炮而红吧，可以说挺受欢迎的。你觉得天授做对了什么事儿？

**翁嘉译**: 我觉得它抓住了**用户需求**。就是研究员（Researcher），或者说当时的科研的干活的人，其实都有一个需求。说有没有好用好改的RL框架，他能直接用。然后因为天授整个代码短，抽象做得还可以。就是你至少如果研究一下，你会发现你如果改这个地方就一定会对，而且只有一个地方能够改。并且如果你要支持你的Feature的话，你只有改这个地方才能支持。

**主持人**: 就是说别人想改什么地方，你的设计已经把它设计好了。就只能改这个地方。

**翁嘉译**: 是的。然后像这个应用性做得还可以，想跑什么算法都有。

**主持人**: 所以当时PyTorch是第一版，是你一个人写的。后面他们会慢慢变成一个更多人的项目了嘛，它就变成一个开源的东西了。还是两类在维护？

**翁嘉译**: 变成开源的东西，组内其实没什么人来维护。

**主持人**: 就是直接Open Source的。那你怎么避免天授不发生你刚刚所说的很多人在一起这种不Consistent这种腐化的问题呢？

**翁嘉译**: 初期的话是因为我有足够的时间，所以说我可以一个人把所有东西全部包了，那肯定Consistent。那虽然说现在看来不太好，对于长期发展不太好，但是对于当时的函数还是够用的。后期的话就是因为我的重心，因为我入职之后可能就没什么时间了。我会直接把整个维护权转移给社区的人。如果他们觉得是对的，那他们就做。如果有一个拍板的人，那么这个事情应该就是Consistent。

**主持人**: 现在来看五年了，天授成为一个社区分支，你觉得现在腐化了吗？

**翁嘉译**: 有一点，确实有一点。因为我的Context跟继任者的那个Context还是有点不一样的。所以说他会重写我的一部分代码。就是我们俩其实没有那么Consistent，所以说还是会有一些腐化的问题的。但是我觉得长远来看，可以接受。

**主持人**: 对。第二个项目我用过**退学Online**。

**翁嘉译**: 你为啥？你你你不是当时我大二嘛。

**主持人**: 但后来我暑研，我暑研的时候也要预约签证，当时也是需要找最近的时间。当时为什么做这么一个事儿？

**翁嘉译**: 我自己有需求啊。就是跟做天授差不多。我觉得我的需求，我找了一圈，我不知道有什么东西能够满足我的需求。所以说我就手写了一个，不然没有办法。

**主持人**: 因为当时你应该处在一个一会儿这个领事馆有关，那个领事馆有关。然后实时地知道是有签证的。

**翁嘉译**: 对。我觉得我有这个需求。就像比如说最开始我有收集上古学长的作业的需求，我觉得很多人应该有这个需求，所以说我就开源了。我也有查签证的需求，然后我就写了一个签证的爬虫，然后我就开源了，直接免费给大家使用。

**主持人**: 这个很受欢迎啊。我昨天晚上看总点击量一百多万。

**翁嘉译**: 还是当时就一百多万，现在已经一千多万了。但是很早之前就已经关了，因为疫情过了之后，也没有那么多的需求了。并且美国领事馆升级了这个网站，当时的爬虫用不了，我也没时间写了。

**主持人**: 对。

**翁嘉译**: 所以它完成了它的使命。

**主持人**: 其实某种程度上这俩都不是太功利的项目。

**翁嘉译**: 是的。

**主持人**: 对吧？第一个，你也不是为了申请，那是已经发生在你申请之后了。你大可以那段时间，虽然说疫情不能旅游，但是你大可以干点其他的放松呢。

**翁嘉译**: 是啊。

**主持人**: 然后退学Online也是一样，对吧？也可以自己弄完之后。所以你还是有一种很内在很强烈的冲动，想要去创造一些你觉得有用的自己需要的事儿，然后把这个东西分享给所有人。

**翁嘉译**: 是的。就是我想做一些能够产生影响力的事情，哪怕是亏钱也行。就是比如说做慈善。我觉得做天授跟做退学Online都是做慈善。就是完全**非营利（Non-Profit）**。然后做这种慈善项目，让我感觉非常满足。

**主持人**: 所以相比钱，其实**影响力（Impact）**会让你更满足。你觉得你对Impact这种追求多久来的？

**翁嘉译**: 高中的时候。

**主持人**: 高中的时候为什么会和Impact相关？

**翁嘉译**: 可能说来有点奇怪。就是我高中的时候，突然某一天高三的时候有个Idea，突然从我脑子蹦出来。有可能是未来的某个时候，往过去的我发送一些信息，然后我意识到一些东西。就比如说如果人生是一场游戏的话，那么你的游戏的结算分数是记得你名字的数量的人。那意味着什么？意味着你需要被更多的人认识。

**主持人**: 所以你是高中，突然有一天，你就意识到这个东西很重要。我想要让在我死之后，在我死的那个瞬间，记得我的名字的人越多越好。

**翁嘉译**: 是的。

**主持人**: 直到今天你还是以这个度量标准？

**翁嘉译**: 可以算是。

**主持人**: 那我想再往深地问问，为什么这个重要呢？

**翁嘉译**: 我当时不觉得这个很重要，但是我尝试了几次，发现这确实是我想要的东西。就是如果我做的东西能够给他人带来好处的话，那么我首先我自己认可我做的东西，其实他人也认可我做的东西。然后我会从他人那边得到一些正反馈。

**主持人**: 这个可以直接和名望、名气（Fame）画等号吗？

**翁嘉译**: 不太行。因为有一些名望名气可能是不好的。就比如说你坐上了什么什么位置，那你确实很有名望。但是实际上这个名望，在别人看来可能对别人的收益可能不是那么多，有可能是负面的。我想要的是那种当然我觉得你不可能对所有人都好，这是个很难做到的事情。但是我可以尝试力所能及地对我身边的人好，做一些对大家有意义的事。

**主持人**: 所以这个度量标准是做一些对大家有意义的事儿，让更多的人记得你。

**翁嘉译**: 对。

**主持人**: 如果我要挑战一下这个观点，我会说，那你为什么不自己过得开心就好了？你为什么需要别人记得你？你觉得想让别人记得自己，想让很多人用。你觉得你造出来有用的东西。这个冲动本源是什么？是你害怕被忘记吗？

**翁嘉译**: 不是。我觉得人生其实也可以算作一种体验。你既然都已经来到这个世界上了，那你为什么不要浪费了这段旅程？

**主持人**: 但是为什么不浪费这段旅程，得让别人记得你？

**翁嘉译**: 我发现这有很有趣的张力。因为你刚刚第一点说你想挣脱一些外部的评价标准，比如说GPA，比如说高考或者怎么怎么样，别人觉得PhD比Master好。但另外一方面，你给自己的这个内生的这个Intrinsic的标准，又是外界的对你的认同。但这个认同并不是官方的认同，不是既有评价体系的认同，是**共识**。

**主持人**: OK。所以你想要摆脱的是现有体系和常规的那种评价体系。但你更想要的是每个人发自内心地给你点赞。

**翁嘉译**: 是的。

**主持人**: 所以这个点赞可以变成你的GitHub的Star，可以变成退学Online的点击量，也可以变成比如说你现在**Google Scholar**的引用（Citation），也可以变成你现在OpenAI的Model每天做多少次**推理（Inference）**。

**翁嘉译**: 对。

**主持人**: 你会担心你的这样的标准会变成新的一种成规吗？就是那可能以前上一辈的人是拿GPA评价年轻人。那当你成为再上一辈的时候，你就拿Impact评价下一辈的年轻人。

**翁嘉译**: 我只是对我自己这么要求的，我不会对别人这么要求。

**主持人**: 所以你并不觉得你的标准是可以放之四海而皆准的。

**翁嘉译**: 是的。

**主持人**: 所以你不喜欢那种被外部的标准推着走。

**翁嘉译**: 是的。

**主持人**: 那会不会出现你自己的标准推着你走了这种情况呢？

**翁嘉译**: 目前还没有吧。你如果发现这种情况，你可以改，你可以改自己的评价标准。

**主持人**: 所以你虽然你有你的标准，但是你不是这个标准的奴隶，你不是你Impact的标准的奴隶。

**翁嘉译**: 是的。就是哪怕会为他所困。但就比如说我其实在很长一段时间，我其实都没有这个开源项目了，但是我也不会觉得这是一个很困扰我的事情。

**主持人**: 我倒觉得不担心，我觉得OpenAI的Model就是最好的。

**翁嘉译**: 某种程度上你可以这么认为。

**主持人**: 嗯。

**翁嘉译**: 因为评价体系是一个很简单直接的一个操作，能够快速地筛选人。所以说这个社会发展方式就会收敛到这种策略上。所以说短时间内是无法改变的。

**主持人**: 哪怕你是这个评价体系，在绝大多数人看来，你都是胜出者和受益者。其实你也不喜欢这个评价体系。

**翁嘉译**: 是的。就是其实应该更个性化。

### 职业选择：工业界与OpenAI

**主持人**: 这是清华。然后在一个风雨飘摇的疫情的那段时间，你申请到CMU，应该本来预计是2020年九月入学的。当时应该疫情第一学期过去了吗？

**翁嘉译**: 上网课，就直接在家上网课，一直在家上了一年。

**主持人**: 但当时其实你是不是一入学就得想着是找工作的事儿啊？那个过程什么样的过程？

**翁嘉译**: 那个过程就是我开始的时候吊儿郎当的，投了应该是投了十八家。最后只收到**Google**跟**AutoML**，就是**陈天奇**老师的公司。当时想着如果我手上只有这两个Offer，那我肯定去AutoML，我不想去Google。因为去Google没什么意思。

**主持人**: 这个意思是怎么评判呢？

**翁嘉译**: 就是你在大厂当螺丝钉，然后做一些自己不是那么喜欢的事儿。就比如说前后端。后面就稍微想明白一点，然后后面就再去面试，拿了当时的**Two Sigma**。Two Sigma当时说要搞一个AI Lab，就是后面的**DeepSeek**。对，我当时是拿了Offer。

**主持人**: 然后但是我没有去，然后你去了OpenAI。

**翁嘉译**: 是的。

**主持人**: 所以其实现在看起来，如果开天眼的话，你当时面临的选择是DeepSeek Versus OpenAI。

**翁嘉译**: 是的。

**主持人**: 所以当时哪怕是Two Sigma那个也不是去搞量化，而是搞AI？

**翁嘉译**: Two Sigma那个就是搞RL Infra啊。对。如果我没有其他Offer的话，那我会选择Two Sigma。

**主持人**: 其他Offer是指除OpenAI之外的？

**翁嘉译**: 不是，是比如说OpenAI跟当时应该还有**英伟达**。英伟达也是搞**RL芯片（RL Chip）**。然后**Facebook AI Research (FAIR)**其实也是。

**主持人**: 但是FAIR最后由于一些流程原因把我拒了。所以你当时面临的选择应该是Two Sigma、OpenAI、英伟达、**TikTok**？

**翁嘉译**: 对。

**主持人**: FAIR可能也有。然后在这样的选择下面，你最后选择了OpenAI。这个选择是怎么做的？我觉得就是因为我要强调的是这个是Before **ChatGPT**。所以你当时其实你是不知道ChatGPT is coming的啊。所以这个选择是怎么做的？

**翁嘉译**: 首先我觉得OpenAI之前一直在做强化学习。OpenAI跟**DeepMind**是当时RL里面搞得最好的两个Research Lab。我觉得如果我能进，那是，我我我我其实当时没有想到这事儿，我没有想着我能进这事儿。我能进我觉得就已经非常好了。我觉得我能够有一个机会来体验世界上最前沿的一些Research，它到底是怎么做的。而不是像小作坊一样，比如说在学校里面，就几个PhD手搓一个东西，没有一些方法论，去做一个项目，就我感觉非常别扭。我想去学习，它到底怎么样有个方法论去进行一些工业界的研究。

**主持人**: 那你当时去OpenAI的话，应该是直接是**John Schulman**的组。

**翁嘉译**: 是的。就是John Schulman招的我。

**主持人**: 是他面试的你。

**翁嘉译**: 对。我非常感激他，就是我非常感激他能给我这样一个机会。哪怕他离职了，他离职的那一天，我还难过了一个下午，把电脑关了，什么都不干。

**主持人**: 所以他当时其实很欣赏你。

**翁嘉译**: 对。

**主持人**: 为什么？

**翁嘉译**: 我有问过John。就是因为他觉得首先他觉得我GitHub非常漂亮。他他其实也认可我这个评价体系。对。因为他这个应该是他的评价体系的一个指标。之前也没有人意识到。并且招这么一个有良好的工程能力的一个人进来的话，对于任何的项目都是有益的。

**主持人**: 所以你们面试有什么有趣的故事吗？你又怎么Impress他？

**翁嘉译**: 最后一轮面试就是他出一道题，一道非常**端到端（End-to-End）**的题，很开放性。他给我三个小时，我花两个小时就做完了。就从头开始写一个东西。然后我就做完了。然后我就跟他展示了一下，说这个就之前展示的过程中出现了一个Bug，但我在现场修了一下，没什么问题。反正就是可能他认为我既有一些工程能力，同时确实实力还可以。然后就把我招了。他的面试题只给两个人测过。一个是我，还有一个是现在做**CodeX**的那个人。

**主持人**: 嗯。对。你们俩都通过了。

**翁嘉译**: 通过了。

**主持人**: 所以通过率是百分之百啊？好，我们马上聊OpenAI。但是在OpenAI之前，我其实特好奇，你当时找工作的时候，考虑过读PhD吗？

**翁嘉译**: 没有。

**主持人**: 为什么？

**翁嘉译**: 因为你接触一些工业界的人会发现就是读PhD。如果你想进工业界，那么读PhD就是浪费生命。你完全可以以Master为跳板，比如来凑够PhD进工业界的标准。比如你可以在Master，或者说你可以在本科的时候攒够**贡献（Contribution）**，然后做出一些能够让你与众不同的一些项目，然后让你可以跟同时期的PhD Candidate同台竞技，然后再看看有什么你可以做的能够让对方挑选Master的你，而不是PhD。另外一个PhD。我觉得是想清楚差异化，这个是很关键的。

**主持人**: 所以你很早就想清楚，我未来一定是工业界。

**翁嘉译**: 对。因为我觉得学术界教书或者当教授太卷了，不是我想要的东西。我还要去为了一个项目去拉Funding啊。那还不如就是感觉限制很多了。

**主持人**: 那比如说我们是我们是个公司，我们要招人。然后有同样的Master，有PhD。你会不会觉得这两种他其实培养的能力都不太一样？因为PhD更多要培养你的学术的能力，对吧？你要怎么写好一个Paper，把故事讲圆，画图画的漂亮，然后把这个宣发做好。你觉得这事重要吗？对于一个公司来说？那某种程度上有锻炼。但是那如果和像你这样比较极致的工程能力相比，你觉得这两种能力在现在这个AI的时代会怎么评判这两种谁更有价值啊？

**翁嘉译**: 现在的时代当然是工程能力越好就更有价值。但是放在当时那个时间点的话，那还真不好说。所以我当时的做法是我两个都尽量去满足。

**主持人**: 反正也发过Paper。然后开源的Infra Work肯定也做得Popular，工程能力也够强。那为什么现在你觉得已经很明显了，工程能力是第一位了？

**翁嘉译**: 我来引用一句我同事说的话就是我同事之前也是RL的一个PhD，然后搞了一个很出名的RL的框架。他说的一句话就是教一个研究员（Researcher）如何做好工程（Engineering），要远比教一个工程师（Engineer）如何做好研究（Research）来得难。是因为是这样的，就是目前的一些Research Lab一些前沿探索，它其实拼的都是迭代的正确性。如果你迭代正确，那么就是看你单位时间内你能迭代多少次。因为你反正Idea大家大不了找人讨论一下，Idea就出来了。然后你就验证，你只要能验证好，你就相当于这是你的Research Work啊。你其实不要又动那么多脑子，就是动脑子的人，可能是因为已经在这个领域进展了很久的人。就比如说**Alex**，他在这个领域从一开始**GPT-1**的时候就开始弄了。他可能有很强的Research直觉，那他动脑子比普通的PhD动脑子更有用。然后你就找他讨论就好了，就是Idea非常便宜。你要做的就是你在单位时间内能够验证多少有效的Idea。

**主持人**: 并且要是正确的Infra，正确的结果，快速的迭代。是的。而现在的PhD不具备这个能力？

**翁嘉译**: 或者说没有以这个为重点。因为这个对他们而言不重要。因为我认为目前的学术培养体系在于如何有好的一个学术方向。但是这个方向其实公司里面也有人会有。因为你只要在这个领域工作比较长的一段时间，你就会有一些研究直觉，你就会意识到什么是好的，什么是不好的，什么是该做的，什么是不该做的。

**主持人**: 所以Idea is Cheap啊。而有一个很强的Engineering Skill，把那个答对，快速地迭代。这个事儿你有了之后，你验证Idea可能Agent都能搞。

**翁嘉译**: 是。因为我的认知范围内是每一家的Infra都有不同程度的Bug。然后谁修Bug，谁修的Bug越多，那谁的模型训的就越好。

**主持人**: 所以**Meta**的**LLaMA**模型训练不过GPT是因为LLaMA的Bug太多？

**翁嘉译**: Maybe，我不知道，但是我我可能会这么猜测吧。

**主持人**: 所以你很清楚地在很早的时候，你就意识到了整个这个**流程（Pipeline）**工作。关键不是你的那些算法的创新，而是正确的**超参数（Hyperparameter）**，正确的好的**基础设施（Infra System）**，让你快速地迭代。

**翁嘉译**: 是的。

**主持人**: 并且我不是很愿意去做这个Research调参这个事。

**翁嘉译**: 对，这个对我没有任何吸引力。我更喜欢**卖铲子**。

**主持人**: 你喜欢有一个Playground，你搭建好，让别人去玩，别人去发论文，你不管。

**翁嘉译**: 然后别人发论文的时候可能可以带上我。然后你们就发现OpenAI很多Model Release都有我的名字。这个就是因为我在OpenAI的内部搭建了整个**后训练强化学习基础设施（Post Training RL Infra）**。

**主持人**: 所以整个Post Training的RL Infra，你最核心的贡献者。

**翁嘉译**: 是的。因为大家之前都是用这个整个Post Training RL Infra来去训这个RLHF的模型。所以每发一个大的Release，每发一个大的模型的话，我的名字就得放上去。

**主持人**: 所以你可以算是每一个OpenAI背后的Model都有你啊。因为你喜欢卖铲子。

**翁嘉译**: 对。然后并且是卖铲子，最面向客户的那一位。因为RL Infra是整个Infra的最顶端，生态位很高。

**主持人**: 对。

**翁嘉译**: 所以说如果太底层的话，这个名字可能也不会写Data Loader或者Storage。

**主持人**: 是的。多多没有那么那。但你RL Infra每个人都想要的一个东西。

**翁嘉译**: 是的。

**主持人**: 好聪明啊。

**翁嘉译**: 我之前也想过，就是我的职业生涯应该怎么发展。我当时定了一个指标，我要最大化我在公司博客上出现名字的次数。

**主持人**: 你真的很会给自己写Reward的。

**翁嘉译**: 然后这个Reward，你需要做什么呢？你肯定是先Infra。因为你如果做这个单个的Research，这个不能Scale Up。如果你做Infra的话，大家都用你那，所以说你可以Scale Up。对。然后并且我又擅长写Infra。那所以说这个非常适合的机会。

**主持人**: 这事儿基本上你进了清华之后，这事就是你的主线啊，Infra。在今天你还会鼓励，因为你已经过了这个选择。但我们这个播客的很多观众可能还在本科，可能在犹豫工业界VS学术界的这个选择，你会怎么帮他们去思考这个过程？特别是在2025年，在这样的格局下面长远来看。

**翁嘉译**: 我还是觉得学术界没有，就是现代学术界应该要被重构。

**主持人**: 但是现在对自己的未来有抱负的那波年轻人，他们希望像你这样做出Impact啊，那他到底是去读个PhD，还是尽早进入工业界？

**翁嘉译**: 我觉得还是尽早进入工业界比较好。因为读PhD的话，你不知道你PhD毕业之后会发生什么事情。有可能毕业之后这个范式已经来了，你会发现你做的东西可能就没什么用了。如果你的目标函数就是进这个AI Lab的话，那么你要先弄清楚一点是AI Lab到底需要什么样的人。如果他们更需要Infra的人，那么你就多做一些Infra的活。哪怕你没有PhD学位也没有关系。因为更重要的是看你的这个经验，能不能Match，有没有用。

**主持人**: 所以现在你觉得AI Lab最需要什么样的人？

**翁嘉译**: 我觉得还是对Infra是一个无底洞。Research的话就是有Research直觉的那些人。因为你从ChatGPT出来之后，在这个行业里面干了比如三年以上的人就屈指可数。然后当前的问题还是在于Infra，你能不能Scale Up，你Scale Up有多少？就是单位时间内你能迭代多少次，这取决于就直接决定了你的生产效率。

**主持人**: 那听起来不是对PhD特别友好的一个环境，现在是吗？可能这也牵扯到一个Gap。我觉得这个我们俩都有很深的体会，就是因为RL的研究，学术界就是对着Atari、MuJoCo这几个Task，Overfit。调过来调过去就是比你在100K的时候谁分数高。但是工业界完全不Care。工业界做的事是用RL去解决真实的问题。

**翁嘉译**: 是啊。然后我意识到这一点。当我2022年八月意识到这一点的时候，我已经逐步停止了天授的开发了。因为天授还是针对这些**玩具基准测试（Toy Benchmark）**。我觉得我应该投入更多的时间到更有意义的事情里面。比如说在OpenAI内部搞好RL Infra，所以我主要的精力都是在维护或者开发这个RL Infra。

**主持人**: 其实你这个认知在2022年是很超前的，绝对不是共识。你为什么当时没有打破信息差，写一篇Blog来劝我别搞了？

**翁嘉译**: 我害怕我把这个东西说出来。OpenAI会说我泄密之类的东西，万一呢。就虽然说也没有那么泄密，但是对吧？

### OpenAI的成功、挑战与AGI之路

**主持人**: 好。我们聊OpenAI。我特别好奇，就是刚刚咱们已经提了很多了，但是你在OpenAI，你是世界上极少数，从ChatGPT 3.5、GPT-4、GPT-4V、GPT-4o、GPT-4.5到GPT-5，背后所有的核心贡献者都有你。可能有的人贡献了前半部分，有的人贡献了后半部分。但是你是从头到尾一直都在。你最主要的贡献，我会说是三个词：强化学习，后训练和对这些技术和背后的故事。我们等会细聊。但是我想先问第一个问题可能会很好回答，也很不好回答。什么是强化学习？

**翁嘉译**: 如果有反馈，如果你可以把一个环境建模，然后在环境中得到反馈，那这个循环就是强化学习。

**主持人**: 通过那个反馈让他越学越好。

**翁嘉译**: 是的。

**主持人**: 那么第二个关键词是后训练（Post Training），什么是一个大语言模型的Post Training啊？

**翁嘉译**: 当时还没有Post Training呢。当时这个Team叫RL。当时根本没有什么**预训练（Pretrain）**、Post Train的区分。

**主持人**: 所以你刚进OpenAI的时候还没有这个事儿。但你刚进OpenAI的时候，ChatGPT已经是主线了吗？

**翁嘉译**: 不是当时刚进OpenAI的时候，只有那个教授们下面的RL Team，在去做一个WebGPT之后的一个版本。WebGPT是一个用3.5模型去做，应该是做这个**浏览（Browsing）**。但是当时这个Browsing如果直接用3.5做的话，那效果可想而知，就非常不好。因为这个Browsing需要脱裤子。所以说我们当时就退而求其次，先把用户交互的这个体验先做好。那唯一要解决的就是聊天（Chat），Chat就可以通过**指令遵循（Instruction Following）**这个方式去解决。用**人类反馈强化学习（RLHF）**的方式。

**主持人**: 对。

**翁嘉译**: 对。

**主持人**: 所以你当时进去的时候，3.5这个模型内部都有了。

**翁嘉译**: 对。然后有。但是当时的**PPO**的那个Pipeline非常不好用。当时我们用的最广的是3.5的**监督微调（SFT）**，然后在那边迭代了好几次，后面才有4。后面这个4，**Greg Brockman**写了一个专门的Infra来支持如何用这个GPT-4的训练Infra去支持强化学习的训练。

**主持人**: 所以你加入职的时候是2022年七月。那个时候3.5已经是整个OpenAI All in了吗？因为距离Release还有几个月，对吧？你们内部当时能想象ChatGPT有这么大规模的成功吗？

**翁嘉译**: 没有。

**主持人**: 你当时当然可以内测那个Model，对吧？你有意识到这个是要Game Changing的东西吗？

**翁嘉译**: 没有，我也没有当时感觉到。因为我觉得我能看得出来很多不足的东西，对吧？我第一次用可能会觉得说，哦，这是一个会说话的模型，那也就这样吧。用了几次发现可能能够帮我解决一点代码上的问题，那也就这样吧。但也不能帮我解决那么多，我用了几次也没有那么想用，因为它能帮我解决的问题有限。因为你已经提前知道了这个东西，并且你有一个循序渐进的过程。你也不觉得它那么突然。但是比如说我后面发布之后展示给身边的人看之后，他们就觉得很突然，这个我这是我没想到的。

**主持人**: 嗯。那当时OpenAI已经整个公司在2022年七月All in ChatGPT了吗？

**翁嘉译**: 没有，就只有我们组在做啊。你你可以看ChatGPT的那个博客，它往下拉，它有一个Contributor，教授们应该是排第一位，然后后面的十二个人一直到**招商家（Schulman）**为止。招商家之前，教授们因为下一个是**Barret**的，Barret到招商家的名字，就是我们组的所有人。

**主持人**: 那是什么时候你意识到我在OpenAI的工作真的引爆了这个东西？

**翁嘉译**: 呃，可能就是发ChatGPT。当时我在参加**NeurIPS**。他十一月三十号发的，然后十二月。然后当时就是过了几天之后，发现我周围身边的人都在讨论ChatGPT这个事情，他们觉得很有用。并且还把OpenAI的服务器打爆了好几次。对。那就是跟我当时退学Online一样，我退学的服务器也被打爆好几次。那那可能就是产生了这种需求对自宣发的效应。就是大家都都是自来水会自发地为你宣传产品。那这是一个很好的投入的一个东西，就是投入值得你投入精力的一个东西。

**主持人**: 其实听起来这个从你加入OpenAI做这个事儿，包括OpenAI内部能够推出ChatGPT这种东西，好像都不是谁计划出来的。

**翁嘉译**: 是的。

**主持人**: 可能是一系列的半偶然半必然的。而且爆发性反应。

**翁嘉译**: 是的。而且当时就是发那个ChatGPT，也只是为了能够看看能不能收集一些真实数据的用户数据。然后搜完之后，可能五天之后关了。如果没火的话，我们期待可能是一开始有一万两万，然后后面就跌回，然后就没了，就这样。

**主持人**: 是啊，实际上这是指数增长。好，这是ChatGPT突然当时的爆款的成功。我还特好奇你刚去OpenAI的时候，什么体验？这个公司给你的初印象是什么样的？

**翁嘉译**: 我感觉是一个大号的一个实验室吧。没有，其实没有我想象中的那么有方法论。但是很多就是有很多很强的Research直觉的人在里面，然后他可以指明方向，然后就做就好了。但是从**Barret**、**Luke**跟**Liam**来之后，这三个人从**Google**过来之后，然后加入John Schulman的RL组之后，我们组就变了。就开始引进Google的先进生产力来开始迭代。对，就是Google还是非常牛逼的。有一张图是单位时间，你的迭代次数以及成功率。这个东西是一个正比。

**主持人**: 所以单位时间迭代得越多，你的成功率就线性地往上走。

**翁嘉译**: 对。这个其实也是RL的刻画。因为RL不就是不断试错（Trial and Error）嘛。你不断尝试，尝试到一定次数，你就可以达到你的目的。那其实很多生活中的这样Task其实都是RL。

**主持人**: 所以当时你们引进的那个先进生产力是一种哲学理念。

**翁嘉译**: 是的。

**主持人**: 就是说我们先不要去想什么天才的Idea。天才的算法。是我们把Infra打好，让我们从一周迭代三十次到一周迭代三百次。

**翁嘉译**: 对，差不多。

**主持人**: 我看到我有采访，有人问**Sam Altman**OpenAI成功的原因是什么？他说在一个我们之所以OpenAI能够做出杰出的科技创新，是因为在一个人才密度极高的小团队里面，任何平庸的表现都是不能被容忍的。你赞同这样的说法吗？

**翁嘉译**: 我赞同。因为人才密度如果上去的话，那你可以自发地涌现出一些意想不到的东西。但如果比如说换一个环境，就比如说大家都很平庸的话，那可能就是个人至少自扫门前雪，做完自己的就好了。

**主持人**: 对。当时你去的时候OpenAI应该是个几百个人的公司。

**翁嘉译**: 我是二百八。

**主持人**: 你是二百八。现在OpenAI应该上几千人了。

**翁嘉译**: 三千多了。

**主持人**: 所以十倍了。三年的时间。

**翁嘉译**: 是的。

**主持人**: 那你觉得OpenAI还能保持曾经的这种小而美的团队做出硬核创新的风格吗？

**翁嘉译**: 我觉得这个概率是下降，但是没有下降那么厉害。对。但你总是可以划分出来一个小团队，然后去专门去做一些研究。

**主持人**: 那你觉得OpenAI的领导层有什么比较有意思的努力，能够在这方面避免得比较好吗？还是能够让小团队，然后人才密度，然后硬核的创新？

**翁嘉译**: 比如说简化一些组织架构，然后把一些不合理的一些Meeting全部取消掉。主要还是组织架构更重要一些。

**主持人**: 什么是一个高效的利于硬核创新的组织架构？

**翁嘉译**: **信息流通通畅**。比如说今天有一个决策，可以无损地传达到下面。下面有做什么资金的进展，可以无损地传达到上面。不然的话，你可能上面做决策的跟下面干活的，可能就是想要往完全不同的两个方向，然后劲不往一处使。

**主持人**: OpenAI是怎么做到这个好的信息流通的？

**翁嘉译**: 首先像Sam Altman跟Greg Brockman，他们会有专门的，Sam的话之前是会有专门的一个研究助理来帮助他了解最新的一些公司内部的研究进展。Greg Brockman，那不用说了，他整个刷这个底下几乎都是他参与过的。所以说他他们俩对于这个技术是非常熟悉的。所要做的就是保持技术的敏感性。至少要知道当前做这个东西到什么地步了，有什么最新的进展，会有什么用。

**主持人**: 所以这个事儿得是一把手二把手这样的人他得愿意栽进去钻研到细节里面，了解到公司的每一个毛细血管。

**翁嘉译**: 我觉得管理公司跟管理代码库其实也有很类似，就是一致性（Consistency）。你如果不Consistent，不一致的话，那么你可能就是就就像一个人。这个比如说就像一个拼砖的人类，这个他的身子动了，但是脚没动，那就很奇怪。

### 大模型Post Training的挑战与未来

**主持人**: 好，那我们聊聊Post Training。我们从先聊3.5开始聊吧。

**翁嘉译**: 但是实际上3.5的PPO其实也没有调通那么多，我是先调通了4。因为3.5当时是用旧的那套法。新的法是2020年八月刚刚好。我就先在新的Infra上调通了第一版的PPO，然后用4跑的。应该就是2022年九月的时候。

**主持人**: 哇，这个很有意思。所以当时3.5出来的时候，其实内部4早就有了。对，而且RLHF是先在4上调Work的。

**翁嘉译**: 是的。

**主持人**: 然后再在3.5上成功了。

**翁嘉译**: 是的。但是实际上因为其他组其实也帮我们踩了不少坑，我们就用了这个已有的一些Pipeline，能怎么用怎么用。但是主要还是自己就主要的一些东西，还是像比如说Model怎么圈啊，还是自己圈，数据怎么收集也是自己收集的。然后像这个刷Infra到底出什么问题，也是我们自己。

**主持人**: 好，那在当时想把RLHF搞Work，有什么关键的挑战和突破？

**翁嘉译**: 我觉得就是你应该怎么去衡量这个性能是什么样的，因为谁都不知道这个性能应该是什么样的。

**主持人**: 你的意思是你训练了很多个**检查点（Checkpoint）**之后，你不知道是不是变得更好啊？

**翁嘉译**: 就比如说单一的Reward是会发生**奖励欺骗（Reward Hacking）**的。有可能它的Reward曲线就变成一条直就慢慢慢慢上来，然后变成直线。但是真实的情况是，这个人如果人类有个Reward的话，那他可能先上去，然后再慢慢往下掉，这就是Reward Hacking。所以说你没有办法知道哪一个Checkpoint就真的比其他的Checkpoint更好。所以说选Checkpoint其实也是个技术。但是我们其实没有花太多时间去选Checkpoint，就是直接建了一堆Sample的**基准（Benchmarks）**。然后来看一下每个Benchmark上面到底是什么样的。但是更多的是那个Benchmark其实只是个数。然后如果它过了一个数就好了，也不能说它好，也不能说它坏。因为你每次跑一个Model，它的那个方差就非常大。就有很多噪音。

**主持人**: 那最后是怎么解决的？

**翁嘉译**: 最后就还是你真的拉下来看一看，然后跟它交互几次，然后看一下，就比如说对于自己的一些体验是什么样的，然后多找几个人来看，然后来大家投票。

**主持人**: 所以就是RLHF还是用**人工评估（Human Feedback）**来评估。

**翁嘉译**: 是的。只能是这样，没有办法。因为当时技术就是没有办法。

**主持人**: 嗯嗯。所以这个是你相当于第一次在工业级的Level上搭建RL。你觉得这样的就是大模型需要的这种大规模的RL Infra和你曾经搭建过的像天授这样的Single Task或者Toy Task RL Infra的区别在哪？

**翁嘉译**: 我觉得区别非常大。因为Toy Task的瓶颈在于环境。因为它的模型很简单，你不管是训练还是采样，这个**动作（Action）**都非常便宜的。但是RL在大型模型中的话就是你的模型很大，但是环境非常简单，环境就是一个**提示（Prompt）**。但是模型采样的话，你要考虑如何高效地采样。训练的话你要考虑高效的训练。因为这个东西可能对于提供环境，提供这个Prompt，可能就几微秒。但是跑一遍推理（Inference），跑一遍训练（Training），那可能就是好几百秒或者是几千秒。也有可能就是如果你GPU少的话。

**主持人**: 那你觉得未来的这些模型比起3.5，比起4有什么新的挑战？就对于RL Infra这一块来说。

**翁嘉译**: 我觉得还是性能上面或者说如何**可扩展（Scale Up）**。

**主持人**: 就是说怎么能够用更多的GPU，怎么能够更高效的吞吐？

**翁嘉译**: 对。可能更端到端的一些，并且会深入到一些实现细节当中，然后去做一些端到端的优化。

**主持人**: 那其实你做的这个相当交叉的一个部分，就是既有RL，你得懂RL。然后你得懂**机器学习（ML）系统**。然后你还得懂语言模型是怎么推理的，对吧？

**翁嘉译**: 是的。

**主持人**: 可能不在那个位置，说实话学校的学生学不了这种东西啊。

**翁嘉译**: 是的。就是那个位置非常锻炼人，然后还很累。然后后面就是我其实有一段时间就是做得确实非常累，然后还进了**急诊室（ER）**。就是加班加太狠了，然后脑子疼，受不了，然后就到ER看了一下。但是ER医生说没什么事。

**主持人**: 你那个时候工作强度有多大？

**翁嘉译**: 就是早上醒来一直写**调试（Debug）**，或者说处理一些问题，然后一直到晚上睡觉。一周七天，一周可能平均六天，对吧？但是经历一段时间之后，你会发现这个是不能持久的。所以说还是首先你要有这个身体，你要确保你的身体也是健康的。所以说我现在养成一个习惯，就是每周两次跑三千。但是我之前在清华的时候，上体育课是三千不及格，完全不会跑三千。但是我我现在就是自发地去意识到这件事是很重要的。

**主持人**: 对我觉得好羡慕你过去两年在OpenAI干的事。因为你能够探索的是世界上大部分百分之九十九点九九这方面的Research和Implementation。他完全没有资格去碰的东西。你有先天得天独厚的优势，你在最先进的Model上，然后可以做这个优化。然后你每天都在未知的领域探索。而且你知道你的探索一定是人类历史上第一个找到这个。

**翁嘉译**: 但我觉得我做的也是一些很琐碎的事情。就是我觉得我的工作就是日常维护，并不需要那么多智商，就不需要太多智力上的。

**主持人**: 是的。

**翁嘉译**: 就是你只要把事情做好，做对就好了。方向很重要。你只要在对的方向上，做一些你自己认为正确的事情就好了。

**主持人**: 那你觉得RL for大模型这个东西还需要**突破（Breakthrough）**吗？还是要那种大的突破吗？还是说你觉得这个范式已经在那儿了，就是咱们把东西Infra拉上去？

**翁嘉译**: 我觉得还是有的。就是你不能以当前的状态来预测接下来会发生什么事。就是接下来什么事情都可能会发生。有可能有新的范式，有可能有新的RL范式，也有可能有Pretrain的范式都有可能。所以说每天都是得面对一些未知的挑战。但是话又说回来，我觉得其实我很幸运在这个位置。但是如果把我换做任何一个人，如果他有我的Context的话，他应该也完全可以胜任。所以说我不觉得这个是只有我能够做什么东西。这个事情就是你换任何一个正常的人类，他应该也可以做。

**主持人**: 你太现实了。展望未来，五到十年，你觉得还有什么有待探索的地方呢？就最大的挑战会在哪？现有模型的能力的瓶颈，然后我们需要看到什么样的突破？

**翁嘉译**: 我觉得目前的状态就是还没有Scale Up。完全先等它慢慢**爬坡（Hill Climb）**。先等它慢慢地从大规模RL的一些实验里面，然后看一下它最多能到多少性能，然后再去看之后还有什么要做的事情。

**主持人**: 所以你的意思是没有Scale Up，完全不是说**计算（Compute）**不够，而是说现有的性能我们还没有榨干。我们先把它有的方法，现有的Computer给它榨干了。我们再看看我们推到多久了。

**翁嘉译**: 再来。并且还有很多Infra Bug。

**主持人**: 哪怕你们现在的也很确信是有Infra Bug的？

**翁嘉译**: 对。这个你不能说百分百没有Bug啊。毕竟是人类嘛，每个人都有可能犯错。就是你还得修一下这个，比如说你因为人多了，然后**Context不一致（Context Inconsistent）**，然后每个人都会写一些奇怪的东西。

**主持人**: 那未来大模型，然后加上强化学习、后训练这个Pipeline，你觉得最大的瓶颈会发生在哪儿？

**翁嘉译**: 我觉得瓶颈在于修的Infra的吞吐量。你单位时间内能修多少Bug，以及单位时间内能迭代多少次。能正确地迭代多少次，剩下不重要。

**主持人**: 这个可以赋能剩下的所有的东西。

**翁嘉译**: 是的。

**主持人**: 算法也好，环境也好。

**翁嘉译**: 对。如果你把Bug全修了，那你有可能算法连改都不用改，就很好。

**主持人**: 那怎么样把Infra的这个效率提上来了？需要什么样的架构，需要什么样的人，需要什么样的资源？

**翁嘉译**: 这个我们还在探索。我现在做的事情就是我我其实已经不在那个最核心的位置了。但是我觉得我应该做一些更重要的事情。我们组在重构OpenAI内部的Infra，然后在做下一代Infra。

**主持人**: 你们的每一代的是推倒重来。大家再根据现在的认知，再做一个好的顶层架构。然后我们再像你写天授那样写，还是会小修小补？

**翁嘉译**: 目前是推倒重来。因为之前那代Infra已经三年多了，它堆积的问题其实已经很多了。我们希望就是用新的一个Infra来清理很多之前的**技术债务（Technical Debt）**，然后能够在单位时间内能够给一些Research更高效的**迭代速度（Iteration Speed）**。

**主持人**: 所以研究员是不会参与到这个Infra Building的过程中的，他们可能会给一些需求。

**翁嘉译**: 对。

**主持人**: 但具体写Code怎么搞**分布式训练（Distributed Training）**，这个不是他们负责的。

**翁嘉译**: 是的。然后他们可能到时候就改一个Flag就好了。

**主持人**: 那听起来OpenAI的研究员可能是第一个被AI取代的工作了。

**翁嘉译**: 对我感觉是的。反正就是单位时间内你能实验多少就产生Idea嘛。对。就是Idea反正你可以很便宜地生成。你一个人坐在那边写多少个。你甚至生产Idea这个事情也可以**AI建模**。对。然后下一步取代就是，我觉得优先会取代Research，然后再取代Infra Engineer，然后就都取代了就好了。但是这个销售（Sales）可能不太会那么被取代，因为Sales还是你要说服对方买单，人在对面什么人，AI可能没有办法那么说动人，这可能还是要人与人之间的沟通比较重要一些。

**主持人**: OK。那我们刚刚聊纯文本的3.5，然后聊个**多模态（Multimodal）**的。你觉得**Agent**和RL的Post Train这个东西会有多大的区别？

**翁嘉译**: 没有本质差别，没有什么差别。本身就是一个相同的东西，就是中间多加了几步脱裤子。

**主持人**: 可能就是环境会多。

**翁嘉译**: 对，就环境方面的改变。

**主持人**: 所以你觉得比起标准的LM加RL Post Train，Agent加RL Post Train谈不上新的挑战。

**翁嘉译**: 对。因为本质上是同一个东西。

**主持人**: 你个人对于**通用人工智能（AGI）**的定义是什么？你觉得现在我们达到AGI了？如果你觉得还没有达到，或者说还差一点。你觉得Pretrain加RL Post Train这条路能不能带我们去到你定义的AGI？

**翁嘉译**: OpenAI内部有个笑话，你抓十五个人可能有二十种定义AGI的方法。对。我之前定义的方法是这个东西如果能够完成百分之八九十的我自己认为有意义的Task，那它可能就会是AGI了。我目前觉得目前还没有。因为目前的话就是我我至少从我的角度来看，我还是不放心它直接上手改我的Infra代码。因为这个非常**超出分布（Out of Distribution）**。AI Infra在于它就相对于它的数据集的占比是几乎为零。而且AI Infra，你验证的这个反馈太长了。

**主持人**: 你希望类也太高了。

**翁嘉译**: 成本太高了。就是目前还是没有办法去触及到这一块的。

**主持人**: Good for you。听起来你短期内不会被AI取代。

**翁嘉译**: 但就是反正在这个**Sora**出来之前，我们内部其实已经用Sora一段时间了。在那个时候，大家都觉得我的工作要被取代了，或者说我们我们就写一堆屎山吧。然后后面因为Sora训练完之后会帮我们清理。现在看来就是可能一两年过去了，这还是这样啊。就是屎山还在那儿。就是并不会真正地改变什么东西。就是每个人都会**过度反应（Overreact）**，觉得这个技术来了，我们要怎么怎么样。但实际上并不会这样的，它是一个很慢很慢的，循序渐进的过程。

**主持人**: 你现在在OpenAI，以前在学术机构清华、CMU待过，然后可能在科研的Lab也待过。但是现在很多人批评OpenAI已经和Open没什么关系了。你自己之前你的一大爱好也是开源，打破信息差。你觉得这事儿会对你的个人目标和偏好产生冲突吗？

**翁嘉译**: 我觉得这是个**权衡（Trade-off）**。我其实还是很热爱开源的。如果OpenAI有开源的东西，我可能会试着参与一些。但是我觉得我应该去做我自己认为更重要的事情。而且并且这个开源对于OpenAI来说，它是一个Trade-off。你没有办法直接把最好的模型开源。因为公司要生存。如果公司不能生存的话，那么之后你可能就没有办法去继续融资，做一些实验，然后有一些突破性的进展，这个都是很现实的问题。所以我认同这个权衡。

**主持人**: 但是OpenAI在一开始建立的时候，它的架构其实是很特殊的。它不是以一个商业盈利的公司的架构来一开始初创的。它一开始的至少公开资料上的Slogan，是让通用AI平等地造福全人类。你觉得闭源是让这个目标更近了，还是更远啊？

**翁嘉译**: 首先这个通用AGI造福全人类这个东西一直拆成两个部分看的。第一个是实现AGI，第二个是造福全人类。通用AGI就很好说，直接堆RL或者说堆Pretrain，堆算力，然后Scale Up。造福全人类，目前的拆解是做产品，然后以尽可能便宜的价格。就比如说有免费的ChatGPT用户，他们可以直接接触到更能容易地接触到这个技术。比如说免费应该也可以用语音模式，然后做一些就是体验。这样可能是更有利于造福全人类的，而不是直接开源。你丢一个裸的模型权重，那他也不知道怎么用。

**主持人**: 所以你的意思是OpenAI的Open，不是对其他的大公司大模型公司的Open，而是对普通人的Open。

**翁嘉译**: 是的。

**主持人**: 但这样的策略可能如果我觉得如果这是最后一英里了，咱们是百米冲刺了，要到AGI了，我觉得Make Sense，我也认同。但如果说AGI还是一个不说马拉松吧，但是不是一个一时半会儿明年就能解决的事儿的话，会不会在技术上更开放、更透明，也会让OpenAI本身更有利于达到尽快地达到AGI了？还是说你觉得其实OpenAI现在其实不太需要把自己的技术细节公开出来，拿社区的反馈，也不需要社区任何的帮助。OpenAI已经Self Content可以实现AGI了。

**翁嘉译**: 让我想想。我觉得就是存在一种路径，就是你可以开源，并且可以接受社区的反馈，然后更好实现AGI。这个是做得到的，理论上可以做到，但实际上执行很多困难。就比如说其他人，因为你是第一。如果你开源了，那么其他人马上就变低。然后其他人再训练一下，但其他人闭源，然后就会导致你的这个就不是所有人都是同向心的。然后就会导致比如说OpenAI在当前这个环境下，它可能融不到资，没有人持续地为它输血。

**主持人**: 这个是有点**博弈论**的意思了。哪怕我是想为了AGI造福全人类，但是可能有人不这么想，有人就是想挣钱。所以为了防着这样的情况发生，OpenAI不得不闭源。

**翁嘉译**: 至少在我的看来是这么认为的。

**主持人**: 那这个是公司存活的考虑，对不对？

**翁嘉译**: 是。

**主持人**: 那如果现在OpenAI，假如说就是无限资源，永远不用担心死的事儿。那你觉得你会很开心地把你现在这两年两三年的RL Infra开源出去，你会很开心吗？

**翁嘉译**: 我当然会很开心啊。就是其实John Schulman还问过我这事儿要不要开源。我当时觉得不太好吧，就是因为这为了公司的考量，但是他还问了我这事儿。

**主持人**: 对。所以是不是DeepSeek，至少它Open With这个事，让OpenAI重新有一轮内部评估？

**翁嘉译**: 是的。

**主持人**: 你刚说OpenAI的使命要拆成两部分。首先实现AGI，再造福全人类。更深的说，我们要理解这个使命的话，你觉得真要实现这个过程最大的机遇和挑战是什么？

**翁嘉译**: 执行对着正确的方向，执行。只要能执行就好，就不要再出现一次。就比如说2023年十一月公司快倒闭了是吧？

**主持人**: Sam Altman被开除。

**翁嘉译**: 对。你希望这个整个组织架构越稳定越好。

**主持人**: 是的。能够有利于你快速地往前进。

**翁嘉译**: 是的。

**主持人**: 所以从内部的视角看，当时Sam Altman被开除，你们内部是什么样的接收到的信息？因为我们在外部接触到的信息都是很玄幻的，说什么**Ilya Sutskever**到底看到了什么？

**翁嘉译**: 没有那个就是随便谣传的，就是捕风捉影。很多人在这边造谣。

**主持人**: 所以你内部的视角是什么？

**翁嘉译**: 内部的视角就是应该是就是不信任，就是Ilya Sutskever跟其他的一些董事会成员不信任Sam Altman，然后投票把他投出去了。然后但是我们底下干活的人就觉得非常Surprise，非常震惊，不知道发生了啥。因为董事会之前是对底下的人缺乏透明度的，我们也不知道这个决策是怎么做的。

**主持人**: 然后这个不信任是不信任他什么？

**翁嘉译**: 不信任他这个人。因为你可以去看官方公开的那个调查报告。对，这是一致的。

**主持人**: 但其实最后的结局是Ilya Sutskever要走啊。这个化学反应是怎么发生的？就是明明已经把他开除了，他也不信任Sam Altman。但最后好像Sam Altman是更得人心的那一个。

**翁嘉译**: 因为因为很多员工就觉得如果有一个纯技术出身的人领导的话，那可能没有那么多远见。就是AGI的实现并不只是因为技术，你技术实现了就好了，但还是有很多商业的因素掺杂在里面。就比如说你要融资，你要算力，你要如何去说服一些人去给你愿意投钱，这个其实也是很重要的一部分。如果你只有一个很好的研究经验的话，那可能还不是不是很支持你走这么长的路。就是从长远来看，还是需要Sam Altman这样的人的。

**主持人**: 所以Sam Altman可能反而是AI最难替代的那个人。因为他需要在商业，甚至在地缘政治，对。

**翁嘉译**: 在资源上都。你可以把Sam Altman抽象成一个**人格（Personality）**。车上要穿一个**识别（Identity）**。这个Identity短时间内，如果你用一个AI来替代的话，那别人对这个Identity的认同感就会缺失。所以说这个是不能比起来的。

**主持人**: 对。你刚刚说John Schulman走的，那天下午你难过了好久。但其实John Schulman不是唯一一个离开OpenAI的。OpenAI在取得巨大的成功之后，无数的团队成员都走了。你觉得一个极度成功的一个组织，像OpenAI一样，最后大量的人才流失是必然的吗？是不可避免的吗？

**翁嘉译**: 一个健康的组织是所有人都是可以替代的。你只要能够持续地培养新人有造血能力，能让这个组织正常的运转，这是可以的。哪怕虽然走了很多人，但是还是可以花一些时间精力，然后再培养一波新人，然后持续地造血，相当于**干细胞**一样。

**主持人**: 所以OpenAI现在没有谁是不可替代的。

**翁嘉译**: 是的。

**主持人**: 那是不是也就意味着OpenAI做的东西，外面的人也不是说难如登天，不能复刻了。

**翁嘉译**: 你可以这么认为。因为其实就是把最简单的东西做好就好了，没有什么**黑魔法**。

**主持人**: 现在我们可能这个世界在发生人类历史上最激烈的一次科技竞赛。OpenAI是点燃这一切的那个公司。我想知道你们现在内部的氛围有多Intense？就是你们会有很大的压力吗？

**翁嘉译**: 看组，看**截止日期（Deadline）**，看这个项目。就比如说Post Training，目前这个压力还是挺大的。其他组，比如说我们现在在重构Infra，那可能有压力，但是没有像Post Training那么大。因为他们有很明确的Deadline，我们可以稍微延一延。因为我们需要更着眼于更长远的考虑，我们要把这个事情做好。

**主持人**: 所以其实外部的激烈竞争，不管是来自**X.AI**还是中国的大模型公司，会传导到我们内部的公司的日常开发吗？

**翁嘉译**: 不太会。除了DeepSeek那一波。因为他们声称**推特（Twitter）**上说他们的迭代速度非常快，这个还是引起了很多人的警觉的。因为内部的迭代速度其实相比于其他是有点慢的。所以说这就是为什么我们要重构Infra。

**主持人**: 所以其实对于OpenAI这样的基座模型大模型公司来说，生死线是**Infra周期时间（Infra Cycle Time）**。对其他的一些比如说数据啊，或者说什么算法，有多少研究员。

**翁嘉译**: 这就投人就好了。

**主持人**: 这是人力单位成本。

**翁嘉译**: 好问题。但是AI Infra需要更多的Context。但是如果你是数据的一些操作（Operation），像跑一实验，那那这个就是不要那么多Context。你就直接很简单地就是你进来，然后写个For Loop，然后把这个Data Config弄好就完了。这个其实都可以自动化。

**主持人**: 所以你们真正警觉的点是意识到DeepSeek内部的Infra很好，他们迭代得很快。这个是引起了你们注意。其实你们不Care哪个Model在哪个榜上又比GPT高了多少，这个根本不是你们的Concern。

**翁嘉译**: 是。我们很长时间以来都没有特意地为了刷**排行榜（Leaderboard）**而做什么事情。

**主持人**: 而你们真正Care的是那个单位时间内的迭代速度和成功率的那个东西。你觉得OpenAI现在在这个指标上是全世界第一吗？

**翁嘉译**: 不是，肯定不是。这个跟组织架构有很大的关系。你比如说你抽出一个团队，去搞个**创业公司（Startup）**，那他们的迭代速度肯定是斜率远比OpenAI还高。因为你首先你代码不小，沟通成本少。你只要集中于你的Use Case，那你就可以这样了。但是OpenAI的话就是它要考虑同时考虑很多Use Case，然后各方面的**权衡（Trade-off）**。这个组织大了就是有这样的问题。

**主持人**: 那如果这样的生死线OpenAI已经不是第一了，那未来OpenAI还能做AI Model的第一吗？

**翁嘉译**: 每个公司都有这个问题。

**主持人**: 你的意思是每个公司做大了，做成功了都会变慢。这个速度是的。

**翁嘉译**: 然后就是取决于大家都很差，然后看哪个不是那么差。这个差是相对于创业公司而言。

**主持人**: 那创业公司可能在这个指标上更好，他其他的指标可能很难和OpenAI竞争。比如说他用户的反馈。

**翁嘉译**: 对。

**主持人**: 所以这个都是权衡。

**翁嘉译**: 人类组织发展到这个规模之后，必然会面对的问题。你没有办法避免。也不是说难以维持高度人才密度，是说就是难以保持组织架构的**Context共享（Context Sharing）**的一致性。这个会导致你的首先Infra不一致，然后Infra开始臃肿，然后组织结构也开始臃肿，这个人多就是这样。所以说**才宣影**。理论上应该有一个拥有无限长的Context的Agent来替代。

**主持人**: 听起来这是一个刚需。

**翁嘉译**: 是的。

**主持人**: 因为这个会解决人类历史上这种臃肿的组织架构，不管是写代码还是干其他的事，都面临的一个问题。

**翁嘉译**: 对。因为人脑的Context是有限的，你没有办法一下子存这么多Context。

**主持人**: 但是AI可以。可能未来会每一个公司有一个这样无限Context的一个Agent，然后来当CEO就好了。

**翁嘉译**: 对。

**主持人**: 他负责所有的Sharing，负责所有的**决策（Decision Making）**。可能没有比这样的AI更适合的Decision Maker了。那么再讲完未来，如果希望AI可以解决一个世界难题会是什么？

**翁嘉译**: **如何预测未来**。

**主持人**: 你说的未来肯定不会是杯子怎么掉下这种未来，而是整个人生世界格局，所有的这些东西。对。为什么这个事儿是你觉得最想做的？

### 对确定论与自由意志的哲学思考

**翁嘉译**: 我个人对于比如说追求一个自己造一个世界，还是很有吸引力，就是很有一些追求的。但是如果你在高维度空间来看的话，你需要有一个你需要提前生成剧本。

**主持人**: 我的理解是你觉得我们的命运是可以被预测的？是这个世界是一个**确定论**。

**翁嘉译**: 是的。

**主持人**: 所以我们生活在一个确定性的**马尔科夫过程**里面。

**翁嘉译**: 是的。

**主持人**: 那往深了说的话，你觉得人是没有**自我意志**、**自由意志**的？

**翁嘉译**: 是的。

**主持人**: 我现在脑子里面在想什么，我下一个单词说什么，我下一个问题问什么？全都是一开始宇宙大爆炸那一刻就定好了。

**翁嘉译**: 是的。这个我已经验证了无数遍了。

**主持人**: 这在我听起来是一个相当悲观的世界观。

**翁嘉译**: 是的。

**主持人**: 因为可能这是真的吧，但是我自己内心深处我不愿意接受。

**翁嘉译**: 我也不愿意接受。

**主持人**: 就好像我就变成了一个在被模拟的原子。为什么你会这么想？

**翁嘉译**: 有一些我的个人经历吧，不太方便说。但是我这个确实是事实，所有东西都是可以被预测的。所以理论上它是可以用AI解决的。但是如果你能拿到一个能够预测未来的机器的话，那么它对个人而言其实是一个灾难。

**主持人**: 我觉得这会导致所有的**价值体系**的崩塌。

**翁嘉译**: 是的。

**主持人**: 就如果有这样的AI模型，他做到了，可能对人类社会来说，最好的选择是毁掉这样的AI模型，让他永远不要出来。

**翁嘉译**: 但是有些人就非常愿意去开发这种模型。就是不然的话他会被宿命论操纵着走。

**主持人**: 有意思。是有人喜欢这样的模型。

**翁嘉译**: 是因为他想Hack。

**主持人**: 所以你的意思是有了这样的模型之后，我要做那个和模型预测的不一样的事，称这里称之为逃脱。

**翁嘉译**: 不是。只是为了搞清楚这个世界背后运行的规律，或者说这个世界为什么要确定，为什么这个世界是宿命论。

**主持人**: 所以你觉得**上帝不掷骰子**。宏观不是骰子，微观掷骰子这个成立吗？如果说在**量子力学**的观测里面。

**翁嘉译**: 这个成立是因为你可以在后台修改一些世界线。虽然你可以把我说的这话，认为是扯淡，没有问题。

**主持人**: 但是我没有认为是扯淡。我在尝试Reason Behind It。我觉得这个我也想过很久，就是到底这个世界是不是确定性的。我们是不是有一个剧本？我们只是提线木偶在这个世界的Dynamics下，完成我们的一次随机过程。

**翁嘉译**: 我觉得不是随机过程，是确定过程。我觉得是的。

**主持人**: 你对这个事毫无怀疑？

**翁嘉译**: 我很怀疑，但是我尝试着去证伪，发现这么伪。我非常想让他证伪。

**主持人**: 我有这个疑问，我很感兴趣。我觉得我六七岁的时候就和我爸妈提过这个事儿。我就感觉你怎么知道我说的这句话不是早就确定性了？你怎么知道你的反应不是确定性的？我小时候就在想这个问题。但我后来发现，如果是这样的话，我都不觉得我是人。

**翁嘉译**: 所以最好的方式就是忘掉这一切。然后假装你不知道这个事儿，然后去体验当前的一些经历。

**主持人**: 你已经这么做了吗？

**翁嘉译**: 我一直都是这么做的，我没有办法。还有一个解释是，世界不是这个时间线，不是线性的，它是可以跳跃的。所以说你可以用一个理论来解释，就是未来的我帮助过去的我来完成某些决策。

**主持人**: 你刚刚说过一个瞬间说你在小学还是初高中的时候，突然未来的你告诉曾经的你，说你要什么，要Make Impact。

**翁嘉译**: 对。

**主持人**: 这个只说，你脑子里蹦出来就是这样一句话，但是你不知道是不是未来我告诉你的。那为什么你觉得世界线不是连续的，可能有未来的什么穿插来穿插去的？

**翁嘉译**: 我觉得三维生物都有自己的局限性。在三维的认知里面，这个时间就是一个线性的单向流动的。但是有可能在四维的时间里面，它这个时间并不是单向流动的，它可以任意跳跃。这是我找到的迄今为止合理的解释。

**主持人**: 所以你觉得真的你过去有无数个时刻，有一个未来的你，像**《星际穿越》**的**墨菲（Murphy）**一样，在后面推那个柱子。

**翁嘉译**: 对。

**主持人**: 这是可能性之一。

**翁嘉译**: 因为这个无法证伪。

**主持人**: 而他推这个柱子又会导致你在未来又会再过去推那个柱子。对。所以你现在最好那个解决方案就是忘掉这个事儿。还坚信**西西弗斯**是幸福的。这个聊下去我们可以再聊半小时，我们先过了这个话题吧。我相信现在每一个AI从业者，OpenAI从业者，特别是可能内心里面都有一个创业的种子，也有过这方面的考虑和想法吗？

### 创业与自我探索

**翁嘉译**: 可能有，但是现在我觉得我还没有看到很好的Idea。并且我觉得OpenAI对我而言还是一个不错的地方。

**主持人**: 待着。你会喜欢什么样的Idea？是偏Product的还是什么样的？

**翁嘉译**: 我会觉得我更喜欢产品（Product）。就是比如说像天授，像退学Online。我其实我搞Research Infra，我其实也是有用户的。因为你的用户就是研究员（Researcher），然后你可以根据Researcher的一些反馈来适时地进行迭代。

**主持人**: 所以你会希望类似这样的一个大家需要，反正就是有需求，然后你又你的天赋又能很好的施展的领域。

**翁嘉译**: 然后技术是什么样不重要。你比如说举个例子，就是退学Online的话，它就是一个很简单的通知系统，甚至不能算系统，就几行代码写个**PHP**就好了。甚至你连PHP都不要，你直接搞一个那个。你哪怕每天，退学Online的第一版，就是白天更新一次时间，晚上更新一次时间，我是手动的。但是即使这样就有很多需求。技术不重要，重要的是就是**抓住需求**。

**主持人**: 你会希望十年后的翁嘉译是什么样的？他会在一个什么样的地方做什么样的事儿？

**翁嘉译**: 我会希望他做自己那个时候想做的事儿，然后有足够的资源，足够的能力，做自己想做的事。

**主持人**: 你都不去干预他那时候想什么嘛？

**翁嘉译**: 对。因为想法是会变的。

**主持人**: 可能你想什么也不重要，反正是确定性的过程了。现在怎么希望不太重要。

**翁嘉译**: 我现在所能做的就是投资，那个时候的我，还是投资未来让他有选择的权利。

**主持人**: 那你为什么还要投资呢？反正投不投资你都会到那个点。

**翁嘉译**: 但是我觉得就是投资一下还是会更好的嘛，万一你不投资的那你这不是在骗自己吗？

**主持人**: 投资一下不会有任何影响的，我们是确定性的。过去的。

**翁嘉译**: 但尤其每天在家里睡大觉。

**主持人**: 你也可以到那个地方投资。

**翁嘉译**: 未来可能也是确定性的。

**主持人**: 所以你投不投资也不是自己的自由意志。

**翁嘉译**: 是的。

**主持人**: 你之前的投资未来都是提前学高中数学，或者说怎么怎么样。你现在除了技术上的，AI上的，你有什么其他的想投资未来的提前退休？

**翁嘉译**: 然后有足够资本，想做自己想做的事儿。

**主持人**: 给你无限的钱。你现在想退休去干嘛？

**翁嘉译**: 花一点时间找到自己想做的事儿。

**主持人**: 就人说你觉得你现在手头上的事儿不是你很想做的，你只是迫于生计，你想要赚到足够能够退休的资本，然后再去找那个事儿。

**翁嘉译**: 我手头上的事儿，比如说RL Infra在很长一段时间都是我想做的事儿。但是随着时间的推移，像比如说逐渐稳定之后，或者说发生了发生了一些事情之后，因为每个人的重心是会变的。我曾经想通了，我想要什么这个事情，但是我现在又想不通了。

**主持人**: 你现在又想不通了。

**翁嘉译**: 对我觉得这个这其实也很正常。

**主持人**: 所以你现在反而是在人生的某个迷茫期。

**翁嘉译**: 是的。

**主持人**: 曾经觉得很喜欢的RL Infra也好，做有Impact的事儿也好。

**翁嘉译**: 对。因为因为已经看到头了，剩下都是很确定性的事情。

**主持人**: AGI板上钉钉的事儿了。

**翁嘉译**: 对。

**主持人**: 好，嘉译，我没有更多的问题了。我希望你在2025年这个时间节点上，在这个Podcast最后留下你的一段话。

**翁嘉译**: 去探索说到底自己想要什么。虽然我对这个问题我曾经一路想通了，我自己想要什么，但是我其实还是没有那么想通。就是这个问题值得一生去思考。