--- author: 硅谷101 date: '2026-05-19' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=cqW_VWYbIcU speaker: 硅谷101 tags: - pre-training - multimodal-reasoning - data-optimization - model-architecture title: 谷歌AI核心科学家Andrew Dai访谈：14年历程、Gemini翻身仗与视觉推理新纪元 summary: 前谷歌AI核心科学家Andrew Dai回顾14年谷歌生涯，探讨了谷歌在AI大模型竞赛中的挑战与Gemini的崛起。他深入分析了Google Brain与DeepMind合并的摩擦、数据优化在模型发展中的关键作用，并阐述了其创立Allorian AI、专注多模态视觉推理以期超越大语言模型局限的创业愿景。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: [] companies_orgs: - Google - OpenAI - DeepMind - Allorian AI - Anthropic products_models: - GPT-3 - GPT-4 - PaLM 2 - Gemini - Transformer - AlphaGo - BERT - GLAM - MOELIM - OPT - Flan media_books: [] status: evergreen --- ### 谷歌AI编年史 **Speaker 0**: 今天我们要对谈的人，他的论文启发了 **OpenAI GPT** 的诞生。 **Speaker 1**: 他在谷歌研究 AI 十四年，推动数项重要论文，辗转数个产品，最后成为带领 **Gemini** 打下翻身之战的核心人物之一。Andrew Dai 长期处在谷歌 AI 研发的中枢，从早期的 **sequence learning** 文本生成、对抗训练，到 **PaLM**、Gemini、多模态和长上下文等等，与他合作论文的都是谷歌的众多传奇大佬人物，包括 **Quoc Le**、**Jeff Dean** 等人。 **Speaker 0**: 我发现，Andrew 的职业轨迹就是一部谷歌 AI 大模型的编年史。 **Speaker 1**: 为什么谷歌一度在大模型上被 OpenAI 吊打，而又如何通过强行合并 **Google Brain** 和 DeepMind 用 Gemini 重回巅峰？ **Speaker 2**: 为什么能够看到 Semi-supervised sequence learning 的能力，而谷歌看不到呢？ **Speaker 3**: 第二天我就给 **Shao**（Transformer 的第一作者）说了，我们前两年有这个文章，就是预训练。他没时间做，后来就是 OpenAI 做了。 **Speaker 2**: 我看到 Gemini 1.5 用到 **MOE** 架构，但是这是你在 2021 年就在研发的东西。为什么这么晚？ **Speaker 3**: 我们不知道 **GPT-4** 会是一个 MOE 的模型，但是我的 intern **Lim Feitas** 去了 OpenAI 之后，他们就开始做了 MOE。 **Speaker 2**: 所以硅谷其实没有什么秘密可言的嘛。 **Speaker 3**: 对，特别是大模型。**PaLM 2** 就是很顺，从来没有见过那么顺的预训练。 **Speaker 2**: 但是我知道你们的风头还是被 GPT-4 抢了。 **Speaker 3**: 早一点发表，我们就可以说我们是世界上最好的模型。 **Speaker 2**: 你觉得可惜吗？ **Speaker 3**: 对，有一点可惜。Google Brain 和 DeepMind 谁都不服谁。很多人离职，从两边都有离职，从 Brain 这边也有，DeepMind 这边也有。 **Speaker 2**: 小 **Shao** 他带来了什么东西？ **Speaker 3**: 他带来了他的能力。数据是很大的一个差异点嘛。我觉得最大的差异就是数据。 **Speaker 2**: 但是在谷歌你觉得他拖速度了。 **Speaker 3**: 对，对谷歌来说可能就是有点危险了。用这个方法会大量改变数据。 **Speaker 2**: 所以你的新方法是什么？ **Speaker 3**: 那我不能说。 **Speaker 0**: 然而，在 Gemini 3.0 顺利上线之后，Andrew Dai 决定离开了待了近十四年的谷歌。原因呢是希望有更多的研究自由与更快的速度。他想做的事情是目前领先大模型公司和实验室不愿意选择的路线，或者说发展得太慢的路线。Andrew 的结论是，光是大语言模型无法将我们带到 AGI。但是他也不信仰纯视觉的世界模型，他选择的是语言加视觉的中间派系，做 **多模态视觉推理模型**。 **Speaker 2**: 那为什么你们现在做的事情谷歌做不了？ **Speaker 3**: 如果你做一个 **Specialist Model**，那 **Generalist Model** 就超不了。 **Speaker 2**: 现在很多的 **New Lab** 出来。 **Speaker 3**: 现在这些模型都不会数东西，光 Scale 这个语言这部分还是不够了解我们的世界。世界模型觉得视觉是 Key to Intelligence，但是从语言角度来说，视觉是不够的。我们就是觉得要把语言推理加上视觉推理才可以做到一个模型，可以帮大家、可以帮所有的行业。 **Speaker 1**: 今年四月，Andrew 创立的 **Allorian AI** 宣布融资五千五百万美元，估值三亿美元，正式从保密阶段走向公众视野。投资方包括 **Lightspeed Ventures**、**Gradient Ventures**、**First Round Capital** 等主流硅谷基金，还包括 **英伟达** 和以个人身份参与的 Jeff Dean。 ### 初入谷歌与AI发展浪潮 **Speaker 0**: 另外说一嘴，Andrew 五岁就跟随父母去到了英国，那英文是他的第一语言，但是他坚持想试试用中文上节目。如果呢有表达不够准确的地方，或者中英夹杂的部分，还请大家来见谅。那之后呢，有机会我也会跟 Andrew 再用英文来对谈一期。那么以下就是我跟 Andrew Dai 的访谈。 **Speaker 2**: 非常感谢 Andrew，欢迎你来做客 **硅谷幺零幺**，谢谢。这就是你们的新办公室，我故意挑了一个这个非常空旷的房间。我觉得这边的采光很好，这个房间你们以后准备用来做什么？ **Speaker 3**: 很多研究员和工程师应该会坐在这里，因为我们这里租房子都至少要租两年。所以我们预测好，我们过了两年会有多少人。 **Speaker 2**: 过了两年会有多少人？ **Speaker 3**: 可能就五十六七十。 **Speaker 2**: 现在多少人？ **Speaker 3**: 现在我们是十四个人，但是还有两个人现在在办签证，所以很快就十六个人了。 **Speaker 2**: 我在来的时候，在听你一个之前的英文博客，然后发现你有一点 British Accent，是因为你之前在英国念书是吗？ **Speaker 3**: 对，我是在中国出生，但是五岁就去了英国。我是去英国读博士。我们在英国本科就在 **剑桥**，然后去 **爱丁堡** 读博士。 **Speaker 2**: 你的中文其实还讲得挺好。 **Speaker 3**: 这是我的家人老师要我练中文，然后我也是认识一些中国来的朋友，一直在坚持学。 **Speaker 2**: 你是什么时候来到硅谷的？ **Speaker 3**: 十四年前，是 2012 年来的，就是为了在谷歌工作。 **Speaker 2**: 博士为什么那么喜欢谷歌？ **Speaker 3**: 我就是读人工智能。然后我一直从中学就想做人工智能。那时候 Google Brain 比较有名，所以我就是想加入大团队。那时候 **DeepMind** 还是一个 Start-up，很小的公司。所以我那时候不知道有 DeepMind 的公司，所以我就直接想来到人工智能中心，要来到硅谷。 **Speaker 2**: 如果你留在伦敦的话，是不是也有可能会加入 DeepMind，然后最后也来到谷歌？ **Speaker 3**: 很可能。我后来我的 lab 很多同学都去了 DeepMind，就是我一个人来到 Google Brain。但是还有个原因我要来这里，是因为这里很容易创业，很多新的公司都是从硅谷来。所以我也打算来了这里待几年，然后就创业了。 **Speaker 2**: 没有想到一待就待了十四年了。 **Speaker 3**: 对，没有想到那么久。 **Speaker 2**: 那我们来讲一讲你进入谷歌之后的一些工作吧。第一份工作，其实你是去到了 **Google Now**，在 2012 年到 2014 年。那个团队应该是当时 **Larry Page** 希望说和团队一起搭建的一个能结合用户数据，主动给用户推送提醒信息的这样的一个功能。那个时候我理解说背后已经有一点 AI 的研究在后面了。当时你在 Google Now 里面在做什么？ **Speaker 3**: 那个公司比较有意思。我来谷歌他们是招我为了做 AI，因为他们知道我是爱丁堡 AI 博士毕业。但是其实我到了这个团队，他们就发现这个其实在工程上有很多东西要做，在这个 Infrastructure 还是有很多东西。所以比如说他们如果有个新的新闻出来，想 personalize 后发给用这个 App 的人，我就编了一个系统，十五分钟之内新的新闻出来就可以推到所有人手机。这个我就学到很多 Infrastructure。我们有一次看到发这个新闻很慢，需要一百个 milliseconds。大家在想为什么这么慢？我看了这个数据在哪里？然后我看了一边是在东海岸，但是我把这个数据送到西海岸，按照这个 Speed of Light，就只要这么多时间，你不能更快。我学了很多 Engineering 的东西，很多 End-to-end 的东西。但是后来我快走的时候，我也开始做更多 AI，更多 Personalization。后来我就去了 Google Brain 了。 **Speaker 2**: 谷歌在 2013 年、2014 年有几个重要的节点。第一个节点，就是 2013 年的时候，应该是收购了 **Geoffrey Hinton** 的公司 **DNN Research**。Hinton 之后就加入谷歌开始工作了嘛。你觉得 Hinton 来到谷歌之后，对谷歌产生了什么样的影响呢？ **Speaker 3**: 对，Hinton 来了之后，谷歌就很看重 AI。那几年我记得我们的 CEO 也说了，谷歌是一个 AI Company，因为他们 AI 就是他们的 Core。像 Larry Page、**Sergey Brin** 一开始创造了那个 Algorithm，他们的目标也是 AI，就是让机器帮助大家懂这个网络上大家写的东西。所以他们一直都是很看重 AI。但是 2012 年之后就开始一个新的阶段，就是 **Deep Learning** 深度学习的阶段。他们就觉得如果我们不投这个方向，那我们就会落后。所以他们就做了收购 Hinton 的公司。从那段之后，Deep Learning 对谷歌就很重要，他们的模型也都是越来越是 **Neural Network** 那样的模型。 **Speaker 2**: 2014 年的时候，谷歌又继续收购了 DeepMind。你觉得 DeepMind 团队进来，包括 **Demis Hassabis** 的进来，又在什么样的程度上面改变了谷歌吗？ **Speaker 3**: 对，DeepMind 和 DNN Research 收购的方法很不一样。DeepMind 收购的时候，他们是做了一个 Agreement，就是说 DeepMind 还是要独立，他们都可以待在伦敦，不用来美国。所以有很多这些 Condition，所以他们基本上就是一个独立的 Research Lab，跟 Google Brain 不一样。Google Brain 他的目标就是要做一些研究，然后以后跟产品合作，然后以后把这些模型推到产品。DeepMind 就是更像是你什么都可以做，如果你觉得是重要的东西，像 **AlphaGo** 就可以做。所以这些 Philosophy 有点不一样。 **Speaker 2**: 所以 DeepMind 还是非常非常独立的？ **Speaker 3**: 对。 **Speaker 2**: 非常非常独立，他们要做什么东西也都是 Hassabis 说了算，谷歌不太会管他们？ **Speaker 3**: 对，他们招聘也有他们自己的方法。然后他们的很多内部的东西都是跟谷歌分开，像他们的代码那些东西都分开的。 **Speaker 2**: 那所以谷歌当时 Google Brain 的 Research Scientist，比如说像你会跟 DeepMind 的人有任何的合作吗？ **Speaker 3**: 会，但是比较少。因为合作的时候就会有一些 Credit Assignment 的问题，就是说这个项目是谁 Owned，Ownership 在大公司都很重要，到底是 DeepMind Own 这个项目，或者 Google Brain Own 这个项目。就有的项目就是这样的，就是更复杂。 **Speaker 2**: 我知道这样的磨合在之后 Google Brain 跟 DeepMind 合并的时候会更加显现出来。但是这个我们可以稍后来聊。我还是想把开始的时间就是聚焦在你最早期的一些工作上面。我看到你在 2015 年开始研究 **Language Model**，**Pre-training** and **Fine-tuning**，当时就是应该是在 Google Brain 部门了。我看到这一轮 **Generative AI** 的一个奠基石 **Transformer**，这篇论文是 2017 年发布的嘛，但是之前其实你们还发布了一个你跟 Google Brain 的创始人之一 Quoc Le 一起主导的这篇文章，叫做 **Quasi-semi-supervised sequence learning**。能不能给我们解释一下这篇论文主要解决的是什么问题？ **Speaker 3**: 这个文章不是我们一开始就预测好，不是这种 Plan，没什么 Plan。我们本来是做这个 Technology，叫 **Paragraph Vectors**。那时候有 **Word2Vec** 叫 **Word Embeddings**。之前大家都是用这些东西，然后我们想做一个更好的。我做了很多很多实验，然后那些实验都失败了。但是有一天我跑了一个实验，然后我就发现这个结果很好，比其他的文章分数都高。但是我想 reproduced，重跑一次，但是我跑不了之前的那些结果。我就觉得肯定哪里有一个 Bug，哪里出问题了。所以我就挖了一段时间。然后我就发现是因为我训练这个模型的时候，我从一个另外一个叫 **Checkpoint** 开始。那个项目是另外一个项目，那个项目就是做语言模型。然后我从那个开始，所以那时候我就发现了。如果你是先做语言模型，然后你再做这个微调这些 Supervised Data，你就可以有很好的模型。所以这个就是我们发现的东西，然后我们就变成一个文章。之前这两个都是分开的，大家没有想用语言模型用来做语言理解。但是我们的 Idea 就是把语言模型和 Fine-tuning 微调合到一起，就可以做一个很好的模型。所以我们就是第一个把这两个部分放在一起。 **Speaker 2**: 这篇论文我们现在回看，还很像是大规模预训练加下游微调的这种方式。当然这篇论文出来的时候，Transformer 还没有来。所以当时你们其实用的模型聚焦的还是 **LSTM** 这个模型上面。但是你当时有没有意识到他可能会引领到一个更大的一个东西？ **Speaker 3**: 所以那时候我们的卡很少，那时候大家都没有用很多这种显卡做训练，所以我们还是用的比较少的模型。但是记得那一年我们开会，我们就在那个会上叫 **NeurIPS**，就发表那个文章，然后 LSTM 的第一 Author，他就来我们的 Booth。他说他已经试了我们这个方法，结果很好。所以从那时候我们都知道，这个以后应该会有很多人用这个方法。但是我们没有想到，过了十年还会用这个，然后加了几倍这么大的模型。 **Speaker 2**: 那当时 Transformer 出来的时候，你有意识到这两个东西可以融合起来，然后变成一个 Something Much Bigger 嘛？ **Speaker 3**: Transformer 出来的时候，我觉得就很适合跟我们做的这个预训练一起用。所以 Transformer 出来之后，第二天我就给 Shao，他就是一个 Transformer 的 First Author，也是一个朋友。我给他说，我们前两年有这个文章，就是预训练，然后结果很好。你要不要在 Transformer 上也试一试预训练？但是那时候他很忙，他在做一些图片处理的东西，所以他就没有时间做，后来就是 OpenAI 做了。 **Speaker 2**: 所以 OpenAI 是谁来主导的这件事情？发现了 Transformer 可以跟你们这篇文章结合起来。 **Speaker 3**: OpenAI 是 **Alef**。他就是写 **GPT-2**、**GPT-3** 的文章，他也引用我们那个文章。所以他就看出来了，这个事是 State of the Art，然后具体 Scale 越来越大，它的出来的语言就越来越好。 **Speaker 2**: 谷歌在什么时候意识到这两个东西都是我这边出来的，结果 OpenAI 给结合在一起用了？ **Speaker 3**: 我觉得这个是 GPT-3。 **Speaker 2**: 所以到了 GPT-3 的时候才意识到。 **Speaker 3**: 对对对，GPT-3 是一个可能是一个 Turning Moment，整个世界的 Turning Moment。所以不光是谷歌，很多公司都发现 GPT-3 出来的语言可以做得都很好，所以能 Scaling 是对的方向。之前大家都不想投这么多显卡做在一个实验上，但 GPT-3 之后就开始愿意这样投。 **Speaker 2**: 那在 GPT-3 出来之前，Google Brain 的这个 Founders，Geoffrey Hinton、**Jeff Dean**，还有 Quoc Le。他们当时在做什么事情？然后 DeepMind 的 Hassabis 他们在做什么事情？ **Speaker 3**: Quoc Le 那一段时间，我记得好像他们是在做 AlphaGo 那个项目，他们觉得把游戏做得很好，好像 **Atari** 游戏和围棋这些，那可以发生 Real Intelligence。Google Brain 就是另外一个方向。我觉得 Geoffrey Hinton 也是这个方向想的，就是如果你做一个 AI 就什么都可以做，那就是 Real Intelligence，就不要只专注一个小的领域。但是那时候 Google Brain 什么都自由，Google Brain 的文化都比较有名，很自由，你想做什么都可以做什么。那时候 Jeff Dean 在 Lead 这个 Brain 团队，但是下面的研究员什么都在做，像有的团队在做音乐，怎么可以用 AI 做出新的歌这样的东西。其实做语言的人很少，就基本上是 Quoc Le、我还有几个人，大部分都是在做像视觉、视频处理这些东西。 **Speaker 2**: 就没有一个人来 Lead 强有力地说，没有集合所有的资源、所有的力量去压注在同一个赛道上。直到他们看到 GPT-3 出来。所以你觉得 OpenAI 为什么能够看到 Semi-supervised sequence learning 的能力，而谷歌看不到呢？因为就是当时你跟 Transformer 的作者说了一下，这个东西是不是可以尝试，他没有理你。那之后你就没有再尝试了吗？ **Speaker 3**: 那是 2017 年的时候，那个时候谷歌特别 Google Brain 开始做谷歌健康的部门。那时候 **Health** 就是一个很 Hot 的领域，大家都是想进 Health，包括 **苹果** 和 **微软**。所以谷歌也觉得我们要把 AI 放到 Health 里面。所以那时候他们就让我选我要进 Health 或者待在 Brain，然后我就选择去 Health，所以我就没有机会做这些 GPT 的模型。 **Speaker 2**: 那也没有其他的人继续再往这方面深推了是吧？ **Speaker 3**: 后来就没有往上 Scale。但是有人把这个放在产品，就像 **Smart Compose**、**Smart Reply**，他们就是用这个预训练的方法来实现的。 **Speaker 2**: 跟我说一下，你在 Health 部门在研究什么？你做产品了吗？ **Speaker 3**: 我做了研究帮助产品。我那时候就是负责这个医疗的 Records，预测这个人以后可能会有什么病或者投药、吃什么药，就可以帮助医院省钱或者帮助这些医生。我们也是用预训练，因为我们知道预训练很成功，我们就在这个医疗上面用预训练。但是那时候的模型还是很小，所以最后就没有做出来很大的预训练模型。但是发表了其他的文章。但是那时候也是一个比较好的时代，那时候也是那个 **Google Brain Residency Program**，所以找了很多实习生，就像 Interns 待一年。后来就创业的人像 Lim Feitas 和 **David Ha**，他们就是我的 Interns 那一段。这是个比较好的时间。 **Speaker 2**: 2018 年的时候，就是你在去 Health 部门的一年之后，我看你比如和 **Ilya Sutskever** 这些人还合作了一篇重量级的论文，叫 **BelMask-GAN**。其实是来改善文本生成的质量。因为我看到中间的一些技术探讨，比如说它用的这个填空任务，或者是 **Embedding** 这些技术在后来的，比如说 **BERT**、Gemini 多模态预训练中都有一定程度的启发和影响。你觉得这篇论文对你来说意味着什么？ **Speaker 3**: 这个文章是我跟 Lim Feitas 和 David Ha 就一起写的。然后我们就觉得把这个空填起来是一个很好的 Task，就可以让这个模型就学到很复杂的东西。但是我觉得有一个地方我们文章做得比较好，就是 **Reinforcement Learning (RL)** 方面。那时候做预训练，然后做 RL，就基本上没有其他人做。可能还有一个文章在做这个，但是我们可能是前几个文章就在预训练后做 RL。然后现在大家都是用这个方法。 **Speaker 2**: 就相当于你们是首批团队把 RL 用在了语言模型上。 **Speaker 3**: 对，我们那时候就觉得光做预训练不够，因为这些模型就不会学到写出来的字怎么改，或者哪些地方写得好，哪些地方写得不好。然后有 RL 的话，那这些模型就可以看到我自己写的这一段就不像英文或者不像哪一个语言，然后 RL 就可以把这个改。 **Speaker 2**: 很多大家觉得有共识的结构、技术范式上面你们也都是第一批团队去做的，就包括 MOE。你当时研究 MOE 的时候，还是在 2021 年的时候，对吧？你联合主导了 **GLAM**、**MOELIM** 的这个开发。那现在 MOE 架构我们都很熟悉了，但我觉得真正把 MOE 这个词带到大众视野的，可能还是去年 **DeepMind** 的发布。但是我是没有想到，在 2021 年的时候，谷歌内部就已经在研发这个路线了。 **Speaker 3**: 那时候是 GPT-3 出来了，Google Brain 团队有的人有一点着急了，那是说我们要定要做一个模型比他们好，然后也要更多功能这些东西。所以我们那时候就觉得这些模型越来越大，Service 他们通过一个 API 就会很贵。因为他们有很多参数，然后就要很多很多电。但是如果你只用那个模型一部分，用的电就少很多。所以那时候前几年论文学界也出了一个文章，就是做 MOE。但是那个时候就没有做预训练。所以我们就是用 MOE 加上预训练，加上 Fine-tuning，然后我们最后就做了一个模型，比 GPT-3 还要好。所以那就是我们的 Achievement。 ### 大厂博弈：GPT-3的冲击与DeepMind的合并 **Speaker 2**: 2021 年的时候，GPT-3 出来了，谷歌内部你说开始感到压力了是吧？当时是什么样的一个情况？能不能给我们来描述一下？ **Speaker 3**: 我那时候的经理，他叫 Clare，他就是我的 Google Health 的那个经理。然后他回到 Google Brain，我那时候就跟他谈，我说我要离开 Google Health。他就说我们现在正在做这个模型，但是这个模型就达不到 GPT-3 那么好，你们能帮我们解决这个问题，我们觉得这个问题是数据上面的问题。所以我就过去了，把那个数据处理了一段时间，终于做了一个模型，比 GPT-3 好，发表了一个文章。然后那时候 DeepMind 也是发表一个文章。所以那时候就开始有一点这个竞争的东西，然后后面几年就可以看出来有什么结果，可能是那时候就开始了，因为两边都看了 GPT-3，然后 DeepMind 也觉得我们也要竞争，然后我们也是我们要竞争，要不然大家都会觉得谷歌做不出来这样的模型。 **Speaker 2**: 你那时为什么想要离开 Health？ **Speaker 3**: Health，我觉得对一个 Big Tech 公司来说，是很很难很难的一个东西。然后这个难度不是因为科技难度，是因为文化。医生他们有自己的文化，然后他们的文化就是传下来的几百代的医生，然后他们有自己的方法做东西。所以这个本身这个行业 Results，这个 Understanding 就是更难。所以很多医生就是按照他们自己的 Intuition 决定东西。然后如果我们我们要把 AI 推上去，那他们就会问，为什么 AI 要我做这个东西？我有我做了好几十年，我肯定知道比这个 AI 好。所以就很难要那些医生用到 AI 的时候。 **Speaker 2**: 是不是可以说在实际的产品落地的时候，一个大的科技公司它是比不上，比如说跟一些医院或者医生关系很好的，或者是药企也好，是比不上他们去推这个产品落地的？ **Speaker 3**: 对，还有一个是这个大公司，像有的医生可能觉得这个大公司要抢我们的工作，抢我们的医院的钱嘛。如果是一个 Startup，那他们就不会那么 Feel Frightened。所以我觉得这是一个部分。 **Speaker 2**: 是不是当时技术也没有好到，让大家觉得非用你不可？ **Speaker 3**: 对，像现在大家都是因为 **ChatGPT**，那些医生就觉得那我可以用上 AI，大家都在用 ChatGPT，所以我就要用。但是那时候不是那样的。那时候他们是比较一个新的 Customer for AI。但是现在他们不是一个个例，很多人都在用，所以他们就觉得没有那么危险。所以时间不对。 **Speaker 2**: 时间不对，可能当时技术也比较粗糙一点，是不是？然后产品可能也没有做得那么让他们称心如意，然后 **Go-to-market** 上面，其实美国医疗产业本来就是一个很难去打入的产业。 **Speaker 3**: It's a big lesson。 **Speaker 2**: 所以你的 Takeaway 就是要在 Right Time to do the Right Thing，work on the Right Technology。 **Speaker 3**: Exactly。创业我就要创业，这个很重要了。 **Speaker 2**: 那我们来讲讲你从 Health 出来了。然后在 2022 年的时候，你主导了谷歌 **PaLM 2** 模型的预训练。这个模型其实对谷歌来说是非常重要的。因为那个时候谷歌跟 OpenAI 已经是有这个模型的比拼的，这种压力在了。但是 PaLM 2 出来的时候，你们满意吗？ **Speaker 3**: 对，PaLM 2 是 2023 年初就训练好了。我那时候觉得是一个挺好的模型，从来没有见过那么顺的预训练，从头到底就一次都没有停，一次都不用 Revert。不像那时候 **Meta** 出了一个 **OPT** 那个模型，那那段时间也是比较有名。但是你看他们的 Log Book 就重启了很多很多次，然后做了很久。但是 PaLM 2 就是很顺，一年之内从计划这个项目到这个模型做完了就不到一年。我觉得那个就特别顺。 **Speaker 2**: 为什么这么顺？我们做了些什么事情让他这么顺？ **Speaker 3**: 那时候有一些经验就是训练 **Gram** 和训练 PaLM 1 的经验。我们也是选了一些 Architecture 上面的东西，做了很多测试，做了很多实验，我们就知道这个很稳，这个不会出问题。然后我们跑到那个大训练之前，我们也做了一些 **Hyperdrives**，所以我们就 High Confidence 这个会成功。 **Speaker 2**: 2022 年，我看你还写了一个蛮重要的一个论文，就是 **Flan Scaling Instruction by Untuned Language Models**。想要去探索任务、数量、模型大小，以及加入这个 **Chain of Thought (CoT)** 的一些数据。能不能给我们讲一下这个 Flan 它的重要性在哪里？ **Speaker 3**: Flan 之前大家都是用像 **Few-shot Prompting**，用这些模型。所以如果你要他做一个东西，你先要给他举个例子。像如果是一个数学问题，你要给他一个数学问题，告诉他那个答案，然后给了这几个例子，然后你再可以问他做一个东西。但是 Flan 这个文章就是说，其实你不用给他举例子，你就在微调的数据里放这些例子就够了。然后模型就会学会你给他什么问题，他就必须要答案。这是有好的部分，但是也有不好的部分。好的部分就是你就不用给他这些 Few-shot 这些例子以后，但是不好的部分大家现在都知道，如果你问他东西，他不知道他还会装作知道。有了这个之后就可以像 ChatGPT，因为你可以直接问他问题。 **Speaker 2**: 所以 PaLM 你们还是比较满意的。但是我知道你们的风头还是被 GPT-4 抢了，是吗？ **Speaker 3**: 对对，我们做完了比较早。因为我们的是 2023 年初的时候就做完了。但是谷歌内部的这些 Democracy 和谷歌内部的系统很大，他们就觉得我们要等到 **Google I/O** 再统一发布。但是 OpenAI，他们当然知道 Google I/O 是什么，他们知道我们要出这个模型。因为谷歌那么大，没有什么秘密在内部，所以他们就刚好 Google I/O 之前，他们就出了 GPT-4，然后 GPT-4 的结果就比 PaLM 2 好。所以我们发表 PaLM 2 的时候，我就觉得晚了一点。我觉得早一点发表我们就可以说我们是世界上最好的模型。 **Speaker 2**: 觉得可惜吗？ **Speaker 3**: 对，有点可惜。 **Speaker 2**: 但是 PaLM 2 还是很重要的。就虽然 GPT-4 可能在 Benchmark 上面比你们好，但是起码谷歌会告诉大家，我们站稳了，对吧？我们没有 For Behind 的态度。 **Speaker 3**: 因为还有一个原因是没有 PaLM 2 的话，那时候有那个产品是叫 **Bard**，Bard 后来就叫 Gemini。然后没有 PaLM 2 的话，那个 Bard 的产品也是比较危险。因为 Bard 就是用 PaLM 2 做出来的，所以那样的话，谷歌就没有 Chatbot。 **Speaker 2**: 刚才你也说了，2022 年年底的时候，OpenAI 上了 ChatGPT，然后把整个 AI 市场引爆了嘛。当时谷歌内部也是拉响了警报，Google Brain 也是回归到了谷歌。当时做出来的一个决定，就是把 DeepMind 跟 Google Brain 给整合起来。跟我们讲讲那是整合的时候发生了什么故事？这个整合是顺利呢，还是会有很多的摩擦在里面？ **Speaker 3**: 这个整合大家有个 Preview，大家都是觉得 Gemini 就是一个 Preview，这个整合之后会怎么样发生？因为 Gemini 前几个月就是 DeepMind 和 Brain People 一起做，但是不是正式的。那时候就有一点摩擦，但是后来我觉得那个 Leadership 就觉得我们这个 Team 也要更快，我们不能比 ChatGPT 再落后，所以他们就觉得要快点把这两个团队放到一起。所以那时候确实有摩擦，因为两边都有一样的团队。所以 DeepMind 有个 Infrastructure 团队，Brain 也有。DeepMind 有个 Model 团队，Brain 也有。数据也是 DeepMind 有数据团队。然后我就是代表这个 Brain 的数据团队，所以一开始都有这个 Tension。他们决定每一个部门要一个领导，从 DeepMind 那边一个领导，从 Brain 这边一个领导。所以就比较复杂。 **Speaker 2**: 所以他的意思就是说，比如说数据部门，然后你其实是一个 Co-lead，然后 DeepMind 会出一个 Co-lead。就包括可能其他的部门也是，多模态的部门也是 Google Brain 出一个 Co-lead，DeepMind 出一个 Co-lead。 **Speaker 3**: 就是每一个部门都是这样子的。出来之后我们还要分。我们还要说来这个数据部门里面哪一部分是伦敦可以做，哪一部分 Google Brain 这边可以做。然后这就很复杂，这是浪费了很多时间。 **Speaker 2**: 我觉得为什么一定要设置这样的一个机制呢？ **Speaker 3**: 就更公平吧。 **Speaker 2**: Google Brain 跟 DeepMind，谁都不服谁。对，这是一个，我给两边都同时给他们的一个结局。 **Speaker 3**: 对，像一个 Equal Even 的 Set-up。 **Speaker 2**: 那你觉得这样 Set-up 会拖累模型的研发速度吗？ **Speaker 3**: 我觉得一开始可能我们出的模型就慢一些。因为你把两个团队之前都没有合作过，然后之前都有点 Tension，你突然把它放在一起，那肯定会有一些东西变慢了，然后会有人换组。所以这些东西都发生了。 **Speaker 2**: 整个的磨合过程你觉得经历了多长时间？ **Speaker 3**: 可能现在还在磨合吧。有的部门磨合速度更慢，有的部门更快。就像 Info 就是很快，他们就觉得我们必须要用这个 Infrastructure，你之前做的就不怎么用了。多模态也是。 **Speaker 2**: 所以就是两边整合的一个结果，就是很多人离职，对吧？ **Speaker 3**: 对对，有不少人离职，从两边都有离职，从 Brain 这边也有，DeepMind 这边也有。 **Speaker 2**: 这两个谁都看不上谁的部门整合在一起了，然后一起来同心协力的 Work on Gemini。然后 2023 年年底的时候，Gemini 1.0 出来了。这个模型你们满意吗？ **Speaker 3**: 这个模型我觉得是有一点 Rushed 出来。那时候我们刚开始一起合作，然后很多东西都是拼命就赶那个 Deadline。那时候有个圣诞节的 Deadline，因为五月份刚出来，我们刚做完 PaLM 2。但是我们要我们觉得每六个月都要出一个新的模型。所以大家都在赶这个时间，然后你那么拼命，然后这些人都没有合作过。然后这个模型也是从 Scratch 基本上做的，所以就有一些地方做得不是很好，就像那个少数语言就没做得很好。然后那时候媒体都报道了，说 Gemini 1.0 有的语言上就不行，所以我们赶紧做 Gemini 1.5。 **Speaker 2**: 然后我看到在 1.5 才用到 MOE 架构。但是这是你在 2021 年就在研发的东西，为什么这么晚呢？ **Speaker 3**: 对，这个也是我觉得一个速度的问题。所以他们想 Gemini 1.0 就很赶紧推出来。所以他们就没有时间做这个 MOE 的模型，就只能做一个 **Dense Model**。因为 MOE 你还要 Tuning，还要花时间做 Optimization。然后 ChatGPT 出来之后，整个想法都变成一个 Race。然后我们就在跟 OpenAI 比赛，所以如果有 MOE 要把我们的 Schedule 变得慢，那不能做。 **Speaker 2**: 所以它的优先级还是说我先不管创新了，我先就把它给追上。所以这个时候谷歌其实是变成了一个追赶者。 **Speaker 3**: 对。 **Speaker 2**: 是不是也是因为 GPT-4 用 MOE，然后 1.5 的时候才说，我们必须要用 MOE 了。 **Speaker 3**: 我觉得本来我们都是打算用 MOE。这是一个 Matter of Time。因为我们知道 MOE 的效果更好。2021 年的文章已经给大家看到是更好。但是我们不知道 OpenAI 会那么快用 MOE，我们不知道 GPT-4 会是一个 MOE 的模型。我们还是有些人觉得应该是 Dense Model。但是我的 Intern Lim Feitas 去了 OpenAI 之后，他们就开始做了 MOE。 **Speaker 2**: 所以他是跟你一起 Work on 这个事情之后，他就带去了 OpenAI。所以硅谷其实没有什么秘密可言的嘛。 **Speaker 3**: 对，特别是大模型和大公司。那这些大公司就肯定会有人去 OpenAI。所以对大公司就很难保持秘密。 ### 数据之战与Allorian AI的诞生 **Speaker 2**: Gemini 2.0 对你来说，对你们来说是一个比较大的翻身仗。 **Speaker 3**: 对，Gemini 2.0 就是像一个 Evolution，就是这些方法就更成熟，包括 MOE，包括这些很长的 Context 的问题。所以那个模型就是对一个 Evolution，一个更好的模型。 **Speaker 2**: 因为我知道好像在 Data 上面，你也是 Gemini 2.0 上面有一些创新的。能不能给我们解释一下，你做了什么让 Gemini 2.0 变得更好了？ **Speaker 3**: 对，在 Data 上有个很大的变化。我们是用一个新方法处理这个数据质量，然后我们检测质量也是更严格。可能有的公司觉得这个 Architecture 和卡够了就可以做一个很好的模型。但是其实数据还是很重要。所以你看这些文章，他们一般都不会说数据有什么，也不会说数据从哪里来，这是一个很 Secret Source。所以我们就发表了新的方法。 **Speaker 2**: 所以你觉得现在数据是大模型们很大的一个差异点嘛。因为看起来模型架构大家都在用同样的东西，算力，大公司都不缺 Infrastructure，其实都是很类似的东西。那是不是差异点就在数据之上？ **Speaker 1**: 对，我觉得最大的差异就是数据。 **Speaker 0**: 但是数据不是说数据来源的问题，因为大家反正都把互联网的数据都穷尽了，而是说怎么去优化这个数据，或者是怎么去挑选更优化的数据来用于训练是吗？ **Speaker 1**: 对，你选用什么数据也很重要。因为网络上有很多数据，但是也有很多 Spam，很多总没有用、帮不了这个模型的数据。所以要找到那个好的数据，可以然这个模型学新的东西，就像人一样。你给一个人每天就让他读广告，那他也是学不了东西。你要给他有 Information，有 Knowledge 的数据才行。但是那个来源也是有一点区别。因为谷歌他们有谷歌搜索，所以他们有搜索的那个经验，就知道怎么爬这个网络，其他的公司也有自己的优点。 **Speaker 0**: 所以你其实在 Gemini 2.0 主要在数据上面做的一个提升，就是把这些 Spam 的数据都给剔除了。 **Speaker 1**: Spam 还有一些其他的数据。不光是 Spam。 **Speaker 0**: 就更多的就不能讲了是吧？ **Speaker 1**: 低质量的数据，合成数据上面，你更是是在管这个合成数据方面，对不对？ **Speaker 1**: 对，我也是在联合主导那个 **合成数据**。合成数据用得不好，那也就会有个很不好的模型。但是用得好，就像 **GPT-5**，它就是用合成数据，可以用它把模型做得很好。 **Speaker 0**: 什么叫用得好？什么叫用得不好？ **Speaker 1**: 用得不好，就是你处理得不好，你处理得不好的话，这个模型就会老是做出你的合成数据的东西。如果你的合成数据有很多 Delve 这个词，那你训练完，那你的模型也会更多说这个 Delve 这个词。所以合成数据你也要它也是需要很高质量，要不然你的模型也会学到不好的东西，学到错的东西。像如果合成数据有错的数学，那你的模型学到那个，那它的数学也会变得更差。 **Speaker 0**: 最中间的差异点就是说怎么去确保给模型的是尽量优质的数据。这样的话其实模型它也在能力上能够有一个很大的提升。 **Speaker 1**: 对，但是 User 数据也是很难用，因为 User 他们也会 Copy Paste 从其他的模型，所以识别比较难弄这个数据。 **Speaker 0**: Gemini 2.5 的时候，在去年年终的时候有发布，然后在年底的时候是发了 Gemini 3.0。我觉得在那个时候真的是短暂的超过了 GPT。然后可以说是惊艳了整个市场。大家都在欢呼说谷歌又回来了。然后看你们谷歌的股价也是涨得非常快。但是你在 Gemini 3.0 的时候就离开了。给我们讲讲为什么？ **Speaker 1**: 对，我先讲就是 2.5。2.5 是由 **Noam Shazeer** 实际从 **Cohere** 来到谷歌，他就帮助了 2.5。所以 2.5 是一个比较好的模型。然后 3.0 就是我们挑了我们做数据的方法，有更多的新的方法。 **Speaker 0**: 我打断一下，2.5 的时候，Noam Shazeer 他带来了什么东西到谷歌，然后让你们 2.5 变得更好？ **Speaker 1**: 他带来了他的能力。能力具体指了什么？能力是我有一次跟我讨论 Transformer 这个 Architecture。然后我说那我们从这里加到这里加一个 Connection，加一个连接好不好？然后他说这样不会好，因为他的 Gradient 就会从这里移到这里。他都不用跑那个模型，他都知道训练之后会是什么样的结果。但是真的是一个经典，是他一看那个代码，他都知道这是一个好的模型或者不好的模型，他自己就知道这个模型是怎么 Work。 **Speaker 0**: 所以 Acquiring Makes Sense。 **Speaker 1**: 对，在谷歌。 **Speaker 0**: 哇，现在看起来真的是一个人，他的能力就能够帮公司省钱跟时间。 **Speaker 1**: 对，是的，他很厉害。 **Speaker 0**: 那 3.0 就是说你们继续在数据上有一些创新跟优化，对吧？然后能够在数据上给 Gemini 3.0 能够带来更好的一个差异点，或者在 Benchmark 上面跑得更好。 **Speaker 1**: 那时候数据有一些新的方法，但是我也走的原因也是因为我可以感觉到用的方法和做的 Progress 是用的比较保守的方法。因为这么多人，几千个人在这个项目上，很多很多显卡用来预训练，所以他们就不能用 Aggressive、很不同的新的想法，是比较 Risky。所以我就觉得这时候就比较好的时间就离开，然后创业。 **Speaker 0**: 所以你觉得从数据上还可以提升优化，可以用一些更加大胆，会是更加激进的 Aggressive 的方式去做事情。但是在谷歌，你觉得他拖速度了。 **Speaker 1**: 对对，对谷歌来说可能就是有点危险。因为用这个方法会大量改变数据。 **Speaker 0**: 所以你的新方法是什么？ **Speaker 1**: 那我不能说。 **Speaker 0**: 但是你的新方法就是你来要自己创业。你其实想做的是视觉推理模型，在你能够说的范围内能不能我们解释一下你想要用什么样的技术路径去实现什么样的事情。 **Speaker 1**: 对，我们的团队是一个 **Full Stack** 团队。所以我们很了解数据，很了解预训练，很了解多模态 RL、Pre-training、Inference 的人。所以其实我们不光是像数据做一些变化，做一个更好的多模态推理的模型。我们是整个 Full Stack Approach。我觉得 AI 这个 Topic 就是这样的，AI 这个 Topic 就是一个 Full Stack Coding。每一个部分都要专注。令我们就是数据，然后那个 Co-architecture、RL Algorithms 我们都会专注于多模态，所以我们这些地方都会改，包括那个 **Vision Encoder**，我们都会有一些新的方法。 ### 视觉推理的未来 **Speaker 0**: 为什么你们现在做的事情谷歌做不了？ **Speaker 1**: 这个可以看 **Anthropic** 做的，Anthropic 他们编程模型做得很好，但是这个模型他不会做多模态的东西。这是因为他们就专注于编程。你看 Gemini、ChatGPT，他们就没有这样，他们就做模型就什么都可以做。那我们的行业就是叫 Generalist Models，做的这个模型可能就叫一个 Specialist Model。我们这个公司也是这样觉得，就是如果你做一个 Specialist Model，那 Generalist Model 就超不了。因为我们会有更多多模态数据，我们会把那个数据调了。对，多模态没有用的数据，比如说二战是谁赢了，在什么地方打，那可能多模态没有什么图片。所以我们就可以减少那些数据，把更多的数据就留给多模态数据、视频和图片，这样的方法就很难让其他的公司赶上来。 **Speaker 0**: 现在的视觉模型，比如说谷歌的 **ViT** 系列，或者是 OpenAI 的 **Sora** 系列，你觉得他们就还不够好，因为视觉里面他们还不够理解他们在生成的东西是吗？能不能给我们解释一下，视觉理解模型是什么？然后它跟 Sora 还有 ViT 这样的视频生成模型有什么样的区别？ **Speaker 1**: 其实生成和理解和推理是很不一样的东西。你就看语言模型的话，五年前这些模型已经会变得你让 GPT-3 出一些程序，它可以一般的人看这个程序，他会觉得这个程序很好，就像一个工程师写的一样。但是如果工程师来看他写的代码，那他肯定会说这个不对，这个跑不了。所以这就是生成和理解的区别。一般这些大模型都很容易生成的东西，你一下看都会觉得很好。但是你仔细看的话，像那个图片也会看，那个字写的不对，或者那个人有三只手。导演也会看这些视频。导演看了这个视频，也会觉得这个地方不对。这个地方明显是 AI 做出来的东西。所以我们在视觉理解能力，就可能是跟五年前的 GPT-3、**GPT-2** 对语言理解差不多。 **Speaker 0**: 我记得我们在前期采访的时候，你还跟我说过一个老鹰抓兔子的比喻，我觉得那还挺形象的。 **Speaker 1**: 我们那时候是探讨世界模型。所以世界模型我觉得你可以想象像一个老鹰，很多老鹰都吃鸟。但是你抓这个鸟的时候，那你肯定要理解 **Gravity** 和 **Wind** 和 **Turbulence**，也要懂这个翅膀，要什么角度才可以赶上。另外一只鸟你也要预测另外一只鸟会用什么方向飞，你要算我要什么速度才可以到那个地方，在同一点就可以把那个鸟抓起来。所以他们的脑筋其实都可以算这些东西，都很复杂的东西。不管可以抓鸟，他们也会抓兔子，吃老鼠。算出来这个兔子如果它跑到一个桥下面，那它从哪里会出来？或者是一个老鼠跑到一堆草里，那最后会从哪里出来？这些动物他们很了解这个 Natural World，这个 Physical World。但是，如果我们问老鹰的大脑，What is the Law of Gravity？或者 What is the Gravitational Constant？或者是 What Angle do you need to have to Fly？我们不会知道这些 Knowledge，因为这样的 Concept 这些概念都是人发明的。如果我们有四只手或者有二十个手指，那我们数学可能就很不一样。老鹰想的自己的这个视觉模型都可能帮不了其他的行业，其他的领域。所以这就是世界模型和这些语言模型的区别。 **Speaker 0**: 现在很多的 New Lab 出来，他们也是想尝试一下不同的一些模型的研发的思路。那有一派就是可能就是大语言模型这一类的，那有一派呢就是世界模型。但是你相信有一个中间点，就是你做的这一派又需要语言的模型，然后又需要视觉的模型。能这三派给我们来梳理一下，就是每一派他们相信的是什么？他们信仰的是什么？他们 Betting on 的是一个怎么样能够达到 AGI 的一个路径呢？ **Speaker 1**: 好，我现在试一试用中文。不过我们现在看语言模型，他们的思维链都是用语言做出来的，就包括 Gemini、ChatGPT 和 **Claude**。他们就是觉得这思维链变得越来越长，那模型就越来越聪明，就可以做越来越多的东西，然后最后就可以达到 AGI。通过编程越来越好用，这个编程就做越好的模型。但是如果你看模型做视觉问题的话，现在这些模型都不会数东西。如果有几个杯子的一个桌子，他们经常会就 Solutionate，就说错、乱说。所以我觉得你光 Scale 这个语言这部分还是不够了解我们的世界，然后了解图片和视频。另外一个方向就是说的世界模型，这些 Lab 都是从计算机视觉部门出来的，就像 **Fei-Fei Li** 和 **Yann LeCun**。他们的想法我觉得是更偏 Academia 那样的想法，就是说我要做一个新的模型。Novelty 很重要，因为对 Academic 你必须要 Novelty 才可以发表文章。我觉得他们就是比较相信视觉，其实有一点历史。NeurIPS 之前大部分的文章都是视觉，整个机器学习大部分人都是做视觉，就是做语言理解是很少。包括我，何况我们就是算很少数的。人最近可能变了，因为 **Large Language Model (LLM)**，但是我们这个是算一个比较利基的领域。然后这次就是因为很多 Research 之前，包括 Fei-Fei Li，他们就觉得视觉也是 Key to Intelligence。就是因为有视觉人就很聪明，但是从语言角度来说，视觉就是不够，光靠视觉不够有 Intelligence。因为动物、生物他们还可以做，我们现在机器人做不了东西，他们视觉还是比我们现在的模型好。就像那个老鹰可以抓人的资料，就算我们可以做出来一个很好的虚拟老鹰，那么还不会有 Intelligence，还是达不到 AGI。但是视觉领域的人，他们会觉得 Vision is Key to Intelligence。所以这些世界模型更靠视觉和图像的数据。但是你这样的话，就像我刚才说的，那个老鹰，你就不能跟人做出来的概念合到一起。就像数学和物理和化学，因为这都是人造的东西，那就跟世界模型还是比较远。所以我们公司，我们就是觉得要把语言推理加上视觉推理才可以做到一个模型，可以帮大家、可以帮所有的行业。 **Speaker 0**: 就相当于是把那些什么重力的 Gravity 的公式给它输到老鹰的脑子里面去。 **Speaker 1**: 对对。 **Speaker 0**: 可以这样理解吗？ **Speaker 1**: 对，然后用老鹰的眼睛，然后脑筋一部分，但是还是要用人的推理。 **Speaker 0**: 理解，世界模型这个概念这两年很火。你觉得这些公司他的发展能够到达 AGI 吗？ **Speaker 1**: 我觉得可能过了五年，你再问我这个问题。我觉得他们还是很早，可能是跟大模型很早的一个阶段。他在训练的时候还在一个显卡在跑，可能就是跟我们在 2015 年的时候做那个预训练也是在一个显卡在跑，但是要很多很多才可以做成一个大模型。 **Speaker 0**: 所以你觉得现在世界模型还没有到 Transformer 时刻。 **Speaker 1**: 还没有。他们可能需要新的结构，像 **JAX**，但是可能我觉得还是要再加几步才可以达到一个一手包揽。 **Speaker 0**: 你觉得做这个视觉推理的其他公司，大家的竞争优势是什么？就比如说谷歌，我想他们是不是内部可能也看到了这个东西，所以他们可能内部也会在做。也许 Meta 也许 OpenAI 也会做。因为我看到 DeepMind 之前好像推出了一篇文章，好像也是很 Similar 的一些东西。他后来把那个文章给删掉了。你觉得这个 Competition Landscape 现在是什么样子的？ **Speaker 1**: 那个 DeepMind 文章很有意思，因为他们发了，然后后来他们就把那个又删了。但是连网络什么都删不了。大家读过了。其实 DeepMind 的想法是跟我们很像，他们的 Path 和有点像我们的 Path。但是其他公司，OpenAI、DeepMind 和 Anthropic，我觉得他们是越来越偏编程的方向。因为编程这个市场很大，很多人现在都在用模型编程。他们也是觉得你要做一个很好的编程模型，就可以有 Self-Improvement，这个叫 **Recursive Self-Improvement (RSI)**。有人叫 **R-STAR**。谁先把那个突破，那谁就先可以达到 AGI。然后这些 Founders 他们都不想第二，达到 AGI 都想第一。所以其实他们有很多压力，做一个更好的编程模型。所以因为这个压力，他们就不是很看重多模态视觉推理这个问题。所以我在 Gemini 的时候，我就感觉到了这个，所以我就觉得现在是一个很好的机会做一个多模态推理的模型。 **Speaker 0**: 所以你觉得 DeepMind 会是你们一个比较大的竞争对手吗？ **Speaker 1**: 可能是。但是不知道他们为什么把那个文章删了，他们是不是又换了一个方向。 **Speaker 0**: 如果你们是一个非常 Research Driven 的团队的话，到达 AGI 可能还有一些时间。中间的话，你投资人可能也会问你中间用什么来养活你们自己，就除了 VC 的钱。所以你的产品商业化落地是怎么去规划的？ **Speaker 1**: 我们是一个 Research 公司，所以我们也是做研究，也是做这个 **Frontier Research**。但是我们也有 Google Brain 的背景，Google Brain 的时候，我们也是有个目标，就是把这些模型放在产品里，然后就让几十亿的人用。然后现在 Gemini 就有很多人用了，所以那是比较成功。但是我们在这个公司也是一样的目标，也是要做一个 AI，然后让大家用，帮助公司解决他们的视觉问题。 **Speaker 0**: 就是还是通过模型 API 的这个方式去变现。 **Speaker 1**: 对。 **Speaker 0**: 但是你的 Ultimate Goal 还是说就是帮助大语言模型和视觉模型一起达到 AGI。 **Speaker 1**: 对，达到 **视觉 AGI**。怎么去定义视觉 AGI？视觉 AGI 我觉得应该是比 AGI 更好表达。因为 AGI 它的这个每天都在变。有时候是说有人说我们能知道 AGI，有人说我们有了 AGI。但是视觉世界大部分人都可以看到东西都有视觉。大部分人看东西基本的 Level 都是差不多，可能有些人反应更快。但是大部分人如果你看一个车的方向盘都懂，这是怎么用的。像 **乐高**、**宜家** 的家具，那也都是视觉问题，这些模型都不行。所以我觉得有一个模型可以做这些最基本的东西，那我们就是迈向 Path to AGI。从那时候到 AGI 可能就不远了。 ### 创业之路：自由、挑战与研究品味 **Speaker 0**: 出来做公司，跟在谷歌有什么不一样？我问这个问题的原因，是因为当你在谷歌十四年，你有无限的资源，你有无限的资金，你有无限的人才。然后当你出来了之后，什么都要自己去找人、找钱、找方向，对吧？中间的差异对你来说是什么样的一个体验？ **Speaker 1**: 对，有很多地方不一样。所以在卡上面，在显卡，那当然会少很多。但是有一个地方是一个优点，是在谷歌、在大公司他们每个礼拜的 Properties 可能都变了。所以可能今天有卡，可能下一个礼拜或者下一个月，那也就没有卡了。但是在一个新公司的话，我们买了卡，那没有人会拿走，大公司就不是这样。还有一个是我觉得我突然要学很多新的东西，觉得怎么用 **PyTorch**。因为在 DeepMind 都是用 **JAX**。然后要学怎么用 **Mactron**，怎么用 **AWS**，怎么用 **Azure**。用很多很多东西要学，因为谷歌基本上不用开源的东西。所以那个 Learning Curve 是很 Steep。对我来说还有一个我觉得比较难是招聘。因为在 DeepMind，那我是在 Gemini 那个团队，那很多很多人都想进 Gemini。所以一般发了一个 Offer，那候选人就会接受。但是在一个小公司那就不一样。我们现在还不是很大的名气，他们知道一个小公司就是有更多 Risk，跟一个大公司很稳定。所以招聘就是更难。有的人就喜欢这个大公司的安全感。但是有的人就想试一试，就创一个新的地方，可能我们就会变成下一个 OpenAI 或者 Anthropic，所以他们就会加入我们。 **Speaker 0**: 但是你出来了之后，你跟我说会有很多的 Research Freedom。就研究自由。但是研究自由的代价是什么？The Cost of Research Freedom 是什么？ **Speaker 1**: Cost of Research Freedom 就可能这个 Support 少一些。像谷歌，如果一个 Research Idea 不成功，那就没关系。你还可以做下一个项目，还有很多资源，公司还有很多显卡以支持你。但是在一个 Startup，那一个 Research Idea，那个 Risk 高一些，因为那些资源已经消耗了，不会带回来。我觉得压力会稍微高一点，做 Research。所以我们现在就是招世界上最好的那些研究员，靠他们做很好的 Research，就可以有很好的结果。 **Speaker 0**: 你觉得谷歌这十四年带给你最大的是什么？ **Speaker 1**: 我觉得我这几年运气很好，可以待在这个世界一流的研究。然后可以看到 AI 发展这么多。我们十年前没有人会觉得 AI 会发展这么快，这是不可能的。我本来都觉得世界变化比较慢，就像包括到月球都是四十年前的事情。六十年前的事情。可能我觉得我这一代都觉得世界都变化的很慢，包括这个电子车、自动驾驶车。但是突然 AI 之后就又感觉其实科技又开始速度变快了。 **Speaker 0**: 之前你还跟我提到过一个词叫 **Research Taste**。然后你说呢出来开 New Lab 的这群人，都是因为他们所看到的路线，或者他们觉得比较重要的一些研究方向，在大厂大公司里面不被看重，其实这个是很考验一个研究员的 Research Taste，他的研究品味的。对你能不能再跟我们说一下，就是研究品味对研究员来说，它重要在什么样的地方呢？对你来说研究品味这个东西在谷歌的这十四年，你是怎么研究的？ **Speaker 1**: 对，研究品味很重要。就是不光是因为做实验需要卡，需要资源，我觉得最重要的资源是时间。如果你跑到一个错的实验或者错的方法，那那个时间就不会回来。但是你也要知道什么时候追一个方向，但是也要知道什么时候要放弃一个方向。研究品味就帮助你决定这个方向，我要继续追，我要继续花时间。我的研究品味就是我觉得是时从 Geoffrey Hinton 他们来的。Geoffrey Hinton，他就是觉得我们做 AI 的话，我们就要根据这个大脑的思想。我们觉得大脑这部分是用来做视觉，用这些方法做视觉。那我们也应该做模型，也是用差不多方法，就像 **CNN**，包括这些网络模型。这些 **Neural Networks** 也是看 Neurons，他们也是学。然后他们就是从数据学的，然后现在我们的模型也都是从数据学的。我们本身像 Transformer 的时候，我什么都不知道，你要给他数据他才可以做任何东西。所以这个也是可能那些神经科学的想法，就是说一开始这个 Brain 什么都不知道，要通过长大就可以学会很多东西。所以我做研究的时候，我也是按照这个方法想，如果有一个新的方向，然后跟人的神经很大的区别，那我可能就不会追那个方向。 **Speaker 0**: 你的新公司 Jeff Dean 也有投资，对吧？你觉得你在整个的谷歌的生涯当中，Jeff Dean 对你来说是一个什么样的存在？ **Speaker 1**: 对，Jeff Dean 是一个很好的 Adviser。我刚刚进的那个 Brain 团队，我就认识他。那时候我们的模型就跑得很慢。我的经理就说如果有速度问题，就直接问 Jeff Dean，他什么都知道。然后他就来到我的电脑旁边。然后他就不光是看那个代码，他还是看那个机器代码，就是 **Machine Code**，就是比 **C++** 和 **Python** 还是深的代码。然后他还说这个这个地方不对，然后他就改了。从那时候我就知道，Jeff Dean 是一个很 Hands-on 的人，他什么都懂，他什么都学，他也包括就自己学了深度学习和这些方法，他才可以做出 Google Brain。所以他就是一个比较一个 Role Model。我觉得他做得很好，那他现在就是做的 Gemini Lead。 **Speaker 0**: 在谷歌里面还有没有谁对你影响非常大的？Quoc Le 影响也是比较大？ **Speaker 1**: 我跟他合作了好几个项目，然后我们也一起带了好几个实习生。所以我跟他合作了很久。对谷歌的厉害人太多了。厉害和聪明的人太多了。我觉得 Google Brain 和就是这些 Leading Labs 很多很聪明的，包括 **Elon Musk** 其实也是很厉害，他也是很 Unique，他要用 AI 帮助整个世界，所以我觉得这个是很好的。 **Speaker 0**: 最后我们节目可以让你免费来打个广告。首先你想招什么样的人才来你们这个 New Lab 实验室？然后呢，对于好的人才，你跟他们喊几句话，告诉大家，为什么他们应该来你的公司，然后跟你一起打造世界 AGI？ **Speaker 1**: 我们现在就是招世界一流的一个团队，我们觉得人才密集很高，就可以进步更快。然后我看这些中国的研究所，就像 **DeepMind** 和这些的地方，就是因为他们人才密集很高，就可以做出很好的东西。我们现在招有模态经验的人，RL 经验的研究员。然后我们也在招 Infrastructure 的工程管理为这些 **GPU Clusters**，或者做了 **Training Kernel Optimization** 这些东西。为什么要加入我们？那是因为我觉得我们这个团队是 New Lab，一个 Top Tier New Lab。这个团队在其他的地方，这么多数据经验，这么多预训练经验，这么多 Foundation Model 经验，只能在可能三四个地方可以找到。大部分其他的 New Lab 都没有这么多的经验。我们的方向也是一个比较新的方向。我们觉得我们就会带过来下一代的推理，下一代的 Reasoning 就离人的推理近很多。我们希望大家来跟我们一起成长到下一个 Successor，下一个 OpenAI。 **Speaker 0**: 谢谢。 **Speaker 1**: 谢谢。 **Speaker 0**: 你们也是刚刚搬进来。 **Speaker 1**: 对，刚刚搬进来，我们还是用钥匙开的。 **Speaker 0**: 现在那个应该是周五的下午，所以员工都差不多离开了。 **Speaker 1**: 我们现在是差不多四五个人，十五个人。对，还有两个人在办签证，可能是十二个人在 Research，一个人在 Info，然后两个人都在 Research。对，我们是 Very Research Heavy。 **Speaker 0**: 所以我们还有一些这个 Party。 **Speaker 1**: 很多亚马逊的盒子。 **Speaker 0**: 没有关系，非常理解。因为是公司刚成立的时候嘛，就会成为你们公司，后面放大了之后珍贵的早期资料。 **Speaker 1**: 对，我看我们选了这个办公室，就是因为这个院子，对，就像一个 Campus，就像一个大学里面的 Campus。对，我们午饭、Happy Hour 来这里吃饭，然后有客人都是来这里。 **Speaker 0**: 你们还需要多一点绿植。 **Speaker 1**: 对，多一点。然后后面有个喷泉可以 Relax。 **Speaker 0**: 你打算还要再加一点什么东西？ **Speaker 1**: 有个 Researcher 他要加一个桑拿。对，白天去桑拿。我不知道，就是就累了之后就去泡，就去做桑拿。 **Speaker 0**: 可以在桑拿的时候能够 Thinking。 **Speaker 1**: 对，他可能是就像我就洗澡的时候 Thinking。然后可能可以加一个乒乓球桌或者台球桌。但是我们现在主要是用这个打桌游。对，因为我比较喜欢桌游。 **Speaker 0**: 你会用视觉模型去玩桌游吗？ **Speaker 1**: 呃，我试过了，但是他们太差了。像那个象棋板他们都不会。可能我们的模型做完之后，那就可以用它打桌游了。 **Speaker 0**: 所以你最爱的办公室是哪一间？ **Speaker 1**: 就是那个角落那里。是这间吗？对，就是这一间。这个光线很好。 **Speaker 0**: 所以就是你经常会在这边看着外面。或者打电话坐在这里。你现在大概一天的时间分配是什么样子的？有多少时间是在做 Operation 的工作？有多少时间是在做 Research 跟 Thinking？ **Speaker 1**: 白天大部分时间都是做 Operation 工作。有 Interview，就是把我们的 IT 设计好，把 AWS 设计好。然后我做 Research，现在大部分是周末和晚上。坐在家里就很安静，就可以思考，想新的产品方法、新的 Idea，都是洗澡出来的。我也是。 **Speaker 0**: 所以就是 Idea 完了之后马上用 Code。是这样 Idea 来自于 Researcher，还是你 Idea 在你们公司是怎么样去产生的？ **Speaker 1**: 都有。所以有一些新的 Vision 的客户的 Idea 是我来的。然后有一些新的像 **SFT** 和数据的 Idea 在我们 Team 来的，现在在跑。但是最后我们还是觉得这像 Auto Research 这些模型，他们也可以做 Research。但是他们的 Idea 就太 Average 了，都没有 Creativity。然后做 Research 肯定要 Creativity。我们就是觉得以前这些 Idea 就很便宜，因为编程很难，Execution 很难。但是有 **Claude Code** 和 **Gemini CodeX** 之后，这个 Execution 就容易很多。然后现在 Idea 就那个价值就上涨了。 **Speaker 0**: 所以就是这些最宝贵的 Researchers，现在是大家的都在互相争抢的宝贵的资产。 **Speaker 1**: 对，就是对这些 Creative Researchers 很重要。 **Speaker 0**: 然后最近我们看到 New Lab 真的出来很多人都创业。你觉得这个趋势还会持续？ **Speaker 1**: 我觉得还会吧。因为现在很多 Opportunities，开源也有很多模型，你可以用。然后融钱也变容易了一点。因为这么多公司都在 IPO，所以这一段时间我觉得还会有很多。但是我觉得这也是一个窗口。过了一段时间，我们这一代的 New Lab 就发展了很多，那就更难有新公司了。 **Speaker 0**: 你觉得这个窗口 Deadline 其实是在什么窗口 Deadline？ **Speaker 1**: 很难说，可能这两年吧。然后要再等一会儿那种，然后就下一代的实验室。 **Speaker 0**: 新一代的实验室会是什么样子的？ **Speaker 1**: 下一代的实验室，那我就不知道了，那可能是 AGI 后的实验室，那我不知道。那可能都是 AI 跑的。 **Speaker 0**: 有可能。 **Speaker 1**: 但现在他们 Creativity 离人的 Creativity 太远了。所以还是不知道。 **Speaker 0**: 好的好的，谢谢 Andrew。 **Speaker 1**: 好的，谢谢。 **Speaker 2**: 以上呢就是我们与 Andrew Dai 的全部访谈和办公室探访了。Andrew 的 New Lab 是如今在硅谷非常重要的一个支线，也是今年以来在硅谷幺零幺选题会上我们着重关注的方向。如今 VC 的大量资金涌向这样的新型 AI 实验室，是因为这些大基金们在 OpenAI 等前沿模型上的赌注已经太重了，他们需要一些对冲，万一大语言模型无法走到最后的。那么接下来 AI 怎么发展，可能就是要看这些 New Lab 的研究的成果了。就像 AI 技术灵魂领袖 **Ilya Sutskever** 说的那样，我们正在重新回到研究时代。硅谷幺零幺的 New Lab 系列还会继续。大家不要忘了关注我们，你们的点赞、留言和转发是我们做好深度科技和商业内容的最佳动力。我是 **陈倩**，那我们就下期视频再见了，拜。