--- author: Best Partners TV date: '2026-03-01' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=NiRHIW4BHWo speaker: Best Partners TV tags: - knowledge-distillation - multimodal-ai - ai-efficiency - hardware-software-co-design - future-of-ai title: AI大一统元年：Jeff Dean深度解读谷歌AI战略与未来 summary: 谷歌技术巨擘杰夫·迪恩在Latent Space访谈中，深入剖析了谷歌AI的核心战略。他强调了模型性能与效率的极致平衡，知识蒸馏在连接前沿与轻量模型中的关键作用，以及Gemini Flash等模型在普及AI中的核心动力。访谈还探讨了基准测试的局限、原生多模态能力的边界、AI驱动的搜索架构、TPU硬件的协同设计、延迟与能效的考量，并预测了个性化模型和硬件突破将引领AI新纪元。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: [] companies_orgs: - Google products_models: - Gemini - MapReduce - BigTable - TPU - Gemini Flash - Gemini Pro - Gemini Ultra - Chinchilla - Flamingo media_books: [] status: evergreen --- ### AI战略与模型分层 **主持人**: 大家好，这里是最佳拍档。如果要在全球科技圈找出一位能贯穿互联网黄金时代与AI革命的传奇人物，谷歌的**杰夫·迪恩**绝对是绕不开的名字。从奠定谷歌技术基石的**MapReduce**、**BigTable**，到引领深度学习规模化浪潮，再到如今主导**Gemini**系列模型研发，他用二十七年的坚守，见证并塑造了谷歌的技术灵魂。2026年2月，这位技术巨擘的开年访谈在**Latent Space**播出，不仅揭示了谷歌AI的核心战略，更勾勒出整个行业的未来走向。2026，将是**AI大一统的元年**。今天，我们就来拆解一下这场访谈，看看这位传奇工程师眼中的AI未来。 **主持人**: 访谈开篇，主持人用**帕累托前沿**来形容杰夫·迪恩团队的成就。这个概念指的是在资源有限的情况下，无法在不损害另一目标的前提下让某个目标变得更好。而谷歌正是在模型性能和效率上做到了极致平衡。 **杰夫·迪恩**: 对于这份赞誉，我坦诚这并非单一技术的胜利，而是整个技术栈从上到下的协同成果。既要训练出能力超强的前沿大模型，又要通过软件技术将能力提炼到更小、更轻量的模型中，实现**成本效益与低延迟**的兼顾。在谷歌内部，关于前沿探索与实际部署的权衡从未停止。作为服务数十亿用户的科技巨头，谷歌必须考虑极端场景下的算力承载。这种压力让谷歌形成了独特的模型战略，同时布局两类模型：一类是面向深度推理、复杂数学问题的高端前沿模型；另一类是能力强劲、价格亲民的轻量模型，来支持大量低延迟的应用场景。 ### 知识蒸馏的演进 **杰夫·迪恩**: 而连接这两类模型的关键技术，正是我们团队在2014年就提出的**知识蒸馏**。提到知识蒸馏，就不得不追溯它诞生的初衷。早在2014年，我和**杰弗里·辛顿**、**奥里奥尔·维尼亚尔斯**、**安德鲁·戴**等人共同提出这个方案时，核心诉求是解决模型部署的现实难题。当时谷歌拥有一个包含三亿张图像、两万个类别的超大数据集。我们发现为不同图像子集创建专家模型，再将几十个专家模型集成，性能会显著提升。但是这样的集成模型在实际部署中完全不现实。于是，蒸馏技术应运而生，将多个专家模型的能力压缩到一个可部署的单一模型中。 **杰夫·迪恩**: 如今，蒸馏技术已经进化到新的阶段。谷歌不再是集成几十个模型，而是将规模庞大的旗舰模型作为教师模型，通过蒸馏技术将其能力传递给更小的学生模型。这种技术的关键优势在于，小模型能够从大模型的**logits**中，获取比是或否这种硬标签更丰富的软信息，从而实现与大模型非常接近的性能。 ### Gemini Flash的普及与前沿模型 **杰夫·迪恩**: 我透露，在**Gemini**的多代产品中，下一代模型的**Flash**版本已经能够达到、甚至超越上一代**Pro**版本的水平。这种迭代模式成为谷歌AI普及的核心动力。而Gemini Flash的成功，不仅在于技术层面的突破，更在于其精准的产品定位。这款模型以50万亿token的训练规模，实现了极高的性价比和极低延迟，如今已全面渗透到**Gmail**、**YouTube**、**谷歌搜索**等核心产品中，成为AI模式、AI摘要等功能的核心驱动力。 **杰夫·迪恩**: 我强调，延迟是模型普及的关键特性。当用户需要的不再是写一个for循环，而是开发一整套软件包时，低延迟系统能让模型生成更多的token，完成更复杂的任务。而谷歌的**TPU**硬件平台、稀疏模型架构，都为这种大规模部署提供了底层支撑。 **主持人**: 当Flash模型已经能满足大部分用户需求，继续推动Pro和Ultra等前沿模型的研发是否还具有经济价值呢？ **杰夫·迪恩**: 我的答案是，模型能力的提升会激发新的需求。一年前，我还只是用模型处理简单的编程任务，而现在，我会让模型完成复杂的编程项目、分析全球可再生能源部署情况等高端任务。用户需求的边界在不断拓展，而前沿模型正是拓展这些边界的核心动力。它们能够暴露现有模型的失效场景，为下一代模型的改进提供方向。 ### 基准测试的局限与创新 **杰夫·迪恩**: 在AI行业，基准测试是衡量模型能力的重要标尺，但是我对其有着清醒的认知。我认为，公开的外部基准测试存在效用生命周期。初始得分在10%-30%的基准测试具有真正的评估价值，能够有效推动模型能力提升。但是当得分达到95%左右时，继续投入的回报会急剧下降。这要么意味着模型已经完全掌握该能力，要么存在数据泄露或者训练数据污染的问题。 **杰夫·迪恩**: 因此，谷歌建立了一整套保密的内部基准测试体系。这些数据完全脱离训练集，专门针对模型尚未具备的能力。我举例说明，Gemini的长上下文能力，早在1.5版本就开始布局。而当时考察细颗粒度的128K上下文基准测试，已经趋于饱和。如今谷歌正将前沿推进到100万、甚至200万token的上下文长度，因为真正有价值的应用场景是处理上千页文本、多个小时的视频，而非简单的信息检索。这种从分数导向到能力导向的基准测试理念，让谷歌在长上下文领域始终保持领先。 **杰夫·迪恩**: 对于基准测试与架构改进的关系，我强调要聚焦核心能力而非具体解决方案。我认为长上下文的终极目标是让模型关注整个互联网、理解个人所有状态，但现有方案的复杂度限制了这个目标的实现。100万token已经接近现有技术的极限，要实现**万亿token**的有效关注，必须依赖算法与系统层面的双重创新。 ### 原生多模态能力的边界 **杰夫·迪恩**: 谈到Gemini系列模型，核心竞争力之一就是其**原生多模态能力**。在我的看来，多模态的意义远不止于文本、图像、音频、视频的融合，更包括对非人类模态的理解，比如**Waymo**车辆的激光雷达数据、机器人传感器数据、X光片、核磁共振成像、基因组信息等等。谷歌的目标是让模型至少接触上百种数据模态，了解这些模态在世界中的特定含义，即使没有进行大规模训练，也能为后续应用奠定基础。 **杰夫·迪恩**: 关于是否存在凌驾于所有模态之上的王炸模态，我认为视觉和运动具有不可替代的重要性。生命进化中眼睛器官被独立发明了23次，足以证明感知周围世界的能力是生存发展的核心。这也是Gemini选择聚焦视频而非静态图像的原因，视频包含了更丰富的时空信息，能让模型更好地理解复杂场景。我分享了一个令人惊叹的应用案例：将包含18个体育经典时刻的YouTube集锦视频输入Gemini，模型能直接生成包含事件时间、简短描述的18行表格。这种视频到结构化数据的转化能力，正是多模态融合的典型成果。 **杰夫·迪恩**: 目前，Gemini仍然是唯一原生具备视频理解能力的模型。这种优势源于谷歌从一开始就确立的多模态研发思路。我认为，多模态的终极价值是让模型像人类一样解读世界，然后利用这些信息提供帮助。无论是分析医疗影像，还是理解机器人的物理环境，多模态能力都是AI融入现实世界的关键。 ### AI驱动的搜索架构 **杰夫·迪恩**: 作为谷歌的核心业务，搜索与AI的融合一直是我的关注重点。谷歌的搜索系统从诞生之初就遵循层层筛选的逻辑，从万亿级别的网页索引中，先用轻量级方法筛选出3万个相关文档，再通过复杂算法细化到最终的10条结果。这种逻辑在AI时代得到了继承与升级。 **杰夫·迪恩**: 在AI驱动的搜索架构中，谷歌试图营造**万亿token**的幻觉。首先通过大量高度并行的轻量级模型，识别3万个候选文档，再用稍复杂的模型集，将范围缩小到117个核心文档，最后由能力最强的模型进行深度处理，生成答案并附上相关链接。这种架构既保留了谷歌搜索的核心优势，又充分发挥了大模型的语义理解能力，摆脱特定词汇必须出现的硬性要求，真正深入到页面主题与查询高度相关的层面。 **杰夫·迪恩**: 回顾谷歌搜索的进化史，我分享了一个关键转折点：2001年，谷歌将整个网页索引放入内存。当时，随着索引规模和流量的爆炸式增长，谷歌构建了包含60个分片、每个分片20个副本的分布式系统，而一万两千二百台机器的内存总量足以容纳完整索引。这个决策带来了革命性提升。原本受限于磁盘寻道速度，一个查询只能考察少量词项，而内存索引让系统可以轻松处理50个以上的词项，包括同义词、相关词，真正实现了从关键词匹配到语义理解的跨越。这种架构迭代的思维，也延续到了如今的AI搜索研发中。 **杰夫·迪恩**: 我强调，系统设计的核心原则是预判规模变化。一个好的系统应能支持核心特性5到10倍的扩展，而当规模达到100倍时，就需要开启全新的设计空间。从磁盘索引到内存索引，从传统搜索到AI搜索，谷歌始终在遵循着这个原则，在规模化中寻找创新的契机。 ### 延迟与能效考量 **杰夫·迪恩**: 提到系统设计，就不得不提我的经典之作——**每个程序员都应该知道的延迟数字**。这张表格列出了缓存未命中、主内存访问、跨洲数据包传输等操作的典型耗时，核心目的是帮助工程师建立直觉，在设计系统时快速进行粗略估算。而在AI时代，我认为需要更新这个认知框架，加入能量维度的考量。 **杰夫·迪恩**: 我解释道，AI模型的计算成本最终都会归结为能量消耗。以矩阵乘法运算为例，一次Int 8或者BF 16精度的乘法运算成本仅为1皮焦耳左右，而将数据从芯片上的Sram移动到乘法器单元就需要1000皮焦耳。这也是加速器依赖批处理的核心原因。如果批大小为1，就意味着花费1000皮焦耳的移动成本，只完成1皮焦耳的计算，能效极低。而较大的批大小能多次利用移动的数据，显著提升能效。这种能量视角的分析，为AI系统优化提供了新的思路。我认为，未来每个AI程序员都应该知道的数字，不仅包括延迟指标，还应涵盖不同存储层级的数据移动成本、不同精度运算的能量消耗等等。其中的巨大差异会直接影响模型架构的设计选择。 **杰夫·迪恩**: 对于延迟的极致追求，也贯穿了谷歌的AI研发。我信奉低延迟带来的用户体验提升。我预测未来模型及底层软硬件系统的延迟，将比现在低20到50倍。这对于需要多轮交互的复杂任务至关重要。而稀疏模型、**投机性解码**等技术，正是实现这一目标的关键。投机性解码能让小模型一次预测8个token，经大模型验证后接受5到6个，通过摊销计算成本实现5倍效率提升。 ### TPU硬件与协同设计 **杰夫·迪恩**: 在AI算力领域，谷歌的**TPU**与英伟达的GPU形成了差异化竞争。我介绍，TPU采用规整的2D或3D网格拓扑结构，将大量配备HBM的芯片互联。这种架构特别适合长上下文的注意力操作和稀疏模型的高效部署。对于小型模型，TPU能通过模型并行将其分布到16或64个芯片上。如果模型能完全放入Sram，将实现延迟与吞吐量的双重优化。 **杰夫·迪恩**: TPU的研发理念是协同设计。芯片架构团队与机器学习专家保持高频互动，根据对未来两到六年技术趋势的预判，提前布局硬件特性。由于芯片设计周期长达两年，部署后生命周期又有3到5年，谷歌需要精准预测未来的AI应用场景。我透露，TPU的研发会预留探索性特性，这些特性占用芯片面积小，一旦成功能带来10倍性能提升，即使失败也不会造成重大损失。而对于重大架构改动，则需要通过大量机器学习实验验证可行性。 **杰夫·迪恩**: 这种协同设计是双向的。不仅硬件要适配未来的模型需求，模型架构也要为硬件进行优化。比如，谷歌会提前利用下一代TPU的低精度特性进行模型训练，即使当前硬件暂不支持。我特别推崇极低精度计算，因为数据传输的能量成本与位数成正比，减少位数能显著降低能耗。不过这需要在权重上施加缩放因子来保证性能。 **杰夫·迪恩**: 除了数字计算，我也关注模拟计算等新兴方向，认为其有望实现极低功耗，但同时也指出数模转换的开销可能抵消部分优势。我坚信，通过为特定模型定制专用硬件，AI计算的能效仍有巨大提升空间。 ### AI的未来研究方向 **杰夫·迪恩**: 谈到未来的研究方向，我列出了一系列开放问题：如何让模型更可靠地完成包含多个子任务的复杂任务？如何通过模型间的工具调用，实现更重大的目标？如何让模型更可验证？如何将强化学习应用到不可验证的领域？ **杰夫·迪恩**: 在我看来，强化学习在不可验证领域的应用，是一个极具潜力的方向。目前，强化学习已经在数学、编程等可验证领域取得显著进展，但是在开放式创新、无明确奖励的长期策略等领域仍面临挑战。我提出了一种解决方案：让其他模型或同一模型通过不同提示词扮演评论家角色，评估检索结果的相关性、任务执行的完整性，形成迭代优化的闭环。 **杰夫·迪恩**: 这种自我评估与迭代的思路，也体现在谷歌的模型研发中。以YouTube缩略图自动生成为例，生成器模型提出方案后，评论家模型从相关性、吸引力等维度进行评分，通过多轮迭代提升输出质量。我认为，这种模式能有效拓展模型的能力边界，就像两年前模型还在为GSM8K的简单数学题挣扎，而现在已能处理复杂的数学推理和代码生成。AI领域的进步往往源于对不可能问题的持续攻坚。 ### 通用模型时代 **主持人**: 访谈中，主持人提到一个耐人寻味的现象：去年IMO竞赛还需要AlphaProof、AlphaGeometry等专用模型协同作战，今年则直接由Gemini单一模型完成。这标志着符号系统与大模型融合的思路被通用模型主导取代。 **杰夫·迪恩**: 对此，我给出了深刻解读：人类操纵符号，但是大脑中并不存在离散的符号化表征，而是神经网络式的分布式表征，通过神经元的激活模式实现推理、规划与思维链回溯。谷歌的模型研发，正是在模拟这种大脑的工作机制。这种理念推动谷歌进入了**统一模型时代**。在2013年至2016年，机器学习领域还处于一个任务一个模型的阶段，识别街道标志、语音识别、图像分类都需要专门训练模型。而现在，通用模型已经能应对多种任务，泛化能力在持续提升。 **杰夫·迪恩**: 我引用了《苦涩的教训》中的观点：短期来看，将人类知识编入AI可能有效，但是长期来看，依靠大规模算力和通用算法的方法终将胜出。谷歌的实践也印证了这一点。爱德华·格列芬斯特团队的成员甚至不需要了解IMO的比赛规则，仅通过模型训练就能实现优异表现。 **杰夫·迪恩**: 当然，通用模型并非完美无缺。我承认，模型的参数空间有限，让小模型记忆晦涩的可检索事实是对资源的浪费。因此，谷歌正在探索知识与推理分离的模式：模型保留核心的世界知识，而具体的晦涩事实则通过检索获取。这种检索增强生成加多轮推理的组合，能让模型在有限参数下实现更强的能力。 **杰夫·迪恩**: 对于垂直领域模型的发展前景，我认为更适合作为模块化的组件存在。谷歌在训练Gemini基础模型时，会在数据混合中进行权衡。比如加入更多机器人数据会提升机器人能力，但可能损害多语言翻译性能。未来的理想形态是，基础模型能根据任务需求，灵活调用医疗、法律、机器人等专业模块，实现可安装的知识，部分来自实时检索，部分来自预先的专业数据训练。 **杰夫·迪恩**: 我特别提到了低资源语言的处理案例。对于只有120人使用、无书面文本的卡尔梅克-卫拉特语，Gemini能通过上下文学习直接理解。而对于索马里语、阿姆哈拉语等有一定文本资源的语言，增加训练数据就能显著提升模型性能。这种灵活性，正是通用模型的核心优势。 ### AI编程的演进 **杰夫·迪恩**: 聊起自己的技术生涯，我分享了一个有趣的起点：1990年，我的本科毕业论文主题就是并行神经网络训练。当时，学校计算机系的32核处理器并行计算机，只能支撑简单的模型，远不足以解决实际问题。但我始终坚信神经网络是正确的抽象，只是缺乏足够的算力。2008年至2009年，摩尔定律带来了算力的爆发式增长，加上大规模数据集的出现，神经网络开始真正落地。 **杰夫·迪恩**: 2011年底，我在谷歌重拾本科论文的想法，开展模型并行与数据并行的对比研究，并且推动神经网络的规模化。我和**吴恩达**的相遇颇具传奇色彩。当时吴恩达在斯坦福大学任教，学生用神经网络做语音识别取得初步成果，我当即提出训练真正大的神经网络。这个想法最终促成了谷歌早期神经网络的重大突破。2012年，谷歌训练出一个20亿参数的视觉模型，在一万六千个数据中心算力核心上训练数周，最终在ImageNet 22K数据集上实现了70%的相对错误率改进。这个比当时所有神经网络大50倍的模型，让谷歌确立了“更大模型加更多数据等于更好结果”的信条。 **杰夫·迪恩**: 此后，谷歌持续推进规模化。2017年的论文实现了万亿参数稀疏模型的规模化扩展，与非稀疏模型相比，达到同等质量的时间或计算成本降低了10倍。而**Transformer**架构相比**LSTM**，计算成本更是降低了10到100倍。如今，Gemini模型的研发已成为千人协作的庞大工程，论文的合著者名单长达10页。我透露，谷歌联合创始人**谢尔盖·布林**也深度参与其中，甚至与团队共用微型厨房，深入一线编程。这种从顶层指引到底层执行的协同，让硬件改进、软件抽象、算法优化、数据质量提升、强化学习方法改进等因素形成了乘数效应，推动2026年的模型能力实现跨越式提升。 **杰夫·迪恩**: 关于Gemini的命名，我分享了背后的故事。当时，谷歌Brain团队与**DeepMind**各自拥有多个大模型项目，Brain团队在推进大模型和多模态研究，DeepMind则有**Chinchilla**、**Flamingo**等模型。资源分散导致难以形成合力。我写了一份一页纸的备忘录，直言分散资源是愚蠢的，提议两个团队联合起来，训练一个从一开始就是多模态、统一且全面出色的模型。这份备忘录最终促成了Gemini的诞生。我最初的灵感来自双胞胎，两个组织的融合就像双胞胎携手，而NASA早期的双子座计划是通往阿波罗计划的关键一步，寓意着这个模型将成为AI发展的重要里程碑。这个名字既体现了协同合作的理念，也承载了谷歌对AI未来的雄心。 **杰夫·迪恩**: 作为计算机科学史上最多产的工程师之一，我对AI编程有着切身的体验。我认为，如今的编程工具已经变得非常强大，能够处理复杂的开发任务。而人类工程师与AI的互动方式将决定工具的效用。你可以让AI编写测试、通过头脑风暴性能优化方案，也可以让它独立完成明确的开发任务。这种互动的核心是清晰的规格说明。 **杰夫·迪恩**: 我观察到一个有趣的现象：虽然软件工程师都被教导要编写清晰的规格说明，但是在实际中往往被忽视。而在AI编程时代，规格说明的质量直接决定输出结果。如果遗漏边界情况、性能要求等关键信息，AI就可能无法按预期工作。这个变化正在倒逼工程师提升需求表达能力，而这种能力无论在哪个领域都极具价值。 **杰夫·迪恩**: 对于未来的编程智能体，我预测人们可能会拥有由50个虚拟实习生组成的团队。如何管理这些智能体将成为新的挑战。我设想的模式是，让智能体组成小型子团队，人类只需与少数团队负责人互动。这种架构能大幅提升沟通效率。而结对编程等传统模式并不会消失，反而会得到进化。五个管理智能体团队的人类工程师，沟通带宽反而远高于五十个独立工作的人类工程师。 **杰夫·迪恩**: 我还提到，通用的软件工程指南将成为AI编程的重要辅助。比如针对分布式系统的避坑指南，包含**Paxos协议**、双路发送单路返回等容错机制，能帮助编程智能体构建更可靠的系统。而对于Gemini能否写出**Spanner**这类问题，我给出了肯定答案。在特定假设下，模型甚至能突破**CAP定理**等传统限制，展现出超越人类经验的创新能力。 ### 未来预测 **杰夫·迪恩**: 访谈的最后，我给出了两个明确的预测。第一个预测是个性化模型的崛起。未来，每个人都将拥有专属的Gemini模型。在用户许可的前提下，能够访问邮件、照片、文档、机票等所有个人网络内容。这种了解用户所有状态的智能体，将比通用模型有用得多。 **杰夫·迪恩**: 第二个预测是硬件技术的突破。专用硬件将以更实惠的价格，实现延迟更低、性能更强的模型部署。对于延迟的未来，我认为**每秒一万token**的生成速度将成为可能。这对思维链推理至关重要，模型能进行更多并行推演，生成更简洁的代码，同时附带详尽的推理过程，最终实现更好读的代码。这让人想起法国数学家**布莱兹·帕斯卡**的名言：“我没有时间写得短些，所以只好写得长些。”而AI的未来，则是用更多的思考，写出更简洁的成果。 **主持人**: 感谢收看本期视频，我们下期再见。