---
author: 硅谷101播客
date: '2026-03-13'
guest: ''
layout: post.njk
source: https://www.youtube.com/watch?v=0h4hPRBgsVA
speaker: 硅谷101播客
tags:
  - tpu-architecture
  - ai-infrastructure
  - matrix-computation
  - total-cost-of-ownership
  - chip-supply-chain
title: E228｜谷歌TPU能撼动英伟达吗？前TPU工程师首次揭秘
summary: 本期访谈深入解析了谷歌TPU与英伟达GPU在底层架构、训练效率及TCO（总拥有成本）方面的核心差异。探讨了TPU作为针对矩阵计算定制的ASIC，如何通过软硬件协同、3D Torus网络拓扑及液冷技术在超大规模模型训练中挑战英伟达的垄断地位，同时剖析了HBM供应、CoWoS封装以及XLA软件生态等关键瓶颈。
insight: ''
draft: true
series: ''
category: ai-ml
area: tech-engineering
project: []
people:
  - Henry
  - Jeff Dean
  - David Patterson
  - Jonathan Ross
companies_orgs:
  - Google
  - NVIDIA
  - Broadcom
  - TSMC
  - Anthropic
  - Meta
  - Apple
  - Groq
products_models:
  - TPU
  - GPU
  - Gemini
  - XLA
  - HBM
  - Llama
media_books: []
status: evergreen
---
### TPU与GPU的底层架构差异

**[红军]**: 2025年，当谷歌的**Gemini 3**登顶AI性能排行榜的时候，训练它的不是英伟达的GPU，而是谷歌自己的芯片**TPU**。如今它正在向整个AI产业渗透：苹果的**Apple Intelligence**全部使用TPU训练，Anthropic拿下了百万颗TPU，Meta也签下了数十亿美元的协议。你觉得现在谷歌的TPU可以挑战英伟达在GPU的垄断地位吗？

**[Henry]**: 在某些限定的条件下，TPU是完全可以挑战GPU的。首先，TPU和GPU的架构完全不同。**GPU**最开始是做游戏显卡，采用的是**SIMT**（单指令多线程）架构。可以理解为一个厨房里安排了很多个大厨，每个人都有独立思考能力，独立去冰箱拿东西、做菜、上菜，并行计算能力非常强。

**[红军]**: 那如果同样用做菜来比喻TPU，它的流程有什么不一样？

**[Henry]**: **TPU**是针对机器学习定制的加速器。机器学习的核心是**矩阵计算**，这是个计算密集型工作。TPU相当于是一条流水线，不需要那么多独立大厨，而是把大厨安排在每一个步骤上。第一个人从冰箱取菜，做完传给第二个人加工，再传给第三个人。中间每一步就像心脏泵血，能保证每一个计算单元的使用率更高，减少了调度和调控。

**[红军]**: 这种不同架构在模型训练上的优劣势是什么？

**[Henry]**: 现在预训练正从计算密集型（Compute bound）变成内存密集型（**Memory bound**）。SIMT架构在等待数据搬运时会有闲置期，导致矩阵计算利用率下降。而TPU通过软硬件协同，利用当地缓存重复利用数据或跑满带宽，保证在满功率下运行。

### TPU的性能优势与TCO成本

**[红军]**: 整体来看，用英伟达GPU和谷歌TPU训练同样参数量的模型，谁更省钱？

**[Henry]**: 针对自家定制的大模型，谷歌TPU的**TCO**（总拥有成本）性价比更高。当你确定了工作负载（Workload），就可以在物理芯片和软件层面进行定制。TPU主打的是**TPU pod**集群概念，通过**ICI**（芯片间互连）和**3D Torus**网络拓扑，让几千张卡在用户感觉中像一张卡一样协同工作，训练效率非常高。

**[红军]**: 听说最新的**Ironwood V7**在物理参数上已经非常接近英伟达的**GB200**了，它的核心进步在哪里？

**[Henry]**: Ironwood有两大进步：一是**Peak FLOPs**（峰值浮点运算能力）数值上与GPU更加接近；二是**Memory Bandwidth**（内存带宽）有了巨大提升。它用了更大的**HBM**，并且通过软件充分利用了带宽。

### 供应链瓶颈：HBM与CoWoS封装

**[红军]**: 既然性能这么强，为什么TPU的产量一直受限？高性能HBM好找货吗？

**[Henry]**: 非常难。HBM市场被**SK海力士**、三星和美光垄断。英伟达一直是最大的客户，TPU只是次要客户，锁定大订单需要非常良性的合作关系。

**[红军]**: 除了HBM，还有哪些环节卡脖子？

**[Henry]**: **CoWoS**封装能力。现在的芯片都在做**Co-Design**，HBM内存芯片和计算芯片通过2.5D封装集成，这必须依赖**台积电**（TSMC）。台积电分配产能时会看订单量，英伟达的量大，自然更有优势。另外还有良率问题，TPU主打芯片间通信，要求系统内每张芯片性能一致。如果良率不好，芯片就没法降级使用，只能报废。

### 软件生态：XLA黑盒与技术门槛

**[红军]**: 为什么像Anthropic能用好TPU，而其他公司觉得难？这和软件生态有关吗？

**[Henry]**: 关系极大。谷歌的**XLA**是一个静态编译器，是TPU的“秘密武器”。它可以根据已知的Workload在全局层面做算子融合和内存优化。但问题在于它是一个“黑盒”，开发者很难debug。它不像英伟达的**CUDA**生态那么开放。

**[红军]**: 也就是说，如果用了TPU出bug，必须找谷歌工程师解决？

**[Henry]**: 基本是这样。XLA会将算子融合，debug对工程师的要求非常高，既要懂硬件又要懂软件。Anthropic和苹果之所以能用，是因为他们招了很多前谷歌工程师，熟悉这一套JAX和XLA的软件栈。

### 押注Transformer与ASIC的风险

**[红军]**: 谷歌TPU能有今天的地位，是不是因为Transformer架构本身就是谷歌发明的？

**[Henry]**: 没错。我们比行业更早知道Transformer的Workload，所以能针对性地设计ASIC（专用集成电路）。但ASIC的缺点是通用性差。GPU胜在迭代周期短，如果未来出现了不同于Transformer的全新范式，TPU可能就跟不上GPU的步伐。

**[红军]**: 之前听说TPU在跑**MoE**（混合专家模型）时遇到过挑战？

**[Henry]**: 是的。MoE需要频繁的Routing（路由）通信。早期的2D架构TPU通信效率低。后来在V4版本引入了**OCS**（光纤交换机）和3D Torus架构，才从系统层面解决了MoE的拥堵问题。

### 推理市场与挑战英伟达的垄断

**[红军]**: 现在推理市场的需求非常大，TPU在推理端表现如何？

**[Henry]**: TPU非常适合大规模部署。比如Gemini、ChatGPT这种每天有数百万用户调用的场景，TPU可以通过Batching（批处理）把成本分摊开。但在单用户、低延迟的场景，比如**Agent**（智能体），它的可塑性不如英伟达，甚至不如专门做低延迟的**Groq**。

**[红军]**: 总结一下，你觉得TPU能挑战英伟达吗？

**[Henry]**: 在模型相对固定、需要大规模部署、极致追求成本的限定条件下，TPU完全可以挑战GPU。未来一定是两者并存的：英伟达负责通用和快速迭代，TPU负责成熟模型的高性价比部署。

### 历史回顾：从语音识别到AlphaGo

**[红军]**: 谷歌当初为什么要发明TPU？

**[Henry]**: 起点是2013年左右。当时**Jeff Dean**演示了深度学习在语音识别上的进展，团队计算发现：如果所有安卓用户每天发3分钟语音，谷歌需要翻倍建设数据中心，成本高达数百亿美元。于是他们决定开发一款专门做矩阵计算的芯片。

**[红军]**: 后来TPU在**AlphaGo**对战李世石时大放异彩。

**[Henry]**: 那时候用的是早期版本。TPU经历了几次重大迭代：V1只做推理，V2开始做训练。随着大模型时代到来，软件团队的规模已经超过了硬件团队，XLA和软件生态成为了现在的核心话语权。

**[红军]**: 感谢Henry今天的深度分享，让我们看清了TPU这一“秘密武器”的真实面貌。

**[Henry]**: 谢谢红军，很开心能分享这些故事。