TPU与GPU的底层架构差异

[红军]: 2025年，当谷歌的Gemini 3登顶AI性能排行榜的时候，训练它的不是英伟达的GPU，而是谷歌自己的芯片TPU。如今它正在向整个AI产业渗透：苹果的Apple Intelligence全部使用TPU训练，Anthropic拿下了百万颗TPU，Meta也签下了数十亿美元的协议。你觉得现在谷歌的TPU可以挑战英伟达在GPU的垄断地位吗？

[Henry]: 在某些限定的条件下，TPU是完全可以挑战GPU的。首先，TPU和GPU的架构完全不同。GPU最开始是做游戏显卡，采用的是SIMT（单指令多线程）架构。可以理解为一个厨房里安排了很多个大厨，每个人都有独立思考能力，独立去冰箱拿东西、做菜、上菜，并行计算能力非常强。

[红军]: 那如果同样用做菜来比喻TPU，它的流程有什么不一样？

[Henry]: TPU是针对机器学习定制的加速器。机器学习的核心是矩阵计算，这是个计算密集型工作。TPU相当于是一条流水线，不需要那么多独立大厨，而是把大厨安排在每一个步骤上。第一个人从冰箱取菜，做完传给第二个人加工，再传给第三个人。中间每一步就像心脏泵血，能保证每一个计算单元的使用率更高，减少了调度和调控。

[红军]: 这种不同架构在模型训练上的优劣势是什么？

[Henry]: 现在预训练正从计算密集型（Compute bound）变成内存密集型（Memory bound）。SIMT架构在等待数据搬运时会有闲置期，导致矩阵计算利用率下降。而TPU通过软硬件协同，利用当地缓存重复利用数据或跑满带宽，保证在满功率下运行。

TPU的性能优势与TCO成本

[红军]: 整体来看，用英伟达GPU和谷歌TPU训练同样参数量的模型，谁更省钱？

[Henry]: 针对自家定制的大模型，谷歌TPU的TCO（总拥有成本）性价比更高。当你确定了工作负载（Workload），就可以在物理芯片和软件层面进行定制。TPU主打的是TPU pod集群概念，通过ICI（芯片间互连）和3D Torus网络拓扑，让几千张卡在用户感觉中像一张卡一样协同工作，训练效率非常高。

[红军]: 听说最新的Ironwood V7在物理参数上已经非常接近英伟达的GB200了，它的核心进步在哪里？

[Henry]: Ironwood有两大进步：一是Peak FLOPs（峰值浮点运算能力）数值上与GPU更加接近；二是Memory Bandwidth（内存带宽）有了巨大提升。它用了更大的HBM，并且通过软件充分利用了带宽。

供应链瓶颈：HBM与CoWoS封装

[红军]: 既然性能这么强，为什么TPU的产量一直受限？高性能HBM好找货吗？

[Henry]: 非常难。HBM市场被SK海力士、三星和美光垄断。英伟达一直是最大的客户，TPU只是次要客户，锁定大订单需要非常良性的合作关系。

[红军]: 除了HBM，还有哪些环节卡脖子？

[Henry]: CoWoS封装能力。现在的芯片都在做Co-Design，HBM内存芯片和计算芯片通过2.5D封装集成，这必须依赖台积电（TSMC）。台积电分配产能时会看订单量，英伟达的量大，自然更有优势。另外还有良率问题，TPU主打芯片间通信，要求系统内每张芯片性能一致。如果良率不好，芯片就没法降级使用，只能报废。

软件生态：XLA黑盒与技术门槛

[红军]: 为什么像Anthropic能用好TPU，而其他公司觉得难？这和软件生态有关吗？

[Henry]: 关系极大。谷歌的XLA是一个静态编译器，是TPU的“秘密武器”。它可以根据已知的Workload在全局层面做算子融合和内存优化。但问题在于它是一个“黑盒”，开发者很难debug。它不像英伟达的CUDA生态那么开放。

[红军]: 也就是说，如果用了TPU出bug，必须找谷歌工程师解决？

[Henry]: 基本是这样。XLA会将算子融合，debug对工程师的要求非常高，既要懂硬件又要懂软件。Anthropic和苹果之所以能用，是因为他们招了很多前谷歌工程师，熟悉这一套JAX和XLA的软件栈。

押注Transformer与ASIC的风险

[红军]: 谷歌TPU能有今天的地位，是不是因为Transformer架构本身就是谷歌发明的？

[Henry]: 没错。我们比行业更早知道Transformer的Workload，所以能针对性地设计ASIC（专用集成电路）。但ASIC的缺点是通用性差。GPU胜在迭代周期短，如果未来出现了不同于Transformer的全新范式，TPU可能就跟不上GPU的步伐。

[红军]: 之前听说TPU在跑MoE（混合专家模型）时遇到过挑战？

[Henry]: 是的。MoE需要频繁的Routing（路由）通信。早期的2D架构TPU通信效率低。后来在V4版本引入了OCS（光纤交换机）和3D Torus架构，才从系统层面解决了MoE的拥堵问题。

推理市场与挑战英伟达的垄断

[红军]: 现在推理市场的需求非常大，TPU在推理端表现如何？

[Henry]: TPU非常适合大规模部署。比如Gemini、ChatGPT这种每天有数百万用户调用的场景，TPU可以通过Batching（批处理）把成本分摊开。但在单用户、低延迟的场景，比如Agent（智能体），它的可塑性不如英伟达，甚至不如专门做低延迟的Groq。

[红军]: 总结一下，你觉得TPU能挑战英伟达吗？

[Henry]: 在模型相对固定、需要大规模部署、极致追求成本的限定条件下，TPU完全可以挑战GPU。未来一定是两者并存的：英伟达负责通用和快速迭代，TPU负责成熟模型的高性价比部署。

历史回顾：从语音识别到AlphaGo

[红军]: 谷歌当初为什么要发明TPU？

[Henry]: 起点是2013年左右。当时Jeff Dean演示了深度学习在语音识别上的进展，团队计算发现：如果所有安卓用户每天发3分钟语音，谷歌需要翻倍建设数据中心，成本高达数百亿美元。于是他们决定开发一款专门做矩阵计算的芯片。

[红军]: 后来TPU在AlphaGo对战李世石时大放异彩。

[Henry]: 那时候用的是早期版本。TPU经历了几次重大迭代：V1只做推理，V2开始做训练。随着大模型时代到来，软件团队的规模已经超过了硬件团队，XLA和软件生态成为了现在的核心话语权。

[红军]: 感谢Henry今天的深度分享，让我们看清了TPU这一“秘密武器”的真实面貌。

[Henry]: 谢谢红军，很开心能分享这些故事。