半导体产业运作揭秘:AI与地缘政治的影响 Dwarkesh Patel 2024-10-02

今天,我与SemiAnalysisDylan PatelAsianometry YouTube频道的Jon Y进行了一次对话。Jon Y解释了他遮脸的原因是为了匿名,并开玩笑说自己害怕看到岁月和肥胖的痕迹。Dwarkesh Patel随后开玩笑地提到了Dylan和他父亲的名字,引出了关于名字的趣闻。

中国AI战略与芯片间谍战

Dwarkesh Patel提出了第一个问题:如果习近平深信AI规模化发展,他会怎么做?Jon Y开玩笑地回答说,他会联系所有在海外有家人的中国公民,索取信息、配方和供应商名单。Dylan Patel则提到了ASML被中国黑客攻击五年多的情况,以及台积电(TSMC: 台湾积体电路制造股份有限公司,全球最大的专业集成电路制造服务公司)员工被中芯国际(SMIC: 中芯国际集成电路制造有限公司,中国大陆最大的晶圆代工企业)挖走的情况。他认为,中国已经掌握了这些文件,只是制造起来非常困难。

Dylan Patel指出,中国在AI规模化方面仍未完全觉醒。如果中国能够集中资源,将对AI发展产生巨大影响。他认为,中国政府可以通过挖角台湾人才来加速半导体产业发展,因为台积电员工的薪资并非“荒谬”地高,容易被更好的待遇吸引。许多中芯国际的高级员工都是来自台积电的台湾人才。

台湾半导体人才流失故事

Jon Y分享了两个关于台湾半导体人才流失的故事。第一个是关于张汝京(Richard Chang),他曾创办世大半导体(Worldwide Semiconductor),后将其出售给台积电张汝京虔诚的宗教信仰促使他前往上海创办中芯国际,并吸引了大批台湾工程师追随。第二个故事是关于梁孟松(Liang Mong Song),一位拥有近300项专利的天才工程师。他在台积电因权力斗争被降职后,转投三星(Samsung),并带走了大量台积电人才。

梁孟松三星期间,推动公司走向领先技术,并从台积电手中夺回了苹果(Apple)的大部分业务。为了应对这一挑战,台积电创始人张忠谋(Morris Chang)组建了“夜莺部队”,让研发人员夜以继日地工作,最终在FinFET(Fin Field-Effect Transistor: 鳍式场效应晶体管,一种3D晶体管结构,用于提高芯片性能和能效)技术上超越三星。同时,台积电起诉梁孟松窃取商业机密。梁孟松随后离开三星,加入中芯国际,使其技术水平迅速提升。Dylan Patel梁孟松为“天才”,即便78岁高龄,其才华依然卓越,且不关心人际关系,只追求技术极限。

芯片制造的复杂性与专业化

芯片制造是一个多变量问题,涉及数千个步骤和无数的实验。每个台积电的配方都是多年研究的结晶,高度机密。工程师们需要不断调整各种参数,如沉积工具的压力,以优化良率(yield: 芯片制造过程中合格产品的比例)、性能和功耗。这需要深厚的化学、物理和电气工程知识,以及大量的直觉。许多工程师只专注于某个特定环节,例如蚀刻(etch),对最终芯片的了解有限。

Dylan Patel指出,美国在半导体制造方面失去了这种“师徒传承”的能力。过去,资深工程师会将秘密知识传授给学徒,但后来学徒们纷纷前往台湾。如今,台湾的大学如国立清华大学(NTHU: National Tsing Hua University)仍在通过师徒制传承这些“神圣的知识”。这种高度专业化和知识传承的模式,使得半导体行业与AI领域形成鲜明对比。

中国AI算力集中化与挑战

Dylan Patel认为,如果习近平深信AI规模化发展,就必须集中算力资源。尽管受到制裁,中国每年仍能获得超过一百万颗英伟达(NVIDIA)的H20(NVIDIA Hopper H20: 英伟达H20 GPU,专为中国市场定制的AI加速芯片)及其他Hopper(NVIDIA Hopper: 英伟达HPC和AI加速器架构)架构的GPU。此外,中国还有自研芯片,但数量少于一百万颗。目前,美国OpenAIxAI等公司正在训练规模达10万颗GPU的数据中心,而中国尚未有单个公司达到这种规模。

中国在建设大型数据中心方面没有美国面临的电网和变电站等问题,因为其供应链每年新增的电力相当于半个欧洲的发电量。例如,三峡大坝周边曾有高达10吉瓦的比特币挖矿算力。中国可以在六个月内建成吉瓦级数据中心,并集中芯片资源。然而,过度集中可能导致研究速度放缓,因为像DeepSeek这样不受政府影响的创新公司可能会受到压制,官僚主义也可能带来单点故障。这是一个平衡创新与效率的挑战。

出口管制与中国芯片产业发展

Dylan Patel认为,美国的出口管制在某种程度上是失败的。尽管美国实施了制裁,中国在最近几个季度仍占ASML(ASML Holding N.V.: 阿斯麦,全球最大的光刻机制造商)收入的48%和应用材料(Applied Materials)收入的45%。他指出,出口管制的目标是阻止中国建立比美国更先进的国内芯片制造业,并防止中国拥有比美国更强大的AI。然而,目前的限制导致中国能够生产出比美国限制其购买的芯片更先进的芯片。

Jon Y将芯片制造比作3D国际象棋或巨型拼图。美国政府的出口限制是“每年更新,每次拿走一小块拼图”,而不是“一棒子打烂桌子”。这种策略反而促使中国发展自己的国内产业,因为当一块拼图被拿走时,中国会努力补上这一块。他认为,光刻技术并非唯一的关键环节,其他技术可以弥补其不足。中国政府坚信半导体制造的重要性,制裁反而增强了这种信念。

AI算力与未来模型规模

Dylan Patel预测,如果中国决定集中算力,到2025-2026年,仅凭外国芯片供应,中国就能训练出与任何一家美国实验室规模相当的模型,甚至在2026年发布1e27规模的模型,并在2028-2029年达到1e30规模。他指出,中国拥有60万颗昇腾910B(Ascend 910B: 华为自主研发的AI训练芯片),每颗约400万亿次浮点运算(teraflops)。如果将它们集中起来,明年就能训练出比任何实验室都大的模型。

他强调,数据中心规模在中国不是问题,10吉瓦的数据中心在美国目前无人尝试建造,而中国可以在六个月内建成。尽管美国公司也在建设大型数据中心,但它们是分散的。中国通过将中芯国际的7纳米和5纳米产能转移到北京等非上海地区,规避了美国制裁,并谎称这些设备用于28纳米工艺。

华为的崛起与中国科技文化

华为(Huawei)曾是台积电最大的客户之一,其产品涵盖电信设备、手机、调制解调器、加速器和视频监控芯片等。Dylan Patel认为,华为的强大竞争力甚至在西方制裁下依然显著,它在技术上超越了诺基亚(Nokia)和索尼爱立信(Sony Ericsson)。即使在工艺节点落后三四年、无法使用台积电技术的情况下,华为的新手机性能仍能与一年前的高通(Qualcomm)手机媲美,这表明其工程能力“非常疯狂”。

Dylan Patel认为,华为的这种文化可能源于中国人民解放军(PLA: People's Liberation Army)的军事背景,以及中国共产党强调“奋斗”的文化。这种“996工作制”(996工作制: 一种中国科技公司普遍存在的加班文化,指早上9点到晚上9点,每周工作6天)和“只有偏执狂才能生存”(Only the paranoid survive: 英特尔前CEO安迪·格鲁夫提出的管理理念)的心态,使得华为在逆境中依然能够取得成功。

半导体产业的垂直整合与摩尔定律

半导体产业高度分层,每个环节都有少数几家主要竞争者。过去,产业曾是垂直整合的,但后来许多工程师选择独立创业,为原公司提供更优质的产品和设备,从而催生了半导体设备产业。这种分工使得整个行业更加专业化和高效。然而,随着技术节点越来越先进,如2纳米(N2)和3纳米(N3),研发成本呈指数级增长,导致晶圆代工厂的数量越来越少。

Dylan Patel认为,如果没有AI的爆发式需求,推动对最先进芯片的需求,2纳米等下一代工艺节点在经济上可能无法持续。摩尔定律(Moore's Law: 集成电路上可容纳的晶体管数量大约每两年翻一番)在过去几十年一直有效,但近年来其速度有所放缓,例如从5纳米到3纳米用了三年。苹果在3纳米技术推出后,只将一半的iPhone产能转移到该节点,并继续使用5纳米技术。

AI对芯片设计与架构的影响

尽管工艺节点进步对功耗的直接改善(如每晶体管功耗降低20%)正在减缓,但数据局部性(data locality)的改善使得AI模型在更先进的节点上能获得更大的能效提升。AI对新的工艺节点有巨大需求,因为它能带来更低的功耗、更高的密度和性能。Dylan Patel强调,半导体制造和设计是人类面临的最复杂的搜索空间,芯片上数百亿个晶体管的排列组合几乎是无限的。

AI在芯片架构创新方面具有巨大潜力。目前,英伟达H100(H100: 英伟达H100 GPU,基于Hopper架构的AI加速芯片)的绝大部分功耗用于数据传输而非实际计算。通过优化算术逻辑单元(ALU: Arithmetic Logic Unit)设计和减少数据移动,架构创新可以带来100倍的效率提升。电子设计自动化(EDA: Electronic Design Automation)工具的进步也极大地提高了芯片设计师的生产力。

AI模型架构的硬件依赖性

硬件对AI模型架构的优化有巨大影响。例如,谷歌(Google)在TPU(Tensor Processing Unit: 谷歌开发的专用AI加速器)上运行的最佳模型架构,与OpenAI英伟达GPU上运行的最佳模型架构是截然不同的。这种差异甚至延伸到网络决策和数据中心设计。中国由于其特定的芯片限制,未来的AI模型架构和特性可能与美国模型大相径庭。

中国在计算和内存方面投入巨大,例如在内存单元与计算单元直接耦合的技术上。在国际机器学习大会(ICML: International Conference on Machine Learning)上,CartesiaAlbert Gu(状态空间模型(state space models: 一种数学模型,用于描述动态系统的内部状态)的发明者)在中国研究人员中备受推崇,因为状态空间模型在视频、图像和音频处理方面具有巨大优势,而这些是中国因监控摄像头等原因而更先进的领域。

AI实验室的算力挑战与投资

Ilya Sutskever新成立的Safe Superintelligence Inc.(SSI: 伊利亚·苏茨克维尔创立的新AI公司)如果获得10亿美元投资,其首要任务是获取大规模算力。目前,大型GPU集群供不应求,即使是xAI也斥资40-50亿美元在孟菲斯建立10万颗GPU的集群。Dylan Patel指出,H100(H100: 英伟达H100 GPU,基于Hopper架构的AI加速芯片)的租赁价格已大幅下降,但对于大型集群而言,自建而非租赁更为划算。

微软(Microsoft)正在承担巨大的信用风险,与CoreWeaveOracleCrusoe等公司签订了数十亿美元的协议,以建设数据中心和获取GPU。OpenAI也计划在2024年底发布GPT-5(GPT-5: OpenAI下一代大型语言模型),并预计将筹集500-1000亿美元的资金。Dylan Patel认为,萨蒂亚·纳德拉(Satya Nadella)、桑达尔·皮查伊(Sundar Pichai)、马克·扎克伯格(Mark Zuckerberg)和山姆·奥特曼(Sam Altman)等科技巨头都相信AI的未来,这是一种“帕斯卡赌注”(Pascal's Wager: 一种关于信仰上帝的哲学论证,认为相信上帝的收益无限大,不信则可能面临无限损失),即不投资AI的风险远大于过度投资的风险。

行业发展与个人创业机遇

Dylan Patel预测,到2028-2029年,全球AI算力可能达到1e30次浮点运算(flops),这将是GPT-4(GPT-4: OpenAI开发的大型语言模型)的10万倍。届时,台积电2纳米、A16、A14等先进工艺节点产能的60-80%将用于AI芯片。他认为,芯片本身在短期内不会成为瓶颈,数据中心、变压器、电源、电池和冷却系统等基础设施才是更大的挑战。

尽管这些行业在过去几十年可能增长缓慢,但AI的爆发将使其重新焕发活力。Dylan Patel相信,当有需求时,人们会创新。他鼓励创业者在半导体供应链的任何一个环节寻找机会,只要有热情并善用AI工具,就能取得成功。无论是铜线、B2B SaaS还是其他领域,只要努力创新,都能创造价值。

嘉宾的创业故事

Jon Y分享了他创办Asianometry YouTube频道的经历。他最初在台湾从事相机工作,后来为了让母亲了解他在台湾的生活,开始制作旅游视频。随着内容逐渐转向中国和台湾历史,频道名称也从“Chinanometry”扩展到“Asianometry”,涵盖亚洲商业史、地缘政治等。他坚持每周制作两期视频,即使在同时经营一家纺织公司和一份全职工作的情况下。

Dylan Patel讲述了他从Reddit“喷子”到半导体研究咨询公司创始人的故事。他从小对硬件充满热情,通过修理Xbox 360(Xbox 360: 微软在2005年发布的家用游戏主机)学会了在论坛上获取知识。大学期间,他学习数据科学,并从事飓风、地震和野火模拟工作。2020年,他辞职开始认真在网上发布内容,并逐渐积累了咨询客户。他的公司SemiAnalysis现在为几乎所有超大规模公司和主要半导体公司提供数据和咨询服务,团队成员来自ASML微软等顶尖企业。