--- author: Best Partners TV date: '2026-03-04' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=4cTSbUGKtRY speaker: Best Partners TV tags: - ai-chip - inference-optimization - specialized-computing - in-memory-computing - hardware-architecture title: Taalas HC1：AI推理革命，极致专用化芯片的颠覆与争议 summary: Taalas公司推出的HC1 AI推理芯片，通过将大模型物理固化在硅片上，实现了比英伟达最强GPU近50倍的推理速度和二十分之一的成本。该芯片采用“存算合一”架构，彻底摒弃了GPU的存算分离瓶颈。然而，其极端专用化也带来了不可编程、模型质量退化、芯片快速过时等争议。本文深入探讨了HC1的技术原理、团队背景、成本优势、潜在应用以及其在AI芯片行业通用与专用路线之争中的独特地位。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: [] companies_orgs: - Taalas - Nvidia - Meta - AMD - Cerebras - Groq - SambaNova - Etched products_models: - HC1 - Llama 3.1 8B - Blackwell architecture - B200 GPU - GB200 NVL72 - DeepSeek R1 671B media_books: [] status: evergreen --- 大家好，这里是最佳拍档。 在**AI芯片**（AI Chip）领域，**英伟达**的**GPU**（Graphics Processing Unit，图形处理器）一直是当之无愧的行业标杆。从H100到**Blackwell架构**，几乎成为了大模型训练和推理的标配。但就在2026年2月，一家名不见经传的初创公司**Taalas**，向整个行业扔出了一颗深水炸弹。他们放弃了通用计算的思路，放弃了昂贵的**HBM**（High Bandwidth Memory，高带宽内存）显存和液冷散热，直接将大模型物理固化在硅片上，做出一颗几乎不可编程的AI推理芯片，却实现了英伟达最强GPU近50倍的推理速度，成本仅为前者的二十分之一。这家公司就是Taalas，这款芯片就是HC1。 今天我们就来介绍这款极端专用化的AI芯片，看看它究竟是颠覆行业的创新，还是注定被淘汰的冒险。 首先，我们来看一组足以震惊整个AI行业的数据，这也是Taalas HC1最核心的竞争力。在运行**Meta**的**Llama 3.1 8B**大语言模型的单用户场景下，HC1的推理速度达到了每秒一万七千个token。这个数字意味着，对比当前行业的主流产品，它是英伟达Blackwell架构**B200 GPU**的近50倍，是目前市面上最快的竞品**Cerebras**的近9倍，远超**Groq**、**Sambanova**等专注于推理优化的芯片产品。 要知道，英伟达为了提升大模型的推理性能，推出的**GB200 NVL72**机柜级系统，需要72颗GPU通过NVLink互联，单机柜功耗接近120千瓦，还必须配备液冷散热系统，造价以百万美元计。而Taalas HC1的单颗功耗仅为250瓦，将10块HC1板卡装进一台服务器，总功耗也只有2.5千瓦，完全可以在标准的风冷机架中运行，无需任何特殊的散热设备。在成本方面，HC1的构建成本据称只有同等GPU方案的二十分之一，功耗直接降低了一个数量级。这样的性能和成本优势，在AI推理芯片领域几乎是降维式的存在。 那么，这样极致的性能和能效比究竟是如何实现的呢？答案就藏在Taalas最核心的技术思路里，总结起来就是三个词：全面专用化、存算合一、极度简化。这与当前主流GPU的设计思路形成了根本的区别。 我们先从GPU的设计瓶颈说起。当前包括英伟达在内的主流AI芯片都采用了**存算分离**（Compute-Memory Separation）的架构：模型的参数存储在HBM高带宽内存中，而计算核心则是独立的单元。每次运算时，计算核心都需要从HBM中搬运数据，这个看似简单的数据搬运过程消耗了大量的能量和时间，这也是行业内所说的**带宽墙**（Bandwidth Wall）或**内存墙**（Memory Wall）。为了缓解这个问题，整个行业都在先进封装、3D堆叠、高速互联等方向投入巨大的工程资源，但本质上只是在优化搬运过程，并没有从根本上解决存算分离的问题。 而Taalas HC1则直接摒弃了这种思路，选择从根源上消除带宽墙。核心技术就是将模型权重，通过**Mask ROM**（掩模只读存储器工艺）直接编码在芯片的金属互连层中，让模型权重与计算逻辑共存于同一块硅片上，彻底抛弃了外部的DRAM和HBM内存。简单来说，就是把Meta的Llama 3.1 8B大模型的几乎所有参数，都刻进了硅片里——**芯片即模型，模型即芯片**。 在这样的架构下，数据不再需要在存储单元和计算单元之间来回搬运，计算可以直接在数据存储的位置进行，这就是真正的**存内计算**（In-Memory Computing）。同时，HC1还能用单个晶体管同时存储4比特的模型参数并完成乘法运算，而且整个计算过程是全数字的，这与学术界讨论较多的模拟存内计算方案不同，但实现了相同的核心目标，那就是让数据就地参与运算，彻底消除数据搬运的损耗。 当然，为了保证芯片的基本可用性，HC1并非完全没有灵活性。芯片上保留了一小块**SRam**（Static Random-Access Memory，静态随机存取存储器），主要用于存放**KV Cache**（键值缓存）和**LoRA**（Low-Rank Adaptation，低秩适配）的微调权重。这一小块SRam的存在，让HC1能够适应少量的场景微调需求。但是，整体架构的**可编程性几乎为零**。这也意味着HC1只能运行Llama 3.1 8B这一个模型，想要更换模型，唯一的办法就是重新设计、流片制造一颗新的芯片，这也是这款芯片最具争议的地方。 从芯片的硬件参数来看，HC1基于**台积电**的N6工艺制造，芯片面积达到了815平方毫米，这个尺寸已经非常接近光罩极限。单颗芯片就能够容纳完整的80亿参数的Llama 3.1 8B模型，芯片的晶体管数量达到了530亿颗。这样的硬件设计，让HC1实现了极致的集成度，也让它能够在无需外部内存的情况下，独立完成模型的推理计算。 而在软件层面，HC1带来了一个意想不到的副产品：软件栈的极度简化。Taalas的CEO**留比沙·巴伊奇**（Lubischa Bajic）在采访中表示：“软件作为一个东西基本消失了。”整个Taalas公司只有一个工程师负责软件栈的开发，而且这位工程师还需要兼顾其他工作。对比当前GPU推理系统中复杂的软件优化层以及背后庞大的工程开发团队，HC1的软件栈简化程度堪称梦幻。当然，这种简化是建立在极端硬件专用化的基础上的，并不具备通用性，也无法复制到其他通用计算芯片上。 能够做出这样一款颠覆性的芯片，不得不提到Taalas的团队背景。这家成立于2023年中，也就是不到三年时间的初创公司，核心团队仅有24人，首款产品HC1的实际研发投入仅为3000万美元，而公司的累计融资已经超过了两亿美元。这样的研发效率在芯片行业也堪称奇迹。公司的创始人兼CEO留比沙·巴伊奇是AI芯片领域的资深从业者，他曾是**Tenstorrent**的联合创始人，还担任过该公司的CEO和CTO。而Tenstorrent则是AI芯片领域的知名初创企业，走的是基于RISC-V架构的可编程AI加速器路线，后来由芯片行业的传奇人物吉姆·凯勒接任CEO并继续发展。有趣的是，巴伊奇离开Tenstorrent后创立的Taalas，走了一条与Tenstorrent几乎完全相反的技术路线：Tenstorrent追求的是通用化、可编程性，而Taalas则把专用化推到了极致，彻底放弃了可编程性。 除了巴伊奇以外，Taalas的核心团队堪称**AMD**前高管梦之队。公司的联合创始人还包括AMD前集成电路设计总监**莱拉·巴伊奇**（Lyla Bajic），她也是留比沙·巴伊奇的妻子，以及AMD前设计总监**德拉戈·伊格纳托维奇**（Drago Ignatovic）。核心成员均在AMD、英伟达等顶级芯片公司担任过高管职位，拥有丰富的高性能GPU和**ASIC**（Application-Specific Integrated Circuit，专用集成电路）芯片的研发设计经验。这样的团队背景，让Taalas能够在极短的时间内完成从技术思路到芯片产品的落地，也让市场对这款极端专用化的芯片充满了期待。 在芯片的定制和生产方面，Taalas也借鉴了独特的技术思路，让这款极端专用化的芯片具备了一定的规模化和定制化可能。HC1的芯片定制流程借鉴了2000年代早期结构化ASIC芯片的思路：结构化ASIC通过固化门阵列和硬化IP模块，只修改互连层来适配不同的工作负载，在成本和性能上介于**FPGA**（Field-Programmable Gate Array，现场可编程门阵列）和全定制ASIC之间。而Taalas的做法则在这个基础上更进一步：每次为新的模型定制芯片时，只需要更换两层掩模。这两层掩模会同时决定模型权重的编码方式，以及数据在芯片内部的流动路径。巴伊奇表示，从拿到一个新的模型到生成**RTL**（Register-Transfer Level，寄存器传输级）描述，大约只需要一周的工程工作量，而整个从模型到芯片的完整定制周期，目标是控制在两个月以内。 这个两个月的周转速度，如果能够稳定实现，将会为HC1的商业化带来巨大的想象空间。这意味着，当一个大模型在生产环境中被验证有效、拥有足够的用户粘性，并且预计至少能够运行一年以上时，Taalas就可以在极短的时间内，为这个模型制造专属的专用硅片，以远低于GPU的成本和功耗，为客户提供推理服务。当然，这种模式也对客户提出了明确的要求：需要对某个特定的模型做出至少一年的使用承诺。巴伊奇也承认，肯定有很多人不愿意，但是也一定会有人愿意，毕竟对于一些特定的行业和场景来说，稳定的性能、极低的成本和功耗，远比模型的灵活性更重要。 很多人会问，这种极端专用化的思路能否扩展到更大规模的大模型上？毕竟当前的大模型已经从几十亿参数发展到了几千亿甚至上万亿参数，HC1仅能支持80亿参数的模型，是否会限制它的应用场景呢？针对这个问题，Taalas也给出了他们的解决方案和模拟数据。目标是针对**DeepSeek R1 671B**这个超大规模模型，Taalas的方案是通过多芯片协同工作，将SRam部分分离到独立的芯片上，以提高每颗芯片的存储密度，让每颗定制化的HC1芯片能够承载约200亿参数。整个671B的模型大约需要30颗芯片协同工作。虽然30颗芯片意味着需要30次增量流片，但是由于每次流片只需要修改两层掩模，增量流片的成本并不高。 从模拟结果来看，这套由30颗HC1芯片组成的系统，在运行DeepSeek R1 671B模型时，能够达到约每用户每秒一万两千token的推理速度，而当前GPU在该模型上的最优推理水平大约只有每用户每秒两百token，性能差距依然达到了60倍。在推理成本方面，这套30芯片系统的推理成本约为每百万token 7.6美分，不到GPU吞吐优化方案的一半。即使考虑到GPU的更新周期为四年，而HC1需要每年根据模型进行更换，其总成本依然具备显著的优势。不过需要注意的是，这些数据目前还停留在模拟阶段，实际的多芯片系统还面临着互联、同步、良率等诸多工程挑战。30颗大面积芯片协同工作的验证复杂度更是呈指数级增长。巴伊奇也坦言，因为芯片完全不可编程，出错的余地基本为零。唯一能建立信心的方法，就是在流片前对整个模型进行完整的仿真，而如何在合理的时间内完成30颗芯片的联合仿真，本身就是一个巨大的工程问题。目前Taalas声称已经建立了可以在大规模计算集群上运行的仿真流程来应对这一挑战。 当然，除了仅支持单一模型这个核心局限，HC1还存在着一个明显的技术问题，那就是模型的质量退化。为了实现极致的性能和集成度，HC1使用了自定义的3比特基础数据类型，进行激进的**量化**（Quantization）处理，同时结合3比特和6比特的参数。这种激进的量化方式，虽然能够大幅降低数据的存储需求、提高计算速度，但也会带来相对于标准量化模型的质量损失。 对于这一点，Taalas也并未回避，公开承认HC1在模型的质量基准测试中会出现一定的退化，比如在一些简单的数学计算、细节推理方面会出现精度不足的问题。为了解决模型质量退化的问题，Taalas也公布了他们的第二代产品规划，也就是**HC2**平台。HC2将放弃自定义的3比特数据类型，采用标准的4比特浮点格式，来改善模型的推理精度问题，同时还会进一步提高芯片的存储密度和运行速度。按照Taalas的规划，基于HC1平台的第二款产品预计是一个中等规模的推理模型，计划在2026年春季在实验室完成研发，随后接入实际的推理服务。而基于HC2平台的前沿大模型版本，则计划在2026年冬季完成部署，届时不仅能够解决推理精度的问题，还能支持更大规模的大模型推理。 从整个AI推理芯片市场的格局来看，Taalas HC1的出现，让AI推理芯片的专用化程度形成了一条清晰的光谱。在这条光谱的一端，是以英伟达GPU为代表的高度通用方案，能够适配几乎所有的AI模型，拥有成熟的**Cuda**软件生态、开发工具链和庞大的工程师社区，这也是英伟达能够长期占据AI芯片市场主导地位的核心原因。 在光谱的中间位置，是Groq、Cerebras、SambaNova等公司，它们设计了针对推理优化的定制架构，但依然保留了可编程性，能够运行多种不同的模型，在通用性和效率之间做出了平衡。而**Etched**则更往前走了一步，专门针对**Transformer架构**设计芯片，牺牲了部分灵活性来换取更高的效率。而Taalas则直接站在了这条光谱的最末端，成为了极端专用化的代表，将一个特定的模型直接焊死在硅片里，彻底放弃了通用性，换取了极致的性能、成本和功耗优势。 这种极端专用化的技术路线，也引发了行业内的巨大争议。市场对HC1的评价呈现出明显的两极分化。一方面，体验过HC1的用户都对其极致的推理速度感到震撼。Taalas也上线了体验网站chatjimmy.ai，让用户能够直观感受HC1的性能。有用户测试医疗相关的提示词，得到了每秒一万五千八百token的推理速度。还有用户表示，“你敲下回车的瞬间，答案就像预谋已久一样扑在屏幕上，那根本不是秒回，那是啪地一下砸你脸上。”甚至有用户在体验后发出感叹，“等待大模型思考的时代已经终结了。”这种亚毫秒级的即时响应速度，对于一些对延迟要求极高的场景来说，具有巨大的应用价值。有行业人士认为，HC1的超低延迟和较低的单芯片功耗，非常适合具有稳定专用模型的机器人应用，包括底层运动控制、传感器融合、视觉语言动作模型、场景理解和任务规划等，能够推动**具身智能**（Embodied Intelligence）等前沿领域的发展。 另一方面，反对的声音也同样明确。核心的质疑主要集中在两个方面：一是模型的推理精度问题，激进的3比特量化导致HC1在细节推理、数学计算等方面存在明显的不足，甚至出现严重的幻觉问题；二是模型迭代带来的芯片过时问题，当前AI领域的模型迭代速度极快，去年的前沿模型今年可能就会被新的模型淘汰，而HC1只能运行单一的模型，一旦模型过时，这颗满载尖端科技的硅片就会瞬间沦为电子垃圾。考虑到模型几乎每天都在改进，这会是一个巨大的缺陷。 还有一个有趣的观点是，HC1这种每秒一万七千token的极致推理速度，可能并不是为人类交互设计的，而是为了智能体之间的相互对话。当前AI智能体的发展趋势是多智能体协同工作，不同的智能体之间需要进行高速的信息交互和协作，而人类的阅读和理解速度根本无法跟上这样的输出速度。因此，这种极致的速度更适合智能体之间的实时通信，能够大幅提高多智能体系统的工作效率。 在商业模式方面，Taalas目前还处于摸索阶段。公司的产品副总裁**帕雷什·卡里亚**（Paresh Kariya），这位此前在英伟达长期任职的行业老兵，透露了Taalas可能的三个商业模式方向：一是自建基础设施，运行开源模型并提供API推理服务，让客户能够通过云端调用HC1的推理能力；二是直接向客户出售芯片，为有定制化需求的客户提供专属的模型芯片；三是与模型开发者合作，为他们的模型定制专用芯片，供其自有推理基础设施使用。至于哪种模式最终能够跑通，还取决于市场对这种极端专用化方案的接受程度，以及Taalas能否解决当前芯片存在的推理精度、多芯片协同等问题。 从更宏观的行业角度来看，Taalas HC1的出现，也引发了整个AI芯片行业对通用计算和专用计算路线的深度思考。过去三十年，无论是CPU还是GPU，甚至是后来的各种AI加速器，整个硅谷都在疯狂追求造一个通用的计算平台，希望通过一个通用的硬件平台支持各种不同的软件和应用。这种思路造就了英伟达GPU的成功，也形成了成熟的软件生态。但是这种通用计算的思路也带来了存算分离的先天瓶颈，为了支持多种不同的模型和应用，不得不牺牲一定的性能和效率。而Taalas则选择了一条完全相反的路，通过极端的专用化，换取极致的效率。 这种思路也让很多人联想到了人类的大脑。人类的大脑本质上也是一种硬件固化的结构，不同的区域负责不同的功能，无法像通用计算机一样随意切换计算任务，但却实现了极致的能效比和计算效率。哈佛和谷歌的研究团队耗费十年时间，才勉强绘制出1立方毫米、比米粒还小的人脑图谱，这1立方毫米的大脑组织包含了五万七千个细胞、1.5亿个突触、230毫米的血管网络，压缩成了1.4PB的原始数据。而完整的人类大脑比这一区域大一百万倍，其复杂程度和能效比足以让地球上所有的AI实验室集体汗颜。 这也让我们意识到，在AI芯片领域，通用和专用或许并不是非此即彼的选择，而是可以相互补充的两条路线。正如卡里亚所说，“模型最优硅片不会取代满是GPU的大型数据中心，但它会适合某些应用。”未来的AI芯片市场，大概率会形成这样的格局：云端的大型数据中心依然会以英伟达GPU这样的通用计算芯片为主，支持大规模的模型训练、多模型推理和复杂的AI应用；而在边缘端、物联网、机器人、实时交互等特定场景，则会出现越来越多像HC1这样的极端专用化芯片，以极致的性能、成本和功耗满足垂直场景的需求。 留比沙·巴伊奇在博客中用ENIAC到晶体管的演化做类比，暗示当前以GPU数据中心为核心的AI基础设施可能只是早期的笨重原型，未来终将被更高效的方案取代。这个类比虽然有一定的道理，但是我们也需要清醒地认识到，GPU数据中心的暴力并不仅仅体现在硬件层面，更重要的是它背后的整个软件生态、成熟的开发工具链和庞大的工程师社区。颠覆硬件容易，颠覆生态难。 Taalas的HC1芯片或许在特定场景下拥有压倒性的性能和成本优势，但是要成为主流路线的替代方案，需要的远不止一颗跑得快的芯片，还需要建立起相应的软件生态、定制化服务体系，以及解决模型迭代带来的芯片更新问题。对于Taalas来说，HC1的发布只是一个开始。如何解决推理精度问题，如何实现多芯片协同的工程落地，如何找到适合的商业化场景，如何在模型快速迭代的背景下保持芯片的生命力，都是需要面对的挑战。 而对于整个AI芯片行业来说，HC1的出现为行业打开了一扇新的大门，让我们看到了AI芯片专用化的巨大潜力，也让更多的企业开始思考，如何在通用和专用之间找到更优的平衡。 感谢收看本期视频，我们下期再见。