美研芒格君 · 2026-08-09 · 帖子

周四盘后 $AMD 官宣买了 Taalas，多伦多一家小公司，把模型直接焊死在芯片里，市场没什么水花。周末这两天，我一直在想这件事情，一批芯片回本的速度，能不能跑赢模型换代的速度？ 1/ 为什么我觉得这个技术路线有意思？ 我管的 inference 预算里，最贵的是推理跑量业务。模型不动，但每生成一个 token，都要把整份权重从 HBM 里搬一遍。我在帖子里说过很多次了，内存是一堵墙，在收整个行业的税。 速度上公司自测 17,000 token/s/user，对照表里的 H200 是 230 2/ 为什么我觉得目前的投资路线还不明确？ Taalas 创始人自己说：客户得把模型冻结一年左右，"很多客户不会愿意"，Google TPU 的首席架构师说过，他们设计芯片宁可牺牲最后 10-20% 的效率，也要保住可编程性，因为没人知道两年后的模型长什么样 3/ 为什么我觉得转折点可能快到了？ 让我反复思考的是，现在模型的智力水平其实已经达到了一个可用的程度，剩下的就是让它足够便宜。 这个和未来不断变化的权重，其实可以分为两条并行的线 我在等一个关键信号，抛去流言蜚语，谁第一个官宣冻结模型，到那个时候我再分享给大家