◆ The Learning Grove 林间拾穗

标签：scaling-law

  • Runway 创始人 Cristóbal Valenzuela：从视频生成到世界模型与 Continuum 操作系统 AI Engineer
    Runway 创始人 Cristóbal Valenzuela 回顾了公司从 2019 年低分辨率模型到如今前沿视频生成的演进，阐述下一帧预测如何学习真实世界物理规律并扩展为世界模型与交互式模拟系统。他重点展示了早期研究成果 Continuum——一种基于实时视频模型构建的操作界面，能将任意内容转化为可交互的“传送门”，并支持代码 Agent 的视觉思考与动态场景生成。
  • Maxinsights谈机器人第一视角数据商业模式与全球采集运营 硅谷101
    访谈介绍了机器人数据公司Maxinsights的业务与运营模式。该公司主要采集人类第一视角日常活动视频并转化为训练数据，声称ARR达2.5亿美元，并通过自研硬件与AI智能体平台管理全球近4000人采集团队。
  • 沃尔特·艾萨克森访谈Anthropic联合创始人阿莫迪兄妹：AI安全、原则与未来 Best Partners TV
    传记作家沃尔特·艾萨克森访谈Anthropic联合创始人达里奥和丹妮拉·阿莫迪，探讨了缩放定律的早期验证、Claude的宪法与道德训练、离开OpenAI背后的原则分歧、机制可解释性、抵制阿谀奉承及面对自主武器合作的立场。
  • Anthropic研究员解构Claude黑箱：大模型如何思考、计划与涌现直觉 Best Partners TV
    Anthropic可解释性研究员阿梅森在播客中深入拆解了Claude的内部机制。他指出大模型并非简单的概率统计，预测最难词汇的压力迫使其发展出世界模型、抽象概念共享表示、前向计划乃至直觉检查机制。研究黑箱的关键在于观察与干预。
  • 专访埃里克·施密特：非人类智能崛起、算力军备竞赛与组织大洗牌 Norges Bank Investment Management
    Google 前 CEO 埃里克·施密特深度剖析人工智能的革命性冲击。他指出 AI 并非普通技术周期，而是人类历史上首次创造出非人类智能；技术周期从数年压缩至数月，企业架构与商业流程将被 AI Agent 彻底重塑。施密特尖锐对比欧美监管与创新环境，警示中国开源模型与低价战略的全球扩张，并分享其对领导力演进及终身投入科学事业的思考。
  • Dyna Robotics：从“无聊”部署到世界动作模型，具身智能商业落地的工程实践 硅谷101
    本文通过Dyna Robotics的实践，探讨具身智能从演示到商业落地的关键。文章分析了世界动作模型（WAM）与百万小时第一视角数据带来的跨本体迁移规模定律，强调软硬件一体化协同设计及真实部署中的可观测性，指出ToB工业场景是验证技术闭环与积累分发优势的最佳路径。
  • AlphaFold 远未彻底解决蛋白质折叠：DeepMind 与 Biohub 纵论生物 AI 的数据扩展律与本质挑战 Latent Space
    Google DeepMind 副总裁 Pushmeet Kohli 与 CZ Biohub 数据科学副总裁 Sal Candido 围绕生物大模型的建模与数据展开深度对话。他们探讨了生物学领域的“苦涩教训”、数据扩展律的真实边界、从手工归纳偏置到通用架构的演进，并澄清了 AlphaFold 对蛋白质静态结构的预测与理解真实分子动态之间的本质区别。
  • 清华叉院徐梦迪深度剖析：具身智能的Scaling Law信号与上下文自适应突围 Best Partners TV
    对话清华交叉信息研究院助理教授徐梦迪，深度探讨具身智能的技术演进与泛化破局。从车辆工程与CMU仿生机器人起步，到斯坦福李飞飞与吴佳俊门下的具身基准探索，徐梦迪详述了Prompt Decision Transformer、超网络测试时训练与算法蒸馏的核心逻辑。针对业内路线分歧，她剖析了Scaling Law在机器人领域的时序失衡瓶颈、世界模型与VLA模型的取舍，并重点阐释了上下文学习如何赋能终端用户重塑机器人行为及构建数据闭环的关键。
  • 935亿具身智能泡沫真相：数采中心循环融资与路线豪赌 Best Partners TV
    2026年上半年中国具身智能赛道狂揽935亿融资，催生23家百亿独角兽，但光鲜背后却充斥着数采中心与地方国资的循环融资套路。文章深度拆解这场由共识交易、产业锦标赛与技术路线豪赌交织而成的资本盛宴，剖析宇树估值腰斩背后的产业出清必然性。
  • 从幂律缩放到语义标记：为什么大模型推荐系统将成为最大的消费级AI应用 AI Engineer
    Meta推荐算法负责人深入剖析了推荐系统的大模型演进路径。推荐系统正遵循与LLM相同的幂律缩放曲线，并在Instagram等业务上取得显著增长。文章系统拆解了推荐技术演进的四层S曲线与五层架构，并从推理成本与创作者经济的底层逻辑论证了为何LLM推荐系统在商业价值和用户规模上都将超越对话式AI。
  • 2036年超级智能技术瓶颈假设与AI发展天花板的探讨 Dwarkesh Patel
    文章探讨了在2036年，如果世界没有出现颠覆性的超级智能，最可能的技术原因。讨论了模型泛化能力、仿真到现实的差距、持续学习的难度以及当前范式（Transformer+RL）的创新不连续性，以及AI研究人员生产力提升的预测，最终将人工超智能的实现时间范围预估在3到10年之间。
  • 解耦深度与潜空间推理：OpenAI Astra与循环Transformer重塑大模型Scaling Law Best Partners TV
    深入剖析OpenAI最新旗舰模型GPT-6 Astra所采用的循环深度（Recurrent Depth）架构，结合清华与字节Seed团队的SMELT论文及盖平团队的潜空间推理研究，系统探讨大模型从堆叠参数、文字思维链走向内部潜在计算的第三条扩展路径，并分析其在算力效率与AI安全可观测性之间的博弈。
  • Cerebras：史上最大的芯片，不认识 Transformer yage.ai
    文章探讨了Cerebras芯片的定位，指出它并非传统意义上的ASIC，而是处于通用处理器和算法固化芯片之间的中间地带。核心观点是Cerebras的WSE在出厂时冻结的是通用处理器核心和通用指令集，而具体的算法和模型权重则由软件在推理时动态加载和处理。文章通过‘冻结层级’和‘尺度’两个维度，将Cerebras与GPU、Taalas等专用芯片进行对比，阐述了其在推理任务中通过将内存与计算阵列整合，解决传统GPU在数据搬运瓶颈问题，以及通过超大晶圆尺度来优化良率的独特优势。
  • MIT博士“叛逃“物理系：我要用物理学重写AI的底层逻辑 · 乔木博客 向阳乔木
    文章探讨了MIT物理系博士刘子鸣如何将物理学的方法论应用于理解和设计AI底层逻辑，提出了'Physics of AI for AI'的路线。核心思想是AI的成功不依赖于特定的架构，而依赖于对语言模态的深刻理解和结构化，强调模型设计应是一门科学，而非拍脑袋，并提出了'Training Autopilot'等终极产品愿景。
  • 对话Sam Altman：算力、AGI与不期而至的未来 Best Partners TV
    本访谈整理了OpenAI CEO萨姆·奥特曼做客“Invest Like the Best”播客的对话精髓。他围绕开源与模型蒸馏、安全防范与重新聚焦、算力设施与硬件探索，以及AGI逼近和就业影响展开论述，并分享了ChatGPT创立故事及个人心路历程。
  • Kimi K3 报告解读：当规模从一个旋钮变成一组受约束的生产要素 yage.ai
    Kimi K3 模型展示了如何通过精妙的工程权衡，将 Scaling Law 从单一参数膨胀转变为受显存、带宽和延迟等物理约束的一组生产要素。文章详细拆解了模型在序列架构（混合注意力机制）、网络深度（Block AttnRes）和专家并行（LatentMoE）上的具体工程优化，并提出了训练信号生成与推理扩展的解决方案，为前沿大模型的系统工程实践提供了范例。
  • 一个产品经理读完200篇AI论文后，看见了别人看不见的边界 · 乔木博客 向阳乔木
    文章探讨了产品经理如何通过系统性地阅读200篇AI论文，理解大模型发展的边界和技术演进的底层逻辑。作者分享了克服语言障碍的学习方法、从历史、范式变迁和人的三个视角来解读论文，并梳理了从GPU到Transformer、AlexNet、ResNet、MoE等关键技术的发展脉络，最终强调了通过理解原理而非盲目追逐热点的重要性。
  • 从扩展规律到智能蜂群：拆解月之暗面 Kimi K3 领跑开源大模型的底层逻辑 Best Partners TV
    本文深度回顾了英伟达 GTC 大会上杨植麟关于 Kimi 扩展方法论的演讲，系统剖析了月之暗面在提升 Token 效率、扩展超长上下文、构建智能体蜂群以及多模态早期融合和分块注意力残差架构等维度的前沿工程探索，揭示了 Kimi K3 取得突破的底层技术路径。
  • 生物代谢率与质量的缩放律：从克莱伯定律到WBE分形理论的争论 Veritasium
    文章探讨了生物代谢率如何随体型质量缩放。研究者从大象药物实验与心跳规律出发，介绍了基于表面积的三分之二比例、克莱伯定律的四分之三比例以及解释该现象的WBE分形网络理论。目前科学界就代谢缩放指数是否存在统一定律仍存分歧。
  • 69岁图灵奖得主向大模型宣战：Richard Sutton创办Oak Lab与强化学习的范式革命 Best Partners TV
    2026年7月，强化学习之父Richard Sutton宣布成立Oak Lab，致力于摆脱大语言模型依赖人类静态数据的传统路径。通过构建基于Options与Knowledge的全新OaK架构，实现20瓦低功耗下万亿参数智能体的实时在线学习与自我进化，开启了AI从管道工程向循环工程的范式转变。
  • E251 Kimi K3全解读：中国AI第一次摸到前沿了吗 | 透明茶室 • 分析线 FearNation 世界苦茶
    本期内容围绕月之暗面发布的Kimi k1.5（讲稿中称k0.3/k3）展开深度剖析。结合Artificial Analysis（AA）独立评测机构的数据，详细对比了Kimi与GPT-4o在Harvey Lab、Banking、LCR、Briefcase、HLE、CRUX物理推理及OmniScience等核心Benchmark上的表现。分析指出Kimi在封闭长文本、多步骤Agentic工具调用及商业分析交付上具备顶尖优势，但基座模型（Base Model）在长尾知识覆盖、新知识生产与单次任务推理准确性上仍存短板。同时探讨了其稀疏MoE架构、Delta Attention与MLA注意力机制的利弊及商业化前景。
  • Scaling Law 塌房了吗？三次修正的真实故事，和越来越小的模型 yage.ai
    文章探讨了Scaling Law（缩放定律）在大型语言模型训练中的演变和修正过程。它分析了从2020年OpenAI的初始假设到Chinchilla论文提出的参数与数据配比修正，以及后续行业对推理成本纳入考量的变化。核心观点是Scaling Law并非物理定律，而是一条依赖实验条件的经验拟合曲线，模型的优化目标随着训练和部署阶段的变化而不断调整。
  • 从AGI到ASI：超级智能的技术路径、根本限制与未来展望 Best Partners TV
    本期节目深度拆解了由DeepMind联合创始人Shane Legg牵头撰写的57页报告《从AGI到ASI》，系统阐述了AGI与ASI的定义、数字智能的优势、AIXI理论模型、阻碍超级智能发展的六大瓶颈以及走向ASI的四条核心路径。
  • 蛋白质领域的“痛苦教训”与AI驱动的生物学新范式 Latent Space
    本播客采访Biohub科学主管Alex Rives，深入探讨了蛋白质语言模型ESM-C的最新进展及其在蛋白质设计和可编程生物学中的应用。Alex Rives详细阐述了通过扩大数据规模（特别是引入宏基因组数据）和模型参数，实现生物学领域“扩展定律”的突破性发现。播客还讨论了Biohub在加速科学研究、构建虚拟细胞模型以及推动开放科学方面的宏大愿景，强调了数据生成、数字表征和反馈循环在未来生物学研究中的关键作用。
  • 黄仁勋：我们重新发明了计算机 · 乔木博客 向阳乔木
    黄仁勋强调英伟达的核心竞争力在于基于CUDA装机量构建的计算平台。文章探讨了AI扩展定律，解析了“光速思维”的管理哲学。黄仁勋认为智能正商品化，人性特质才是稀缺资源，建议通过学用AI提升个人价值。
  • AI的终局尚未到来：亚历山大·王谈Meta AI的战略布局与愿景 Best Partners TV
    在入职Meta近一年后，数据标注巨头Scale AI创始人亚历山大·王首次公开访谈，披露了Meta超级智能实验室（MSL）的内部架构、Muse Spark的技术逻辑、对AI终局的判断，以及扎克伯格押注AI背后的战略深意。
  • 揭秘具身智能数据荒漠：机器人如何跨越“从知道到会做”的鸿沟？ 硅谷101
    本访谈深入探讨了机器人领域面临的核心挑战——数据荒漠。通过实地探访数采工厂并对话行业专家，详细拆解了由遥操作、仿真、动捕及视频构成的机器人四层数据金字塔。分析了各技术路线在处理 Sim-to-Real、具身鸿沟及泛化性上的优劣势，并展望了开源生态与数据飞轮对具身智能 Scaling Law 的推动作用。
  • 浪潮下的冲浪者：前Anthropic研究员姚顺宇的AI激进洞察 Best Partners TV
    本访谈深度剖析了前Anthropic、现Google DeepMind研究科学家姚顺宇的核心观点。他批判了AI行业的过度‘造神’与‘英雄主义’，强调当前AI研发已进入集体协作时代，且并不需要过高的智商，更看重靠谱与负责。此外，他详细解读了黑盒、Scaling Law、强化学习范式及从物理学视角对AI发展的深刻认知，并分享了其职业选择与技术探索路径。
  • DeepSeek V4与GPT-5.5：中国AI短暂黄金时代的终结? FearNation 世界苦茶
    本文分析了DeepSeek V4发布及其与GPT-5.5等模型的对比表现，并提出了AI发展的“三阶段论”。第一阶段为规模效应驱动，第二阶段是推理模型和Agentic范式兴起，通过“蒸馏”技术为中国AI模型带来红利。然而，随着2026年预训练规模效应的重新确立，对算力与参数有更高要求的顶尖基础模型再次成为竞争焦点，预示着中国AI通过特定路径实现快速追赶的“黄金时代”可能告一段落。
  • 对话 Amazon AGI 专家：大模型训练的深水区，从算力基建、数据洗练到 AI 自进化的终局 课代表立正
    本访谈由 Amazon AGI 高级经理查晟深度拆解大模型预训练的核心技术栈。内容涵盖 Scaling Laws 的实操坑点、科研中“最大化信息增益”的方法论、算力集群在 backward 阶段的电力冲击挑战，以及行业内 Benchmark 泄露与刷分的现状。查晟进一步预测了 AI 将从“答题”转向自主“出题”的自进化阶段，并探讨了智能商品化后对人类职业路径与宏观经济的深远影响。
  • AI 泡沫还是未来？Michael Burry vs. Jack Clark 深度辩论：Scaling Law 遇上 ROIC 北美王路飞
    本文深入探讨了Michael Burry与Jack Clark关于AI未来的辩论。Burry从华尔街的资本回报率(ROIC)角度，质疑科技巨头AI投入的经济效益，认为其正走向重资产化，并预测估值危机。Clark则代表硅谷的“Scaling Law”信仰，强调AI指数级增长的潜力及递归自进化能力。双方最终聚焦于电力基础设施瓶颈，Burry提出核能方案，并探讨AI对蓝领工作的影响。最终，辩论以2026年为节点，预设了应用大爆发或估值崩盘的两种剧本，并回顾了互联网泡沫的历史经验，指出这是一场伴随泡沫的真实革命。
  • Ilya Sutskever的AI新预言：从规模化到探索，AI的撕裂感与安全超级智能之路 Best Partners TV
    OpenAI联合创始人Ilya Sutskever在沉寂两年后，深度访谈中剖析了当前AI发展的“撕裂感”——巨额投入与有限实际影响之间的矛盾。他反思了预训练与强化学习的本质差异，提出人类高效学习的关键在于情感和“价值函数”。Ilya认为AI正从单纯追求规模的时代转向探索研究时代，并阐述了其新公司SSI（安全超级智能公司）致力于“直线射击”式地实现安全超级智能的愿景，强调AI安全应与能力构建同步，而非事后补救。
  • AI发展新范式：从“数据工厂”到“内在裁判”的智能跃迁 北美王路飞
    本文深入探讨了AI发展模式的转变，从过去依赖海量数据和算力进行“预训练”的“卷王”模式，转向强调内在“价值函数”和“慢思考”的“研究时代”。文章引用OpenAI前首席科学家伊尔亚·苏茨克维的观点，指出当前AI在复杂问题上缺乏判断力，呼吁引入类似人类情绪的直觉机制以提高学习效率。同时，文章也讨论了超级智能带来的权力挑战、安全对齐的重要性，以及人类与AI融合的未来可能性。
  • OpenAI科学家、Transformer作者Łukasz Kaiser深度解析AI前沿：GPT-5.1、推理模型与未来 The MAD Podcast with Matt Turck
    OpenAI研究科学家、Transformer论文的合著者Łukasz Kaiser深入探讨了现代AI的前沿。他驳斥了“AI进展放缓”的论调，指出AI能力正经历平滑的指数级增长，其核心驱动力是“推理模型”这一新范式。Kaiser详细阐释了推理模型、思维链（Chain of Thought）和强化学习（RL）的工作原理，并分享了Transformer架构诞生的幕后故事。他还讨论了预训练的未来、多模态的挑战，以及为何当前最先进的模型仍会被一些简单的逻辑谜题难住。
  • OpenAI CEO承认“日子难熬”：谷歌AI帝国反击战与硅谷风向巨变 北美王路飞
    OpenAI首席执行官山姆·奥特曼的一份内部备忘录揭示了公司面临的严峻挑战，承认“接下来的日子会很难熬”。与此同时，曾被嘲笑的谷歌凭借Gemini 3模型实现了技术上的“跳跃式超越”，尤其在代码生成方面表现出色。文章深入分析了OpenAI遭遇的技术瓶颈（缩放定律失效）、资金压力以及品牌困境，并对比了谷歌在财务、战略和市场策略上的优势。最终，探讨了AI行业可能演变为“苹果与微软”式共存格局，以及先驱与赢家之间的残酷现实。
  • Ilya Sutskever 深度对话：超越规模定律，回归 AI 研究的本质 Dwarkesh Patel
    Ilya Sutskever 深入探讨了当前 AI 发展的核心困境：为何模型在评估指标上表现优异，却未能产生相应的经济影响。他认为，AI 发展正从“规模时代”转向“研究时代”，核心挑战在于解决模型的泛化能力远逊于人类的问题。Sutskever 强调了持续学习、价值函数的重要性，并重新定义了 AGI 的概念，认为真正的超级智能是能够高效学习的智能体，而非无所不知的成品。他还讨论了 AI 安全、对齐策略以及 SSI 公司的独特技术路径。
  • 谷歌Gemini 3深度解析：AI全模态时代的来临与Scaling Law的极限执行 硅谷101
    多位AI科学家深度探讨谷歌最新发布的Gemini 3模型。内容涵盖了从编程、小说续写到多模态推理的实际使用体验，分析了其在各项基准测试中的突破，并深入讨论了“全模态”概念、思维树架构以及谷歌在执行“规模法则”（Scaling Law）上的优势与挑战。此外，对话还延伸至AI领域的前沿方向，如可解释性AI、新模型架构的探索以及硬件在未来竞争中的决定性作用。
  • 科技泡沫是如何诞生的：从互联网到人工智能的周期性幻象 TechButMakeItReal
    本文深入探讨了科技泡沫的形成机制，从早期的互联网泡沫到当前的AI热潮。文章分析了技术泡沫背后的三大核心驱动因素：语言和营销的夸大、技术假设的局限性（如缩放定律的失效、数据稀缺和硬件瓶颈），以及人类固有的心理偏差（如线性外推、羊群效应和过度自信）。通过Meta的元宇宙、自动驾驶公司Cruise和Waymo，以及特斯拉FSD等案例，揭示了这些泡沫如何通过模糊的承诺和营销话术被放大，最终导致市场修正。
  • 智能已商品化：Poolside创始人揭示能源与算力如何决定AGI竞赛的终局 The MAD Podcast with Matt Turck
    Poolside 联合创始人 Eiso Kant 认为，在通往通用人工智能（AGI）的竞赛中，智能本身正迅速商品化。真正的护城河在于能源和算力这两大物理基础设施。他详细阐述了 Poolside 的宏大计划“Project Horizon”——一个千兆瓦级别的 AI 数据中心，并解释了为何前沿模型公司必须垂直整合能源、算力和智能。Kant 还首次公开了公司新的研究方向“学会学习的强化学习”（RL to L），旨在为 AI 找到超越传统预训练和强化学习的、更通用的自监督目标。
  • GPT-5“翻车”：AI缩放定律失效与硅谷狂热的终结 北美王路飞
    本文深入探讨了OpenAI最新模型GPT-5未能达到预期突破的原因，揭示了支撑AI发展的“缩放定律”已告失效。麻省理工计算机博士凯尔·纽波特作为“AI现实主义者”，批判了硅谷对通用人工智能（AGI）的盲目狂热，指出大语言模型（LLM）的本质局限在于其静态架构和模式匹配机制。文章呼吁回归理性，强调AI的未来在于多模块、专业化的神经符号系统，而非单一的“万能之神”，并提醒普通人无需为AI焦虑，应专注于提升自身核心技能。
  • 深聊GPT-5发布：过度营销的反噬与AI技术突破的困局
    探讨GPT-5发布的争议、技术方案与商业应用。分析其因过度营销和技术未达预期引发的失望，讨论Scaling Law瓶颈，并展望强化学习、多模态等未来AI突破方向。
  • 亲身体验特斯拉Robotaxi：技术、运营与Waymo的深度对决 一口新飯
    作为特斯拉长期投资者，作者亲赴奥斯汀体验Robotaxi首日运营。通过与前特斯拉工程师的对话，文章深入探讨了Robotaxi的技术实现、与Waymo在路线上的根本差异，以及运营模式的重要性。作者认为，特斯拉已找到实现规模化的正确路径，Robotaxi服务将开启其第二条增长曲线，使其朝着成为世界上市值最高的公司迈进。
  • LLM如何思考：长上下文、可解释性与AI智能爆炸 Dwarkesh Patel
    本期播客中，Sholto Douglas和Trenton Bricken深入探讨了大型语言模型的内部运作机制。他们讨论了长上下文窗口的重要性、模型可解释性中的“叠加”现象、AI智能爆炸的可能性以及AI研究的瓶颈。嘉宾们还分享了他们在AI领域快速成长的个人经历，强调了主动性和系统级理解的重要性。
  • 压缩即智能：AGI 的最小描述长度之路 Lei
    OpenAI 研究员 Jack Rae 在斯坦福 MLSys 研讨会上深入探讨了压缩与通用人工智能（AGI）之间的本质联系。他论证了生成式模型实际上是最先进的无损压缩器，并基于最小描述长度（MDL）原则提出：更好的压缩意味着更强的泛化能力与理解力。文章结合算术编码、模型缩放定律及 S4 架构，解析了为何追求极致的数据压缩可能是通往 AGI 的关键路径，同时指出了当前像素级建模的局限性。