标签:representation-learning
-
H-JEPA分层世界模型:Yann LeCun团队架构、实验与技术路线解析
Best Partners TV
影片介绍Yann LeCun创立的AMI公司发布的H-JEPA分层世界模型论文及开源成果。实验显示三层结构在蚂蚁迷宫任务中成功率达73.3%,大幅优于单层模型的18%,并降低了计算量。文章分析了独立表征空间、逆动力学解决特征坍塌等机制,并对比了世界模型与LLM及其他3D/像素级生成路线的差异与未决挑战。 -
通用權重空間假設:1100多個AI模型趨向同一低維子空間的真相與反思
Best Partners TV
研究團隊探討「通用權重空間假設」,分析1200多個神經網絡發現其權重受限於共享低維子空間。但「所有AI均相同」忽略了架構依賴、截斷點及LoRA同源等前提。該收斂性源於損失曲面二階曲率約束,既帶來壓縮融合前景,亦暴露出結構性單一栽培風險。 -
大语言模型内部推理与可解释性研究探讨
硅谷101
访谈探讨了大语言模型的可解释性研究与内部推理机制。受访者结合 J-Space 等研究,讨论了模型内部潜在表征、角色训练以及透明度对监管的潜在价值,同时指出当前基于此类研究制定政策仍处于早期阶段。 -
LeCun:LLM 不是通往智能的路,他在押注另一件事 · 乔木博客
向阳乔木
LeCun 认为 LLM 受限于语言符号操作,缺乏物理世界的因果推理与规划能力。他提出基于联合嵌入预测架构(JEPA)的世界模型,旨在让 AI 在抽象表示空间预测行动后果,而非生成像素,这是实现人类级智能的关键。 -
AMI Labs:逃离硅谷,世界模型与AI的未来博弈
Best Partners TV
AMI Labs在杨立昆和谢赛宁带领下,以10.3亿美元种子轮融资挑战硅谷大语言模型主导的AI范式。谢赛宁在访谈中阐述了世界模型的核心理念,批判大语言模型局限性,强调视觉感知和多模态对真实智能的重要性。公司致力于构建预测大脑,通过分布式联盟模式,探索物理世界交互的AI新路径,并对AGI概念提出质疑,倡导回归对基础智能的理解与构建。