◆ The Learning Grove 林间拾穗

标签：neural-network

  • 神經網路實際上是乾淨的：可解釋性研究的新視角與爭論 Best Partners TV
    Nick Cammarata 團隊發表長文推翻早期多義性結論，指出過去神經元混亂主要源於觀察工具缺陷而非疊加態。新工具顯示現代視覺模型末層神經元多數清晰可解，並提出遞歸概括理論。對此 Neel Nanda 質疑其對大模型事實記憶與疊加態本質的普適性。
  • 启发式学习：跳出梯度下降的全新AI持续学习范式 Best Partners TV
    OpenAI工程师翁家翌提出“启发式学习（Heuristic Learning）”，跳出依赖神经网络权重更新的传统框架，利用编码Agent通过维护软件系统（代码规则、测试用例、记忆模块）来实现AI持续学习。该范式有效解决了“灾难性遗忘”难题，并在强化学习任务中实现样本效率超车，标志着AI学习范式从“参数优化”向“软件系统维护”的深度转变。
  • 构建解锁AGI的芯片：Naveen Rao谈模拟计算与AI的未来 a16z
    Naveen Rao，Unconventional AI的联合创始人兼CEO，深入探讨了其新公司如何通过模拟计算重新构想AI硬件。他解释了模拟系统在能效和处理动态、模糊数据方面的固有优势，并将其与大脑的工作方式进行类比。Rao强调，当前数字计算范式面临全球能源限制，而模拟计算可能是实现通用人工智能（AGI）的关键路径，同时解决AI计算的能耗挑战。他还分享了创业的动力、团队建设理念以及对AI作为人类进化的下一阶段的乐观展望。
  • 理性主义的局限：从苏格拉底到神经网络 Big Think
    演讲者探讨了理性主义从古希腊到科学启蒙的历史演变，将其基于规则、显性化的方法与现代人工智能（如神经网络和大型语言模型）的直觉、模式匹配特性进行对比。他认为，人工智能凸显了直觉思维的价值，挑战了传统科学方法，并将工作模式转变为“分配经济”，同时丰富了我们对人性的理解。
  • 一堂课搞懂机器学习与深度学习：从“老师何时下课”案例入门 Hung-yi Lee
    本讲座以一个有趣的问题“老师什么时候下课？”为引子，系统性地介绍了机器学习与深度学习的基本原理。内容涵盖了机器学习的“3+1”核心步骤：定义目标（损失函数）、划定函数范围（模型选择）、寻找最佳函数（优化），以及关键的验证环节。讲座深入浅出地解释了梯度下降、神经网络、过拟合等核心概念，并探讨了模型训练过程中的常见挑战与解决策略，为理解现代人工智能的运作机制提供了清晰的框架。
  • Stephen Wolfram拆解ChatGPT本质：幻觉智能与文字接龙的奥秘 北美王路飞
    基于Stephen Wolfram的著作，本文深入剖析ChatGPT的运作机制，揭示其“智能”实为强大文字接龙的幻觉。探讨AI成功要素、神经网络原理、词嵌入与注意力机制，并提出结合符号计算AI以克服其局限性。
  • 杰夫·迪恩：从分布式系统到谷歌大脑，洞察AI的过去与未来 Best Partners TV
    谷歌AI巨头杰夫·迪恩回顾其职业生涯，从早期编程兴趣到谷歌大脑的创立，深入探讨神经网络、TPU、注意力机制等关键技术，并对AI的未来发展及社会影响提出深刻见解。
  • 《代数大脑》：加里·马库斯揭示神经网络的局限与人类智能的代数本质 北美王路飞
    本文深入解读认知科学家加里·马库斯20年前的著作《代数大脑》，探讨其对当前主流神经网络（连接主义）局限性的预言与批判。马库斯认为，人类智能的核心在于处理抽象变量、结构化表示和区分个体与种类的代数能力，而非单纯的模式识别。通过恒等函数、婴儿语言学习及结构化表示等思想实验，文章揭示了神经网络在泛化能力和结构理解上的根本缺陷。最终，文章倡导结合符号主义的代数能力与连接主义的学习能力，以期实现真正的通用人工智能，并为个人学习与AI认知提供新视角。
  • Anthropic可解释性团队：揭秘大模型的思考方式与内部机制 Best Partners TV
    Anthropic可解释性团队通过深入研究揭示大模型内部运作。他们探讨了模型如何形成抽象概念、进行计算、处理多语言，并区分了模型的真实思考与输出。研究强调理解模型对建立信任、优化性能及解决幻觉至关重要。
  • AI发展秘史：从感知器到生成式AI，谁在推动变革与引发担忧？ 超級歪 SuperY
    本文深入探讨了人工智能从早期感知器到现代生成式AI的发展历程。揭示了Frank Rosenblatt、Marvin Minsky、Jeffrey Hinton、杨立坤、吴恩达等关键人物及其理论贡献，以及Google、微软、百度、脸书等科技巨头在AI人才和技术上的激烈竞争。文章还探讨了AI在语音识别、自动驾驶、围棋对弈等领域的突破，同时不回避AI带来的偏见、假新闻、伦理挑战及中美AI竞争等深层问题，反思AI将人类社会引向何方。
  • 模拟计算的复兴：AI时代数字计算的瓶颈与未来 Veritasium
    本文探讨了模拟计算机从辉煌到衰落，再到在人工智能时代可能复兴的历程。随着数字计算机面临冯·诺依曼瓶颈和摩尔定律的限制，以及神经网络对计算精度要求不高的特性，模拟计算的优势（如高速、低功耗）重新受到关注。文章详细介绍了感知机、ALVINN和AlexNet等人工神经网络的发展，以及Mythic AI等公司如何利用模拟技术解决AI计算挑战，展望了模拟与数字混合计算的未来。