深度流形漫谈与数学的交汇

Hello，大家好，今天回来了，我们来录我和马岩老师的深度流行漫谈的第三集。今天我们请到了重量级的嘉宾，是石根华石老师。那么我们来欢迎和介绍一下石老师。石根华教授是我们国际著名的数学力学家，由他开创了不动点理论和数值流形法（NMM），他也曾经受到过陈省身教授的高度评价，陈省身教授也是他的论文的其中的一个评审者之一。石老师已经八十多岁高龄了，身体状况也非常健康。今天我们有幸邀请到他来跟我们一起来漫谈一下，主要是聊数学和人工神经网络之间的交叉，以及人工神经网络其实在无意间是如何推动了数学的发展。那么今天的内容非常硬核，我们也尽量轻松，有很多比较难的话题，我们请石老师和马老师一起来给我们讲解解释一下。欢迎石老师，我把话筒交给马老师。

石老师是在加州的山里面，一千五百米，相当于五千尺的地方。我呢在西雅图。我自己介绍一下，我是八六年同济毕业的，土木系，这就是为什么我跟石老师有交集。石老师不单是数学家又是工程师。留校做了两年，然后去了美国，八八年来美国的。八九年我就认识石老师了，后来跟石老师跟了十年，做了一些东西，后来就离开了，因为internet我就做IT去了。后来大数据阴差阳错，二零一六年到了微软研究院，开始做deep learning。两年以前很偶然的一个机会，因为我想写个blog，有个数学问题打电话给石老师，石老师当时说这个人工神经网络很美妙很丰富。石老师记得吧？那是五月十号我记得很清楚，这就是how things started it we didn't plan anything，我专门写过一篇文章就是deep manifold is not planned，不是计划当中的。下面下一组吧，谢谢小张。

这都是觉得跟石老师学来的，我最近在摆弄这个东西，这到最后还是石老师来讲，就说数学家的梦。从整体数学上看的话，一般都是从局部开始的。从小问题开始，然后看怎么推到整体。以前所有的数学一直到七十年代、八十年代，才开始研究真正非线性，以前都是线性的、连续的线性。正问题和反问题，是在一个框架下面，数学家想把这些东西全部统一在某个数学框架下面。数学有很长的历史，有很多伟大的科学家、伟大的数学家，这就有请石老师来讲了，有很多历史故事。

数学有三个很重要的阶段。比如说我们现在用计算机，你只能算实数跟整数，当然有全字长、半字长，还有双字长这些都有，但是实际上难道只有两种数可以算吗？不是这样。原来八十年代CDC 7600就可以算复数，还可以算复四元数，意思就是不只是整数跟实数。英国在十八世纪还出现了抗议复数的运动，所以这是历史上写的。法国的伽罗瓦就把我们的数推成了无数种，如果你懂得近代代数，比如说群可以有加减，环可以有乘，域可以有除法，还有等等，意思就是能够运算的数很多。你如果在编程的时候，在解决问题的时候了解近代数学，那么你可以程序写得少犯错误，非常干脆而且解决直接，这是很显然的。所以数学并不是看起来一些枯燥的公式，这是伽罗瓦二十五岁决斗就死了，死了以后只留了四页纸，但是这四页纸就把运算从两种数推到无数种数。

用这种方式，后来庞加莱（庞开莱）就把它变成了研究形状。怎么研究呢？它变成一堆覆盖，这覆盖之间的关系，这个关系就很像AI了。所以当时陈省身说了一句话，说你读了庞开莱的东西只能做一件事，我说做什么事？他说跪下来磕头，你就知道有多厉害。后来陈省身就把这个复杂的形状上定义了函数。他跟丘成桐在一起，把这个函数又定义成了微分方程。丘成桐甚至于讨论了这个微分方程的可解性。这个就是数学一个主流，朝一个计算的方向走下去。实际上AI也是计算，它强调了很多事情之间的关系，那么跟记忆就是一样的了。所以这是今天maxima的题目，他是正反方面的计算都是专家，这种专家很少见。这两个人都是法国人，伽罗瓦当然是，法国人很厉害。

数值流形与覆盖理论

这是石老师九十年代初就开始做数值流形。这个名字取得不像别的数学名字取得比较fancy一点，把数值放在里面就是很妙。中心思想就是通过陈先生的分片光滑，怎么把不同的形状的函数给连起来，这就使得局部走向整体有一套数学的方式。然后就是连续跟不连续，这是石老师最大的贡献，在这以前几乎没人敢碰。这里面一个很大的发明，其实AI用到的就是数学的覆盖和物理的分开，AI一定要用到这个东西。

基础理论从数学上讲就是不等式的，这个世界实际上是在不等式状态下的，等式只是一种特殊情况，很少人真正去研究。这会讲到石老师做了三十几年这个事情。在AI里面绝对用得到，因为基础理论其实就是距离理论嘛，AI的相似性、搜取、对比都是类似在数学框架下。AI中的相似性，做过大模型的粉丝们大家都知道，token embedding都是每一个token形成一个向量，然后两个向量是不是相似，在数学中我们用了cosine similarity余弦相似度，这个其实本质上也是在算高维下的两个向量之间的距离，所以这个是否也可以定义为属于距离理论的范畴？我个人感觉我不一定对，绝对有文章可以做，因为现在太简单了，已经有好几篇文章，包括Spotify他们要做similarity，他们已经说了cosine太单一了，有距离有宽度。

另外就是正向问题和反向问题。要理解AI的正向问题、反问题，发现特别对反问题的理解要透。正好我们在土木里面有个反问题，因为你一个斜坡就像隧道塌下来一点。这两个真正的工程，左边是正问题，右面是反问题。正问题是一个最大地下厂房、黄河上最大地下厂房的开挖出现的问题。反问题是在核废料存储的计算上。世界岩石力学很大一部分全部是核废料存储，实验结果测完了以后大家的结论是神秘变形，这是世界会议的最后结论，但是最后发现这神秘变形是一个反问题，并不神秘。

有一点我必须要补充一下，很多时候对石老师的东西宣传得不是很广。除了战略性项目以外，石老师还是做国家安全性项目，包括伊朗导弹怎么打进去隧道的那些事情。我们都不讲了，不是说过了十年不能讲，讲了没必要弄得人心惶惶的。这可能是为什么推广起来没有那么快。这其实是石老师真正的数学应用在工程当中的事情，只介绍了背景，左面代表正问题，右边代表反问题，具体的不讲了，它是个抛砖引玉。后面我们让马老师讲在神经网络里面它是怎么应用的。

三十七年的话题，我跟石老师认识三十七年了。前十年的时候我们经常通电话，后来我转IT也一直跟石老师保持联系，一年要通几次电话。我们反复讲的东西从来没跳过，就是分片光滑覆盖开辟的一代，三十七年我们只谈这个问题。然后到AI，当时做deep learning的话，你的loss curve损失曲线不会跳到最后。但是GPT出来以后我就看到跳得很厉害。从我个人的感觉这里面绝对是有问题的，在第一篇文章里面我讲到的它的standard deviation标准差应该会超过五。它后面跳得太厉害了，一般好的状态不应该跳过五，就说明系统里面有问题。是要把数量问题提高，这是最基本的问题。

大家看覆盖的概念是怎么过来的。覆盖是数学的最基本的东西，甚至于一加一等于二都是拿覆盖证明的。覆盖最开始的时候，比如说大家学的级数是一种逼近，但是泰勒级数只是在一个圆上收敛，三角级数是周期函数，只在一个长方形上收敛。世界上不只是圆跟长方形太多了，而且边界都是自由的，终点有很多物质很多现象，那怎么办？如果数学之前说的你只能计算这么一点的话，那是不行的，所以数学就存在一个从局部到整体的问题。流形方法就是数学家提出了用覆盖，每一片覆盖好像是一个欧几里得空间的加起来就可以是任意复杂，逼近也可以在任意几何上做到任意，这个就是向庞开莱磕头的地方。然后在上面再定义函数，再定义微分方程，到最后要解微分方程，这个就是数值流形法。为什么叫流形法？我们都是学来的，没有人家数学家这么大的工作，我们什么都不是，所以继承是非常之重要的。

小张是AI的专家，我是做向前计算，max是向前计算向后计算都可以，所以这件事大家聊一聊就很有意思。AI其实也是一样，AI不是最近两年三年的事情，只不过GPT火了，AI也好几十年了，不断的新技术其实都累加在过去前人的探索当中，数学也是一样。但是AI是最疯狂的，大家都不知道在数学的情况下这么拼抢，历史上没有过的事情。

单纯积分与边界推导

这就是单纯积分，我本来不想讲，因为这也是石老师很重要的对数学的贡献。一般我们做计算都是用高次方程做，高次方程在很多不规则情况下它的误差挺大的。石老师做的人工神经网络现在还用不到，但是我觉得以后可能会用得到，因为现在只是某一种形式。微分方程就是physics law informed neural network，physics law的最高等级最详细的表现就是微分方程，微分方程就是physics law，这两个是等价的。比如拉普拉斯方程就是一个能量守恒、质量守恒，一切都守恒就是个拉普拉斯方程。物理定律就这么几个，而且很多物理定律的方程就是一个，所以如果你学了微分方程是很重要的。那么怎么解微分方程呢？解微分方程最大的办法就是积分，这是最基本的办法。积分的技术就是单纯积分，适应在任何条件下能够给一个积分。比如一个很复杂的形状，你知道是边界点，我马上把这个积分给你写出来。这是我学生时候的一个梦想，最后这个单纯积分是n维空间无限阶的高，我花了两夜的时间没睡觉给干出来的，没有纸了，都是用桌面打的纸哗哗推东西推上几页不会犯错误。后来推了一天半一个x y的积分，有一项不对称，我就知道推错了，知道自己老了。最后两页不用笔了，我全给干出来了，无限阶的n维的。那时候是在美国陆军工兵团在密西西比做的。

单纯积分就我们大学学过简单的积分，它是连续的，比如说高斯分布这样的钟型结构是连续的，比较好去求斜率求积分。但是现实世界当中的很多东西是不连续的，这个时候我们就很难去应用这种原始积分方式。单纯积分基于覆盖的概念，可以分无限小的分片，因为单纯形积分比较简单，所以我们就可以通过无限的覆盖，也就是石老师两页纸证明的东西，通过最简单的单纯形积分能覆盖到任意复杂的形状。用单纯形积分不用分成单纯形了，你只要边界上的这几个点就做出来了。因为单纯形它是可以正负相加的，一下正负抵消，你边界上点一哗啦就实际上是任意形状的积分。过去的积分就是体积分、面积分，行列式都带绝对值。绝对值在数学上来讲是非常不优美的。单纯积分就没有绝对值，就真正拿出来相加，大家就差了这么一点。数学发展这么多，并没有发展到极限。

积分在AI里面很重要，AI的inference推理就是积分过程。你back propagation是在取导。你想想在世界上哪个系统你取导不积分的？就这么简单。小张你从来没看到单纯积分，你能把它和AI连起来，挺不错的。我们很多碰撞。

这是石老师的两类覆盖。在研究固体力学岩体的时候，它有裂缝，你把它分开以后，数学就自由了，不像有限元物理覆盖和数学覆盖是在一起的。在AI里面，AI的物理覆盖就是它的激活值，数学覆盖就在权重上面。AI设计真的很妙，它定义的函数很简单，但是边界条件到处都是，这就是为什么AI这么厉害。

给大家添一个背景理解，左边是一个岩石，石头会有裂缝、节理。我们要在石头挖个洞或者隧道，看会不会塌方或者变形。上面带颜色那些片是一些数学覆盖，比如方程、函数或者流形，覆盖在岩石之上。岩石是不动的，它和数学覆盖交叉的部分是我们的计算部分，已经被几十年证明应用在人类生活当中。同样的原理，神经网络当中也包括数学覆盖和物理覆盖。物理覆盖就是激活值，数学覆盖和物理覆盖的交叉部分就是我们在Transformer当中计算发生的部分。

这是史老师大四时江先生开始让他想不动点群的事情。那时候二十一二岁在北大。江泽涵老师是哈佛的博士，回来后在北大做了二十几年的数学系系主任。从解放到文化大革命，他只招了史老师一个研究生。当时考的时候正式参加考试的是一百多人，题太难了。考完后江博驹对别人说施永华考得不错，其实可能只有史老师一个人及格了。江博驹是江泽涵老师的学生，是蒋介石时代数学研究院院长江礼富的独生子，江博驹的数学训练现在中国数学家里没人能够接近。当时很多犹太数学家一提到江博驹都很佩服。史老师是江泽涵老师解放后的第一个研究生。不动点群对AI很重要，你可以把预训练（指定训练）和加权训练从不动点群看得很清楚。

数学传承与计算的未来

通过微分方程的数学看到现实光。江老在五八年大跃进的时候说的这句话。几何这个字是江礼富先生说的，几何就是测的数的意思，微积分是计算的意思，代数是算法的意思。一九三七年七七卢沟桥事变，江老师逃难的时候书包里只有一本德国的topology，所有的拓扑名字如流形、紧致、覆盖都是他逃难时翻译的。

有一次在伯克利的中餐馆，我问陈省身老师作为活着的当代最伟大几何学家的感想。他说如果读了庞克莱的东西只能跪下来磕头。后来我告诉他你在流形上建立微分方程，把微分方程解了以后我要带学生给你磕头。建立微分方程讨论微分方程，是他跟丘成桐做的，给计算做出了巨大贡献。数学家都是一代代传下来的，用传承的技术解决问题。

数学开始的时候是算法，比如牛顿的微积分。牛顿当年都是神算，有限元当年也是工程师做出来的东西，发明了分片光滑逼近，陈省身推广了分片光滑逼近。后来史老师做的非连续的逼近。数学家生下来就是天才，干了一辈子无名无利，积累起来的知识非常宝贵。数学并非只有数学家的数学，AI做的这么好，对数学是绝对有贡献的。

AI本质是学习，学习是个反问题。这就为什么很多人认为AI是一个黑箱子，因为大家对反问题了解很少。苏联人六十年代举国之力想去做反问题，比如勘探。正反问题可以扩展为正时间跟负时间。AI是利用已经发生的事情总结经验，是向后计算。工程计算比如建坝，根据物理定律计算未来，是向前推的正问题。世界上九十年代末百分之七十以上的计算机能量都消耗在反问题的计算上，比如地质就是负时间计算，把山头倒着推上去。AI是解反问题的大成，发展到现在已经到了最辉煌的成就，这是数学家不敢想象的。

什么是神经网络与可学习的数字计算

就是说，石老师当然就是数学根底放在那边，因为我们做土木的话，就是反问题要处理的，然后还有就是数字计算，就是说你没有这两个方面的知识和经验的话，你就很难理解AI。这里就稍微讲讲，这是我们思考的方式，什么是神经网络？我们把它定义为什么东西呢？是不是可以认为就是可学习的数字计算？对，数字计算。那么第一个问题，你在数据里面到底学到什么东西？学习是在哪地方发生的？你的学习是什么支配的？就像一个教纲一样的，你的教纲是什么？你具体学习的过程是什么？我们会来解答这些问题，往下走。

这里面还是很有意思的事情，这个发现其实就是今年的事情，因为我们在爬兔的时候，去年我们就发现它其实是个分类，因为在大型语言模型里面最后是个vocabulary。它就是在分类，那么我就在想，分类在数学上最高的境界是什么？那就是范畴理论。我不懂范畴理论。然后范畴理论第一句话，这就是数学的伟大，范畴理论说，我不研究物质的本身，我是研究两个object的关系。马上就可以，这个数学真的是厉害，逃不掉的。我一直跟石老师跟人家说，你逃不掉数学的这个框架下的东西。

那个我补充两句，马老师。研究数据之间的关系，而非对象的本身，就是现在我们大语言模型也好，还是识别图像的模型也好，底层的数据都给它抽象化成一个token、一个向量。向量据说多少维特征值，其实特征值都是随机的，本身我们也不知道特征值分别代表什么，我们只是拟型的说，一个特征值可能代表身高，一个代表体重，代表颜色等。那其实更多的是这个向量和另外一个向量之间，他们所有的坐标之间的关系，比如说距离，比如说他们的变换关系，其实整个的transformer计算过程都是在不断的调整他们之间的关系，我觉得数学上是一致的，在AI训练里面它是一致的，因为我们没有本质的对象，也不是定义好的，学习好了以后也不知道是什么，但是我们学到了是他们之间的变换关系。

当时我们做的话，当然有很多motivation在里面。最根本的一个motivation是什么？你知道吗？因为你把程序算进去，计算机在做加减乘除，你知道吗？那你做加减乘除肯定有数学。当时对我来说是个很大的motivation，除了石老师跟我讲了很多东西以外，它一做加减乘除就是有数学东西在里面，所以说我们也要把它挖出来。

深度覆盖与流形特征

往下走。流行的算子在哪里？算子其实就是权重上面有一个方程、一个函数，这个就是它的流行放在那里，这是它的算子，后面肯定会讲到。然后你看到下面，就是物理覆盖了。然后这里同时我们叫deep流形，就是深度流形，因为这个token单个标量很多，几千的。deep manifold深度这个字就出自于这里，我们起的名。

这个其实已经看了马老师很多文章，我对这张图理解非常深刻。我给屏幕前可能比较懵的同学简单解释一下。这个蓝色代表的是刚才我们说石老师的NMM理论，不同点理论在岩石当中覆盖的话，这个蓝色部分是数学覆盖对应的。下面的红色部分是物理覆盖。我们这个横轴从一到L，拿transformer来说是层数。最经典的就是Llama九十六层。然后我们的纵坐标可以说是token的维度。大家比较喜欢4096维，那这里面的单个单标我们用一个单个token来计算，我们就是一个一乘4096的向量。

这个训练的过程当中是从左往右推，从第一层一直推到第九十六层。实际在训练过程当中或者推理过程当中，是一个prompt。这个prompt可能不止一个token，一批token训练的时候，它是一个比较大的矩阵。我们从第一层一直往后面推，在训练过程当中，其实发生了几件比较重要的事情。第一个就是我们有两次的残差连接，然后中间有很多的权重学会如何去变换，怎么理解这个深度覆盖、深度流形。其实每一个token，我们蓝色的可以理解为有4096个这样的片，但是它们并不是平行的，它们之间会有分片交叉，会有覆盖。

那实际上调整的是什么呢？我们这一批每个里面有4096个这样的数据点或者叫坐标，我们原来训练大模型的时候，管它叫做特征值。实际在里面理解，就是4096个点不断的在attention也好残差连接也好，过程当中在调整它这个位置，调整它们之间的变换关系。这就像画的图中间这种感受是一样的，调整这个轨迹的过程，因为非常多的点，在这个过程形成了这样的流形。

我们在找什么呢？因为残差连接后面会有方程会讲，其实找的这些点就是不断通过训练找到了这些不动点，就是fixed point。这些不动点我们在训练的时候，其实叫它梯度下降里面的最低点，找到loss为零那个部分。但实际上在数学里面，马老师会有个公式，它就是不动点方程的公式。最终训练出这些权重所形成的就是蓝色这些数学覆盖。我们刚才讲前面岩石理论的时候，石老师说它是正问题，因为这是我们人类选好的。但是AI里面是反问题，我们是训练出来的，它是一次次迭代出来的。这个是两个的不同，而且是一个非常震撼的启发。读了马老师文章之后，发现我们原来做工程的人去考虑大模型，实际上没有从数学角度考虑，但是和数学是暗合的，在深度流形的理论里面完美的展示出来。

小张你真的厉害，没有什么白光能把这讲很清楚，真的很厉害。您的文章写的好，全都拜读了。这些东西大概前几个月最后走通的石老师。那时候觉得这个AI真的漂亮。它里面的数学不多不少，恰恰好，它里面的数学真的是漂亮。

数字流形与非连续接触理论

往下走。这是在讲石老师做的数字流形。就是下面一些函数，这个覆盖下面是什么函数，然后你看到激活数字在哪边。这会讲一下就是这个AI胆子很大，石老师做数字流形的时候，我们加个两层三层了不起，它给你加个几千层。这个就像一个树林一样，这树林就是整个网络的结构，我就在里面走，真的漂亮，石老师，真的漂亮。往下走。

这里面就是很有趣的事情，当时陈先生看到石老师做的东西，他就觉得至少希望很大。数学家讲话都比较谨慎的，他已经看到数字流形的厉害了。有意思的时候，应该差不多时间，可能还早一点，AI的前辈们已经在大框架上完全不知道的情况下打出来了。真的是很厉害。

石老师，你稍微讲一下这个分片，陈先生问你那个问题，你能不能讲一下当时陈先生对你那个数字流形有什么感觉？他为什么要问你这个问题？

是因为大家数字流形的感觉就是说，到最后大家做了这么多努力，你算出来才算数。这个里面包括两个问题，一个是说你是不是全面了？全面了以后，我必须加上非连续，才是全面的。比如我们希望计算不是一个机械零件，连续只能计算一个汽车的一个机械零件。我希望把发动机在计算机里面一起计算，那就有一套接触理论，是不等式方程，也是距离理论。比如说自动驾驶机器人都是这种方程，不要说塌方，其实我们坐在凳子上这些都是接触。计算机放在桌子上，这些现象太普遍了，可是这是数学忽略的东西。所以当时他跟Goodman在一起，Goodman是指导我的，要把我硬逼到非连续。我并不傻，非连续我做出来，我这一辈子就交代了。做有限元大家对我有很多约请，我肯定做起来帮大家大忙，名利双收。走这条道路过得太惨，但是不走这些路就是不等式方程。等式方程是两个不等式方程，一个大于小于就是相等了。实际上等式方程是不等式方程的特殊情况，我们数学做了半天，做的是特殊情况。

概率收敛与满矩阵方程

那么AI呢？当时我希望把这个做出来，陈先生已经看出来了。已经很大的扩展，但是AI并没有扩展。实际上概率方程、概率收敛，数学的收敛是一致收敛，有些人收敛是平均收敛，就是很小的时候误差很大，但是总起来误差很小，把误差平均了一下。那么AI是概率收敛，这是数学家不敢想的。过去陈先生主张的这个覆盖几层十层到头了，现在是几千层。过去的联系是系数矩阵，一个点跟十几个有联系。现在这联系是满矩阵，跟几千个每个都有联系，这是个满方程，数学家是不敢解的，认为是不行的。

那么现在可是用迭代法它算的很快，迭代法就是不断调整，最速下降，这样它能够解。而且到数学再回去钻研的话，满矩阵是收敛最快的，这是数学忽略的东西，这是AI给我们硬闯出来的，拿年轻的生命开创出来的东西。这个是对数学一个无限宝贵的东西，概率收敛、这些满矩阵方程、多重无限多的覆盖，已经把数学推到了一个更光辉的高点。

石老师，我补充一下。当年我们一起做的时候，这种东西很自然。现在AI出来以后，比如收敛的概念，精确收敛跟平均收敛，我觉得石老师这个数学的教育出问题了，为什么这些东西没有教。如果真学习到了三个词，我觉得受益匪浅。等式是我们上学这么多年所学的，证明谁等于谁，但其实它是不等式中的一个特例。刚才说到了满矩阵和概率收敛，这是以前没有听过的概念，但是非常理解，AI就干这些事情。概率收敛，你在纸上计算不了那么多，但是AI通过迭代法、概率收敛、满矩阵计算，反而能够更加迭代速度。是不是可以说以前最多到十层覆盖也是我们现在特殊情况？

你知道对数学家来说，要攻个方向是很谨慎的。但是工程师不管，啪啪啪就做了。然后石老师一看，你们把概率收敛做了很漂亮，这是石老师感叹的地方。

实际上，概率收敛是数学家不愿意承认的。本来近代物理，比如统计力学甚至Maxwell方程都是概率方程了，数学家不想承认，因为进去出不来的。另外就是说十层的覆盖，我已经工程计算非常好，我没想到将来几千层覆盖能够计算成什么样子。这个就是托AI的福，AI的年轻人夜以继日创造出来的东西，这对数学是无比辉煌的。

不动点残差方程与能量理论

往下走。这很有意思，我突然想起来，那几年我买过不动点群的书，我当时看不下去。那是三十多年以前的事情了。后来做深度流形的时候，我去查一查，看到里面还有小故事，x equal to f(x)，我想这个就不是学习嘛，这就是不动点这个定义。很多数学的东西它是种描写，不能解。不动点理论是个描写，你要解的话，把它转成某种公式出来。你看到公式上面有个平方，这个平方太有讲究了。所以说我们一直在讲curvature曲线，就是从平方来的。这个方面的处理很难。

这块我再给观众补两句。左边是不动点残差方程，也是大模型在做的事情。大模型要做的就是求参数西塔，让残差最小化。那不动点残差方程呢，其实我们要做的就是输入任意的x，给f(x)之后让它俩相等，这就是不动点方程。不动残差理想情况下是相等，很多时候不等，它们之间的差值就是一个小e这样的函数。我们要做的就是让它越来越小，为零的话这个x就是不动点了。套到大语言模型里面，本质上我们做的每一次迭代也是在最小化残差值。所以本质上大模型的训练，去掉fancy的部分，就是一个不动点残差的不断迭代过程。

右边的拉格朗日形式也很有意思。我们在很多算法当中，比如前段时间很火的GRPO，还有强化学习的PPO，都能看到一个小lambda加正则项，其实都是在修正和约束我们迭代的速度或者频率。一模一样的形式，你都会看到一个模的平方加上正则项，其实本质上它是拉格朗日的形式。这是马老师列出来非常抽象高度的两个对比。本质上大模型在数学上解释，非常有洞察性。

在整个历史上有很多不同的理论说这个模型怎么建，唯一一个对的理论就是能量法，energy based model。你可以把它看成是能量理论。我在写这个的时候很有意思，我特地问ChatGPT的，我说你知道Walker equation吗？它列出来一条。我说你有没有整体的公式？它想老半天说没有。我就在想，花了那么多钱，那么多人做，连个整体公式我们都不知道。现在大家都在struggle，强化训练有各种各样理论出来，如果你从不动点群的角度看，就看得很清楚。在不同阶段就不同的群在那边，不动点的群体。

AI对反问题求解与适定性

刚才石老师说到，AI对数学有很多贡献，我个人认为它最大的贡献是对反问题求解是个巨大的飞跃。

往下走。石老师以前跟我讲，数学很多时候的推动发展不是数学家，包括牛顿本身不是数学家，所以说AI的前辈们、AI现在做的人，可以从另外角度讲，他们是在推动数学。

这里稍微讲一下，这点很重要。只能状的智能，大家都不能解释。从反问题的角度就可以解释它。在数学上有个叫做well-posed problem（适定性）。适定性有三个要求，里面一个不满足的话，那就是病态的（ill-posed）。适定性在数学上是有定义的。病态没有，但是你三个里面一个不满足，就自动的变成这个，这就解释了很多现象。这就为什么我们需要脚手架、别的约束。其实上次我跟小张做的DeepSeek流形的撕裂问题，里面放了很多角度讲，就是因为这个病态的问题。

非常好。那我们就再回到一开始讲的，数学家的梦想从局部到整体，连续到非连续。我专门有一篇文章，在part two讲到非连续的问题。AI基本上全部包裹了。但是病态问题怎么看？我们又发现它是无属性的，无属性这个东西就像一把刀一样，可以诞生敌人，同时又杀了你自己。我们会慢慢讲，我跟石老师只是在黑盒子里面开个窗口，里面还有很多很多问题，大家一起来。

下一张。我跟别人谈，大家都说你这个东西太理论化了，我怎么用？我这里稍微讲一讲，陶哲轩（Terry Tao）他说过一句话，很多人跟我说给我公式我来用，我把它implement。不是这么回事，你要用深度流形，首先你要理解它。我这里稍微举几个例子。我们很多AI for science，AI for语言，如果说你是反问题的话，AI绝对好。另外，它的泛化能力特别强。好比说我们做自然灾害有很多斜坡破下来，你训练一定程度以后，别的一个斜坡，你把几个数字放进去，你大致会知道什么东西，因为它有泛化能力，它从别的地方学来东西。

物理定律与数字计算的局限性

你要做正向的时候，就是我们一般讲的，物理知道是假的。现在我们讲数字计算，因为数字计算一般都是根据物理定律展开去做的，要非常非常小心。它可以给你很好的结果，但是往往是错的。这个是第一。第二，我当时在微软的时候，做过因果推理的因果知识。因果推理基本上五十年代以后理论上没什么发展，但是在AI里面可以做。其实我挺想找个合作伙伴的，把因果知识、把AI的Open给做出来。然后对于模型，你如果讲流形的话，同调很重要，否则的话就会失联，然后就是边界条件很重要。那么刚才我看到了，好比说预训练、指定训练、强化训练是怎么回事？不动点，就是你边界条件迭代是怎么回事？后面我就讲到动力学的东西，就是你按照数学的思维去看现在的东西，不是说马上给你答案的，至少这条路是对的，你不会太挣扎。

开放式世界模型与专家数据的局限性

我写过篇文章，那是在我做这以前，就是新的世界模型。我发现世界模型没有一个正确定义的。后来我写文章还没发表，发现有一种叫开放式的，就是你世界模型不能按照现在世界模型去定义去做。科学这东西有时候挺残酷的，看上去很好，但是你走不远，你会很郁闷的。你的方式方法很重要。所以我这里想跟大家说的事情就是，你用开放式的模型去考虑世界模型，至少是顺路的。另外这篇文章我还没写，其实我爬出的时候没多想，这东西有数学定义的，这是我今年才发现的。我开始只是把Agent作为一个工程的工具在看，其实它有数学定义的。

还有一个事情，现在大家都在设计弄数据，有个叫Expert Data。大家都希望有Expert Environment。现在各大厂都在找专家，买专家训练数据。这个东西是有很大局限性的。现在大家都是做一个大模型，GPT Five或者Mercer之类的，这条路走不长的，我曾经写过文章。有时候你在做研究的时候，你知道这条路不好不去做，可以省很多钱，可以省很多时间。研究一直是很残酷的事情，一条路走错的话，有些人是一辈子的事情。

缩小学习空间与自动化的工程解法

另外我想讲的事情就是像我们的深度流形，因为我一直在做工程，在做项目，不是从理论下手的。我第一个概念就是学习空间，那是2021年产生的。我除了研究这以外，我就关注到数据是有局限性的。你不可能把所有数据都拿到，而且数据会打架的。我再给你举个例子，就像我们跟石老师当时做的时候，有一阵子，他有两个方法，一个石老师DDA，另外一个是DNN。有一次全世界只有我一个人知道，因为我两个都做。那些做专家系统、做计算的，他们都很聪明，也很努力，但对外面的世界不一定了解。所谓专家就是打架的专家，这样科学才会发展。那就说明There's no ground truth。小张你理解我意思吗？

小张回答说，大致能理解，并且发现这里面其实有很多东西后面是有答案的。这个比较重要的在于，可能对于现在的大型Lab、大厂，他们在训练大模型上有很强的帮助意义。背后隐含着很多东西，虽然没有时间细讲，但是每个点都很重要。

因为大家都在问，所以我稍微讲一下。我是工程师，所谓专家数据、专家Environment有一定作用，但是解决不了实际问题。你要解决实际问题，一定要把它自动化。现在大家都在说要代替人。我查过，蓝领工人跟白领工人的出错率只有百分之一，你要代替他们的话，你能做到百分之一吗？这个现在AI里非常难，但是我最近做几个项目都是将近百分之一百左右，这里面就是学习空间的问题。你把学习空间减小，你就可以不让它是病态的。你把它分段，往再往下走，分段以后加边界条件，这样把它约束起来。这个问题就有意思了。

深度流形的意义与不犯错的价值

我们回想一下，深度流形到底是什么东西？它到底意义在哪里？我不是数学家，我是工程师。我在石老师的指导下，我们只是把神经网络的数学给找出来。这点有什么意义呢？这就要讲到以前的故事。你一旦把数学东西找出来以后，很多事物的成功、人的成功是你make less mistake，就是你少犯错误。

这就要讲到有限元的事情。有限元当时有个叫辛格威奇（Zienkiewicz），他是个工程师。他第一个中国学生叫张右起，在香港大学做过校长。他们两个人很不简单的，他们不是数学家，主工程师出身，然后他们把有限元数学化了。所以说在很长的时间，人家都叫他是数学家。但是他的训练毕竟不像石老师那种训练，他犯了一个致命错误。有个传说，当年他快退休的时候，在伦敦做了一个讲课，最后人家就问他：“你是不是数学家？”他回答不出来，因为他已经碰到问题，他解决不了。科学这东西有些真的很残酷的。伯克利是有限元的发明地，就是因为走错路了。现在谁知道伯克利是有限元发明地？

这个小故事讲完。我们的发现就是，对人工智能来讲，可以指导你怎么去搭建更好的框架，怎么更好的训练，数据怎么学，至少有个数学指导在里面。这就是工程化，效率更高。从深度流形去讲，就是告诉你不要犯哪些错误。石老师稍微再重复一下，大家要知道为什么我们这个Talk的Title，神经网络它对数学的贡献是很大的。

有限元发展的历史教训与AI回归数学

石老师补充说：我重复一下有限元的事情，这是一个很大的经验。有限元发明出来以后，实际上做有限元的人有几十万人了，比数学家的数目可能还要大。当时这些有限元的人大家就说数学没用了，都是十八十九世纪的东西，现在只有用离散数学，当然也做了些实验。但是后来大家是有结论的，大家还是要回到函数，回到微积分。在这个时候，AI一开始就跟数学的关系很好。小张主持这个节目，也就是使两者AI跟数学都健康的发展，这个意义是很大的。马克思这个方法也就是建立了一个桥梁。实际上AI就是强调联系的，其实这也是AI的一种实践。

当时做有限元的人开始算的都是整体结构，比如大坝、防震墙、挡土墙，都是整体的。真正有用的两板壳，比如飞机、军舰、潜水艇、原子能反应堆。大家就搞板，所有的有限元人就搞了个板，发现长方形做的很好，结果大家就以为收敛就发展了。后来数学家一证明，换一个形状就不行了。当然到最后这个问题已经全部被数值离散化解决了。当时辛格威奇在英国皇家学会会员一生最重要的发言，结果数学家就问他Are you talking about mathematics？你只要看他的墓志铭，他没敢说是数学家，而是一个伟大的工程师。后来这件事以后，数学又悄悄地回到了伯克利，主持者换了人，Robert Taylor跟我很熟。Robert Taylor是匈牙利的数学家，他们的数学都很好的。所以这个节目意义是空前的，这样可以把不切实际的想象、真正有用的潜力都发挥出来，使科学发展得像一个科学。

AI背后的中国力量与继承

马老师接着说：我做这个事情的motivation是，因为你在计算机里面你是加减乘除，那肯定有数学，你逃不掉的。另外一个事情，深度流形的贡献其实很小很小，我们只是把它连起来而已，我们没有自己的理论，没有什么自己的方式方法，只是把它挖掘出来说，你这个神经网络应该跟数学是怎么对应过去的，仅此而已。

小张回应：马老师也谦虚了，我觉得这个能联系在一起，把这事讲透了，非常不容易。也碰巧有石老师在，然后马老师这方面又做过十年，AI也做了十年。

马老师强调：作为中国人，应该很自豪的。如果我们是对的话，那AI后面的数学几乎都是中国人做的。我这张图就是代表这个意思。如果深度流形是对的，需要不同人的来质疑，各方面大家考证一下，那么AI后面的数学就都是中国人做的。石老师反复要讲继承。而且现在搞AI的人里面，中国人占一大部分，不论是中国还是美国的。现在人家有个统计，Top的AI research一半是中国人。美国想在伯克利呢，SAT都不要你，你怎么培养人才？

天才与地才的辩证关系

这里面讲到两个事情，一个要继承，另外一个天才和地才的关系。大家普遍认为天才的话就是数学公式的推理，其实AI本身就告诉我们不是那样的。这里讲到天才和地才的关系，这个是石老师和Goodman生前最后一次谈话。

石老师分享道：跟Goodman的最后一次谈话，他谈到天才与地才。Goodman是犹太人，但是他的夫人不是犹太人，所以他的子女按定义就不是犹太人，但是他是。Goodman跟我讲，我的孙子都是天才，但是在周围能够touch ground，能够down to the earth，就是到地面上的就是地才，就是你。他的意思就是，作为一个天才，最后解决问题还是要靠地才。这是最后一次谈话，我永远会记住这件事，所以在培养人的时候就要脚落在地上。

马老师补充：数学的发展很多是对猜想的研究出来的，这是一种天才的方式。我跟大家分享一个故事。九几年的时候，我经常去看石老师。有一次我们吃晚饭在外面散步，石老师当时正好在做接触理论的事情，挺复杂挺难的。石老师就跟我说，石头掉在地上最后都会停下来。这就等于说是他的动力。对他来讲，他一定要把这里的数学搞清楚。因为接触理论，石头掉到地上它最后会停下来的，那停下来这个过程数学怎么讲？

石老师回答说：这个点很重要，就是你走多远是很重要的。2007年菲律宾有一个火山滑坡，据我知道最多的死了7万人。后来用其他的方法算滑不到那么远，到最后就是说该你算了，拿DDA算。当时我没有人也没办法，这是我欠的一笔将来是要还的账。这个滑动能够滑多远？比如说水利部有渣场，要计算渣如果开始滑动的话能滑多远？深圳的垃圾堆滑死了那么多人，要滑多远要给它算出来，你算不对的话，你就不知道它危险。这就是拿生命来丈量距离的，它滑了多少距离会停下来。

马老师总结：石老师不是在研究数学的时候因为什么猜想，他是根据现实的observation。所以Goodman说史老师是地才，史老师是天才和地才的结合。

寻找不动点与工程领域的师生传承

小张提到：这句话可以做今天AI的总结。我们AI也是一个迭代的过程，不断的寻找不动点。样本来自于数据的分布结构，我们要找到高维空间当中数据分布的不动点，最终迭代会停下来，一个token最终也会停下来。请史老师讲讲吕祖恒的事情。

马老师打断补充背景：我认识四个人对史老师影响最大。前面江先生跟陈先生，江先生是陈先生的老师，陈先生当年是江先生的助教。Goodman是史老师在伯克利的博士导师。Goodman还会唱歌剧，年轻的时候是靠跟人弹钢琴挣学费的，他有个歌剧院。我问他唱歌剧用了这么多时间，他说不唱歌剧就疯了。他是当年UC九个学校的科学委员会主席，跟校长是一个级别的，全管UC九个学校的科研。

石老师讲述：所以他逼我逼到非连续，几乎是用了全部的力气来逼我到非连续。我也不想，我知道干下来我这一辈子就完了，但是这是正义的，是能够给大家解决很多问题的，必须要做。他的确是改变了我的生命，也造成了更多人的安全，他是非连续的鼻祖。另外一个是吕祖恒，清华大学的，比我大几岁。当时清华大学水利系，他是班上的团支书，是最优秀的人。当时清华女学生只占百分之八，如果要求分配在一起，大概率就分配到西北。我周围都是清华这一队一队的优秀人才。我没上过一天水工课，都是这位老兄教我的。大家现在认为我是老水工，实际上我没听过一天课，说起来很丢人。

马老师补充：史老师在国内工地上待了十年，我有工地经验，我们讨论过，做工程会上瘾的。这可能为什么史老师去了美国，他可以去数学系做个教授，但是他选择了工程。我再讲一下Goodman的一个学生叫满洲，你去看满洲的博士论文，很多图很简单，像小学生课本那样。但是那个简化真叫美妙，他把复杂问题抽象出来做研究，真的让人感叹。满洲是我的好朋友，那真的漂亮。

总结展望与合作期待

小张最后总结：太厉害了。不仅知道了AI和数学之间的关系，我们还学到了很多平时不可能听到的历史。受益匪浅，也很感动。更重要的是，无论是AI还是数学，应用在帮助人类安全和社会发展上，让我们这个谈话意义更大了。我替听众朋友问一个问题，马老师和史老师的深度流形理论其实已经给神经网络做了一个数学解释。在神经网络中具体怎么去应用呢？感觉有很多可应用点。如果在各大Lab、大厂，比如DeepSeek、阿里或者Gimi，想联系您的话，可不可以把这些应用在真正的田厂中？

马老师回应：科学是无边界的。我根本没有想到去跟谁合作，对我来说谁愿意合作我都愿意。我做的PPT一看都是中国人做的，所以我很想跟国内的团队合作，这也是一种传承。

小张表示感谢：今天聊得非常好，非常感谢史老师大早晨跟我们一起录视频，也感谢马老师的邀请，最后跟大说再见。