AI for Science赛道的爆发与大模型发展背景
8月第一周,谷歌灵魂人物Jeff Dean宣布离职,带着其它几位高管出走成立Discovery Loop公司,致力于加速生命科学及其他行业的研究进程。在硅谷,这标志着AI for Science这个赛道开始爆发。科学和技术怎么用AI自动去推动,这是太重要的topic(课题),不仅是对一个组织、对一个公司、对一个社会,甚至对一个国家,人类社会发展最终是由科学和技术来推动的。
就在众多数学家、物理学家、生物学家加入OpenAI和Anthropic等顶尖AI实验室之际,AI正在改变人类研发科学的范式。OpenAI宣布模型Astra推导出了10道人类长期悬而未决的数学难题。Anthropic未发布科研版Claude,将黎曼猜想的相关零点下界从41.6%推进至67.2%。同时,AI在生物制药、材料、物理等领域都在迅速将科学前沿快速推进。而AI自进化、形成研发闭环,是科研加速的核心。但这中间,人的角色稍显尴尬。它能不能达到一个模型到实验的闭环,也就是我们说的这个loop(闭环)。最难对于AI for Science肯定是verification(验证),它是一个瓶颈。一旦这个瓶颈被打破了,你就可以很快地迭代。数学从一个证明稀缺的时代,已经进入到了一个证明过剩的时代。人类不能理解的发现是没有意义的吗?它只能有部分意义,不是结果正确就一定正确,你需要去理解,然后去评判。如果这个AI我们承认并且接受它是一个黑盒,并且心安理得地去接受它产生的结果的话,这会造成很多困难。如果这个结果不是完全可解释的话,概念抽象的过程我认为可能是AGI的最后的last mile(最后一英里)。AI要想拿诺贝尔奖的话要很长时间的。很长时间是多久?我觉得至少得二三十年。你觉得“符号主义”能够解决这件事情吗?所以我们就希望在外面有一层,就是说有一套机制,能够帮助它产生一些新的不一样的想法。
嘉宾介绍与Google高管离职事件分析
大家好,欢迎收看硅谷101,我是陈茜。这期视频播客我们来聊聊AI for science。加入我们的嘉宾是谷歌DeepMind前资深研究科学家曹原。我们这期从AI科学自进化的方法论,聊到AI数学和AI物理的应用,到了最后甚至还聊到了一些哲学问题和人类的意义,挺有意思的。也欢迎大家在评论区和我们讨论。以下就是我和曹原的视频播客。
曹原,非常欢迎你来做客《硅谷101》。要不要跟我们的观众介绍一下你自己?大家好,我叫曹原,我原来是Google DeepMind的科学家,我也是AI一个startup(初创企业)叫Unreasonable Labs AI的co-founder(联创)。我们的startup(初创企业)主要是做AI for knowledge creation(知识创造)以及AI for Science和R&D(研究与试验发展)的一些研究。
我们今天录制的这个时间特别巧,因为就在昨天,Google的Jeff Dean宣布说他要带领一队的科技高管出来,然后自己做一个公司叫做Discovery Loop。他们其实也是想做一些AI for Science之类的这样一个事情。我看很多人的评论很唏嘘,说这是一个时代的结束,是另外一个时代的开始。我理解说结束的时代是Google的时代,开启的时代可能是一个新的AI for Science的科学研究的时代。可以这样理解吗?
我觉得这个事情应该从几个方面去解读。第一个就是说Google里面有很多人才,DeepMind很多人才,然后有很多团队在过去可能几年前,每个团队可能各自关注一些课题,互相不是特别干涉。但是从三四年前Gemini这个项目开始之后,因为Gemini毕竟是一个最大的项目,也是很重要的项目。这种项目需要集中力量办大事。从那个时候开始,这个对于整个人员组织和项目的管理带来很大的一些挑战,所以不可避免的,内部会有些冲突。
第二个背景是说,我相信大家也可以看到,在过去的半年左右,Gemini的表现可以说不尽如人意。今年年初的时候,你说Gemini 3.1 Pro可能还算在这个排行榜上还可以算是比较好的一个language model(语言模型),但是过去的三四个月,大家可以看到,不管是Anthropic还是OpenAI,包括中国很多开源公司,他们的模型能力在突飞猛进。但是相比来说,Gemini整个3.5 Flash以及最新的3.6 Flash,表现来说应该是比较平平的,而且大家都非常期待3.x的Pro,目前还没有正式发布。总体来说就是Gemini这个进度非常落后。在这种情况下,在商业模式上去追赶比如说像Anthropic他们以coding agent(编程智能体)为主的这么一个新兴的能力,要把这个商业的模式转向那个方向的话,其实还是有很大困难的。
第三个就是Jeff Dean和Oriol、Sanjay和Quoc他们做这个Discovery Loop,这个课题本身其实就是能够让AI自己去做知识开发、知识的发现以及做自动科研。这个其实跟我们的创业公司当时想做的方向是非常一致的。我就是说这个其实是有一定的逻辑上的、非常顺理成章的延展性的。因为AI发展到现在这个阶段,在过去的两三年带来数学和编程这些东西,这可能是大家过去两年最关注的关于AI智能能力的一些体现,能够自动写代码,能够解决一些奥林匹克数学问题。那么自然可以想象说,等到这些问题解决之后,下一个能够让AI的智能得到爆发的、能够产生巨大效益的或者是产生一些帮人类解决更大问题的这个话题是什么?很显然就是能够把数学和代码这些能力推广到更广泛的科学知识发现这个能力上面。
所以,从今年开始大家可以看到有很多关于knowledge discovery(知识发现)、AI for Science,然后recursive self-improvement(递归自我改进)这样的一些startup(初创企业)。我相信像Jeff, Oriol, Sanjay和Quoc这样一个明星团队,他们出去做一个startup(初创企业),一定是想做这么一个领域的新标杆,能够成为一个新的Neolab(新型实验室)这样的一个设想。
但是另一角度来讲,所谓一个新的时代开启,然后Google可能是转向了或怎么样的,我认为这个言过其实。因为Google它拥有所有能够把language model(语言模型)做好的要素,不是说不可能因为一两个人哪怕是这些领导层它的变动,这公司做不下去了,对不对?Google可能是这些大的科技公司里面拥有所有做好AI的全栈要素的这么一个公司。从底层的芯片到infrastructure(基础设施)、数据中心,到工具链,然后到模型层、人才、数据,再到上面产品的分发,到整个产品栈,覆盖非常广泛的消费者产品的分发渠道,全都有,完全不依赖于外部生态系统。所以不是说Google做不好,而是说在优先级上面以及资源的投入上面需要做些调整,但我相信Google依然以后会把这个能力做上去。
科学家为何离开Google与AI模型的下一步发展
我觉得还是很好奇,因为你刚才说了Google内部也有对AI science(AI科学)研究的队伍,这个方向也是之前DeepMind的前CEO(现在已经不是CEO了)Demis Hassabis非常看重的方向。甚至他们也是独立主导了Isomorphic Labs这家公司。为什么Google留不住,包括你还有Jeff,这一群科学家在Google内部去做AI4S这件事情?
首先我想说的是,在湾区,在硅谷这地方,人员之间,现在目前这几个科技前沿的公司里面,这个人员流动其实是非常频繁的,不光是Google。对我个人来说的话,我之所以能够想出来做这样的一个事情,是因为我们之前也是在做Gemini,我们也是一直在做模型迭代,然后做后训练这些东西。但是我觉得我一直在去想一些关于更深层次的,就是一些关于智能,怎么能够把这模型做得更智能。如果你要是想实现这个AGI目标的话,目前现在这个模型的确是可以做好数学和写代码这样的一些工作。但是很明显有些能力还是缺失的。比如说如果你真的想让它做好科学问题,想让它去解决科学问题的话,它的创新能力,它能够提出新假设、验证新假设,然后不断自我更新的这些能力,还是远远没有到达能够帮助人类指数性增长科学知识的这么个水平。所以在这个方面,为什么会有这个缺失,对不对?然后怎么样能够进一步改进这个模型,使得它能够帮人类做出更好的一些事情。所以我决定可以出来试一下,这是我当时出来时候的动机之一。
那Jeff Dean为什么要带人离开呢?能不能猜测一下?
我觉得Jeff Dean在Google是一个传奇式人物,不光是在Google,整个业界都是传奇式人物。他对早期的Google一直到现在,整个Google可以说是大部分因特网级别的这么一个基础设施,都是从他的一些工作开始的。从最早的MapReduce到Spanner到BigTable,之后创立Brain Team、TensorFlow(最早的深度学习框架之一),到Google TPU,再到最后的Gemini,所以的确是非常传奇的一个人物。然后跟他出去的其他几个同事Oriol和Quoc都是早期Google Brain的成员,他们已经共事了很长时间了。Sanjay是Google的元老,其实是跟Jeff Dean基本上是在一个时间进来的,也是跟Jeff Dean合作了很长时间的伙伴。所以他们都是相互之间非常了解。我原来在办公室也经常可以看到Jeff Dean和Sanjay他们经常peer coding(结对编程),就是两个人在一起写代码。他们每周有一天是必须就Jeff会(写代码),是非常hands-on(亲力亲为)的,两个都在写代码。所以我现在非常自然地说,如果他们想自己出去做些事情的话,这个是很顺理成章的一个组合,他们非常了解,而且都有非常强的技术背景。
目前其实不仅是Jeff Dean离开了,我们在早之前的时候看见John Jumper,也就是AlphaFold联合的发起人、为此获得了诺贝尔奖的这名科学家,也是加入了Anthropic。为什么Google留不住这批科学家呢?因为我之前以为Google是最重视AI4S的这条道路的。之前Demis Hassabis,他其实是主导了这条路线。所以最近接二连三的这个而且是核心人物的离开让我还挺惊讶的。
Google现在内部,DeepMind肯定是最高的优先级,是要把Gemini做好,做到SOTA(业界最佳水平),做到跟Anthropic、跟OpenAI齐平的位置(齐平或者是更好)。所以很多的工作重心,短期内的优先级必须往那个方向去转。包括像Jumper,包括原来一些做AI4S的人,他们的工作重心也会有变动。所以在这么大一个团队,然后有这么大优先级的项目情况下,你不可能让每一个人都非常满意。在Google有这么多人才,每个人都想做自己的事情,都有自己的一些想法。所以能够让有这么多人才,怎么能够让每个人的能力和他们的诉求得到最大的体现、最好的安排是非常(有)挑战的事情。我认为Google其实已经在这方面做了很多优化和做了很多调整,能够让他们每个人发挥自己最大的潜力。肯定在这过程当中,管理团队和科学家和工程师都在思考和不断地更新、迭代这个过程。在管理上有很多挑战,但是我相信这个状况还是在变好。怎么去评判它在变好?我觉得就是你不能再按照原来像现在做大模型做这样的东西。它是非常需要快速迭代、然后需要持续更新这么一个过程。Google要做的是革自己的命,然后能够把这个Gemini团队做得像一个startup(初创企业)一样,尽快地把智能先补上去。这就要求管理团队需要做很多的调整,对于在人员安排上,在每个人的他们所能做的这个,包括整个项目怎么安排,这个是一定要有一些自我革新的勇气。我相信Google也在意识到这一点,而且会做这个事情的。
是不是接下来有可能有一些新鲜的血液进来,可能也会带来一些新的变化?就比如说我们看一下Meta,它有了Alex Wang进来之后,现在已经是有一些改善的迹象了,就最近的Muse Spark,然后包括他们最新出的这些coding(编程)的模型外界反馈还挺不错的。
肯定会有变化。但就是说做一个模型有几个因素,有几个要素:人力、人才,然后数据、算力以及,我觉得大家可能忽略的一点,就是整个项目管理,整个软的设置。每一个项其实都会有一些不同的,都会需要一些改进。这是一个持续迭代更新的过程。对于Meta来说,MSL(Meta Superintelligence Labs)可能将近一年能够做到这个水平其实已经是挺不容易的。但是接下去怎么能够从这个水平做到SOTA,越往后做肯定是越难,越往上去挑战越难。你从0分做到80分,相对来说可能你可以在一定时间内赶上来的。但是如果你要从80分做到100分甚至超过100分,这个是有更大挑战的。我觉得Google之前其实已经做到了这个层面上,就是怎么能够再进一步往上,做到最好的这个位置,这是需要花很多功夫而且要协调很多资源。需要大家能够非常有效地去安排各项工作,需要很快迭代才能做到这样的事情。
Google在AI for Science领域的长远布局
那你觉得AI for Discovery, AI4S,还依然是谷歌非常着重去押注的方向吗?你看前两天Sundar发的邮件里面,Demis虽然说从DeepMind CEO的位置(退下来),但是他还是主管一个AGI和science的部门。Google是在所有的AI科技公司里面,可以说是在science里面最早布局的,然后布局得最广最深,这个生态体系可以说做得最好的一个公司。科学和技术怎么用AI自动去推动,这是太重要的topic(课题),不仅是对一个组织、对一个公司、对一个社会,甚至对一个国家,人类社会发展最终是由科学和技术来推动的。现在有这么一个工具、这么个聪明的AI的模型,你必须要把这东西能力推上去。在这个层面上是不可能说完全放手的,还是会有很大的课题。只是短期内可能会有一些priority(优先级),一个优先级的调整。而且我相信Demis,虽然说他现在转为做Chairman(董事长),但是他一定会在上面继续做很多努力。
可不可以说Demis现在是退后一步是因为他不太想管商业化的事情跟产品的事情,但是他还是会非常地专注在AI4S这一块上面?
我认为这是其中一个原因之一。我相信Demis他一直是一个比较看重长远的发展,特别是在这个技术方面长远发展,而且他个人的气质更像一个科学家,而不是说像一个CEO这样的主管产品或商业这些东西。而且DeepMind跟Brain Team当时合并很大程度上就是因为要尽快能够把Gemini做上去,能够能赶超GPT这样的一个努力。但是在此之前,你可以看之前整个DeepMind在伦敦当时从大概2015年前后收购到合并之前,所有这些Alpha系列都是以科学研究为主。之后的很多效益,包括很多像产品上的落地,那都是因为有这些先驱的科学研究的成果。包括现在AI for RSI(递归自我改进),比如说AlphaEvolve能带动很多算法的更新,能够(带动)自动算法更新。像AlphaFold更不要说了,已经拿到诺贝尔奖了,那就商业化成这个Isomorphic Labs。所以我觉得谷歌有能力也有这个责任去进一步推动一些长远的科技和研究上的发展,我觉得Demis是非常适合这个角色。
AI4S、AI4AI与RSI的概念梳理
同时我们看到其他的AI前沿公司,包括OpenAI还有Anthropic其实也是把AI for Discovery还有RSI这部分放成了他们重点的布局方向。但是在我们来聊这三家公司之前,我们要不要给大家把几个概念给梳理清楚?因为最近大家肯定会听到非常多的关键词,是AI4S, AI4AI还有RSI(Recursive Self-Improvement)。我们能不能把这三个概念给大家解释一下?
AI4S或者是AI4AI都是把AI这个模型当作一个研究员本身去研究科学问题或者研究AI本身自己的问题。大家想想,如果是像AI for AI的话,我这个模型已经很聪明了,然后我怎么能够发挥这个模型的聪明才智来改善这个模型自己本身的一些能力。比如说,如果你给它一个要求,你给它一个任务说,你能不能用最少的资源、最少的GPU,在限定的预算情况下,能够把这个模型训得最好对不对?当然人可以去做,但是如果能够让AI自己去做的话,它可能在尝试很多新的想法、新的一些实验方面比人做得快得多。它可以比如说,它看了一下你目前这个模型的codebase(代码库),然后它发现,你这个参数可以调得高一点。它会生成一个proposal(提议),生成一个建议说,你先试一下把这个参数调高点。因为现在它作为智能体的能力已经很强了,它可以去写段代码,把这个提议去实现。然后自动去写代码,把它放到一个沙盒里面去跑这个实验,去训这个模型,然后观测这个模型生成的最后结果(它的训练结果)。拿到这个结果之后作为一个反馈,然后再提出下一步:我发现你把这参数稍微调高一点之后模型效果变好了,那我是不是应该往这个方向继续再推进下去。根据这样的反馈,进一步生成下一步的它的建议。一轮轮迭代之后,你可以看到它这个模型的性能在不断地一步步提高。这就是一个自我不断回归的过程。所以这是像AI4AI这么一个非常简单的应用。当然现在有人是用AI for AI,有些初创公司在探索能不能找出跟Transformer不一样的一些架构,因为这可能需要很多搜索、很多新的想法放进来。也有人在探索说AI4AI能不能找到一个不需要Backpropagation(反向传播算法)也就是反向梯度传递的新的优化算法。所以如果用AI去研究问题,它可以更高效地去搜索很多不同方法,试很多方法,而且整个loop(闭环)都自我完成。同样的,对于AI for Science只是换个问题,只是说你用AI去做些科学上的问题,但整个方法差不多。
RSI就是,RSI不是一个task(任务),它是一个方法,就像前面说的,我能够不断自我迭代(Recursive Self-Improvement),不断用自我迭代方法去更新这个任务或者更新这个proposal(提议),以至于它能够不断自己把这个任务越做越好。所以这是这些概念的一些差别。其实AI4S跟AI4AI都是类似的,只是它们的目标不一样,然后RSI它是一种方法,它可以用在AI for AI也可以用在AI4S上面。
AI for Science在当前时间点爆发的原因
好,这个非常的清楚了。下一个问题就是说,为什么在这个时间点,特别是在现在是2026年的8月份,为什么在这个时间点AI for Science爆发了?我也理解,它可能也不是一夜之间就爆发的,而是之前有一个缓慢的进展过程,我们看到包括谷歌的AlphaFold、RoseTTAFold等等一系列模型的进展。那么在此时此刻,哪些技术你觉得是成熟了,然后让AI4S可以在这个时间点爆发了?
前两年AI的发展最能够体现这个推理能力和智能的就是代码和数学这两个问题。这两个问题到位之后,如果它自己AI能够很可靠地写代码之后,同时你这个AI这个agent(智能体),整个智能体所谓harness(挽具/驾驭系统)就是它外面怎么能够帮AI一步步完成工作流这么一个设置。这个体系成熟之后,你就可以让这个AI去做更复杂的一些科学问题。就比如说,如果你要去跑一个生物实验,你需要这个模型。第一个,要提出一个假设,下一个实验该跑什么实验,这是模型需要一个推理能力,根据目前实验的观测推导下一个。这是第一步。第二个,如果它模型实验跑出结果之后,你把数据收到了,那我自己要写一些代码对不对,要分析这个数据是不是跟我预期的吻合。这是第二步。那就需要这个模型要有很强的代码能力。第三个就是生成完代码之后,你怎么样自己去更新,如果分析出来这个数据可能数据有些异常,它需要去分析,一步步去分析这个数据为什么会有异常,我是不是前面这个提议里面有些问题,不断去自我迭代这么一个过程。所以这都需要你这个模型本身它的推理能力、数据分析能力,然后数学、写代码能力,以及整个agent loop(智能体循环)就整个循环能力,包括怎么样去管理记忆。就是你每次跑完之后它会有记忆,你必须把之前的观测放到一个记忆的管理容器里面。这些能力到位之后,你才可以更好地去做science问题。因为science面太广而且问题太复杂,可能要比coding(编程)和math(数学)更挑战一点。所以现在就是一个天时地利人和,该到了我们去用AI for Science的时候了。
AI for Science在不同领域的应用差异
我们看到AI4S当中也有很多不同的细支。我现在看到大家讨论最多、最聚焦的也还是在材料、生物制药,还有可能AI for Semiconductor(半导体)也就是AI设计芯片这几类上面。为什么呢?
哪个Science topic(课题)它有最大的吸引力是由几个因素决定的:市场的潜力、市场的规模,然后是不是适用于AI去做,它对AI去做Science研发能力的迫切性在什么地方,以及于它能够做得好。传统上来讲,Biology(生物学)、Biotech(生物科技)或者是Life science(生命科学)或者是Drug discovery(药物发现)有很大市场,这跟AI其实没关,一直都是这样的,哪怕在(它本来市场就是大的)就很大对。最有潜力的,这是第一点。第二点是说,在生物、制药这方面,它相对来说整个流程比较标准化,已经比较结构化了,而且它数据很丰富,整个流程相对来说比较容易让AI去处理这么个流程。这是第二点。第三个就是这些比如说制药厂,特别是做些新药的开发,这周期非常长,它的成本非常高。比如说你开发个新药,它需要测试很多很多种kit,可能的一些新的分子结构,然后在里面挑出一些lead(先导化合物),最有可能的一些。这只是第一部分。之后有些比较可靠的分子结构,你还得去进行临床试验,一些药物开发,而且有很多监管的过程,整个周期可能要花费好几亿美金,等到它能够最后被批准可能几年就过去了。怎么能够用AI在这个过程当中自动化,或者是能够减少成本,这对于这些pharma(制药公司),对于这些药物厂商来说,是非常有吸引力的一个课题。所以总体来说肯定是生物和药物开发,创投上是比较大的,而且比较诱人用AI去做的这么一个有吸引力的科学话题。
但是对材料来说,它也有很大的市场,材料在生活当中方方面面都会碰到,但是跟药物相比的话,材料的市场就非常细。你很难说捕捉到这个价值用在什么地方,你可以有金属材料、有皮革材料、有生物材料,或者是用在半导体制造上面的一些或者稀土材料等等,它的划分会非常细。整个开发流程也是根据应用的不同也不太一样。所以这就导致说,虽然它有很大的市场,但是因为它的市场细分太碎,所以你很难说用一个相对比较标准的方法去处理这样的问题。而且即使你发明一个新材料,你说你发现一个新材料结构、一个新的材料分子,这只是第一步,你之后怎么样比如说把在下游的这些生产环节,你用在什么地方,你给材料发明出来用在什么地方,然后给谁去制造这个材料,最后怎么样去包装等等,它的价值链会比较碎,你很难说一下子用AI捕捉到这所有价值。所以这就导致,材料也是很大的市场,但是它可能跟药物开发和生物相比会相对小一点。其他一些领域,不管是像芯片设计也好,包括像用AI做电池设计或者是像量子计算这些东西,这都是一些新兴的,很多存在探索阶段的一些努力。至于它能不能,AI在多大程度上帮助这些东西做好,我觉得现在很多公司在探索不同的方向。
AI4S在科学研究中的具体角色和步骤
我有一个问题,AI4S它本质上解决的是什么问题?是对现有科学的研究进行一个加速,还是说去发现新的问题?就是说它是提效还是去发现?
这取决于AI for Science这个模型它的角色。这里面有几个角色。第一个是Co-Scientist,我就是帮助科学家去加速科学家的发现,但我自己不一定提出新的一些方法。就比如说Claude Science这个平台,它其实就是workbench(工作台),Workbench就是像编程的这么一个IDE,这么一个集成环境一样的,它上面有很多工具,你可以去做分析,然后你可以跟这个(模型)进行对话,然后给出你一些建议或怎么样的去跑些实验、做些模拟。但是整个过程当中,不一定AI模型自己去提出一些新的知识。但它可以加速科学家对于实验的一些设计、一些数据的分析,总之就是能够让你这个科学的流程、整个研发流程变得更容易点。这是第一种。第二种的确是AI可以提出一些自己的新的发现。就比如说像DeepMind之前的AlphaEvolve,AI能够自己发现新的算法,更不要说像AlphaFold这种能够帮助产生一些新的蛋白质结构,能够AI自主产生知识的。这是第二类。这取决于用在什么场合,然后用在什么领域,以及你这个模型是用在某个垂类里的,还是说作为一个一般性的模型放在一个agent loop(智能体循环)里面,它所扮演的角色是不一样的。
那接下来我们把AI4S的一些具体的步骤给大家拆分开来,我们看一看AI具体在里面有什么样的应用跟研究,好不好?包括如果你们作为一个科学家,你们要做research要做研究的话,其实有比如说问题的定义、有表征、有建立预测、还有验证做实验等等。比如说我们从最开始开始,就是问题定义这个上面来看的话,你觉得AI在中间扮演的一个角色是什么样子的?
我觉得问题定义必须是人来定义的。我认为AI目前它还做不到说自己有这个品位去找出合适的问题,然后定一个合适的问题自己去做研发。这个我觉得目前是比较难的。问题的定制,所以为什么人类科学家还是要在这个,他是不可取代的。他必须能够给出一个问题,然后告诉你要解决什么问题,哪些动机是重要的。这个是需要人来给定的。但是可能AI可以通过你给它一个初始的问题、一些初始的提示,它可能可以通过搜索一些文档帮你做些分析,帮你改善这个问题,怎么样去结构化这个问题。这个是AI可以做的,但它主要是一个辅助性的作用在这个地方。
但现在什么样的问题适合去让AI来研究?这个问题是人现在需要去挑选的。就比如说什么样的问题适合AI去研究呢?
任何可以计算的问题,很容易去被验证和计算的问题,这个是最适合AI去完成的。说白了就是,你多大程度上能够很干净地去建模这个过程。比如说像AlphaFold,这个问题定义非常明确。你给定一个氨基酸序列,然后给出一个三级结构。这种问题它是非常结构化的,相对来说AI通过计算是可以解决的。而且另外一个说,验证上面比较容易的一些问题。因为在整个AI for Science里面,可能最难的一环就是怎么样去做验证。因为你不像说AI4S,不是像AI for coding(编程)或者是for math(数学)。因为AI for coding(编程)和math(数学),你一旦数学给出证明,AI给出证明,你马上可以判断它是不是对的。这是非常快的。或者你写一个代码,它对不对马上就可以知道。但是对于很多科学问题,你说你申请个新的药物,可能不到最后上市之后……
AI在科学问题中的可验证性
你真的不知道它效果会怎么样。虽然是有很多模拟,所以终极问题不一定是马上能够用AI4S这个东西很快解决。但是它当中一些步骤,如果说你可以通过一些模拟,一些simulation tool(模拟仿真工具)计算出药物的一些特性,然后它是不是稳定,它会不会有些副作用,这个是比较适合用AI去做的。所以AI能够,你产生东西,能有多快地去验证,取决于你这个AI for Science能够多快迭代。所以这个可验证性是非常重要的一个指标。
能不能给我们举些例子,现在不合适或者说还没有办法用AI来解决的科学问题?
这个我觉得太多了。我觉得可能反过来讲,哪些问题适合用。就像前面说的,AlphaFold是适合的。(对,适合)但是比如说像OpenAI之前用GPT-5跟Ginkgo Bioworks,Ginkgo Bioworks是美国剑桥的一家,用机器人做实验的实验室,他们把GPT-5跟实验室结合在一起,能够完成一个完全自动化的做实验,然后给出反馈,给出验证的这么一个过程。这个过程是完全适合用AI去做的。他们可以就是说,比如说他们当时是拿GPT-5提出一些配方,怎么样去生成新蛋白质的配方,当然很多很多,几千种配方。GPT需要提出下一个配方,它最可能的一些配方应该是什么样子的,能够尽量降低成本。这种问题是适合AI做的。
但是大部分可能科学问题,目前还不能用AI做。因为AI4S跟AI for coding(编程)和math(数学)不一样的地方,就像前面说的,很多地方是你需要物理验证的。但是如果你这个,除了像材料、生物相对来说还是有一些机制可以让你去验证这个情况之外,大部分、很多的科学问题无法很快得到验证的话,你是没法用这个AI来解决的。
没有办法验证是因为人还是受制于人(去验证)的时间?
对,不光是人,而且它的复杂度、它的成本都是很大问题。你说AI生成一个新的核聚变的装置或怎么样,你要做这实验,其实它的成本和代价是非常高的。你能够做的问题,只要能够是通过数字化模拟的,In silico(计算机模拟),就是在数字环境里面模拟的,这些可以做。但是你最终还是要走向物理世界,最终要验证。这东西,不是说不能做,而是说它的成本和收益目前很不明朗的情况下,可能大家没有特别大动力去做。但是最终的话,我觉得就是,这一步是逃不掉的。你毕竟要走向science,必须突破信息极限,走到物理世界。因为整个宇宙最基本的几个要素:信息、物质和能量。AI for math和coding都是在信息层面。然后哪怕AI4S,它可以提出一些新的proposal(提议),新的一些包括模拟都只是在信息层面。但是你要想做science,你必须走到物质层面。然后你必须要做一些实验,就是到湿实验的环境。(对,湿实验环境)所以这些就是需要很大投入。而且我觉得这也是很多人在探索的一些事情。
湿实验的提效与自动化实验室
但是现在湿实验还没有办法被赋能或者被提效?
现在最提效的还是说在前面的simulation(模拟),这是目前迭代最快的一个环节。但是有很多工作能够让湿实验提效。一个就是说,就像Ginkgo Bioworks讲的,能够让机器人自动地去,所谓AutoLab(自动化实验室)或者是Cloud Lab(云实验室),能够让它自动去完成这个实验。只要这个GPT给它一个指令,它可以自己,机器人帮去做实验,这是第一个。
机器人做实验是什么意思?就是一个机器人它像一个研究员一样,拿着管子?
对,滴试管。(滴试管)类似这样的一些,每个操作。如果你一个操作是标准的话,它可以用机器人去完成这个指令。对,所以有些是云端实验室,云端机器人操作时,你就call(调取)一个API,它就给你做这个实验。它就是远程的一个完全自动化完成的实验。
科学对象的表征与通专模型的定位
然后我还看到就是说,如果要让AI来解决科学问题,其实表征这个事情非常的重要。因为有一些问题是适合把科学对象转化为合适的表征的,就比如说AlphaFold里面,蛋白质常见的一个表征就是氨基酸序列,还有三维结构,还有图结构。所以回到这个AlphaFold的案例上面来说,这就让蛋白质结构变成了能够被机器理解的这样一个议题。有没有什么问题是很难或者是无法被表征的?
我觉得首先要分清两个概念。目前用AI做Science主要来说有两种模型:一个是通用的模型,就像那个GPT、Codex这样的。GPT上这些模型,然后它去驱动整个Al for Science这个推理的过程,然后自己给自己分析数据等等。这需要很强大的一个通用模型去做。第二个是垂类本身的模型,就像这个AlphaFold,或者是像GNoME这种做材料的,或者是MatterGen这种,或者做天气预测这种。这只是做某一个领域的一个模型,只是这个领域的专家。但它其他什么也做不了,你不能把这个模型又放到一个通用的像所谓orchestrator(总调度),就像“实验室主管”这么一个角色,去驱动整个科研的流程。
不同的模型,它对于表征的要求是不一样的。通用模型的话它什么都可以表征,就像GPT或者Gemini,你给它一个语言的描述它作为一个输入,或者你给它一段代码,或者你给它这些像JSON,一个实验室数据的JSON,一个格式化输入。这个模型通过pre-training(预训练)和post-training(后训练),它对任何格式的多模态表征都可以去内化,都可以去理解这样的一些表达方式。
但是如果你说像AlphaFold这样的,它只能给某一个领域,所以它只能接受氨基酸序列,加上一些DNA,或者加上一些附加的metadata(元数据)。所以它就没法去做超越这个领域之外的一些推理能力。的确就是说,这个是区分你这个模型能表征什么样的东西,能够接受什么样的一些数据,那取决于你这个模型所属的位置,在整个平台上所属的位置。那些GPT上的可以作为一个大的实验室主管,我来告诉你该做什么。像某个领域专门的这些模型,AlphaFold也好,GNoME也好,它就是作为一个专家,你可以调用这工具。
但是至于说哪些问题没法表征的,我觉得这可能是相对更大的一个话题。这个是跟AI本身自己的能力,就说哪些问题是AI自己没法表征的非常抽象的事情,哪些东西是没法通过一个向量或者是通过一个逻辑来刻画的。但凡你有办法把一个数据转换成一个字符串、某种模态的一个表示,或者是一些embedding(嵌入向量),那些向量也好,你只要能够把你的数据数学化或者是格式化,变成一个具有结构的输入的话,这样的问题都是可以表征的。但是如果你说,如果有些东西是没法测量的,大脑的状态或怎么样的,这个东西没法表征。如果你没法测量就没法表征,这我觉得是一个AI本身的问题,并不是特别只是对于AI for Science的一个问题。
预测模型与实验方案的搜索机制
比如说我们到了表征之后,这个机器它其实是OK,我知道我要去研究这个问题了,那它接下来会建立一系列的预测模型,还有比如说逆向设计,这样的一个环节,这个环节是怎么运作的?比如说给定一个疾病的靶点,然后让AI去生成可能可以结合的分子,这样的一个案例。
这个例子是专门的一个、某个领域垂类的。比如说像专门做药物开发的这个模型,这个是你给定靶点,它肯定生成一个输出。但是对于一些一般性的模型,就像整个(总调度),来协调实验室主管GPT这样一个模型的话,它就是一个通用的预测模型。你给定它任何的之前的实验记录,然后一些分析的数据,以及你各种要求。它作为agent(智能体)输入,作为一个生成模型,它可以生成下一个实验的设置,下一个proposal(提议),这样的。
那来讲讲实验的部分,AI它自己会挑选什么样的实验来做吗?
这是一个搜索的过程。就是整个AI模型它会提出不同的,可以说每一步采样出不同的一些方案。你要有个机制来决定哪个方案是下一步它需要挑选的,然后去做实验的。一般来说,比如说这是一个搜索过程的话,你可以想象,把这个搜索过程当作一个树。根据之前树上的每一个节点,都是之前的或者说目前已经探索过的一个方案,然后你要决定哪个方案是最有希望的,从这个方案再往下去做实验、往下推。
这样的话你需要对每一个树上的节点去给个分数。如果说一个节点是配方一,另外节点是配方二,这个模型发现配方一根据之前的实验好像效果还不错,这个分数可能在这方面会比较高一点。但是它也不能完全说只考虑配方一,因为目前实验只做到一半。你不能说只根据一部分的观察就把这条线推到底,把这个方案推到底。所以它需要有些explore(探索)的过程,比如说也分配给配方二一些概率,它可以想到配方二。所以每一个节点的分数有多重要,决定下一步该做什么,都是有它这个节点当前的价值,以及它有多大的概率还没有被探索过的。这几个不同的分数组合起来的。所以根据最后这个综合的分数,它可以决定哪个最值得下一步去开发的一个方案。
那这个定义是什么呢?怎么让它去平衡多种因素呢?其实你刚才讲到,我知道业界有两种概念。一个叫exploitation,也就是说选择当前看起来最好的一个候选;然后还有一个叫exploration,就是说选择不确定,但是可能会带来新发现的一个候选。我觉得人去选的话都已经挺难的了,机器怎么选呢?你给它带来的一个评价体系是什么样子的?
人在选的时候会有直觉。就是你每一个,你会觉得哪个方案更可能可行。把这个直觉翻译成算法的话,就是所谓的一个value function(价值函数),根据当前的状态它有多大潜力去,或者是它最终会大概按照期望来说会有多大的回报。这个其实跟post-training(后训练)里面Reinforcement learning(强化学习)的算法都是一致的。总是要平衡exploitation和exploration的两者关系。我既不能说只找一个目前最好的方法一直往上推,因为它可能是局部最优的;但我也不能把它忽略掉,因为它可能的确是很好。
所以每一个节点它的价值,取决于直觉给它多少分数。就是它未来的价值可能有多少,这是给它很重要的一个分数。但是同时在搜索的时候你要考虑到,你目前能看到的价值之外,它之前那些搜过的路径是不是已经被用了很多次了。如果之前那些路径已经被用了很多次的话,那你就应该考虑试一下其他的,采样一些其他不同路径,对不对?不然的话你总是往这条路径上搜。所以它最后一个分数永远是一个直觉分,相当于是一个所谓value function(价值函数),加上之前的路径有多少次已经被采样过了。综合一下,给出一个比较靠谱的分数。
模型到物理实验的闭环挑战
你刚才讲到那个实验,其实AI4S能够押注下一阶段非常重要的一个标准就是,它能不能达到一个模型到实验的闭环,也就是我们说的这个loop(闭环)。那你想想,刚才你也讲到说,如果我把机器人能够引入来做实验,那它整个过程就不需要人了。相当于是机器人自己提出假设,然后我去做实验验证这个假设,然后再从我的实验结果里面提取下一轮实验接下来要做什么更好的实验,然后再继续提出假设、再做实验。这样的话,这个过程就成为了一个recursive(递归的),不需要一个人的自我进化的过程。这个可能是真正能够加速科学去更快地发展的这样的一个方式。那么在这个过程当中,你觉得怎么去建立这样的一个闭环?
闭环很重要。像你前面说的,说实话之所以像Anthropic Claude coding Agent(编程智能体),它之所以能够可以说是目前最成功的一个商业闭环模式,能够产生指数性增长的在AI应用里面,这个AI coding(编程),就是因为它有这个闭环。你程序员写一个程序,它马上可以验证完。验证完告诉你这个对不对,你完全不需要等待,或者是接受外界的一些干涉,你就可以自己决定。这样的话作为一个用户,你可以对整个coding agent(编程智能体)有一种信任。你可以把整个任务都交给它,而且你是完全可以去验证的这么一个过程。这个闭环是很重要的。
但是AI for Science里面闭环很难,因为它是涉及到物理世界。它需要你做实验。这个东西不像你写coding(代码)这么容易去验证,对不对?所以总体来说,在闭环这个环节,说白了怎么样能够更快获得实验数据,获得实验的验证。如果理想上能够一分钟获得一次实验验证的话,那这个问题就解决了,我可以生成无数个数据,然后我直接去训就行了,我这个问题就解决了。但是在大部分的物理实验环境中是不太可行的。
所以要么就是把它,我觉得现在很多发展的方向就是能够把它(做成)自动实验室。如果这个实验室操作流程比较标准的话,你可以把它完全用机器人来替代。这个是很多美国这边的公司都在做的事情。如果说不是一个标准流程,比如说你经常需要流程、配方或者整个操作改变的话,你就需要一个具身智能,需要比较通用的一个机器人帮你去做这样一个事情。这可能是比较久远的事情了。但不管怎么,自动化实验室肯定是一个相对来说比较能看到的方案。这是第一点。
第二点的话,怎么样能够尽量减少物理实验,对不对?如果你闭环的瓶颈在于物理实验的话,你很难做或者是做的成本高,你必须要让它实验做得越少越好。而且每做一次实验都保证它希望结果好,而且这个实验的设置要对。这就是在AI本身智能上面需要提高的东西。如果现在AI为了产生一个新的、符合要求的蛋白结构,我要跑10次实验才能达到这个结构。那你必须要为了降低成本、形成闭环的话,你要把这个智能提高,让它只跑两次实验就可以做到一次。所以对于这个数据分析能力,对于这个实验历史的管理,怎么样从过去历史当中失败的经验去做分析,能够找出下一个更好的方案,这对智能本身的要求是要更高的。
所以我一直觉得说,AI4S它不是说把science当作一个应用,而是AI and Science。就是你为了能够让AI更好解决science问题,AI本身能力跟science结合的能力都要同时加强。你如果AI推理能力还不够特别好,你如果每次做的假设还是有很大的出入的话,你不可能真正形成这么一个相对来说比较闭环的工作环境。
你刚才说的第一点,AI自动实验室那个还挺有意思的。因为我看到Google DeepMind它之前跟伯克利还有劳伦斯伯克利国家实验室,它有个叫A-Lab的合作,你知道那个案例吗?
这可能是比较早的一个案例。A-Lab是挺早的一个(案例)。而且当时应该用的比较早的一个模型,还不是Gemini。但的确是,自动实验室这个概念也是很早就有,并不是说最近的大模型才有的。
我之前看他们说,那个在17天内执行了353次实验,获得了57个目标中的36个。
这个实验室现在还在继续地,肯定在,对。
你觉得现在它的壁垒、它的难点在哪里?是不是还是物理的机器人那一块?
如果从物理自动实验室这块来讲的话,那的确是一个机器人的操作流程和机器人本身发展的一个,这是另外一个课题。怎么样能够让机器人,特别是在某个领域专业的机器人能更快地操作、完成一些实验,然后降低成本。所以为什么的确是,整个AI for Science它设计很多体系。不光是一个模型本身的能力,而且为了加快实验,你要让机器人本身的具身智能,它的精确度、它的速度都要提高。你可以想象未来真的形成闭环了,如果很快能得到结果的话,那你这个机器人本身就要很强大。所以这一系列都是一个体系里面的。
那目前看起来,非物理的那一块它的进展是要快于物理的那一块?
可以这么说,非物理这块,in silico(计算机模拟),这些simulation(模拟仿真)什么的,它的确比较好验证,你可以衡量它的进步。而且的确是因为它好衡量,的确可能发展起来更快一点。但是也有很多新的AutoLab(自动实验室)自己就是机器人,不一定是通用机器人,就是专门某个环节做机器人。这个其实也是有很多发展,特别是在美国很多一些新的初创公司都在做这个事情,尤其是在医药领域。
AI发现因果机制与语言模型的局限
你觉得用AI去发现因果机制这件事情能做到吗?
肯定可以做到。In causality这个causal modeling(因果建模),其实是历史很悠久的一个课题。在很早的时候,像Judea Pearl他们这些,已经有很多因果模型做这些事情了。但是我觉得可能现在的AI4S这个语境下面,要发现因果机制,说白了就是怎么能让language model(语言模型),让这个model(模型)能够分清correlation(相关性)和causation(因果性)之间的差别。这个的确是,可以说目前的确是语言模型一个弱点之一。我不能说,我个人感觉是,现在语言模型它在这方面还不是说做得特别好。
因为有很多研究和分析,你如果是给一个语言模型它一个推理的问题,你把这个前提这么说,它推理出来结果是对的。但如果把这个前提稍微改一下,或者是稍微把这个措辞或者前后语序顺序倒一下的话,但是整个意思不变,但language model(语言模型)生成的结果是错的。因为language model(语言模型)在训练数据过程中,它一般只看到过某一种形式的训练样本。说白了,大部分训练数据样本可能只是告诉你,这个正确的描述该怎么样描述,或者最常见描述该怎么样描述。它从来没有见过说换种方式的描述是怎么样的。所以这个时候如果你人为地把它换一个说法,Language model(语言模型)很不习惯的一个说法,它就会出错。因为它没有在数据库里面。这种事情是很多的。
所以为什么,对,的确是因果机制,Language model(语言模型)本身是要提高的。这就是为什么像Yann LeCun他们强调要做世界模型。你不能说这个language model(语言模型)它只是训在表面的text(文本)上面。因为文本上面永远是说人把最常见的一些说法,或者是只给你看到正面例子,但反面例子反过来说的话,它不会在文本里面出现。但是如果你能学到个世界模型,学到整个物理内部的一些规律的话,那它是独立于你怎么样表征的、你怎么样去描述这个事情的。如果世界模型能够做到这点的话,那它对于因果关系的掌控可能要远远好于目前的Language model(语言模型)本身基于文字上的描述这样一个因果关系的推理。
所以最近也有一些新的初创公司,也是在探索一些新的能够训练language model(语言模型)更好地去捕捉因果关系的一些努力。所以说的确是一个很重要的课题。我个人感觉是,目前language model(语言模型)大部分情况下,按照正常的描述方法,它可以理解这个因果关系。但是如果是一些反常的,或者说你需要一些介入的,比如说万一我把这个变量动一下或怎么样,有些所谓Do-Calculus(Do演算),如果我万一把某个值调高一点它会产生什么结果,或者如果我把某个条件去掉它会产生什么结果,有这样的一些干涉的话,它还是做不到。很多情况还是做不到,因为它真的是没有一个特别完善的物理的理解过程。
就是预测相关性,其实这是大语言模型现在可以做到的事情。就比如说X跟Y高度相关。但是如果科学它需要一个非常确定的、精密的、certain(确定)的一个呈现跟statement(表述),比如说X是通过机制M导致Y的。现在如果光靠语言去表征的话,它其实很难去把这个逻辑关系、因果关系给非常确定地建立起来,可以这样理解吗?
我觉得就是不可靠。它不是说不能。很多情况下language model(语言模型)它也是可以做因果关系的。不然的话它有很多推理问题是没法完成的。但问题是可靠性。它可靠不可靠完全取决于你怎么样去表述这个问题,或者表述这个结论、这个前提。如果你的表述方法跟它训练数据里面的表述方法不太一致,或者是一些新的没见过的现象,那这个模型就蒙了。它不一定能够把这个因果关系提出来。所以为什么的确是需要一些更底层的(判断),模型它对于因果关系的判断,不应该基于你语言的表述,而是应该基于你整个对物理建模的掌控。
递归式自我改进与元智能体
刚才我们提到了整个AI for Science Loop当中会涉及到的一些具体的细分的环节。你觉得这个环节当中有没有哪点我们漏掉的、还想补充的?
可能一个我觉得可以提一下的是,整个loop(闭环)它怎么样自我改进。像Recursive Self-Improvement(递归式自我改进)。你怎么样能够让这个loop(闭环)自我改进。或者说你这个loop(闭环)怎么样建立。前面我们大概讲的是一个相对来说比较简单的,你给个问题,给个proposal(提议),跑实验拿到数据做分析,这个loop(闭环)是非常简单的。但是你比如说如果像,你要去再做AI4AI,或者是你要去训个新模型,可能这个loop(闭环)本身也需要改进,有个Meta-recursive(元递归)的过程。除了在改进模型本身,或者是在改进做实验这个流程之外,怎么样安排它这工作流,或者怎么样去在什么时候让它自己去更新自己的代码,这些Meta-recursive(元递归)或者是Meta Agent(元智能体)也是目前在探索的一些问题。你不能说一直只依赖一种所谓agent(智能体)这个harness(挽具/驾驭系统),怎么样能让它串起workflow(工作流)。随着不断地观测、不断地迭代,你要把自己整个工作流程也要改进。这是Meta-recursive process(元递归流程)。所以我觉得这方面是非常重要的一个话题。
AI科学发现的瓶颈与知识抽象过程
你觉得中间有哪步是最难的?技术上。
最难,对于AI for Science,肯定是verification(验证)。它是物理世界上,这么说吧,verification(验证)可能是最重要的一步。但是如果你verification(验证)做到位了,哪怕你用最简单的AI4S方式,它可以完成很多问题。就像前面提到的,如果你一分钟就可以拿到一次数据,做物理实验拿到数据,在理想情况下,那你可以生成无数个数据,然后你马上就可以重新post-train(后训练)一个模型。然后像训代码或者是数学一样,这个问题就解决了。至少你verification(验证)可能是很重要的一环,它是一个瓶颈,一旦这个瓶颈被打破了,你就可以很快地迭代。但是这不代表这个问题解决了。
最难的一部分可能是你AI本身能不能提出新的一些见的。就是你这个模型再怎么提出新的方案,我再怎么去做推理,如果它永远只是局限于目前Essay(论文)能够知道一些知识,它没法提出新的一些设想,或者是新的一些更有阶跃性的想法的话,大部分情况下这个loop(闭环)只是在不断调一些参数,或者不断试一些配方,或者排列组合这样的话,它能够达到的能力极限肯定是有限的,是比较低的。所以怎么样能够让AI产生更有创意的,但同时又是合理的想法,这其实是我觉得目前还很不够的一个地方。
就比如说前段时间诺贝尔得主Jennifer Doudna,就是那个做基因编辑的人,接受采访时,人家就问她:“你们用不用AI帮你们做实验,做一些科研?”她就说:“我们也用。但是我们从AI给我们的proposal(提议)里面,没有一个它的proposal(提议)是我们之前不知道的。”它生成很多proposal(提议),没有一个是我们不知道的。可能有些地方是平时我们忽略的,但是这些基本上现有知识都有的。现在论文里面或什么样,我们都可以知道。所以说能不能提出一些既有创新性,但同时又是可行的方案,这个我觉得是很困难的一个问题。这不光是在智能本身上需要建模的一个新的挑战。
所以要让AI真正可以,怎么说,下一步能够有这个突破性的科学上的帮助,就是要解决去discover(发现)这件事情?
对,而且discover(发现)是很挑战的一个流程。目前的AI for Science,它可能可以在它的表征空间里面已有的概念里面进行排列组合,然后去搜索,然后给你设计一些新的实验方案或怎么样。它通过排列组合已有的概念,的确可以给你解决一些,可以说是很大一部分问题,这效率已经远远比人类高了。但是如果你要真的是让AI以后能够自动生成一个像诺贝尔奖级别的科学过程,一个科学结果的话,这整个discovery(发现)过程我觉得是目前AI远远做不到的。
人类是怎么样发现知识的,怎么样把科学知识提取出来的?你先要接收perception(感知),感官的一些输入。你观察人、做实验观察数据,这只是第一步,这是经验的输入。但是输入完之后,你必须要能够形成概念。就怎么样,比如说你看到一个人一推这个车,这个车就往前走了,这是你观察到一个表面现象;然后你要提取一个概念说,是力、力量,他一推车往前走,而且你要把它符号化,生成一个F,这么一个;第三,如果你为了得到一个科学的理论,你要把它凝结抽象成一个公式,就像牛顿第二定律F=ma,力量等于质量乘以a。等于说你必须要把最原始的观测,抽象成概念,最后再形式化成这么一个理论体系。这整个discovery(发现)过程我认为AI是非常困难的一件(事情)。目前来说,对AI还是非常困难的事情。所以我觉得AI4S目前只是在某种限度之内,在已有的这个表征空间里面,它可以去进行一些不同的探索。但并不是说真正能够产生新的一些理论或者是知识。
AlphaGo它的第37步,就“神之一手”的第37步,它那个算发现吗?
它也是发现,它肯定是发现,它是个新的发现。但它这个发现的模式是把现有的内在表征,比如说重新去排列一下或者组合一下。原来可能它不一定是在最大或者是比较大的概率这个路径上面,它突然有一步采样到一个之前不常见的路径。它是一个发现,肯定是新的,但不代表它创造出这个新的概念。
符号主义与打破语言模型的局限
我看你自己的公司Unreasonable Labs,你们提出来一种解决方案是“大语言模型+符号主义”,你觉得“符号主义”能够解决这件事情吗?
我不能说是解决问题。但是我们想做的是,至少可以解决目前Language model(语言模型)本身的一些弊端。我们的出发点就是,Language model(语言模型)还不足以产生更多的一些新的想法,能够更好推动一些科学发展。因为language model(语言模型)它的整个宇宙就是由这个训练数据决定的。训练数据里面如果展现出来这个思维模式,是language model(语言模型)可以吸收进去的,各种数据或怎么样的各种推理过程,它只能学到这一步了。但是如果你真的是做科学发现的话,按照定义来讲的话,如果你要做科学发现,你要发现东西肯定不是在现有的知识里面的,对不对?
那你怎么能够让这个language model(语言模型)从一个固定的而且可能是过去的这些数据里边发现新的东西,能够产生未知的这些东西。这可能是非常难做到的。不是说一定不可以,只是这个概率可能非常非常低。因为这个新的知识肯定没有在现有的训练数据里面以高频率出现过。所以我们就希望在外面有一套机制,能够帮助它产生一些新的不一样的想法。这套机制你要让它起作用,那肯定就不能是另外一个language model(语言模型),不能又是搞个数据训个模型。不然的话,就又跟language model(语言模型)一样了。所以我们想做的就是说所谓“符号主义”大概讲一下。
“符号主义”是个非常宽泛的概念。对,跟我们不太熟悉这个概念的观众可以解释一下。
符号主义与连接主义
对,这个“符号主义”是人工智能很早就开始的一个,可能早期人工智能就开始沿用的一个概念。当然它是非常宽泛的概念,但简而言之,就是写规则。如果有些知识,有些东西,有些现象,你是可以很明确地写出来的,是先验的,不需要通过数据来描述的,或者来学习的话,那你就把它写成符号,写成公式或者是一个规则。就比如说If-Then规则,这样的一个逻辑规则。你不用数据都可以知道的,这是你先验的可以去规定的。如果你知道A>B、B>C,那么A>C,这种东西是完全可以事先就写出来的,你不需要学。
所以这就是不管是“符号主义”还是“连接主义”。“连接主义”说白了就是神经网络。“连接主义”就是你需要学习,因为它这个表征是用一个向量,去分散式表征。你必须用,不像“符号主义”说我就手写出来,比如说你用符号把它这个知识表达出来。但是“连接主义”是你要用这个向量去自己学,可能里面每个元素,它的意义,是根据你观测收到的数据自己学出来的。这两个就是“符号主义”跟“连接主义”的区别。
“符号主义”的好处就是说,你可以先验地去写一个东西,而且它很精确。你像数学和代码,其实都是符号。包括可能目前的Agent Harness(智能体挽具/驾驭系统),它整个工作流程都是你先验指定的。就是你第一步干啥,第二步干啥,万一出现什么情况,你要什么时候去调用Memory,这个都是先验规定的。这肯定都是属于“符号主义”。它是你先验的话,你可以去设计出这个东西。
但是它的问题就是说,它作为一个知识表征的方法,它很脆弱。比如说如果你要表征一个概念,说什么是猫,你怎么样表达猫这个概念?你给个图像我怎么知道这是不是猫?如果你要用符号去表示,或者是规则去表示的话,你可以说如果一个动物它有两个尖尖的耳朵,然后长了胡子,毛茸茸的,有这么一套规则,这就是猫。但是问题是,它这样的表征是非常脆弱的。你没有办法用纯语言去形容一只猫。就是你没法用一套逻辑去规定很多东西,没法用非常刚性的逻辑去刻画整个宇宙。因为我们语言沟通当中,很多现象都是非常模糊的。猫这个照片,你换一下,如果猫正好在低头或者是猫正好在,它跟你逻辑上的规定就不一样,所以它就非常脆弱。这是符号学为什么没有被用,没有变成主流。对,当时没有变成主流。
那怎么办?就是让模型自己去训。就像这个“连接主义”,让这个神经网络自己训,去学习这个猫的特征,然后就学成这么一个向量。这样的话你来一个新的猫的照片,它只要跟这个向量对比,它如果足够相似的话,我认为这就是个猫。所以“符号主义”跟“连接主义”,它各有特点,各有长处。但是的确是在像Deep Learning(深度学习),就是一个“连接主义”。特别是涉及语言,自然语言这个层面的话,包括图像识别,有很多模糊或者是有歧义的东西,你必须要让模型自己学出来。
LLM与符号主义的混合解决方案
你们的这个路线是LLM(大语言模型)结合“符号主义”的一个混合解决方案,它是怎么去运作的,你觉得?
所以我们就是说像前面说的,如果你要在LLM(大语言模型)外面加一层东西,能够帮助它产生新的想法的话,我们想把这些不同的,比如说所有的这些人类知识,把它用一些规则能够给串起来,而且能够提出一些新的。这样的话,比如说有些概念是在这个论文里面提出来的,它跟另外一个论文是有什么关系,你可以把它给连接起来,这些是可以用这些符号逻辑去表达出来的。等于说你可以把不同领域的知识通过这么一个表达式,可以把它给串起来。
这些东西是你很难从训练数据里面去发现的。因为有这么多知识,有这么多概念,然后它之间的关系,这个是不太可能从数据里面提到的。而且每天有很多新的论文出来,你不可能说每天去训一个新的language model(语言模型)。所以它可以帮助我们,能够更好地提取出知识之间的一些骨架,它们之间推理关系,以及它们之间怎么联系的。这些东西可以作为一个模型的新的直觉,给它生成一些在它概率范围之外的东西,就是说小概率的一些事情。
但是现在我理解说还是在比较早的一个研发阶段是吗,主要的瓶颈是什么?
我觉得是平衡创新性 novelty(创新性),它的新想法的创新性和可行性之间。说实话,你要让一个模型创新的话是很容易的,哪怕就随便采样,或者是给它任何扔一个单词,它都可能生成一个不一样的想法。但问题是,你这个创新的想法必须要可行,而且是必须要合理,对不对?你不能随便瞎说一些东西。怎么能平衡创新性和合理性,这是一个比较挑战的事情。说白了,你提出新的想法,你要证明它这个东西,的确是跟你这个问题比较吻合的,而且是可行的,而不是说是随便为了创新而创新。
你觉得“符号主义”有可能会重新复兴吗?
不能说复兴,因为的确是我们看到世界很多东西都是非常有歧义的。我不认为说这个“符号主义”一定(能复兴),我认为是不太可能说是替代“连接主义”,因为神经网络毕竟它非常强大。大家看到这个language model(语言模型)都是按照这个方式训的。但是,有一些东西可能是用符号来加速的或者说来加强的。比如说最终可能有98%的是“连接主义”,但2%的是“符号主义”。
其实现在这个AI for math(数学)、AI for coding,它就是一个neuro-symbolic(神经符号),符号跟连接主义拼在一起的这么一个结构。比如说求解数学问题,你原模型先生成一个数学证明,这可能是neural network(神经网络),这是“连接主义”的一部分。但是你这个证明对不对,我就要用形式化证明的工具,像这些Lean之类language(语言),去验证这东西对不对。这套东西完全是符号的,跟这个神经网络是没有任何关系的。所以这已经是一个,神经网络跟符号相联系的这么一个例子。这两部分都很重要。
我觉得不管是符号还好,还是连接也好,它们的本质是说,这个符号是一个先验的,你不用数据,你可以指定东西。而“连接主义”,这个神经网络是你必须通过大量经验去学到东西。
哲学视角的先验与后验
我觉得跟很多历史上的一些哲学上讨论都是相关的。这都是关于人怎么样去认知这个世界的一些讨论。就比如说在历史上的古典哲学里面,大陆的唯理派和英国的经验派,像弗朗西斯·培根,像他们John Locke这些,他们认为人的认知是完全来自经验的。我这个大脑就是空白,你给我看到什么样的输入,我大脑就映射这个输入,我的世界完全就是由外界的感官输入、经验材料来决定的。
对应到今天的人工智能语境,那就是大模型。我一开始初始的时候,它就是一个随机的模型,什么都没有。但是我经过万亿个这么多token的训练,它完全是由这些感官输入、经验输入,来决定这个模型的智能的。这完全就是一个经验派在当今语境下的一个映射。
但是另一方面,唯理论就觉得人怎么样去理解这个世界的,完全是由大脑一些先天的结构决定的。就是我怎么样,你像笛卡尔说“我思故我在”,我先有个结构,然后我再去理解这个世界。完全是不依靠经验,不依靠感官输入来决定,我怎么样去理解这世界的。这两派,一个是先验的,一个是后验的。
但是他们一直发展到像德国古典哲学家康德,他觉得两个都不对,我要把它们统一起来对不对。所以康德就提出,经验是提供材料的,但是你看到这些东西,感官输入都是材料,怎么样能够对你产生意义?那是你需要有个先验结构。人脑里面总是有些先天的结构,使这些感官输入有意义。不然的话,你不管看到的是一个圆球还是一个轮胎,对你来说只是一个随机的输入,但你感受不到它是一个圆的这么一个概念。所以康德就觉得,人有先验,大概他觉得有12个范畴这样的先天综合判断,有这么先验的结构来。比如说是对时间、空间、物体、因果关系等等一些先验的结构,来阐释这个世界,来阐释这个感官。这部分完全是先验的,纯粹是理性的。他觉得这两个东西必须结合在一起,才能够产生人的智能,人才能产生知识。这是到了康德。
然后再到后来黑格尔,他觉得康德说得也不对。你不能说把理性和感性和经验对立起来,不是说是两分的,应该是辩证统一的。就是说你要不断地持续更新。你不能说一个概念一旦树立起来了,像先验树立起来了,一直就是恒定不变的对不对?所以要不断地进行自我否定,要变成不断持续更新。
映射到今天的这个语境,到人工智能产品语境,那就是持续学习continual learning。你这个模型训完之后,最终AGI肯定不说就是这么一个文件,就是这么一个固定死的checkpoint,所有的参数都刻在里面了,你说这是智能,肯定这个不可能是这样子对不对?它一定要是在不断地跟用户互动,或者是它执行任务的过程当中,要不断认识到自己的错误,然后持续地去更新自己,能够让自己变得更加智能。
整体来说,我的意思就是不管是“符号主义”还是“连接主义”,这个东西其实,这是在人工智能语境下讨论的概念。但是其实他们的这些讨论话题跟古典哲学,其实都是一脉相承的。只是说不同的时期,不同的人,他考虑问题的视角不一样,但是他们都讨论同一个问题。那就是人怎么认识这个世界的,知识怎么产生的。只是说古代的科学家他们用的不是计算语言。但是我认为这些探讨都是一致的。
三大AI巨头的AI for Science布局
这段挺好的,但我们拉回来一点点,到我们现在的资本市场上面来。我们看到现在三大AI巨头,我们刚才讲了Google,还有OpenAI、Anthropic,它们也都是最近在狂招科学家加入它们,做AI4S这件事情。这三个公司它们各自选择的方向有什么样的不一样?它们各自押注的或者它们切入的那个点有什么样的不一样?能不能跟我们来展开分析一下?
我觉得很明显,在这三公司里面,Google肯定是布局最早。AI for Science布局最早、最广,可以说是研究路径最多的一个公司,很早就有这些,这个毫无疑问。所有的Alpha系列,包括最新的一些Co-Scientist、Gemini for Science这些努力。所以像Anthropic和OpenAI,它们当然意识到AI4S的重要性,所以它们花了很多投资在这里面。
你比如说OpenAI,它们其实也是很早就开始,像GPT-5发布的时候,它们就拿GPT-5去。已经有个White Paper(白皮书),就是拿GPT-5这个模型去解决各种问题,数学、计算机科学、生物等等,说已经可以解决很多科学问题了。它们也有一些非常,可以说非常激进的计划。比如说要公开地宣布说在2027年,好像,之前要有一个自动的AI科学家,它们有这样一个目标。然后它们也会,包括像前面说的OpenAI GPT和Ginkgo Bioworks、AutoLab(自动化实验室),进行闭环这么一个实验。这可能是一个目前为止最使人信服的,而且是效果最好的闭环实验。这是OpenAI它们做的。它们也就是在GPT这个模型上面,去专门为了生物化学,好像材料也有,专门去把GPT模型适配到这个新的领域里面去,等于生成了一个新的可以进行生物和化学等等这些话题推理的这么一个模型,叫GPT-Rosalind。还有就是最近它们刚刚发布的这个Astra,新的Astra模型,它们论文说10个前沿数学问题,它们在数学上面很成功。虽然我看到有些科学家有一些争议。
对,没错。这是一个怎么样能够让数学更可靠的问题。但是不管怎么样,没事,AI for math我们待会来讲,我们先说OpenAI。它们其实,我认为是非常激进的想迎头赶上的这么个问题。但是我觉得,它们可能也有个问题,就是在AI4S布局上的一个问题,就是说它们的priority(优先级),它们的优先级我觉得还是可能有些混乱。因为它们之前负责AI for Science的负责人Kevin Weil,他原来是做AI4S lead(部门负责人),也招了很多物理学家什么做这个事情。但是Kevin Weil,4月份的时候,还是5月份的时候,离职了。所以说他们目前离职之后,就把之前的AI for Science的一些effort(进展),全都并入到Codex里面去。等于说是希望用一般性的GPT模型和agent(智能体),来解决各种科学问题。这是他们的一些赌注的方向,能够让GPT变得更足够强大,以至于它能够解决更多的科学问题。而不是说专门去。但是他之所以有这么一个举动,是因为他们也要想迎头赶上coding(编程)的能力,要赶上Anthropic。他们要把这个资源整合,要把这个优先级扳正。但是OpenAI它自己已经有很多产品线了,它们可能扩张可能比较快一点。比如说不光是GPT,还想做ads(广告),还想做硬件,然后也想做企业的版本。所以一旦你这个产品的战线拉长之后,你怎么样能更好地去做AI4S的这么一些前沿的投资,我觉得这可能是在优先级上面,或者是在管理上面、一些战略上面是需要讨论一些方向的。
对于Anthropic来说,我觉得它们可能相对来说是比较后来居上这么一种感觉。它们最近发布了Claude Science这个平台,不到一个月。但这个平台本身,其实也是拿一般的Claude模型驱动的。它只是一个界面,或者说它把不同领域的,特别是生物和化学领域等等的数据库加上去,一些工具加上去,把这个界面专门针对科学家的工作流程定制化一下。但它本身并不是像我们之前讨论的,并不是说能够帮它更快产生一些,自己产生新知识或什么。它只是一个产品,一个平台。但是的确是Claude在这个研究上面也做了很多的努力。比如说它们之前很早就,几个月前就有拿Claude做那个vibe physics(氛围物理),用Claude去帮助物理学家去推导数学新的物理结论,一些数学的方式,一些模型等等。也包括它们自己也发布了一些benchmark(基准测试),像什么BioMysteryBench(生物信息学基准测试)类似这样的,在生物方面的一些Benchmark(基准测试)。但是我觉得,包括它们最近把John Jumper挖过去了,很明显它们也希望能够在生物和医药领域会有些更大的押注。因为这的确是市场很大的一个方向,所以我觉得它们是在迎头赶上,但是我觉得它们也在探索的阶段。
John Jumper过去之后,你觉得他负责的职位是什么?因为我看到他的职位现在好像还没有公开出来。
我觉得比较顺其自然的这么一个安排,肯定是要把Anthropic里面科学方向往,能够在生物和医药方面去加强。像OpenAI它已经发布了GPT-Rosalind,它等于是往生物和化学方面定制这么一个GPT模型,能够做很多这方面的推理。Anthropic可能是目前唯一一个,在OpenAI、Google和Anthropic,可能是目前唯一一个没有说特定领域里面的这么一个模型的公司。它们可能需要专门给生物和医药做这么一个领域垂直的小模型。像John Jumper这样的人,是特别适合做这样的事情。我觉得可能是这方面会有一些安排。但那个可能也不是它们的重点。目前来看肯定我相信,它们目前肯定是要上市或者商业上的一些,是coding(编程)是最重要的。coding(编程)最重要,而且随着中国开源的模型突飞猛进,肯定对它们造成很大威胁。在这种情况下,它们怎么样去平衡这个优先级,这依然是一个战略和管理上的(问题)。
对,还挺有意思的,因为我们刚才说到这三大AI公司,现在虽然它们都在布局AI for Science,但是AI4S不是它们现在的最优先级别。它们现在最优先级别还是coding(编程),还是商业化,还是把模型做大。那这样来说的话,是不是Neolab(新型AI实验室)或者是创业公司反而有一些先手的机会呢?
对,这就是大公司总是有它盲点。而且大公司总是有创新者窘境,就是innovator dilemma(创新者窘境)。它一旦挖出一条商业化的明确路径,它肯定不愿意马上放掉,或者说把业绩换到其他方向去。肯定要等这个路径稳定之后,再去投资些其他东西。所以我觉得这是可以理解的。这是一个science(科学)和AI recursive self-improvement(递归式自我改进),一定是一个长远来说,战略上必须投资的一个方向,没人敢去落后的。但是短期内肯定还是以商业优先,你必须要保证上市的一些工作能够到达预期。所以,但我相信它们这个方向是不会放掉的。
AI for Math与形式化语言Lean
其实我们刚才举的很多案例还是生物制药、材料这个方面的案例,那我们再来聊聊AI for math(数学),还有AI for Physics(物理),物理跟数学方面的一些AI的发展。因为这两个最近我看大家讨论得也挺多。特别是在数学上面,除了邓煜跟王虹获得了菲尔兹奖之外,就是AI for math的领域其实也有很多的进展。数学是AI相对容易攻破的领域吗?
我不认为很容易,但是取决于你什么样的数学。数学这个有很多,概念很宽泛。可能目前有两家比较突出的数学,就是AI for math的初创公司,一个是Axiom math AI,另外一个是Harmonic AI。当然他们的方法可能都差不多,也有这样的一些比较前沿的探索,在怎么能够让AI能更好地做math(数学),以及怎么样能够让math(数学)去市场化,比如说做些可验证的一些领域,做EDA(电子设计自动化)或者做软件设计或怎么样。但是他们的方法可能都会相对比较相似点。
我觉得就说AI for math,它能解决什么样的问题,取决于数学库。就是Lean这个language,它数学库。因为肯定先大概讲,就是比较,特别是做比较复杂的math(数学),它这个过程是你得让language model(语言模型)先去提出一些比如说证明的,数学证明的一些方案。但是language model(语言模型)它自己不知道这个数学证明过程是不对的,那你怎么办呢?你必须把这个证明先自动地去形式化成一个叫Lean的language,Lean的语言。你Lean如果一旦这个语言编译通过了,那这个数学的结果一定是对的。那就是证明language model(语言模型)它提出的东西是对的。
但这样的话,这里面有好几个环节是个瓶颈。第一个就是说,你language model(语言模型)本身要足够强大,它能够提出这么一些可能的一些证明方式,或者是新的数学上的一些结果,这是第一个。第二个,你自动化这个形式化过程,怎么样用自然语言描述这个数学结果,或者是用数学符号描述数学结果,转换成Lean这样的一个language。这个转换过程,翻译的过程不是特别容易的。这也是像Axiom AI和Harmonic AI,它们花很多功夫在做的事情。第三个就是说,你如果为了解决更多更难的数学问题,你需要Lean它语言本身,它的数学库mathlib,能够包容很多很多相关的已有的人类数学知识。这些材料必须都已经在那里,不然的话它没法拼起来。那这过程还要花很多功夫。就是怎么能够把人类的已有的数学知识,更多地放到,加到mathlib里面去。所以这几个要素决定就是说,你这个AI for math能够走多远。
但是Lean是一定需要的吗?因为我看到OpenAI它其实,国际数学奥林匹克里面,它其实就强调说,它们的模型直接可以输出自然语言证明,而不需要Lean了。
对,Lean不是必要的。但是你要做,一本正经认真做数学,或者做数学家级别的数学,你是需要Lean的。对于像奥林匹克竞赛这种,奥林匹克竞赛就它可能用到数学,你比如说高中参加数学竞赛,它可能用到数学知识不一定会特别多,不一定会特别深。它考察的是你这个参赛者他的,比如说创新的这个创能力,能不能找到一个就是非常复杂的构造一个过程的这么一个能力。但你可能涉及到数学知识,包括整个证明过程本身,不一定会特别复杂。它可能几页,一两页是肯定是可以写出来的。所以在这种情况下,你language model(语言模型)它自己就生成这个,就只要你训这个模型训得好,训到位,它用自然语言生成这个结果,很大程度上是可以可信的。而且IMO(国际数学奥林匹克)毕竟只是一个考试,你很快就递交这个结果,你就可以验证这个东西对不对。这是作为考试的设置,这个没什么太大问题。
但你可以想,如果是你今天让这个AI去做王虹这样的级别,一个证明100多页。你怎么,你如果language model(语言模型)生成100多页的数学证明,全是自然语言,它没有办法保证这个东西是正确的。所以你如果为了让AI做职业的数学家做的事情,做非常复杂的证明的话,你为了保证这个结果是绝对正确,你必须还是要把它转换成Lean这个语言。
顶级数学证明中的形式化验证
所以这也是,就可能是当代最伟大的数学家之一,叫Peter Scholze。这么伟大的一个数学家,是非常的神童这么一个数学家。解决很大一个问题之前,他自己都对自己的证明,他自己都很怀疑。就是这个东西到底对不对。他跟很多,也跟他的合作者讨论很多次,没有人说很确定说这个结果他证明过程对不对。那怎么办呢?连这么伟大数学家,这么聪明的数学家,好像2018年就拿过菲尔兹奖了,他都没法说确定他这个自己证明结果对不对。那最后怎么?他就找他的朋友和他的合作者,只能把他的之前这些所有相关的一些数学的定理,或者是定义,一些引理等等,人工地去转换成形式化,生成这个Lean语言。突然有一天,等到他们全部转完之后,一下子这个(Lean)编译通过了。就证明这个东西是,这个证明是对的。因为一旦是这个东西,它一定是对的,形式化证明。当时Peter Scholze非常兴奋,说明这个结果是对的。所以就是即使是最顶级的科学家,他在处理非常复杂的数学问题时候,依然是很难确定这个东西到底对不对。你只有非常严格地把它,你只能相信逻辑和计算机。你一旦计算机说是对的,它一定就是对的。这样的例子不止一个,还有一些其他例子。就是你必须用这个,为了证明这东西对不对,你必须把它翻译成逻辑上的一些可以推导的,可以保证正确的一个方式。
但是把它转换成形式化的Lean的话,它需要花很长的时间?
对,人工要转换是要很长时间,是的。可能我当时我记得好像他们至少花了一两年,好像。
因为好像是去年我记得谷歌它在参加那个国际奥赛的时候,它好像是说给选手的时间就两天。结果他们把它转换成Lean的语言的时候,就花了三天时间。也就已经超过了可以允许他们花的时间了。
是的,是的。为什么要花那么长时间?因为你这个结构化语言,这个Lean,它是你要把你这个数学当中相关所有的相关的一些概念,和所有需要用到一些定义,之前一些定理,怎么怎么的。所有的这些都需要非常严格地按照它这个type language(类型化语言)转换过去。这是一个非常深入过程。你如果之前你在证明一个定理过程当中,如果你用到有些数学的概念,或者有些数学的证明步骤是不在他这个library(库)里面的,你就得去定义。就是你必须把这整个推导过程当中所有的碰到的这些数学相关的一些东西,全都形式化。所以这是会花很多时间。
那现在是不是有两种并行的发展路线?第一就是,是不是模型越来越强大之后,越来越复杂的问题会不太需要形式化或者不需要Lean的这种方式。还有一种方式就是说,能不能把人转Lean,或者是Lean转自然语言的这个过程,把它更加的快一些或者更加的efficient(效率),给加速化?
我觉得如果真的是让AI做很严肃的专业的数学问题,那肯定还是要用Lean,这个毫无疑问的。所以这个瓶颈就是,你怎么能够让这个翻译的过程更高效、更快速。这就是你要训那个Language model(语言模型)能够让它自动地就是像机器翻译一样的,你要把英语翻译成法文,你要翻得更准确,而且绝对不能出错。那就是要把你数学的表达翻成Lean,这个是必经的一个路径,如果你要真的是为了出专业数学的话。但如果说只是一般地做相对来说,就像考试或者是比较小的一些设置情况下,你自然语言是承接证明,你自己可以验证的,那你也不一定要用Lean。但这样的话你就需要把这个language model(语言模型)在这个数学上面训得非常好。所以还是得要模型更强大才可以。
AI在数学领域的局限与未来
我看到现在数学界有教授把现在的数学问题分成了几个等级。第一类的问题,就是博士生花几个月就能够解决的练手问题。第二类,就是再高一级别,普通期刊级别的问题,职业数学家花一两年就能攻破的问题。第三类,是数学的四大顶刊级别的问题。第四类,就是菲尔兹级别的问题,比如说王虹她解决的挂谷猜想。第五类,是最高级别的,就是所谓的超菲尔兹级别的问题。就是说你不用完全解决,但是你的研究把它往前推了一大步,你有一个重大的推进就能拿菲尔兹奖。现在一个问题就是说,AI到了第几个级别了,你觉得?
我觉得按这个级别定义,我觉得很难去界定。就是可能这个不是一个很好去衡量AI把数学能解决什么问题的一个尺度。我觉得可能更合适的一个尺度是说,不管你有多难的数学问题,如果它这个数学问题本身不需要产生一些新的数学对象,或者产生新的一些数学定义。说白了就是你这个数学问题的结论是可以通过已有的这些数学的定义和已知的一些数学的证明引理等等可以推导出来的。说白了就是你这个表征空间是固定的话,这个是我相信可能就是不管你这个多难,AI总是,如果模型足够强的话,它是有可能把一个证明或者一个解给搜索出来的。只要它搜索的强度足够大,有可能是完全可以把这个解搜索出来的。因为你不需要创造新的概念,所以它还是个搜索的问题。
对,你还propose(提出)一个数学证明,它就是个生成的过程,对不对?就是你生成一系列数学公式。那也就是一个在推理时候生成不断去搜索的这么一个过程。哪个证明它可能这概率更好、更高,或者是它的所谓的reward(奖励)可能更大,这永远是一个搜索过程。
所以你觉得数学它是一个证明的科学?
不光是证明。我觉得其实恰恰相反,就证明肯定是很重要的一部分,它不是需要发明的科学。其实数学是更重要的是,我觉得可能是更要发明的过程。因为没有概念,没有数学,对数学定义的这个过程,就是以数学对象发明数学对象,以及对这个数学对象定义的过程,是不可能有数学的。你最简单的从最早这个数的概念本身,你先要定义数,然后你才能定义这个加减法,然后你才能定义。如果任何的数学的这些定义里面用到都是数学概念。你说微积分,积分、微分什么意思,对不对?或者是线性代数里面这个特征值什么意思?或者是微分几何里面黎曼度量什么意思?这些都是概念。
一个好的数学家更重要的事情是他能够找出,或者是定义出非常优雅的一个数学的概念,一个对象。抽象出一个数学的本质上的定义。这可能,你如果有个很优雅的很优美的一个数学定义,可能远远比你推导出这个过程更重要。没有一个合适的数学对象,你是没法推导出数学的一个过程的。如果你去学线性代数,你光看到一堆矩阵,但是如果你没法从这当中抽象出这么一个概念叫特征值,那你是没法精确地捕捉到矩阵它内在的一些结构。所以这个过程,怎么能够在这些数学对象里面抽象出、定义出这么一个新的对象,一个数学的定义,这个才是我觉得对数学来说可能是最优美的一部分,或者是最需要洞见力的一部分。
这个部分AI可以做到吗?
我不认为它可以做到。永远都不行。甚至我个人是觉得它,我觉得这部分甚至都不是一个就是怎么样能够抽象出概念的过程,是一个可计算过程。可能有些证据,但是让AI自己去推导出一些新的概念,或者是抽象新的概念,是非常困难一个问题。且不要说在数学领域,让这么复杂的一些关系之间,让它能够提出一些新的概念。
数学概念的抽象与 AGI 的最后一英里
哪怕最基本的一些数的概念,如果你可以想象一个语言模型,如果它从来没有在数学上面训过,它不知道有没有这个数的概念。就像原始人一样的,原始人如果看到三只鹅、四只鸟、五棵树,你这个原始人已经可以开始算数了,可以有这个数的概念了。它可以定义出阿拉伯数字,抽象出这个数的概念。这个数的概念可以用于任何物体,不一定是鸟,什么物体都可以用这个数的概念。但是如果你说你给 AI 只是看这几个物体,三只鸟、四只鹅等等,它是不可能提取出数的概念。我是很难想象有一个程序说,你给它这么一些感官输入,它能够提出这样概念的。
所以这个概念抽象的过程,我认为可能是 AGI 的最后的 last mile(最后一英里),最后的一步。这个 mile 可能是永远无法逾越的。这个过程我认为甚至都不一定是在图灵可计算这个意义下面,都不一定是一个图灵可计算的这么一个过程。这也是为什么,我觉得人脑在最底层,它并不一定是一个图灵机,不是跟图灵机等价的这么一个过程。
宇宙客观规律还是人类发明的逻辑
你觉得数学是人类表达逻辑的一个精准的语言,还是宇宙客观规律的一个结构本身?
这是很大一个问题,而且我觉得这个问题,不管是回答什么问题,这是没法验证的,没法证伪的。因为你不可能让上帝告诉你,我这个宇宙是用数学造的。但是这个问题就是一个多世纪前,数学家讨论数学本质的问题,它到底是发明的还是发现的,是整个宇宙本来就是有数的概念,还是人们人为发明数的概念。而且当时有这么几个看法,一个是叫所谓“直觉主义”、“形式主义”、“逻辑主义”。就是数学到底是什么,它到底只是一个形式系统,还是一个逻辑系统,还是一个人类创造出来的直觉系统。这个东西没有定论,到今天可能永远都没法定论。就像我前面说的,这不太可能去证明的。
但是如果非要我去选一个边的话,我觉得可能数学是人创造出来的,而不是说宇宙本身是个数。就像您刚才说的,人看到了两只鸭、三只鹅、四只鸡,把它的概念抽象出来,用数学公式变成了一种语言表达。对,这是一部分。但是另外一部分就是说,因为数学作为一个逻辑体系,它永远不是自洽的。就上世纪非常有名一个定理,可能是数学史上最重要的一个定理之一,叫哥德尔 Kurt Gödel。他证明了一个定理叫“不完备定理”,任何一个足够强大的形式逻辑系统,总有一些事实是对的,但是你是没法去证明的、去验证的。就是验证。
如果这个宇宙,我不相信这个宇宙本身它有不自洽的地方存在。如果宇宙跟数学是完全一一对应的话,人类创造这个数学,是形式体系一一对应的话,那这宇宙有些地方是不自洽的,我认为这个是很难去理解的。因为宇宙它就是一个自在之物,它就是个存在之物,它不需要去描述。它一定就是说自己该什么样是什么样。数学作为一套逻辑体系,它之所以有这么一些矛盾,永远不可能调和的矛盾,那是因为它是人造的一套,发明的这么一套逻辑体系。一旦是人造的东西,它就麻烦。因为它不是这个本体本身,它不是这个物自体本身,它是一套逻辑,是套符号和人为定的规则,所以它会有些逻辑上的矛盾。这只是我个人的一些想法。这东西没法验证。
证明过剩时代的价值判断
我看主攻 AI for math 的数学家陶哲轩,最近也出来做了很多的演讲,他其中有一个观点,是数学从一个证明稀缺的时代,已经进入到了一个证明过剩的时代。其中的一个例子,就是说现在很多的网站,它其实会收录很多之前人类解不出来的数学难题。现在很多网站的这些题下面已经堆满了几十份 AI 生成的解答,但是没有任何的人类专家,愿意去接盘验证这个事情。就是说有可能我们很多的难题已经 AI 找到了答案,但是人类没有时间,没有 bandwidth(带宽),没有精力或者没有能力去验证。这个东西就觉得还挺讽刺的。
所以不是结果正确就一定正确,你就算它验证出来自动验证出来是对的。作为人来说,你需要去理解,然后去评判。人有价值判断。这个东西到底是,这个验证证明过程是不是有它的价值,有个洞察力。我觉得可能打一个不是特别恰当的比方,比如说如果你要去听音乐会,如果你想听一个钢琴演奏,如果我告诉你这钢琴是个机器人演奏的,我保证这个机器人它按键的力度,它的长度都是完美的,按照作曲家规定来弹的,我就不想去听。对,你肯定就不想去听。即使这个音色其实是绝对完美的,对不对。但是如果你知道它是个机器人,你就不一定想去听。
但是同样的,如果是一个钢琴家去弹的,是个人弹的,你就愿意去听。因为你想听的不只是说一个结果,只是这个音色本身,而是这个钢琴家本身自发的这么一个情感的状态,这是能够让你产生共鸣的,让你产生一些,打动你的一些东西。它不是说只是一个结果,不是说整个音乐本身,你知道这是人他自发地产生这些东西。
这个我觉得是对于科学来说,就是我光看到这个证明的结果对不对,这个当然很重要。但是如果你去检查这个结果论证过程,它里面没有一些特别有意思的,或者说没法特别容易阐释的一些发现的话,即使结果再对,可能数学家觉得,这个就像机器人弹钢琴一样的,它没有能够打动数学家的一些洞见。这样的话,对于数学的贡献来说并不一定是特别大。所以我觉得人的价值判断永远是很重要的一部分。
人类不能理解的发现是没有意义的吗?
它只能有部分意义,就是作为一个工具性。如果这个发现它作为一个工具,就是我这个结果是对的,工具性上面它是有意义的。比如说 1970 年代,就已经有四色问题证明了,就是地图,它最多你只要用 4 个颜色,无论如何就可以把这个地图都给标出来,最多只要 4 个颜色。这个是 1970 几几年,就可以用机械化计算机来证明了,它结果肯定是对的。但是这个证明过程是很乏味的,它基本上就是一个列举的过程。
从工具角度来讲,这个结论它是可以用来画地图。你可以拿这个结论去,肯定是对的,你可以只要用 4 个颜色去画地图。但是从价值角度来说,从数学本身的价值角度来说,它可能不一定有特别大的价值。因为它不是,不一定有一些新的定理,或者是特别深刻的一些洞见性给抓出来。所以它是不是有价值,完全取决于是不是有用,完全取决于你怎么样去评判,从哪个角度去评判这个。是从工具角度去评判,还是从价值角度去评判。
AI 黑盒带来的可解释性与信任问题
对,因为我看到有一些反对用 AI 去做数学的人说,知道答案不是最重要的,而是中间的思考跟推导,这个是最重要的。但是现在 AI 因为直接给答案很容易,反而中间的推导思考跟过程,还有细节是更难的。我们现在的大模型它就是一个黑盒模型,我们其实不知道它是怎么去运作的,也没有办法被直接地观察到的。虽然现在白盒模型的发展也在推进,但是还是很缓慢。如果这个 AI 我们承认并且接受它是一个黑盒,并且心安理得地去接受它产生的结果的话,这对我们的人类社会或者是我们人类,会带来什么样的改变吗?
我觉得这会造成很多困难。如果这个结果不是完全可解释的话。自动驾驶就是,但自动驾驶是一个单独的 task(任务),单独一个。如果你从这样的,如果只是对单独一个 task(任务)来说,哪怕是最早期的计算器,它已经可以,你也不知道它在计算什么,它就是给你一个标准数字,对不对。这个都已经可以,这个是完全可以信赖的一个东西。
但是如果在一些可能,就像你前面说的,如果结果正确,像哪怕就现在今天写代码这个任务。现在的确是 AI 可以写很多代码,而且写出代码都正确,但是维护代码的成本和时间反而更高了。因为它写出很多代码,连工程师自己都看不懂。它结果应该是对的,但是维护起来特别困难,因为我得先理解你 AI 写的代码,什么地方出 bug 我都不知道。我得先看懂,你没法去 debug(调试),没法去 debug(调试),你根本看不到。那只能让 AI 自己去 debug(调试)。
对,但是这一轮迭代,又把代码搞乱。AI 毕竟是个基于目前 language model(语言模型),它毕竟是个随机机器。哪怕你同样一个写代码任务,你第二次跑它,它可能生成代码就已经不一样了,因为它是随机采样的。所以这种不确定性造成很大 trust(信任问题)。就是你没法很相信它。所以如果它的过程是没法可以跟它互动的,或者说是人力介入这么一过程的话,你把所有的事情都交给它,你是很难去对它产生信任的。而且你之后,去维护它工作的努力和成本会很高,因为你没法理解,你怎么去维护。
所以我觉得人的介入肯定还是在目前这个阶段肯定还是必要的。对,但是人又太有限了,不管是脑力还是体力,太有限了。就像我们刚才说的,这么多份数学的答案已经挂在网上了,但是科学家没有时间去验证。所以这就为什么也有人说,AI 没法取代人类,反而让工作的岗位增加了。因为肯定需要更多人去维护,或者是更多人去看数学这样,所以会有更多去验证 AI 答案的工作岗位会出来。
如果它在可靠性上面或者是可解释上面很差的话,它一定会让整个经济运行成本会更高。因为你如果哪天 AI 真的能够替代 80% 经济的有价值的活动的话,如果每个活动都需要人类去介入去验证的话,还不如不让 AI 去做这事情。所以为什么可信赖性和可解释性可以基于人类介入是很重要的。
走出逻辑世界:AI for Physics 的挑战
我们再说一下物理,就是 AI for Physics。它跟数学问题是类似的吗?还是不一样的?
数学肯定是物理的一部分,很多物理上的一些定律,或者是新的结论推导是不一样的。但是物理跟数学最大不一样的地方是,数学只是在逻辑空间,它只要生活在逻辑世界就可以了,完全就是人类定义出来的一套逻辑空间里面,是理想世界。物理必须要走出逻辑世界,走向物质世界,你必须要去验证,你必须要去跑实验。
所以 AI for Physics,它可能现在可以帮,比如说一些物理问题求解一些偏微分方程,去推导一些新的,像 Anthropic 他们那些之前的,推导一些新的结论等等。那是从数学角度,从形式逻辑角度去推出一些结论。但是如果你说你要让 AI 去发展一些新的物理的理论的话,你要去验证的话,这还是得走向物理世界。
当然 AI for 物理它的概念很广,你物理可以说是求解方程,但是也有说像一个初创公司叫 PhysicsX。他们是专门做物理世界模型的,也是世界模型,就是把不同,比如说流体力学、空气力学这些,专门的一些现象做成一个世界模型。这样的话,他可以预测。说白了就是在这个领域,在这个 task(任务)上面是怎么样去,这样的工作可能还是有用的。但是目前这方面工作还比较少。
从随机事件到科学发现的溯因推理
我发现“发现”这个词非常的有意思,或者“发现”人类历史上的很多故事非常的有意思,因为它们都存在着一定的随机性。比如说流传的一个很广的故事,就是牛顿他被苹果砸了头,他研究出了万有引力。但是这个故事它其实是,我觉得大家有点夸张了。他其实没有被砸到头,但是确实可能看到了苹果掉落到了地上,给他了一些灵感。但是他在看到苹果之前,可能已经是有非常非常久的一个研究了。
还有一个案例,我最近在看一本书叫《十亿美元分子》,它当中就聊到一个案例。就是比如说我们人类做手术,它用的一些抗免疫手段的,这个叫环孢素。它最初就是从挪威的土壤里面非常随机发现了当中的一种真菌。
所以我们可以看到人们的发明或者发现,很多都是大自然的巧合,或者是突然大自然给了我们一些东西,我们是被 given(给予)的这样的一些灵感在里面。有了很随机的一些发明跟发现。但是感觉 AI 它的整个的 Discover(发现)的过程是完全不一样的,它没有任何的随机感在里面。
随机不随机是一个事情的发生。但是一旦随机事件发生之后,你要能够发现这个事情背后的规律,这里面需要有一个所谓 Abductive reasoning(溯因推理、归因推理)。就你一个事情发生在你身上,比如说一个苹果掉我头上了,这是个随机事件。但是人类可以,就说像牛顿,他可以从这个事件当中来想象,什么原因导致这个随机事件发生。拿这个作为触发,他可能就会发展出一套物理体系。
但是目前 AI 可以做得最好的就是,人类整个推理的模式,一个是演绎推理、归纳推理。像归因推理,就是把现象能够推出它这个可能原因,AI 能做得好的,目前可能最多就是演绎推理。就给你这个前提,像数学这样的,我定理和定义都给你,你能不能推导一个新的结论,这是逻辑上相对来说比较容易做到的。
但是像溯因推理,给定一个现象,你能不能想象一个合理的解释,以至于它能够把这个解释泛化到其他现象里面去的。还是像前面一个问题一样,这是抽象能力、想象能力,而且是个世界模型,这都是目前 AI 做不到的。而且我觉得甚至在未来的很长时间都做不到这些事情。所以这个的确就是像在任何抽象层面上的这些智力活动,在我看来都是 AGI 的最后一个 Last mile(最后一英里)。
理论科学的无用之大用
之前很多人说数学是无用之美,就是人类研究数学这件事情是属于人类的,是美好的中间的推断过程。大家非常享受这样的一个推断的过程,那些公式,那些问题。它可能研究出来,也对人类的科技进展或者商业化活动没有太大的帮助,但是这是属于人类的东西。那你觉得之后这个会变化吗?
不管是数学也好,还是像美学、艺术、哲学,这些东西你要从效用角度来讲,它都是无用之物。你说你家里面挂个画有什么用?一点用没有。但是没有这些无用的一些功夫,所谓无用之大用。如果没有这些思想过程,如果没有美学上的一些概念,或者是像数学你纯粹是作为一个好奇,作为一个纯粹精神上的一些乐趣,而推导出来的话,你是没有办法去推导物理的过程。
其实可能最美好的东西,都是从无用的东西开始。都是从人类的好奇心和心智的好奇心,和对美的追求来开始的。不管是艺术也好,还是文学或者怎么样,一开始都是没什么用的。哲学也好。但是无用不代表它不会对未来产生影响。你在整个思考的过程当中,它对你大脑状态的改变,以及对你这个世界认知都会改变。它其实也是有用,只是说这个有用你不是马上能感知到的。
所以我觉得一般说来,任何的理论科学或者是,不管数学好,特别是纯数学,还是像人文领域的艺术、哲学,这都是属于所谓无用之大用。
如果从实用主义的角度来看,你觉得现在 AI for math 或者 AI for Physics,能够在什么样的程度上,去帮助人类的技术加速呢?
AI for math 在很多应用场合其实都可以。不管是像前面说的,求解一些科技领域的方程也好,还是像 Axiom AI 或者是 Harmonic AI,就是数学的初创公司。他们比如说拿数学去论证过程,去做芯片的验证,做程序验证的话。任何验证领域,在这个程度上面都已经可以有些应用,和产品化的一些前景。在任何可计算的一些领域,包括像你要是推导一个新的物理的一些规律或怎么样的,一些方程。你让 AI 去推导,一定范围之内,肯定可以比人类速度更快,做得更高效。在这些可控的环境里面,AI for math 对于整个科学发展肯定是有帮助的,毕竟很多科学是需要数学化的。
你只要给它足够的一些前提和条件,然后给它一些合适的语境,它是可以提出很多新的数学观点的。包括哪怕是最近,可以说当代理论物理最伟大的物理学家 Edward Witten,他就是提出弦理论的,他最近,好像前不久就发了在 arXiv 上还写了一个论文。就扔了个论文。他在论文里面写了一个,好像是 footnote(脚注),说我这个论文这一段是 Claude 帮我想出来的,或者怎么样。哪怕是在最艰深的,Edward Witten 在这个层面的这些新的研究成果,都已经有 AI 在帮助他加速这样的一个过程。所以你可以想以后只会说这样的现象会越来越普遍。
从聚类到抽象概念创造的距离
那你觉得我们现在离 AI 创造出新的概念那个 moment(时刻),那个时刻还有多远?
这取决于你怎么样定义这个概念。概念是非常宽泛的,有很具体的概念。就像我们前面可能提到的具体的一些事情,你通过聚类就可以解决的。如果一个表征可以映射到,或者说所谓 grounding(落地),就是能够接地到这个世界的观测上面的。那我叫聚类,你看到五把椅子,你可能聚类椅子,再来第六把椅子,因为它整个特征都差不多,你就可以意识到类似的一个聚类。这已经是个概念。任何一个聚类,或者说一个概率的流形,这个流形它就是一个概念。这种是可以,早就可以做了。
但是难是难在像前面创造数学里面抽象的一些概念。一个概念可以用在无穷场合,但这无穷场合它每一个场合都是拥有稳定的一个相似性的。这种抽象概念我觉得是很难,甚至可能永远没法用计算程序来做到的。所以我看见有很多很多层次,这是从具体的到抽象的,在某一层之上就很难去做到。
AI 发展与哲学思考的同源性
聊得特别好。我觉得今天我们好多的问题聊着聊着就开始聊哲学问题了。有很多的人工智能专家,很多物理学家,他们后来研究研究着科学,就开始研究哲学问题了。
对,你往下想肯定是越想越不明白,就是这道理。越想越不明白。真的是这样。
你觉得现在研究 AI 的人大家应该去多看看哲学的书吗?
现在 AI 的发展在很多历史的哲学的发展过程当中,都能找到它的缩影。因为哲学探讨的问题就是,认知论就是探讨人类怎么样认知世界的。从最早的柏拉图所谓理念世界,就是你肯定从来没有说一辈子看到一个完美的圆,不管是轮胎也好还是盘子也好,它都不完美。但是你从这些不完美的观察当中,你可以看到提出个理念世界,就是一个完美的概念。从很早的时候就有这么一个讨论,它其实就是关于人怎么样去产生知识的,怎么样去抽象这些概念的。所以你可以看,整个哲学发展这根线跟 AI 的发展线,包括跟认知科学发展线,它很多讨论的问题其实对象是一样的。只是用不同的语言,从不同的角度去探讨这问题。但是整个对象都是一样的,只是不同的镜子去照同一个事物。
你觉得 AI 从业者应该多想想大问题吗?什么叫大问题?就比较 top down(自上而下)的,就是刚才你说的从上往下思考的问题?
对,我觉得的确是。AI 的确是目前非常热的,可能是科技界最热的一个 topic(课题),谁都想在这上面做 AI 相关的话题。做很多工程上改进,想怎么样去做 set up(配置),怎么样去应用,怎么样去把技术给落地。这当然是很重要的一个步骤,把这个技术给铺开来。但是大部分目前的这些应用,或者是所谓的研究,都是自下往上的这么一个视角。别人告诉我 Transformer 有用,好使。Scaling law(缩放定律)还没失效。Harness 你得好好搞。Infra(基础设施)要把它建好。这些东西都是别人告诉我的。你把这种功能做好,往上推进,我就可以把这产品发布。
但是这个对于短期内商业化和 AI 落地来说当然很重要。但是我觉得在这些快速变动的研究之外,你还是要有些立意更高的研究。如果你实际思考,从上往下思考。就是从第一性原理,智能是什么,人类怎么样去认识世界的。你要反过来想,到底有哪些特性是目前 AI 做不到的等等。你这么一倒过来想的话,你就会发现很多事情 AI 都做不到。而且还需要很多的研究。
而且不光是在 AI 领域,AI 是计算机,它就是个计算程序。AI 其实就是一个计算最终目的就是自动化一些事情。AI 是自动化人类的思考过程,人的智能。但是计算能够自动的东西不只是智能,它可以自动物理过程、进行建模、进行自动过程等等。所以你要从这个角度,从更一般角度来讲,说白了就是计算角度来讲的话,它能够最终做到什么事情。在 AI 之外,如果有朝一日 AI 能接近人类水平了,计算还能做什么事情。这个一想的话,还有很多很有意思的一些话题。
所以总之我觉得的确是,在 AI 目前狂热的状态下面,有很多有意思的,或者是很重要的一些落地。但是也不可避免地会产生很多浮躁和一些比较肤浅的见解。所以还是需要一些从上至下的思考。
AI for Science 的商业化与长期主义
你觉得在现在 AI 这么狂热的情况下,AI4S 的这条路,我想象中它肯定会更慢一点,是吗?它的商业化,它的研发过程。因为感觉它是一个非常长期主义的事情。它解决的问题,其实我们刚才也聊到,很多问题其实是更难或者更有挑战性的。它可能的商业化没有办法像比如说 AI for coding,或者是比如说 data(数据)行业,其他行业落地那么快。ARR(年度经常性收入)每年都能翻好几番。在这个行业里面,资本现在是一个什么样的心态?不管是大公司也好,还是 Neolab(新型实验室)创业公司也好,接下来的一个发展的速度会是什么样子?
AI4S 已经可以是有落地的空间,已经有很多落地的应用了。比如说是药物开发,哪怕你最后不是说已经可以卖最终 AI 生成药,但是你当中生成的各种环节,各种什么靶点,那些分子结构,已经可以拿出去商业化了,当中一些中间的产物。所以我觉得是 AI4S 不能一概而论。AI4S 肯定有很多层面。有些层面是已经可以市场化的。但是如果我们的目标是说,达到诺贝尔级别的科学成果的话,那肯定还是有很长的路要走。
在这个层面上它就不是说 AI4S,它不是说是把 science 作为一个应用。假设是 AI 已经足够强,把 science 作为应用。而是 AI and Science。就是你不仅要做 science,但你在做这么难的问题之前,你得把 AI 自己的能力得提高。像你 AI 要有更强的抽象能力,有更强的推理能力,有更强的做实验的写代码能力等等。你如果这点做不到的话,你更上层的 science 是做不到的。这个层面上的确会是一个比较长期的主义。
它不只是科学问题,它是一个 AI 本身基础研究问题。而且我一直觉得就说,Science 不只是一个 AI 的应用,而是它应该能够促使 AI 本身发展更好的一个刺激或者一个催化剂。一个模型,如果它在很难的 science 问题上做好的话,它在其他的问题上面也应该可以做好。而且可以比现在模型做得好,不管是写代码层面上还是做这个推理层面上。因为你能把这么难问题解决的话,这模型本身就已经很强了。所以它不只是一个应用,而是作为一个驱动力,能够发展出更好的 AI。
所以商业化路径,它不是一刀切这么一个判断,而是分层的。有些层面是商业化,各种这么多实验室,这些公司都已经可以商业化了。但是你要想拿诺贝尔奖的话,这个就是要很长时间的。
很长时间是多久?这就很难说。10 年?20 年?AlphaFold 已经拿过了。但这个不是 AI 自动发现。
但是我觉得你要在这个层面上拿诺贝尔奖的话,我觉得至少得二三十年。说白了你要能够在目前的 AI 范式上,还要加强它一些目前没有的能力。且不要说它能够凭空创造出一些新的概念或者是一些抽象东西。你能把目前已有的这些实验的结果,能够进行正反推理,就是这些因果推理。像前面说的,这目前是没有的。怎么样能够处理长期记忆?我做过无数实验,我怎么能够把这么多实验相关的一些记忆给提取出来?怎么样能够不断地继续学习?能够把一些目前前沿的这些 topic(课题)能解决。可能就已经五六年过去了。然后你再去做些科学实验的话,这个肯定会比现在 AI 更强。但这至少我觉得还得要花很多时间。
对,比如说二三十年之后,它能够得诺贝尔奖了,对于我们的产业来说,对人类社会来说意味着什么?
AI 是一个 meta technology(元技术),它是一个元技术,或者是 General purpose technology(通用目的技术)。AI 本身它是个大脑,它可以 AI 加任何东西。所以不光是说 AI 加 science 或者 technology,你也可以说 AI 加 business。如果你真有这么智能一个东西,它肯定不会说只解决科学问题。它可以帮你,可以作为像代理 CEO 这样的这么一个角色。在任何人类社会、经济社会的各个角度,它都可以做得比现在做的更好。
就像 OpenAI 或者是微软,他们所谓的 AGI 的定义,它能够以百分之多少的准确率做完百分之多少的人类经济上有价值的一些工作。如果 AI4S 做到这个程度,说明这个模型在这么难的问题上已经做了这么好的话,它一定可以在其他不同领域也会做更好。所以我一直觉得说 AI for Science,作为一个非常难的挑战性的话题,它是作为一个 AI 本身发展的驱动力。而且模型变得这么强之后,一定可以让其他所有的相关的经济活动也会变得更高效。
对话结语与对人类价值的思考
好的,那还有什么问题你想补充吗? 没有了。 好,谢谢曹原。 谢谢陈茜。
以上就是我与曹原对 AI for Science 这个话题的对话了。这个话题其实拆分开来,里面有很多值得深聊的子话题和垂类,我们也会继续关注。但其实这次对话给我印象最深的,还是几个对人类价值和事物本质的探讨。在不久的未来,AI 一定会在各个科学的领域上帮助人类,去破解很多的疑难问题,帮助我们将前沿科学再往前推进一步。而一旦理想中的 AI 进行自进化,完成模型到实验的 loop 闭环,将带领人类去到我们从未达到的高度。而那个时候,我们必须要更清楚人类的价值在哪里,是定义、是验证、是应用,还是拥有最终的审判权。有一点是确定的,那个时候的世界和我们的现在的世界会很不一样。
好,以上就是我们这期视频播客的全部内容了,你们的点赞、留言和转发是支持我们硅谷101做好深度科技和商业内容的最佳动力。我是陈茜,那我们下期节目再见,bye~