创新之源：有机生长与自由环境的失落

作为 Transformer 架构的作者之一，我深知其在当前人工智能领域的关键作用，它是 ChatGPT 的核心驱动力，支撑着绝大多数前沿 AI 技术。回溯 Transformer 的研发历程，那是一段极为有机、自下而上的项目时光。想法源于午餐时的交流，或是办公室白板上的随意涂鸦。更重要的是，当我们认为有了好点子时，我们拥有充足的自由去投入时间和精力去实现它。管理层没有任何压力，无论是要求我们必须攻克某个特定项目、发表多少论文，还是达成某个量化指标。我希望大家心中能浮现出这样的画面：正是这种环境，孕育了 Transformer 的诞生——有机、开放且充满自由，允许我们追寻那些我们认为有趣且重要的想法。然而，我深切担忧的是，当前的人工智能行业恰恰缺乏这样的环境。接下来，我将探讨为何如此，以及我们能做些什么。

当前人工智能研究乃至整个行业面临着一个核心悖论：尽管前所未有的兴趣、资源、资金和人才涌入，这反而导致了我们研究方向的日益狭窄。在我看来，原因显而易见：随之而来的巨大压力。这种压力来自寻求投资回报的投资者，也来自个体层面——这个行业已过度拥挤，脱颖而出异常艰难。研究人员正切实体会到这种压力。假设你正在进行一项标准的人工智能研究，你几乎可以肯定会有三到四个其他团队在做非常相似甚至完全相同的事情。因此，你不得不花费大量时间去确认自己是否已被“抢先”（scooped），是否已有他人在你之前发布了你的想法。即使在学术界，本应享有更多自由的象牙塔里，也存在着发表论文的压力。面对一个可能产生有趣成果的绝妙想法，和一个可能只带来一篇普通论文的平庸想法，研究者往往会屈从于诱惑，选择“低垂的果实”。不幸的是，这种压力损害了科学本身，人们急于发表论文，却牺牲了创造力。

探索困境与历史的警示

为了更好地理解当前困境，我们可以借鉴人工智能自身的设计原理。在设计 AI 搜索算法时，我们必须权衡一个叫做“探索-利用”（exploration-exploitation）的取舍。当你寻找解决方案时，你可以选择投入时间去“探索”未知领域，或者去“利用”已知最优解。如果将所有时间都用于探索，你可能会发现大量新颖的解决方案。但如果只是一味地利用，你可能会错失其他更优的、可以被更好地利用和改进的替代方案。我们几乎可以肯定，当前的人工智能行业正处于这种“过度利用”的境地。因此，我今天真正想请大家思考的是，能否稍微调整一下这种平衡，加大“探索”的力度？

我清晰地记得 Transformer 出现之前的时代。那时，我的主要印象是涌现出大量论文，它们总是对当时的主流架构——循环神经网络（Recurrent Neural Networks, RNNs）进行各种排列组合式的改进，尝试不同的门控机制、不同的层结构，但大多只带来边际效益的提升。而 Transformer 问世后，那些用于改进 RNN 的工作，在某种程度上显得有些徒劳。或许这样说有些过于严厉，但请设想一下：如果那些研究者知道 Transformer 就在不远处，他们还会投入那么多时间去改进 RNN 吗？事实证明，我们需要的是一次更长远的观念飞跃，需要彻底抛弃循环机制。我再次担忧，我们正处于类似的情境：过度专注于一种架构，对其进行微调和各种尝试，而真正的突破可能就在拐角处。如果突破确实存在，我们就应该像迎接它一样去行动。下一次的重大突破，几乎可以肯定，将源于这种开放式、更具投机性的研究。而规避错过下一个重大事件的唯一方法，就是投资于这类研究。

孕育突破：灵感、自主与协作

如果我只是在此抱怨现状，那这场演讲将毫无价值。因此，我想提出几点建议。首先，在我所在的OpenAI公司，我们倡导“受自然启发”（nature-inspired）的研究。人类大脑仍有许多当前最先进的 AI 无法企及的能力，或许从中汲取灵感，能帮助我们获得这些特质。当然，这带有我个人的偏见。更普适的原则是：你应该追随那些让你自己感到好奇和兴奋的方向。我两周前听到的一句话非常契合我的观点：“你应该只做那些如果不是你在做，就不会发生的研究”（You should only do research that wouldn’t happen if you weren’t working on it）。这句话完美地概括了核心思想。如果我们都能遵循这一点，就不会互相踩踏，研究探索的效率也会大大提高。

我举一个具体的例子：我们近期发表了一项名为“连续思想机”（Continuous Thought Machine）的研究。我们只是从自然界汲取了一点灵感。在人脑中，同步化（synchronization）至关重要。我们尝试将这种同步化机制引入人工神经网络。我记得当时一位员工带着这个想法来找我，我告诉他：“好的，先做一周看看效果。”后来他告诉我，在他之前的公司或学术职位上，他很可能会因为这个想法受到质疑，被告知是在浪费时间。但经过那一周的探索，他发现了该模型更多有趣的特性，这个项目最终获得了成功，并在今年的 NeurIPS 会议上获得了Spotlight奖项。我认为这有几个原因：一是市场对这种新颖、差异化的研究存在渴求；二是更有趣的是，在整个项目过程中，我们从未担心过“被抢先”的问题。这使我们能够从容地进行科学研究，并运行我们想要的基准测试。我认为这才是我们应该追求的研究模式。

希望我的阐述能表明，我并非只是在做一场“听起来不错”的演讲。我真心相信这一点，并且正在身体力行。我正在努力创造那种允许 Transformer 诞生的环境。我不太确定是否应该透露这一点，因为它确实是公司目前的一个优势，但它是一种非常、非常有效的吸引人才的方式。仔细想想：有才华、聪明、有抱负的人，自然会寻求这种高自主性的环境。我们近期一些最优秀的招聘，正是因为这个原因。而且，这种环境比单纯的金钱更能奏效。想想那些年薪百万的“超级明星”，他们开始新职位时，真的感到有能力去尝试那些疯狂、更具投机性的想法吗？还是他们会感受到巨大的压力，急于证明自己，从而再次选择“低垂的果实”？

我认为还有另一个原因，可能导致我们探索的效率不如预期，那就是 Transformer 本身“太好用了”。我知道，这听起来有点自大（笑）。但说真的，我的意思是，当我们回望 AI 历史的这个节点时，可能会发现，正是因为当前技术如此强大和灵活，它反而阻止了我们去寻找更好的东西。这很合理，不是吗？如果当前技术更糟糕，就会有更多人去寻找更好的替代品。

在此，我想澄清两点。首先，我并非认为当前没有大量有趣的研究在进行。我只是说，鉴于我们目前拥有的才华和资源，我们完全有能力做得更多。我和许多其他研究者都相信，我们尚未完成探索，应该继续寻找更好的方法。其次，我也不是说应该抛弃现有技术。不，在当前技术上仍有大量重要的研究有待进行，并且将在未来几年带来巨大价值。我个人在今年年初就已决定，将大幅减少在 Transformer 上的投入。我正明确地转向探索和寻找下一个突破点。听到一位 Transformer 的作者站在这里说他“厌倦了它们”，这或许有些争议，但也是情理之中。毕竟，我投入其中的时间比任何人都长，可能除了另外七个人。

那么，我们足够大胆吗？研究者们，你们是否足够大胆，愿意花更多时间在那些你认为重要且有趣的想法上？管理者们，你们是否足够大胆，给予研究者更多自由去追寻这些想法？企业领袖们，你们是否足够大胆，去创建那些能让管理者感到有能力给予研究者自由的企业环境？投资者们，你们是否足够大胆，去投资那些在我看来，将孕育下一次重大突破的企业？

最后，我想说，正如我之前提到的，很多压力来自于竞争——公司之间、产品之间、研究者之间，为了同一个想法而争夺。但从我的视角来看，这并非真正的竞争。我们拥有共同的目标：希望这项技术臻于完善，以便我们都能从中受益。因此，如果我们能集体地调高“探索”的旋钮，并公开分享我们的发现，我们就能更快地达成共同的目标。谢谢大家。（掌声）