--- author: 硅谷101播客 date: '2026-09-28' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=I-rLxiIGf-4 speaker: 硅谷101播客 tags: - post-training - reinforcement-learning - benchmark-evaluation - synthetic-data title: 谁在给大模型出题与判卷？揭秘AI数据行业的野蛮生长与评测内幕 summary: 随着大模型能力从知识问答迈向长程Agent执行，训练数据需求经历了从人工众包标注、专家评分细则（Rubric）到强化学习（RL）真实环境的剧烈演进。本期对话深入探讨数据数商的商业模式分化、评测基准与刷榜（Bench-maxxing）的博弈、垂直领域私有数据采购壁垒，以及学术界与工业界在解决数据污染与激励机制上的真实挑战。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: [] companies_orgs: - Scale AI - Mercor products_models: [] media_books: [] status: evergreen --- ### 数据赛道的高估值狂欢 **Yiwen**: 节目开始之前，跟大家分享一个我们《硅谷101》即将在湾区举办的黑客松活动。今年硅谷101将在我们的年度活动 **Alignment 2026** 上举办 **STORY101 LAB AI视频创作挑战赛**，让影视创作者和AI科学家们在现场一起探索，AI到底能给讲故事带来哪些新的可能。无论你是已经在用AI拍片的专业团队，还是想要尝试的新手，都欢迎参加。比赛设有探索组和专业组，我们也会提供免费的workshop培训，优胜作品还有机会赢得丰厚的奖金，并在千人线下活动中展映。活动时间是10月10号到11号，地点在Sunnyvale的 **Plug and Play Tech Center**，报名链接我们已经放在本期节目的Shownotes里面了。另外我们Alignment 2026活动本身的报名也在持续进行当中，这次我们邀请了来自OpenAI、英伟达、Menlo Ventures、Cerebras等等公司和机构的嘉宾，期待在线下和大家对话。 Hello大家好，欢迎回到《硅谷101》，我是Yiwen。很多投资人在和我们聊天的时候都提到了他们最近很关注的一个赛道，那就是数据。随着模型能力的不断提升，模型公司对训练数据的需求也变得越来越复杂、越来越具体，硅谷因此出现了一批增长很快的数据公司，专门为这些模型公司提供服务。 比如由三名20多岁的年轻人创办的 **AfterQuery**，今年4月宣布A轮融资的时候估值还是3亿美元，到了9月新一轮融资，就已经把它的估值推到了**32亿美元**，不到半年涨到了10倍之多，创下了YC旗下公司从启动到成为独角兽的最快纪录。那我们更熟悉的几家大型数据公司，估值也已经达到了百亿美元的级别：去年Meta入股 **Scale AI** 的时候，给出的估值超过**290亿美元**；**Mercor** 去年10月这轮融资的估值也达到了**100亿美元**。 但这些高估值背后的数据生意到底是怎么做的，外界其实很难看清。所以我也很好奇，这些公司究竟在卖什么，模型公司又为什么愿意给那么多钱呢？过去提到数据标注，大家很容易想到给图片打标签、给模型的回答打分这些人工标注。现在数据公司还需要请来各类行业专家，把他们的知识和工作经验转化成AI可以学习的任务。其中一类重要的数据，是请专家写清楚一个回答、一份工作成果到底满足哪些条件才算好，这套评分标准也就是我们经常听到的 **Rubric**（评分细则）。再往前一步，数据公司还要搭出让AI实际动手的环境，配上任务、工具和反馈机制，让它在里面操作软件、反复尝试并且根据结果学习，这就是强化学习环境，也就是我们经常听到的 **RL environment**（强化学习环境）。 与此同时，新的AI评测也层出不穷，从金融、法律等等垂直领域，到让Agent完成一整套工作流程，模型要参加的考试是越来越多了。但榜单上的分数提高了，究竟代表哪些能力变强了呢？针对榜单做优化，什么时候会让模型更好用，什么时候又会变成单纯的刷分行为？这期播客我们就想把这些问题聊清楚。我请来了两位非常适合聊数据这个话题的嘉宾，分别是在Scale AI负责后训练和评测研究的何允中，以及加州大学伯克利分校的博士后、**Agents’ Last Exam**（ALE 智能体终极测试基准）项目的研究者孙一铀。以下就是我们的对话。 Hello允中，Hello一铀，欢迎来到《硅谷101》，大家介绍一下自己吧。 **何允中**: OK，我叫允中，现在在Scale AI负责 **post-training**（后训练）和 **evaluation**（评测）research。大部分人关注我们可能是看我们发布的 **Benchmark**（基准测试），还有一些RL data recipe的文章，但是实际上我们其实也是给整个大模型行业提供数据，还有一些方法论的支持，有一点像整个行业的一个外包数据research团队。观点都是个人观点，不代表Scale AI，也跟客户没有关系。 **孙一铀**: 谢谢允中，我是一铀。我现在在UC Berkeley读博士后，现在关注的是 **Agent evaluation**（智能体评测）这个方向。我们最近推出的工作就是 **Agents’ Last Exam**（ALE 智能体终极测试基准），目标是构建迄今为止规模最大、覆盖面最广的智能体评测基准，是由Berkeley RDI和300多位行业专家共同领导和牵头的，是希望能够衡量智能体在有可验证结果的长期、具备经济价值任务中的一些表现。目前的话，公开的任务大概有150多个，覆盖了50多个细分的行业。我们目标在下一次发布中直接放出1000多个任务，在每个领域上做得更深一些，我们可能几个月内就会发布V2的版本。 ### 数据服务商的基因流派 **Yiwen**: 允中要不要给我们讲一下现在市面上的，因为其实也有林林总总的数据公司，你觉得大致的一个分类是什么样的？ **何允中**: 这里面有几个大的玩家，还有一些新秀，有一些几个人的作坊。在我看来最有意思的是，大家基因可能不太一样。比如说有做招聘出身的，像是什么Mercor、**Handshake**；Scale AI是这种传统数商，从众包网络出身的；也有一些新的是做合成的；还有在最新的一些，可能是某一些领域公司转行做数据了。 这里面值得说一下是这个具身。具身现在的行业状况是有很多做模型的公司暂时没赚到钱，但是它花了大量精力投资做素材，就顺便做起了素材生意。很多各行各业的人也发现了自己的数据的价值，然后转行来做这么一个数据公司。 我觉得大致有这么几个分类：几个大的玩家，比如说像是Mercor、**Surge AI**、Scale AI，基本上试图什么东西都能cover。除此之外，其实一些新秀玩家把一些领域做得比较好的，像是什么 **BigCode** 或者 **Snorkel AI**，他们可能是比较偏research（研究）跟engineering（工程）一点的，我猜测他们主要生产代码或者是 **tool call**（工具调用）这一类的环境，就是抓住了今年的这么一个风口。 另外我还看到一些小的公司，他们可能是解决了一些垂直领域的问题，甚至他们可能不像我们是做标注数据的，就是一些 **broker**（数据经纪商）。比如说可能是好莱坞的一个人，他有特别多的版权数据，他知道怎么把这东西卖出去。就是有林林总总的不同领域的东西。然后现在可能在最新兴起的，就是做这些垂直领域、把一个领域做得特别好，可能是由一些领域的专家组成的。大概是这么几个分类。我会觉得说机会还很多，大的数商有大的数商的优势，就是想进入一个领域有比较多的资源，我觉得整个饼是越来越大。 **Yiwen**: 你讲到说像Mercor、Surge AI这样的公司是所谓的招聘公司，这个能不能再给我们具体讲一下，招聘是一个什么样的商业模式？ **何允中**: Surge AI应该不是，但是Mercor是做招聘起家的，它有自己的一个自动AI面试的这么一些产品。它可能主打的重点就是我能够在比较短的时间内找到足够量的专家，有这么一个专家网络。Surge AI我觉得更多的是把这个东西in house（内部来做）。 这里反正有一些取舍吧，基本上每个数商可能都需要面临这么一些取舍。就是说如果我是自己完全全职培养的人，那他肯定能力强一点，但是这个灵活度不够，产能可能会差一点；如果是更多地依靠众包的网络，可能我的灵活性大一点，但是每个人的质量就比较难保障，这里面就涉及到一些质检的问题了。比如说像Scale AI这些公司的一些优势，就是说我们有一些质检的经验，不光是在数据上，也在人上。 ### 从标注到强化学习环境 **Yiwen**: 允中要不要讲一下你是什么时候加入Scale AI的？在当时到现在整个市场，你觉得对于数据的需求有发生什么变化吗？ **何允中**: 对，故事还挺好玩的。当时我是在Meta入股之前签的offer，我一到人就走了，所以我经历了整个大模型行业开始不管从人才的战争还有薪酬体系都开始go crazy的这么一个故事。 当时我来之前，我的老板刘冰跟我说，有这么一个技术，各个家lab（实验室）都在做，但每个人都做得不太一样，说你赶紧进来我就能跟你讲，我们在这里好好做些研究。然后我来了，那个时候是 **Rubric data**（评分细则数据），那个时候还比较新，可能一年多之前。现在Rubric感觉已经过时了，大家都在讲RL environment（强化学习环境），各种各样的东西。就是这一年确实经历了非常多的变化。 **Yiwen**: 其实我们关注这个话题，也是因为大概从2024年到现在，感觉整个对于数据的一个需求发生了一个比较大的变化。因为2024年之前，我们在聊数据的时候，大家想到的很多还是人工标注，就是一些比较基础的数据，我们会需要非常多的数据来做pre-training（预训练）来训练模型。但是从2024年，其实Mercor之前有提到过，是因为Deep Search的兴起，导致整个行业转移到了一个所谓的 **Agentic data**（智能体数据）。我们会需要像你刚刚说的rubric（评分细则），包括RL环境，现在就是更多真实工作流数据。能不能帮我们先梳理一下这几个概念？我们先讲一下这个行业从 **Crowdsourcing data**（众包数据）——就是这些人工标注数据——到Agentic data（智能体数据），这个中间是经历了一个什么样的变化？ **何允中**: 对，首先说明一下，**Pre-training**（预训练）还是很重要的。不过就确实，从我身边的人的兴趣来说，大家经历了一个转向。大家觉得pre-training感觉干得有点无聊了，就是再继续Scale调数据配比。那个时候是o系列模型出来了，大家都在做reasoning（推理），发现这RL跑通了，一下子大家兴趣都在RL上。 RL比较有意思的一个问题就是说，我需要一个可验证的信号。可验证的信号在代码或者数学，尤其是最早的推理模型是从数学上做出来，就很简单，我这个选择题答错答对了就知道了，或者就是一个数字算出来。但是之后大家就在想说，那我数学可以做RL了，我在其他领域呢？比如说像是这些什么医疗、金融，或者就是更基础的指令遵循，这里我能不能做RL？ 这里它存在的一个问题就是说，它是有一些客观标答的，不像在之前的一个阶段，大家做 **RLHF**（基于人类反馈的强化学习），就是reward model（奖励模型）可能没什么标答，只是把大家的喜好学出来。这里面其实是有个标答，只是它这个标答它比较不结构化。就好像我去答历史考题，历史考题是有标答的，但是每个人的写法可能都不太一样，就我很难做这个pattern match（模式匹配），就是说A、B、C、D检查你有没有答对。 这个时候就是一个Rubric（评分标准）的方式，相当于我让一个TA（助教）拿着教授写的打分规则来给你打分。因为这个打分规则是提前标好的，是教授写的，所以这个TA也不需要特别聪明。这是整个大模型数据中的一个核心概念，就是叫 **Weak-to-strong supervision**，就我能不能用弱模型来监督强模型。那它这里成立的条件就是说，我有个专家把他脑海里的知识给写下来了，这样弱的模型拿着它改卷子就行了，这就是rubric data（评分细则数据）。 这个东西应该是火了很长一段时间，当然现在还很重要。但是这里面很快就把各个专家领域的rubric，而且比较容易获得的收集得比较干净了。看到比如说像Mercor或者Surge AI的崛起，其实跟这一块的专家rubric有关系。 但是再往前走，就大家需要动手了。比如说现在做这种代码模型，或者像一铀他们做的ALE，虽然它不是做代码，但它需要“动手”，要解各种各样的问题。这个时候它就不再是说我只是验证你一个聊天的输出了，那我需要是在一个Agent的setting（环境）之下，那我可能需要给它一些工具，还有一些更复杂的验证方式。它还包含了rubric，但是可能我需要一些检查这个环境里面的变量是不是执行了，这个数据库是不是写入了或者被删除了。甚至如果像是我生成一些文档，里面可能有些图，这个东西我还是需要rubric，但是我需要一个agent来检查，它就变得更加多样了。 现在可能大家追求的比较大的一个方向就是环境。它不光是我标注好的一些打分规则了，而是说我可能包含了一整套我要做什么、在什么样的环境里面做，包括了它需要的一些工具、需要执行的一些沙盒，以及还有一套跟task比较相关的验证方式。验证方式非常的多样，比如说有这种 **Programmatic check**（程序化检查），有这种rubric，还有preference（偏好），我让人选我比较喜欢哪一种。这里面暂时还没有形成特别大的共识，我又看到有点像当年rubric时代，每一家要的东西都不一样。比如说像什么 **Terminal-Bench**（终端任务基准），他们就不要rubric，他们就是纯programmatic。这里面也有不同的流派，还挺有意思。 ### 主观任务的量化困境 **Yiwen**: 这个很有意思。一铀，你要不要从ALE的具体的例子来跟我们讲一下需要哪些要素？ **孙一铀**: 其实我跟允中的看法有一点反过来了。允中认为现在rubric差不多已经做到头了，但我的看法是，我觉得rubric这一块，指专家那种主观的判断题，其实还做得远远不够。 我可以先从ALE的初衷讲一下。ALE当时建立的初衷，就是跟允中讲的一样，就是我们怎么样把 **Vibe coding**（氛围编程）迅速发展的这趋势推广到vibe everything。当时vibe coding为什么发展那么快？就是因为当时有非常非常多的Benchmark都在coding这个领域，而且coding它比较容易verify（验证），它是一个确定性的rubric。大家为了刷这个榜，所以在coding这上面发展非常迅猛。 那么用同样的思路，我们如果在其他的各个领域上，尤其是工程能够客观打分的这些领域上，能够建立各种各样的这样评测体系，你去刷分，但你只要刷的是有益的分，是有意义的题，那它模型带来的提升对于人的日常工作来说就是实打实的提升。所以这就是我们当时想建立一个这样的初衷。 当然世界上大家职业各式各样，实在是太多了，浩如烟海。所以我们只是说在第一个版本里面给出了一个相对来说覆盖面比较广的初次的一个尝试，然后我们还会继续努力，希望把这个覆盖得更广一些，到某一天希望它能成为真正的LAST EXAM。就当你解决这个benchmark的时候，基本上就能解决人类社会在某些领域的真正的有益的问题。 **何允中**: 我同意一铀的观点，各个领域的训练肯定是远远没有到头的，很多东西都可能还没有被Rubric的方式表征出来，所以这里面还有很大的空间。可能我刚刚说rubric到头了，更多的是个行业趋势，就这种静态的单轮或者多轮聊天，出一个文本，然后用rubric来检查它，就是纯知识类的，甚至也不是说到头了。因为毕竟还有不同的lab，每家的水平都不一样，只是说今年的一个大趋势是在做这个coding，然后coding逐渐转向了knowledge work，大家要动手了。这个时候就是纯这种文本的rubric，我看到需求量小了一点，但还是很大，还是有很多东西没解决。 **孙一铀**: 就允中刚才提到了对于很多这种文本式的输出，比如说它文章写得好不好，你可能有些这样打分的点。但是事实上对于工程领域的一些产出，其实有很多的评测我们确实发现了，除非你把输入固定得特别死，不然它的输出其实有非常非常多的可能性。我举个例子，你让它生成一个游戏，甚至有些数学解法它都不是唯一的，那这种情况下如果你给一个确定性的评判，就是你一定要跟你这个 **Ground truth**（标准答案）来对比，那很多时候就会造成不一致的这个问题。 所以说很多时候说我们怎么样定义这个rubric，让它能够兼容这种多式多样的输出，其实这也是我们在构建benchmark中遇到的问题，也是未来想要去思考解决的一个方向。 稍微抛砖引玉一下，我的一个想法就是未来的这个发展趋势可能会……比如说人类他对于一些好玩、好看，他没有办法把它固化下来成为一个可以被量化的指标，比如游戏好不好玩。但实际上有些游戏的入门教科书里其实是有各种各样的评判的方式，比如说它奖励曲线是不是平滑，符合大脑的多巴胺的，它是有科学的指标可以去量化这个好玩和好看这个东西。但我目前在现在的这benchmark上，我还没有看到一个做得特别完整的、公开出来的评测体系。因为这个东西难度也确实非常高，因为需要专家的更加更加深度的参与。所以这一点我也想看看允中那边关于在数据公司里，有没有看到这一个趋势，或者怎么去解决这一类的问题。 **何允中**: 对，这个问题特别好，这也是每天我们在绞尽脑汁的问题。其实整个rubric或者整个大模型的验证体系，我觉得它整体上是有这么一个思路：大家希望左脚踩右脚，就是当我的模型变强了，我这个验证器也变强了；验证器变强了之后，我就可以允许一些更复杂的rubric。就比如说如果我是一个很弱的验证器，那么我就只能写一些就是一个傻子都能看出来、就知道是对还是错的这个rubric；但是随着这个模型能力的提升，那我的rubric就可以写得越来越模糊，可以把更多的知识交给验证器来解决。 但是我觉得这里总体的一个思路还是说，这个rubric加上验证，这两块加起来的知识和能力应该比我要训练的模型要多，不然就达不到训练模型的目的了。那么就回到比如说像是这种做video game这种特别特别主观的东西对吧，我觉得未来可能是这样的：你可能很难把它以很显式的条件一条一条写下来一个好的游戏是怎么样的，它可能有多种多样的可能，所以这个时候我的rubric就会被迫写得更加模糊。这个东西就by the way，其实不是我们想要的，就通常来说我们会建议这个rubric写得越严谨越好，但是在某一些领域你可能就必须要写得很模糊。 这个时候需要验证的模型来自己做一些主观的判断，那这个验证的模型我觉得甚至有可能是，我要训练一个 **Reward model**（奖励模型）。我知道，比如说在不少lab里面，当然这不是客户透露给我们的东西，是我自己的一些经验。比如说生图，生图它有两个部分：一个是 **Instruction following**（指令遵循），有没有遵循我的这个要求，比如说我图里面有猫有狗，有一个背景板写了哪几个字，这个时候我是会有rubric，我就写这里要有一只猫，那里有只狗，甚至我跑一下 **OCR**（光学字符识别）把那个字提出来，然后看看是不是我想要的那几个字，就这一块是属于rubric；但是还有一块，就是说这个字要写得好，这个猫要是一只可爱的猫，这种东西就是我可以写成rubric但它非常主观，那我可能甚至专门训练一个模型，就这个模型它可能掌握了一些人类的主观体验。这些东西可能跟rubric结合在一起，大概率这个问题如果要解决的话，可能是这么一个混合的方向。 ### 决策与执行的角色分工 **Yiwen**: 因为我们刚刚好像把rubric和环境这两个事情好像是放在对立面来说的，但是听起来，一、它们是可以结合在一起使用的；二、有没有一些任务是用rubric来做会比较好的，或者用环境来做比较好的？ **孙一铀**: 我觉得这个肯定是不能拆开来讲的。环境或者说任务数据，它只是一个执行的基准，但是rubric是最终用来打分、用来奖励模型做得好还是不好，所以它肯定是相辅相成，又必须结合在一起来看的。 我个人更希望去从一个任务分类的角度去看，而且人和agent这两个角色如何去合作，它分别担任一个什么角色，这也很重要。我们从历史上来看，就是从最早期Vibe code刚出来的时候，就大家用 **Cursor**，其实就是一个……人类也是参与在执行这个代码当中的，Agent它只负责执行很小的一个模块的一些写代码。后来随着agent能力越来越强，你给它一个非常模糊指令，它能够完成一个非常大的project（项目）的时候，那这个时候人和agent角色又产生了一些变化。 那现在它可以大致分成这两类：就是人负责决策，Agent负责执行。人把你决策的东西说得越清楚，Agent就能做得更好。基于这两个分类，我们来看rubric该如何去设计。如果我们avatar需要agent参与的角色它只是执行，就你如果把一个任务说得很清楚，它的输出基本上是固定的唯一性的，那这个东西rubric它就是一个确定性的rubric，它打分的话就是完全可以基于你自己做出来的一个成品来进行打分，因为它一般会有Ground truth基准数。 如果咱们讨论未来数据需要什么样，就是当人的决策的这部分会不会也被agent所慢慢去取代？那这一部分就是我觉得会回到之前允中说的，大家现在反而没太重视这些rubric，因为决策很多是非常模糊、很难去量化。而且允中说你对一个具体的domain（领域），猫可不可爱你可以train一个这样的verifier，但是对于一个尤其是一个上市公司一个领导层的一个决策，你该如何去train一个reward？它每天的任务都在变，你很难去收集到足够的数据让你来训练出这样一个reward model来替你做这样的决策。所以我个人认为在这一块的模型的发展还有很长的路需要去走，而且这可能是会成为一个未来发展趋势。 **何允中**: 这里我特别同意。就比如说ALE的这个方案，我觉得就是面向未来。比如说像这个猫可不可爱，比如说我要是在这个Meta，我有一些用户行为的反馈我可以训这个模型，但是公司的决策我就很难收到这些数据了。比如说像ALE这种就让大家把以往做过的东西还有决策交起来，其实是一个方案。我会觉得以后收数据可能是大家怎么样找到好的激励方式，让大家把一些重要的东西交出来，尽量地能够回溯当时这些重要的决策。 ### 卖榜单还是卖数据 **Yiwen**: 非常有意思。我想再追溯一下评测的近几年的整个一个发展，以及它和卖数据之间的关系。因为其实我和两位私下都聊过，就是卖benchmark和卖数据这两件事情大家都觉得不能混为一谈。Scale AI之前推出了 **Humanity’s Last Exam**（HLE）这个评测，能不能给我们讲一下这个评测，以及你觉得它和数据之间是怎么样联系起来的？ **何允中**: 这是个好问题。我觉得从原理上来说，评测它体现的是模型距离我们想要的理想状态中间的gap，就是它更多的是一个科学研究这么一个基准，就是我想要模型在哪，它现在没到哪。 但是这个事情跟卖数据联系起来也比较有意思，因为很多时候它提升这个模型能力的数据和它榜单的评测方式是息息相关的。这里面可能比较难的是找到一个平衡。如果我就生产大量的跟这个榜单差不多的数据，那么它可能就在 **Bench-maxxing**（刷榜）。但是大模型训练还是有各种各样的维度，确实如果我想要提升某一类的能力，我需要抓住某一个维度，那么就是说它跟benchmark肯定是有一定的相关性，这个是大家需要找到的一个平衡。 因为大家对AGI的期待太高了，觉得人能做到的事情它都能做到，那么就是说我在各种各样的领域都可以想到一些方式构造一个benchmark，然后发现它这个模型距离你想象当中还有一些差距。通常构造这个benchmark的人对于这一块的领域可能认识比较深，就自然会给他一定卖数据的权威性，大家会比较相信你手上卖的数据，这个生意就这么产生了。 我相信一铀应该也……就ALE现在做得火的benchmark，应该也有不少人想问你卖不卖数据，或者是有可能VC也想找你投资，结果逐渐逐渐地就成了一个生意。我觉得就是也有好有坏吧，就是说这个生态其实也还比较野蛮发展，有多少是在做科学，多少在做bench-maxxing，我觉得确实需要仔细权衡一下。但是这确实是有很多的利益驱动，所以现在是个挺繁荣的市场。 **孙一铀**: 对，这里的话我也是要给大家敲个警钟。因为允中提到了，现在做benchmark的人会收到各种各样的诱惑，就是要去把benchmark数据去卖了。我甚至我私下听到是有一些数据公司它踩了这个红线，就是它把自己在做评测的数据去卖。当然这个是大家千万不能碰的一条线，不能让你做的生意污染你这个benchmark的权威性。不然的话，你不仅毁了你的benchmark，也毁了其他人的模型。 我个人认为benchmark和卖数据这两个东西角色是不一样的，在这个生态系统里的地位是不一样的：**我认为benchmark面向的是未来，做数据面向的是现在**。Benchmark是面向于未来大家还希望这个模型公司去解决目前还没有解决的什么问题。ALE其实我们在今年1月份、2月份做的时候，我们特别害怕benchmark做得太难导致这个benchmark失去意义，因为当时的模型很多基本上平均分只有10%到20%，大部分题目它都只有拿到零分，我很担心这样的评测它会失去意义。但事实上没有必要担心这个事情，因为benchmark本身就是要面向于未来的模型去做的。数据的话更多是去解决这个benchmark所产生的一些需求，所以说更多是现在大家在刷这个榜单，怎么样去把这东西做好。 我认为benchmark-maxxing（刷榜）它有好有坏，你只要面向了它这个数据，它不是直接污染你这个benchmark，你这个benchmark刷的又是有意义的一个榜单，只要这个benchmark和人的真实用户的体验非常接近，我觉得这bench-maxxing它不一定是一个贬义词。 ### 什么样的评测才有意义 **Yiwen**: 对，bench-maxxing这件事其实特别有意思。因为一方面我们确实需要一个评测的基准，另一方面你又不希望模型公司为了刷评测而去刷评测。我觉得这里很自然就产生一个问题，就是什么样的评测才是有意义的评测？因为我们现在一周就感觉可以看到很多新的benchmark。比如说从模型公司的角度来说，他们应该怎么样去选、去刷哪些评测，或者把哪些评测作为他们下一步提升模型能力的目标？从你们供应商还有researcher的角度来看，你是怎么样去看待这件事情的？ **何允中**: 我觉得做模型能力提升最大的ROI还是我要放在能力上。这些能力提升了，它应该是惠及各个benchmark。当然就可能有些人有不同观点，因为对于一些模型厂商来说应用也非常重要，就比如说如果我的这个benchmark是比较贴近一个应用场景，他们其实有动机就把这个场景做好，对他们也是有益的。 最有意义的事情是大家至少口头上还是奔着AGI去的，那我应该考虑哪一些核心的认知能力是我需要提高的，那么它体现在benchmark上，就是说我可以看到一些泛化性。如果我做了一个提高，它只涨这个别的都不涨，那么可能有一些不好。所以就回到一开始的问题，未必是说怎样的一个benchmark是最好的，还是说不同的benchmark它测试了不同的东西，我可能要关注的是哪一些共同的能力能够让它们一起提升，而不是说我只专注于优化同一个benchmark。 另外再回到benchmark本身的问题，我倒是觉得除此之外大家确实会关心一些贴近场景的benchmark。如果这些场景是大家在意的，它确实反映了这个用户体验，这也是个好benchmark。它未必是那么universal，未必是那么大的朝着AGI去的，但是它就确实体现了大家的体验。在这个角度上来说benchmark肯定是有千奇百怪，就你总会找到一个场景。 我觉得可能是两个要素：就是说这个场景的这个gap，它是不是体现了一个非常具体的能力的缺陷。如果只是因为这一个场景一些场景知识不太懂，同时这个场景又不太重要，就是我在一个犄角旮旯里面解了一个什么很奇怪的智力题，出了一个benchmark，这个能力提升了未必代表这个模型本身的认知能力提升了，那么可能就不是一个好的benchmark。 另外一块就是说就算不反映核心的能力，它至少反映一个大家在意的场景。比如说现在特别火的是 **Personal assistant**（个人智能助理），就是现在这个 **Muse**，这是一个很具体的场景，大家都希望有这么一个东西。那么这个benchmark它甚至未必测的是模型本身，它可能还测了你的harness，最后这个benchmark它甚至不是为了卖模型的训练数据，而是告诉你我的harness错在哪，可能我可以做些工程优化。就是贴近大家需求场景的benchmark也是好的benchmark。所以在我看来，一个是反映了核心的认知能力，一种是贴合场景，当然两个都有的话是最好的。 **孙一铀**: 我觉得最重要的，现在大模型公司很看重的一个就是benchmark的分布。大家应该可能都听说过 **Artificial Analysis** 这个评测体系，他们其实做的事情很简单，就是把各家benchmark给不同的权重，然后把它综合到一起来得到一个分数。但这样它就存在一个问题：它分布的这个权重是不是真的是大伙需要的权重？这个权重以什么方式去进行迭代？这个都是挺主观的一个事情。大家质疑的更多不是这个模型本身，而是质疑这个榜单本身。 我现在倾向于认为大家可能benchmark还不够好，做到大家心目中要的Distribution（分布）那种级别很难达到一个ground truth。所以现在很厉害的模型厂商，比如Anthropic或者OpenAI，他们都会倾向于去自建一个评测体系，来让它更接近他们心目中的分布，只不过第三方的验证可以让他们对外发布的时候更有说服力一些。 当然比如说允中说的一个垂直领域的肯定是非常重要的，因为这个就是面向一类群体，它这个分布就是那个群体需要每天在做的事情。如果他能把那个分刷高了，比如金融、法律，他们律师每天做的事情就能把那个做扎实了，那他们法律只需要看这一个benchmark就足够了。 第二点就是允中提到了有些benchmark它并不能代表真实的认知。比如说之前有一些benchmark它是测agent智力的，就是玩那种小游戏，**ARC Challenge**（抽象推理挑战）那种游戏。 **何允中**: 对，ARC-2、ARC-3这种。 **孙一铀**: 对，他这个benchmark的初衷是说觉得能解这些游戏是人类的一个智力的体现，但是没想到这个智力其实也是可以做得特别特化，我一个小模型也能把它搞出来，还挺有意思。 **Yiwen**: 那有没有什么特别niche的benchmark，但是可能大众不太了解，但其实是非常有用的测试这个模型能力的例子？ **何允中**: 我可以举个我们的例子。我们有一些benchmark可能不太经常出现在大家的榜单上，比如说我们前一阵子做的 **Drug Discovery**（药物发现），还有一个跟 **AI tutor**（AI辅导）相关的，它可能关心的是一个比较小的垂直领域。但是跟我和各个lab在交流，负责相关领域的团队他们通常就会有这么一个人，他们会看市面上跟他领域相关的评测，他都会把它收回来。 另外一个就是说这个benchmark最后上不上榜单、火不火，其实也有很多随机因素。比如说AA就有一个很好玩的事，AA用了我们做的一个榜单叫 **SWE-Atlas**。我们当时是做了几个不同风味的SWE-Test，其中有Q&A（就是代码仓库问答），还有代码重构，还有写Test。只不过我们是分三个阶段推出的，所以Q&A先推出。推出之后我们还没来得及把另外两个推出把它们合在一起，somehow那个Q&A就先被AA捡去了。Q&A上了AA之后，大家就开始刷这个东西，突然间就这一块需求就变大了。我们当时很不理解，Q&A是最简单的一个场景，就是我们花了那么多心血做了更复杂的benchmark，结果就是因为可能是时间关系，还有的时候是某一个lab用了，可能是碰巧它的分好。 这里面其实是有一些随机因素，就是你在这个榜单上，就大家tech report上看到的东西有一定随机性，AA搜这些榜单有一些随机性，最后就是你没看到的东西其实背后可能也有人在用。就这个生态其实水还比较深，还比较复杂一点。 ### 理想分布与真实反馈的脱节 **Yiwen**: 明白。一铀，其实我还想再问一下，就你刚才提到的大家对于Artificial Analysis这样榜单的质疑，你觉得说是不接近于大家理想中的分布，这个分布现在有没有一个共识？因为我理解每个模型公司对于分布的需求其实也是不太一样的，是吧？如果是在这种情况下的话，我们怎么样去理解这个理想状态下的分布，它是应该比较接近真实世界的这样一些任务，还是说是别的分布？ **孙一铀**: 我觉得真实的分布其实本质上就是大家的用户体验。就是世界上假设说存在这样一个Ground truth，就真实的分布的真实的打分，其实有点类似于 **LMArena** 这种模式。假设说你每天prompt这个agent的时候，你能够有多条模型一直在执行然后给它们打分，这是最真实的评价。 但是这个现实生活中能够做到这样的榜单有以下几种因素：LMArena之前做好，是因为之前的QA它这个很快，它开销很低，你给它一个问题它能够几秒钟之内给你个答案，你很快就能进行打分。但现在在agent的时代，一个长程任务动辄几个小时，一个用户也没有那么多的超能力每次执行一个任务都连着开几个agent一起去执行，也没有个机制去反馈把它收集起来。所以说大家的评价很多都是一个偏主观的，他很难拿到这样一个真正的ground truth。 但如果说有哪家公司或者有一家有某种方式解决了这个问题，那肯定很厉害。但我相信他们大模型公司内部肯定是有这样一个机制的，就是让他有几个版本的模型，然后有一些用户他是真实用了这个东西然后去测。我的意思是假设有这样一个Distribution（分布），然后你这个评测的分数的分布接近于这个东西，那它就是一个很好的benchmark。 **何允中**: 对，我听到一些比较有意思的，很多评测benchmark跟我线上做 **A/B test**（A/B测试）测出来结果是不一样的。就是用户的反馈跟评测其实有时候不太一样，甚至很难说哪个好，因为用户有时候也比较主观。像这种聊天的，你可能给他特别多这种 **factual**（事实保真）的东西，相比给他很多这种 **clickbait**（点击诱饵）就说他爱听的话，可能这个结果也不一样，所以这块还是挺复杂。 **孙一铀**: 对，是这样的。就像 **Claude Code** 我觉得在LMArena上分数一直遥遥领先，就是因为我觉得Claude Code它有个特点，就是尤其中文用户或者英文用户，它给出来的这个output format（输出格式）更贴近于人们心目中想看到的，就非常容易去理解。相反的是 **Codex**，它可能执行得更细致一点，但是输出的东西就没有人那么容易去相对的没那么理解，所以说稍微吃了点亏。但我个人体验用户下来，他们俩可能是不相上下，其实我个人还更偏好于OpenAI那边一点，因为它做得更细致、犯的错误更少。所以这个确实也是很主观的一个事情，去怎么定义好这个distribution。 **Yiwen**: 所以在这种情况下，模型公司还会把benchmark视为判断自己模型能力的一个标准吗？ **孙一铀**: 他们肯定也是在乎外部的评价。不同模型公司，我是说先说美国那几家大的，他们肯定是倾向于自建为主，就是自家的evaluation团队，因为他们有这个能力去建。但是对于一些比如说刚成立的，或者相对没有那么有名气的一些 **frontier labs**（前沿实验室），或者它不是头部的frontier labs，他们肯定是会非常依赖于外部的评测。因为内部的评测团队可能没有那么有经验或者那么完善，或者说他们的人力资源更希望投入到模型的训练和开发当中，而不是去直接利用，所以每个公司的策略都不太一样。 **何允中**: 其实我的个人判断是说，当一个产品逐渐成熟之后，或者当你积累了一定体量的用户之后，最后你其实关心的还是用户增长。比如说我之前其实做了很多年，在Meta做搜索跟推荐，逐渐地就变成了一个类似搜索推荐的问题：就你看了什么样的指标跟用户增长最相关，最后就朝着赚钱的方向走的。 现在可能真正能够评测到这个能力的lab不太多，需要一定的用户体量。可能在这个聊天的场景就比较成熟了，但是在这些agent的场景上能做到这个程度就更复杂一点。大模型可能跟传统搜推不太一样的地方就在于说它的场景很复杂，就算我能够在这个chat场景做好很好的这个A/B test，甚至训这个reward model来朝用户喜欢的方向发展，我总会有新的东西出来，而且大家一直在看新的东西。 比如说现在大家都在卷科学发现，科学发现我不可能有足够量的科学家给我显著的A/B test的结果，必须还是要依靠场景构造benchmark。我会说因为大家对这里的应用场景的期待太高了，场景增长的速度赶不上我在这个领域用户沉淀的速度，还是有大量的需求要依靠这个benchmark来做评价标准。但我会觉得在某一些领域沉淀下来之后，大家会有更多的线上评测体系，可能会像这种传统的互联网增长，看看哪些指标跟用户的 **DAU**（日活跃用户）增长更相关。 ### 垂类数据采购的深水区 **Yiwen**: 对，能不能深入讲一下数据采购这件事情？我觉得就是有几个点非常有意思：第一，你提到了刚才有很多小的公司，其实是现在一个创业机会，这也是为什么我们看到很多最近兴起的一些四五个人甚至两三个人的这些数据创业公司拿到了非常高的估值，这是不是就是因为他们的目标就是这些非常垂直的领域的数据？ **何允中**: 对，我觉得这里可能有几块问题。首先我觉得最近兴起的这些RL environment公司，其实更多的是在做合成。因为整个数据行业已经从找人标注慢慢地过渡，你要交付的是一整套环境，然后这个环境可能需要大量的这些工程工作在里面。很多在这些合成的技术栈上做得比较好的一个小团队，其实可以比较短的时间交付大量的合成环境。这未必是不好的，就合成它有时候你也可以基于一些强的模型，或者说基于一些半成品的这些artifact（产物），是可以做出一些好东西来的，现在这里是一块增长。 但是再往下走，这里面比较有意思的就是说，这个东西之所以能成立，因为大家今年的主题是在卷代码。软件行业是最奇怪的一个，就它非常的open，有大量的公开资料，而且我们生产数据的公司同时大家都懂代码，所以就这个比较好解决，让一些小的团队有很多机会给自己造很多数据。 但是我觉得再往后面走，比如说这些其他领域的垂类就更复杂了。这里面我会看到有一些公司他们可能解决两个不同的问题。比如说像我们做后训练数据，其实在我看来是两个问题：第一是采购，就是我要把原材料买回来，就好像ALE让大家上传，这是一个比较新的激励机制；然后加工，加工就是我们再把它标注，或者是通过一些agent pipeline把它做成适合大模型训练的环境。 在这个垂直领域问题上，其实采购变得越来越复杂。就甚至代码领域，其实采购一些私域的代码仓库，谁能把这个问题解决好，其实就是一个巨大的优势。那么在垂直行业，比如说我如果是做芯片设计的，我可能要把整个芯片设计的环境给造出来，可能当中涉及到一些商业软件，那我怎么样把这些商业软件的版权拿到，把它包在这里面就是一个问题。还有一个就比如说做 **DevOps**（开发运维），我要是一个系统工程师，我要操作什么AWS之类的，我知道有个公司做了一整套AWS模拟器。每一个垂类的环境都有一些很深的东西，你可能要采购，可能要定制软件。大家抓住一两个垂类把这个东西做好，其实创造了很多新的机会。 **Yiwen**: 明白。因为刚才我们提到这些垂直场景，比如说在Drug Discovery（药物发现）这些生物医药方面的，还有一些具体行业的评测下面，我们可能没有足够的场景或者没有足够的好的评测。在这种情况下，我们有足够的好的数据吗？ **何允中**: 这里其实有一个难点：每个领域它都是需要一些人把他的专业知识吐出来之外，我还需要这个领域的东西。像药物发现，我可能需要很多私有的数据库。就这里面我觉得是目前这个行业一个大的卡点，就是你先要能把这东西买到，你知道大家手上有什么，才能把它做成benchmark。ALE其实很大程度上是在解决这个问题。 **孙一铀**: 对，ALE就是希望大家能够以众包的方式，让专家把之前自己做过的project交上来。当然这里面有一些不符合规范的我们都筛掉了，因为他们甚至把一些非常非常撕*的东西都交上来了，比如说什么法院的一些证据什么，就是非常……对，然后我们尽量把这个都筛掉了。 比如说我们现在在V2中，我们也尝试去收一些数据，比如说Steam上的一个游戏库，就游戏开发的一个任务。它一个那种名不见经传的、大概几千人体量的一个 **MOBA**（多人在线战术竞技）类的游戏，它要价能要到**两三百万人民币一条**。我觉得哪家数据公司或者别人做benchmark都没有这个财力去做这个事情。 **Yiwen**: 就是这个游戏公司会要价要到两三百万？ **孙一铀**: 对，要这个游戏的源码，对。 **何允中**: 就比如说很多公司想要采一些游戏的视频然后做些标注，游戏视频可能是版权数据，这里有一个巨大的采购问题。我觉得这里是一个商业机会，我现在其实看到不少startup在解决这些问题。就其实大的数商我们自己也在投入做一些采购方面的工作，但是总体上来说，我觉得这里还有巨大的问题没有被解决。 **Yiwen**: 有哪些现在非常热门的垂类是数据非常少的？ **何允中**: 我会说至少医疗算一个，只是数据比较敏感。谁能拿到大量的病例数据，那就非常有优势。 **Yiwen**: 对，因为其实也有很多新闻讲到说，可能在法律或者金融的这些领域，会有一些之前离职的员工可能会去分享他们的工作流。不过可能工作流数据和像医疗数据里面这些病人的data还是不太一样。 **何允中**: 是的。各个领域，我觉得甚至现在大家之所以都在说金融、医疗，这些因为跟大家比较息息相关，大家多少还懂一点。其实这个世界上有很多我都不知道的行业，就是你真的要跟他们聊才知道。就比如说我才知道，就做这个药物研发，大家还会交易这些分子，一个分子还能倒腾几套，这里面还要做 **DD**（Due Diligence 尽职调查）。所以可能没有做，只是因为大家不知道。 **孙一铀**: 对，就是我们在做ALE V2想要把比如说一个领域做深的时候，我们会尝试先捋一个领域它会有哪些工作流，会有一个树状这样结构，尤其在生物学这一方面。然后我们基于 **Nature publication**（《自然》出版物），它会有自然的分类，它对子学科分类，然后把这个树展开到第三级的时候大概有3000个节点。然后我们也做了一下工作，就是把现在已有的市面上的life和bio的benchmark已经覆盖了多少做了一个统计，大概是可能10%、5%都不到。甚至它连一个成型、覆盖面完全的一个benchmark市面上都没有，更别说是针对这个去做相应的数据。 ### 合成数据公司的商业寿命 **Yiwen**: 明白。那像我们刚刚提到的这些做合成数据的小公司，他们能赚钱的周期有多长呢？因为听起来好像都是这几年新出现的这样一些公司，这些数据它的生命周期有多长呢？ **何允中**: 这是个好问题。至少现在需求还是挺大的，未来很难说。比如说这一波coding卷完了，他们需要新的品类，你能不能抓住下一个机会？而且下一个机会可能跟你现在的运行模式不太一样。比如说我自己会觉得采购会很重要，采购能力比较差的可能就比较难；或者就像一铀他们，你可能有些新的激励机制让大家把东西交进来对吧？所以可能以前的一个激励机制是招聘平台，或者就给你一个小时工，但是以后可能有新的激励机制，就谁能把这些东西玩得转可能会继续有一些优势。 **孙一铀**: 这个地方我想问允中你的看法。因为我个人认为随着模型的能力越来越强，模型公司自己内部创造数据的能力也越来越强，这一点你认为这个饼是越来越大的。但有没有可能会出现一个情况：这个饼面向于非头部公司的机会反而是门槛越来越高的，入场券是越来越难拿的？ 比如说数学这块领域，之前的话大家只需要去影印那些奥数课本就能够去批量造出大量的数据，但这些数据现在基本上是零价值。所以你是怎么看待这个趋势，就未来的数据公司的这个发展方向？ **何允中**: 我会觉得从第一性原则上来说，还有巨量的问题没有解决。你要想这个世界上还有多少东西没被蒸馏干净，是巨大的机会。 但是如果你就看现在大家是怎么运行的，这个事情当然会越来越难，因为越来越多的玩家进来了。我觉得大家如果只盯着我手上的工作，这个一定是越来越难做的。就算这个lab不自己做，越来越多的竞争对手进来，你的 **margin**（利润率）也会越来越低。所以在我看来，一个好的数商其实最后解决的是个研发问题了，就好像一个软件公司一样，我要提前投入未来大家需要的东西，赚到钱之后我再投入下一个东西。 在lab本身，我有个暴论：可能lab未必有最好的基因来解决数据的问题。这里面可能有几块，比如说合成数据。合成数据其实按理说很多就是这个lab research的本职工作了，尤其是搞后训练的，大部分时间都花在搞数据上了，就是买数据、核数据、验证数据、洗数据。但是这个领域你会觉得为什么外面的人会有机会？今年的这一波增长都来自于一些懂行的人在外面把这个数据合了再卖回去，所以这个事情是存在的。我觉得一方面是因为大模型公司现在有太多的钱，就是你自己造、外面买其实也不矛盾。 但是在更长远上来说，其实有很多问题可能模型公司没有太好的基因解决。比如说如果我要采购，我要把一些行业的东西先采购回来、蒸馏出来，这个时候我会觉得大的lab可能未必有那么大的优势。它甚至可能会有一些 **Conflict of interest**（利益冲突）。比如说一方面把你的这个 **FDE**（前线部署工程师）派到了人家企业里面，然后另一方面你有一拨人在搞这个企业数据，那么我会觉得如果我是一个企业，我是不太放心把我的数据交给你的。出于这些原因，有一些东西可能lab不太适合自己做，它可能还是需要第三方的这个人帮他做一些采购，或者深入到一些行业领域里面去。 我会觉得一个数商真正要做的事情是在研发，看看未来还有哪些行业是重要的，这些行业有哪些东西我要值得投入把东西买回来，然后我自己先投入 **R&D**（研发）把这个行业的问题给研究清楚，然后再把它做成benchmark或者数据，甚至证明这个东西的有效性，然后我再转手卖给lab。从lab来说，就是大家的 **Deadline**（截止日期）都很死。如果我是一个lab的research，如果你让我花半年的时间来解决一个行业，可能有时候大家其实没有自由度。就是这个时候你看到那边有一个数商说我把那个行业的东西搞清楚了，你要不要？大家通常都会看一眼。所以我觉得其实长期来说，拼的还是一个研发能力。 **Yiwen**: 你觉得这个趋势对于大模型公司来说会持续吗？因为现在模型公司里面也有自己的数据团队，但是你觉得他们更愿意去从第三方那里收数据，而不是自己去造环境、造数据？ **何允中**: 这里我觉得可能不矛盾，因为最后模型公司最高的优先级还是把东西做好。如果他们自己能生产好的数据的话，有可能会倾向于自己生产。只是现在大方向上来看，这个世界上还有太多的工作流没有被折腾清楚的，那么对外部数商的依赖我觉得是长期存在的。甚至就是一个大模型实验室自己可能未必想要投入那么多的资源做得这么重，可能更prefer灵活一点。 缺点就是说大家可能希望更多的东西是第一方的，不希望所有人都能从数商中获得这些能力，所以就从这个角度来看会有一定的动机自己研发。就比如说现在可能很多labs它在做这个 **Expert matching**（专家匹配），就是说你把人派到我这里来，就也有这么一些趋势。我自己也会觉得说现在有太多东西没有被解决了，不管是谁把这些问题解决了，那他一定是有赚钱的机会，这个东西可能跟在哪里发生不是很有所谓。现在是机会多、饼在越变越大的这么一个阶段。 **Yiwen**: 但这也是大家对于数据一直有的一个问题，也就是说如果一个第三方供应商把同样的数据卖给不同的模型公司，那它中间怎么样去区分呢？ **何允中**: 这里通常来说有个比较简单的解决方案，就是说你可以花多点钱把这个数据买断。 ### 训练配方与长程任务探索 **Yiwen**: 你觉得对于模型公司来说，在数据供应商收到那么多数据的情况下，他们怎么样去使用这些数据？这个流程能不能给我们讲一下？ **何允中**: 就这里面一般来说，它是有一些比较固定的训练方式的，我们把它叫 **Training recipe**（训练配方）。就比如说像是比较简单的这种数据，我可能就是直接 **SFT**（监督微调），就是我把对的答案给它就行了；然后像是rubric这一种，它可能就是在做强化学习，因为就是不停地有一个模型在给它打分。 比较有意思的是现在这些RL环境，比如说最近大家在卷的一些特别长程的任务。现在今年的一个主题是 **RSI**（递归自我改进，recursive self improvement），它其实是个buzzword（热词），就是说AI自己研发自己。那大家最近就在看那些我跑一把可能要跑个几天、一个星期，其中你可能要有个GPU真的在上面模型训模型的任务。 这里的训练方式其实就开始变得有一些模糊了，我们也在一起研究这里面的训练方式要怎么搞。但是我自己就觉得这里面其实还没有太多的共识，所以还有很多有意思的空间。就对于数商来说，有时候也不完全是造一个模拟的task这么简单，你还要考虑到他模型公司拿去要怎么训，针对他怎么训可能还要有一些定制。 **孙一铀**: 对，这一块我也比较好奇。如果说你就是为了bench-maxxing，就是你拿ALE的一些任务你直接去训练，就类似做一批这样的数据，那你怎么保证这个数据它训练出来模型能力、泛化能力能够提升，能够被迁移到其他的任务上去？这个东西有没有一些比较系统化、科学化的方法来做这样的验证呢？如何在不训一个模型基础上，能够评判这个数据能给模型带来怎样的提升？ **何允中**: 对，我觉得这里其实有一些技术。比如说现在如果我要造一个环境，大家最怕的就是 **Reward hacking**（奖励作弊），就它有捷径。如果明明我没有完成这个task，我可能是使了一些手脚，结果我的分可以打得很高，就是我训出来这个模型肯定会变成一个耍滑头模型，这种东西肯定是不希望发生的。那么通常来说我会有一些技术，我可以用agent来做 **red team**（对抗性测试），之后我会让一些比较强的模型来试试看能不能在这个task里面找到捷径。 另外就是这里面很多是我自己的个人猜想，不代表Scale AI或者任何客户。就是说在训练这些东西的时候，很多benchmark我们可能只关心最后有没有完成这个任务，就是我们的验证器是围绕这些东西设计的；但是我怎么样完成它，这些东西可能也会在模型训练里面有一些关键作用。 一个比较trivial（琐碎）的例子就是说 **budget**（预算）。就比如说我训模型的时候，我会关心它是不是消耗了过多的token或者用了这些步数。那么我们在训练它，比如说在拿ALE的模型数据训练的时候，肯定我最后reward会很复杂，不是说我把这东西解出来就行了，我可能还关注它消耗了多少资源。最后可能是在各种各样维度的检查、reward、防止它作弊，这些东西结合起来才能完成一个训练的recipe。其实就感觉也没那么简单，这些可能是训练数据更多要考虑的问题，就是说我这些数据能不能导出一个比较好的训练方式。 **Yiwen**: 能不能讲一下像RSI，或者因为刚才我们也提到很多Neo Lab，像在这些情况下做这些训练需要的数据有什么不一样吗？或者需要的定制有什么不一样吗？ **何允中**: 通常来说，最常见的定制其实是难度。大家做benchmark的时候，一般来说至少希望它不那么饱和，那就意味着越难越好；但也不一定，就像一铀说的，也不要就完全解不出来。就是benchmark的难度更多的是一个客观地反映我这个行业难度的事情。但是在训模型的时候需要做一个特化，就是说这个难度对它的模型要适中。 我们有时候会做这个事情：模型厂商会把它甚至还没有发布的模型给我们，然后我们帮它筛数据，这个题目对它来说不能太难也不能太简单。因为现在做这个强化学习是说让模型在上面自己试，如果试对了的话它就能学到一些东西；那我给它题太难了，它啥也做不出来肯定就不行，所以在这个难度上会做一些适配。 然后另外可能我们会做一些轨迹采集。就比如说如果你把你的模型的轨迹给我们，我们可能把这些轨迹采集出来然后帮你做一些筛选，甚至我们想办法用人给你搞一些可以解这些问题的轨迹，这样你可以拿回去不需要做强化学习，你可以直接照着这个轨迹做SFT（监督微调）。针对它的训练需求，其实也有一些特化的这种工作。 ### 数据污染与假数据防范 **Yiwen**: 好，接下来还想再聊一下数据污染的这个问题。因为今年2月的时候，OpenAI就宣布停止报告它在 **SWE-bench Verified** 里面的分数，这个其实也是一套评测。具体来说，就是让AI修复真实开源软件里面的项目问题，再通过这个测试来判断它有没有修好。当时OpenAI主要是指出了两类问题：一类是它测试本身可能会有缺陷，比如说有的功能上正确的解法也会被判错；另一类就是数据污染，这个我觉得很有意思，他们发现是在特定提示下面，模型能够复现部分题目原本的人类修复代码，也就是说模型很可能在训练过程当中就已经接触过相关内容了，所以这个分数就变得有点难解释了。我想问一下两位是怎么理解数据污染这个问题的呢？ **何允中**: 就SWE-bench这一类数据其实有一个问题，它可能甚至还不是污染，就是它task可能就做得不够好。比如说有时候有一些错误是假错误，比如说可能我的测试脚本要求得太多了，或者是我的task没讲清楚，有这么一些类型的原因。另外一个污染可能是说，模型预训练的时候把这些东西都训练进去了。这里面其实是有一些技术可以检测到这些东西，我想这ALE上面应该会有一些这种经验。 **孙一铀**: 要不然他说不采用SWE-bench，是连SWE-bench Verified也不采用。就是当一个benchmark它在过去的6个月内只从**74%提升到了80%**，剩下那些问题可能是脚本写得太严苛了，或者它的题目本身就是不可解，或者是会有各种各样的问题，它剩下的可能20%都是集中在这个问题上，那这个benchmark本身可能就失去了它对比的意义。 ALE也没有解决一个问题，这个也想跟允中探讨一下：当一个专家他本身提交上来的材料本身是错的时候，我该如何去预防这个问题？这个是我们真实发生过的。因为我们专家五花八门的，当然这样的人很少，他是为了提交这个任务为了拿到作者（署名）。因为我们的奖励机制就是你提交了这个东西，我们接纳了你这个任务，你就能被纳为作者列表的一部分。确实是有人为了提交而提交，他甚至起了agent去合成一堆乱七八糟的数据，甚至有些数据交上来我就肉眼看出来他就是编的。这个东西是确实是对我们的工作造成了很大的困扰。 **何允中**: 这是个特别大的问题。Scale AI总是有人，总是可以靠人解决的。这里有个特别有意思的问题：比如说一铀提到了我给他这个 **authorship**（署名权）是一种奖励机制，那会带来一定的问题；比如说就Scale AI那更原始的，比如说我就给你小时工，那大家也有一些偷懒作弊的方案。我会觉得这个奖励机制是个特别特别难的问题。长远来说，比如说我的目标是把人类都蒸馏干净对吧，怎么样设计一个好的奖励机制把大家的目标都align（协调一致），我觉得这里其实有特别大的空间，这里可能是个巨大的research area（研究领域）。 我自己心中可能有一些方案，比如 **Proof of work**（工作量证明），就比如说我要求你把做这个东西的一整段工作流程全部都录下来，你必须要做到多少时长或者怎么样。不同形式的问题它有不同形式的奖励和验证机制，这里面其实有很多玩法值得大家探索。 **Yiwen**: 这里面其实也涉及到一个更大的问题，就是很多数据它本来也就是公开数据，就是网上的一些资料、公开代码这些东西，所以这些数据是不是本身就注定了会有污染？一般是怎么样处理这些情况？ **孙一铀**: 其实最简单的污染你直接问agent它都能找到，公开数据其实还好检测。我觉得最难的是编造数据。比如说让你去做一个化学模拟，它根本就没有跑过这个任务，它自己编了一套似是而非的东西，你没有个几个月根本查不出来这个问题，因为它看上去很真。 什么时候能发现这个问题？当所有的agent它的能力基本上远超这个问题本身的时候，发现所有的答案他们做出来是一样的，但是跟这个真实答案是不一致的，这个时候我们就会查出问题，但这个周期会非常长。然后你让另外一个专家去验证这个问题，它成本又非常非常高，因为本身这个问题都是要专家花一个多礼拜或者两个礼拜才能做出来。 **Yiwen**: 对，然后那个验证的专家你要保证他…… **孙一铀**: 对，验证的专家他本身也会为了一些东西偷奸耍滑说这个东西它就是对的。所以众包的benchmark为什么难做，就是难做在这里，人性是非常复杂的。 **何允中**: 是，我觉得这里他可能甚至验证是一环。我自己觉得确实在奖励机制上，比如说如果你就让他在那老老实实待着做12个小时对吧，你给我合假数据你也要把每一步都给我交出来，要求你必须做这么多的动作，那他可能就没有那么大的动机给你合假数据了。这些是比较值得研究的方向。 ### 工作流本质与PE并购新玩法 **Yiwen**: 很有意思。其实我本来是想问一下真实工作流的数据，但是听下来大家现在还是在卷Coding数据是吗？不是在做真的workflow（工作流）？因为我理解是比如说像Mercor这样的公司就是有在卖一些真的workflow的数据，但是听起来coding现在还是这个赛道最卷的。 **孙一铀**: 其实你怎么定义真实工作流的数据？就真实工作流的数据本质上它都能够被划归到一个coding的问题。就比如说对3D建模这个问题，其实有很多比如说FreeCAD什么，它都是提供了现成的API让你去做这个事情的。就是这不是传统意义上的coding，就是让你去写一段代码去解一个LeetCode这种coding题，它是用coding去解决真实workflow。所以说只要有足够的 **MCP**、API调用，它其实本质上95%以上的任务都能够被划归到Coding的问题上来。 **何允中**: 对，就是可能有一些小的可以看它这个task本身是要的什么东西，它涉及到的一些环节是什么，能把它归结到不同领域的工作流上去。但是我同意一铀说的，现在因为你让agent来做事情，代码就是它的手跟脚，所以它其实归根结底Coding肯定是其中的一环。 **Yiwen**: 明白。你们觉得在私有数据需求依然很大的情况下，未来的数据公司会不会从卷采购本身变成卷并购，就是去收购一些垂直领域的公司？ **何允中**: 对，不评论Scale AI。我是听说有一块很大的 **Private equity business**（PE业务），就是说以前大家是flip公司，现在flip公司的一个新的方式就是说我买了这个公司，我用AI让它提效，把一些人裁了，之后把这个公司的价值做上去再把它卖了。现在就多了一层，就是除了我买这个公司可以把它重组打包、用AI提效之外，我还能把它的数据发掘出来，就它数据还能卖一些钱。 所以就是让这些整个买公司的行业又多了一个玩法，就很自然地大家——就是数商或者就传统做 **Private equity**（私募股权）的公司——也在看这个数据怎么能够卖钱，然后就兴起了一整个领域。我甚至觉得说如果真的未来比如说5年、10年还是这个速度发展，大家还没有遇到瓶颈的话，把各个行业的东西都给拿出来，可能这个东西跟大模型本身就是世界上最大的两个行业。当然这是比较极端的 **AI doomist view**（AI末日论观点），可能会导出这么一个世界。 ### 飞轮效应与学术界的独特优势 **Yiwen**: 是的。但是听起来其实数据行业本身也是在变化得非常快，因为就像我们刚才提到从这个rubric data到RL环境的这样一个变化。所以有什么信号会让你觉得有某一个领域或者某一个赛道它可以持续地增长吗？ **何允中**: 我会觉得就首先还有很多没有解决的问题，机会还是很多的；另外一方面有越来越多的玩家进来了，比如说每年都有很多新的Neo Lab，资本市场还是以这个方式运作的话，就这个饼是越来越大的。 但是这个数据变化很快，不太像是一个我可以躺在一个地方一直吃老本的生意。数商要疯狂地迭代自己，最后可能是拼大家的R&D的能力，或者说谁能把这个R&D的能力本身固化做成一个 **flywheel**（飞轮），我有一个流水线可以一直在发掘新的东西，也许这个是未来最大的优势。但是就总体上来说，我会觉得现在是百花齐放，未来机会还很多。 **孙一铀**: 这我也是从一些地方听说，数商的估值空间一般没有传统的公司来得大，就是因为它很难把这个杠杆保持住，然后让你以很轻松的方式在一个积累的用户量情况下就能躺在那里吃老本挣钱。就像Facebook、Google的一些业务一样，它已经有积累大量用户，它就能躺在这些APP上赚钱。但数据生意领导者必须持续地去思考下一步在哪里、持续去迭代，因为模型迭代速度太恐怖了。 **Yiwen**: 你觉得你们现在在做ALE 2.0的时候最难的是什么？ **孙一铀**: 我觉得学术上相对容易一些的，比他们Scale AI在做商业上，因为他们给我们的数据很多都是无偿的。但是我能够想象得出我如果是一家数商要去收这个数据，这些都是天文数字，就那些收上来的原始的项目和代码，而且很难找到一个很好的奖励机制让这些专家能够自愿地把这个交上来。 我拿Mercor他们官网上的给专家的一个小时的价格来算，比如说制造业的工程师大概是可能**一两百刀一个小时**，这种价格就限定了它不可能招到特别特别高级的工程师。但是为什么学术界好做？因为我们能够自然而然地吸引到一些这种级别的人来帮我们收集数据，因为他们不求钱，他们图的是大家一起把这个事情做好，图的是个名。所以说这个奖励制度不一样，就导致你能吸引到的人不一样，你的上游是不一样的。 **Yiwen**: OK，很有意思。好，那我们就到这里结束吧。谢谢允中，谢谢一铀参加我们的节目。 **何允中**: 谢谢Yiwen。 **孙一铀**: 谢谢。 **Yiwen**: 好，以上就是我们这期播客的全部内容了。国内的听众可以通过小宇宙、苹果播客、网易云音乐、喜马拉雅、QQ音乐、蜻蜓FM、荔枝FM来关注我们；海外的听众可以通过苹果播客和Spotify，或者在YouTube上搜索《硅谷101》播客来关注我们。我们部分的文字稿还会收录在《硅谷101》的微信公众号上。谢谢大家，我们下次再见！