--- layout: post.njk source: https://yage.ai/share/agentic-vision-20260830.html speaker: yage.ai title: 多模态模型的价值，不在看懂图，在会自己去看 date: '2026-08-30' summary: 文章探讨了多模态模型的核心价值在于其自主行动能力，即模型不再是被动地接收输入，而是能够自主决定何时观察、聚焦哪个区域、并根据观察结果主动调用工具进行修正和迭代。这标志着视觉能力从单纯的输入通道转变为模型自主决策的行动步骤，并强调了从静态流程向具备自我验证闭环的 Agentic 模式的转变，以及相应的训练和评估范式的调整。 area: tech-engineering category: ai-application tags: - multimodal-model - agentic-workflow - self-improvement-loop - visual-feedback - evaluation-metrics people: [] companies_orgs: - Meta - Z.ai - DeepSeek products_models: - Muse Spark 1.2 - GLM-5.3-Flash - V4-Flash-Vision-Exp media_books: [] draft: true status: evergreen --- ## 三个实验室，同一种演示 8 月，三家实验室先后发布多模态模型，发布材料里的 hero case 展现出同一种模式。Meta 发布的 Muse Spark 1.2 将一段通过终端上传的房屋视频转化为能够正常交互的度假屋预订页面。Z.ai 发布的 GLM-5.3-Flash 在官方材料中设立了专门章节 “Vision in the coding loop”，给出的八个最佳实践全部遵循相同的动作序列：渲染代码、观察渲染结果、修正视觉差异、再次执行渲染。DeepSeek 上线的 V4-Flash-Vision-Exp 给出了三个典型案例：西藏自驾游演示文稿、官方网站二次创作、黏土怪物风格的前端交互 demo。这三个案例展现出相同的链路：模型先理解图片、页面结构与设计意图，再调用工具产出对应的交付物。 三家独立团队在相近的时间窗口拿出同类演示。实验室挑选展示案例通常经过深思熟虑，案例本身就承载着核心主张。这三个演示共享一套动作结构：模型先观察视频、截图或页面，随后调用工具生成网页、演示文稿或小游戏。Meta 和 GLM 的材料里，这套动作还有最后一步：回过头审视自己刚刚做出来的产物。GLM 在最佳实践中明确要求 “launch the project and compare screenshots of each page against the reference images. Continuously refine differences”；Meta 的官方文章也记录了模型如何通过自我审视构建闭环：“By re-examining the artifacts it generates, it drives a continuous self-improvement loop”。 看图问答的能力已经存在多年，系统接收一张图片与一个问题，随后输出对应解答。那是视觉能力以往扮演的角色，单纯作为系统的输入通道。这三家实验室做出的调整，是将视觉转变为模型自主决定的行动步骤。模型开始自己判断什么时候观察、观察哪个区域、要不要回头检查自己的交付物。Meta 在发布文章中对此给出了清晰的说明：“Muse Spark 1.2’s multimodal gains are most pronounced when the model can use tools. It can inspect visual inputs more closely and incorporate what it finds into its reasoning.” ## 我们见过一次这样的相变 类似的转变在三年前就发生过。2023 年的 RAG 是一条静态 pipeline：用户提出问题，代码执行检索，模型生成回答。流程跑完，即便结果出现偏差，代码也不会主动回头调整。要不要检索、检索几次、选用什么关键词、检索结果是否充分，全部写死在代码预设里。Agentic RAG 把检索变成了模型主动调用的工具：模型自己决定什么时候发起搜索、要不要更换关键词重试、检索到什么程度可以停止。工程师交付的重心随之转移，从固定的代码流程转向模型的行为契约。 视觉领域正在经历相同的转折。早期的系统里，图片只是喂给模型的输入，图送进去，答案吐出来。现在模型获得工具之后，开始自主决定什么时候调出画面、聚焦哪个区域、要不要回头审视自己刚写出的界面。面对一句能直接打分的话，单向输入输出就能完成任务。换成需要渲染、点击或者运行的复杂产物，单向通路很快卡在中间，必须依靠持续交互的动作来确认结果。 静态单向流程只能产出可批改的答案，闭环让模型确认自己的产物 ## 这次闭环的方向反了 仔细比较这两个闭环，信息流动的方向正好相反。在 Agentic RAG 里，模型缺少外部世界的信息，因而向外发起检索，方向是从 world 到 model。在 Agentic 视觉里，模型先产出内容，为了确认结果是否准确，回头审视自己的输出，方向是从 model 到 world 再回到 model，形成自我验证的闭环。 UI、游戏、演示文稿以及 3D 场景这类任务，正确性本身直接体现在视觉层面。代码可以正常编译，页面也可以顺利打开，但布局错位、动画卡顿或者颜色偏差，只有实际渲染、点击或者运行起来才能发现。GLM 在官方材料中指出：“many failures only show up once it is rendered, clicked or played.” 这也解释了模型为什么必须原生具备视觉能力。如果仅把视觉当作外围接口，文本 agent 调用视觉接口获取文字描述，再拿着转译后的文字继续处理，审视自身产出的链路就会脱节。GLM 在官方说明中指出了这一点：视觉需要原生集成进模型，让模型自己决定什么时候观察，用看到的反馈引导下一步动作。 检索环的方向从世界到模型，自我验证环的方向从模型到世界再回到模型 ## 怎么衡量一个会看的模型 模型的能力形态变了，衡量方式也必须跟着调整。早期的测试方式类似看图答题：给出图片和问题，对照标准答案进行批改。这套方式测验的是单次观察与回答。面对制作一款可玩游戏这样的任务，无法预先写出一套涵盖所有细节的评分细则，产物本身也不存在唯一的标准答案。 面对缺乏标准答案的产物，办法是两两比较。通过收集成千上万次二选一的判定结果，可以计算出整体的 Elo 排名，正如国际象棋与 Chatbot Arena 采用的机制。Meta 在 WildArtifactBench 中落实了这套逻辑：让 agent 完整做出网页、游戏或演示文稿，交给裁判进行成对优劣比较，利用胜率拟合出 Elo 分数。这种方式不再依赖标准答案，评测范围得以覆盖各类任务、交付物格式以及不同的可验证程度。 为了保证裁判的公允，评测同时设立了 agentic 裁判与人类裁判两条并行路线，各自完成约 2000 次成对比较。AI 裁判调用灵活但可能产生偏置，人类裁判判定稳定但开销高，两条路线的结论相互印证，整套结果才能确立。运行评测的考场同样需要支持实际操作，模型置身于带有 GUI 的沙盒环境，每条探索轨迹设有步数上限，调用的资金成本单独核算。 这套评测在这里起到棘轮的作用：它让模型能否为了看清而主动行动变成可量化的事实，可量化之后，训练才有明确的目标。WildArtifactBench 会开源发布，Muse Spark 1.2 的权重也会对外开放。 ## 怎么训练一个会看的模型 有了评测标准，训练方法也必须跟上。传统的训练数据大多由图片与描述、图片与答案成对组成。这类数据能教会模型观察图片并给出解答，却无法教会模型审视自己的工作、定位缺陷并动手修正。 培养这种能力的过程就像带教一名实习生制作演示文稿。只展示一千张排版精美的成稿，很难让他掌握排版要领。更有效的做法是让他亲自排出一份页面，接着自己检查画面，遇到文字溢出、组件错位或图文重叠就逐一调整。把制作、审视与修改的完整操作记录下来，实习生才能从这一连串动作中体会调整的方法。 模型训练也遵循同样的逻辑。GLM 在数据合成中要求模型与环境持续交互、检查自身输出并反复修改，把整条交互轨迹沉淀为训练数据；在前端任务里，训练用环境反馈做强化学习，渲染出来的结果就是模型能直接观察的反馈。Muse Spark 1.2 同样在训练流程中构建了类似的循环，利用上一代 Muse Spark 1.1 构建高难度环境，再对候选解答进行评分，形成可供学习的数据集合。 这种训练方式展现出清晰的对称特征：训练阶段外部流程引导模型完成生成、审视与修正，推理阶段模型自主重复生成、审视与修正。训练的目标，就是让模型把外部流程的要求转化为自身的行为习惯。而在视觉任务中，环境反馈更加直观：文本任务的答案往往要靠另一个模型来打分，视觉任务里渲染出来的画面就在那里，模型可以直接看出差异，审视产出并持续修正的动作因此能稳定获得反馈信号。 训练环与推理环是同一个生成、审视、修正的环 ## 最后 对于构建应用的工程师而言，选型和调用多模态模型的关注点正在转移。先看模型能否完成交互闭环：执行框架是否同时赋予它观察与调用的能力，运行环境是否允许它渲染页面、点击元素并执行代码，模型自身又会不会主动回头审视生成的产物。传统的静态看图问答得分仍然具备参考价值，但衡量模型能力的主轴已经发生迁移。 三家实验室在同一个时间窗口推出高度一致的演示形态，释放出明确的技术信号。视觉感知正在融入 agent 系统的核心循环，成为模型自主发起的动作，而且这项能力已经可以系统地训练与评测。 评估多模态模型，不必只看它看图准不准。更要看的，是它会不会为了看清而主动行动。