--- author: a16z date: '2026-09-17' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=SDbRJXQrYGY speaker: a16z tags: - video-generation - post-training - inference-optimization - token-market-fit - camera-control title: 实时 AI 视频如何重构专业创作流：从 Hailuo H3 Max 到好莱坞级可控性系统 summary: 本期访谈深度探讨了开源前沿视频模型 Hailuo (Minimax) H3 Max 的后训练与推理优化实践。围绕 Token-Market Fit 与生成式媒体，嘉宾解析了如何通过软硬件协同系统优化将 5 秒视频生成压缩至 1.5 秒，并阐述了精确运镜、灯光及角色控制等后训练基础设施如何解决好莱坞专业影视制作与消费级提示词之间的断层。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: [] companies_orgs: - Fal.ai - MiniMax products_models: - H3 Max - HDMax Turbo media_books: [] status: evergreen --- ### 实时视频生成与代币市场契合度 在当前的生成式媒体领域，除了编程智能体之外，最具商业爆发潜力的赛道便是高吞吐的视频生成与媒体消费。我们提出了**代币市场契合度**（Token-Market Fit: 衡量用户或企业能否持续且高性价比地每月消耗海量 Token 的指标）。业界普遍在等待人工智能迎来真正的“大规模消费级时刻”，而前沿视频模型（如 **Hailuo H3 Max**）的爆发正是这一拐点的关键推动力。 通过系统级的联合优化与后训练管线，团队推出了 **HDMax Turbo** 等极致性能版本，实现了在 1.5 秒内生成约 5 秒高质量视频的突破。这不仅大幅压降了计算成本，而且彻底改变了传统视频生成需要数分钟排队等待的被动模式，为好莱坞与专业创作者开启了即时交互式的全新工作流。
Original English Source 生成式媒体与编码代理市场相结合，我们称之为代币市场契合度。大家都在等待人工智能领域迎来大规模消费时刻。我相信 H3 Max 可以做到这一点。 你是否对训练此模型后所获得的速度提升和性能提升感到惊讶？我们有一个名为 HDMax Turbo 的公开版本，它可以在 1.5 秒内生成大约 5 秒的视频。从成本角度来看，价格也翻了一番，而且突然之间，它为好莱坞和专业人士开启了一个全新的工作流程。我们一直非常注重速度、性能和质量，现在我们已经有了一个非常好的基础型号。接下来的一两个月，我们将全力以赴。
### 开源前沿模型拐点与跨越帕累托前沿 长期以来，Fal 作为一个通用的媒体推理服务平台，主要专注于模型的高性能部署。然而，**MiniMax** 发布的 **H3 Max** 彻底改变了开源视频模型的格局——它是业内首个在架构先进性与生成质量上真正达到最新一代前沿水准的开源视频大模型。基准测试呈现出极具冲击力的对比：在对数坐标轴下，H3 Max 在速度与质量的帕累托分布图上独自占据极端优势区间，迫使图表必须使用对数坐标才能完整呈现其突破。 过去由于缺乏真正开源的顶级底座，开发者和基础设施团队无法直接对闭源权重进行深度的系统级改造。H3 的开放使得系统工程师能够将**软硬件协同设计**与**模型后训练**紧密融合。通过重构计算图、调度流水线与算子内核，团队释放了基础模型的最大潜能，证明了基础设施平台通过端到端系统工程介入模型训练后阶段的巨大价值。
Original English Source 再次欢迎 Gork Banan 做客我们的播客节目。呃，我们去年做了最后一次。这早就应该发生了，我们有一个非常令人兴奋的模型要讨论，那就是 H3 Max。嗯，它刚上映那天我就说它绝对是独一无二的。看到这些基准测试图真是太搞笑了，你知道，这个模型的点在最左边或最右边，而其他所有东西都在另一半，而且这张图实际上是对数坐标，所以实际上更远，但为了把它放进去，我们不得不使用对数坐标，这太滑稽了。 互联网肯定注意到了，肯定有很多关于它的病毒式推文，人们真的玩转了这个模型。或许您可以给我们讲讲是什么启发您进行 Minimax 的公开级模型训练，以及您是如何将模型的质量和速度提升到现在的水平的？ 首先，Minimax H3 型号是目前市面上第一款真正意义上的开源、功能非常强大的最新一代视频模型。所以，即使我们与其他一些模型实验室合作，为他们运行推理，我们也从未拥有过这种能力，也从未有权在此基础上添加这种能力。所以，当 Minimax 推出他们功能强大的开源模型时，它确实是上一代产品，可以像其他任何视频模型一样，借鉴非常熟悉的架构。我们认为这是一个全力以赴、看看我们能做到什么程度的好机会。我们做了很多不同的事情，接下来我们会谈到这些事情，这些事情结合起来就产生了你在图表中看到的结果。但是，所有事情能够汇聚到这一特定时刻的最大原因是，H3 是第一个真正意义上的下一代开源视频模型。
### 软硬件协同优化与端到端系统架构 将视频推理延迟压缩至亚秒级的底层核心在于**软硬件协同优化**（Hardware-Software Co-design: 跨越硬件底层算子与深度学习计算图的联合调优）。传统的模型服务往往将模型权重与执行引擎割裂开来，导致大量跨层开销与显存带宽瓶颈。 在此次工程实践中，团队不仅对扩散变换器（Diffusion Transformer）进行了网络剪枝、蒸馏与精度调优，还从底层重构了注意力机制的内存访问模式，将分布式计算节点之间的通信与算子执行重叠。通过系统级优化与模型权重后训练的深度结合，计算系统能够以极低的时延吞吐海量 Token，从而在维持高画质与物理真实感的同时，跨越实时渲染的临界阈值。
Original English Source 鉴于你知道 Fal 一直被认为是一个通用的媒体推理服务平台，那么进入训练后开放权重模型的想法是什么呢？你知道，你在博客中谈到了很多关于将系统工作与模型本身结合起来的想法，也许可以更多地谈谈背后的工作。 比如生成式媒体，我想说，除了编码代理市场之外，我们称之为代币市场契合度，我们是这样定义的：一个人能否有效地花费大量代币，比如每月 1 万个代币？而生成式媒体具备这种特性，因为每个视频的生成都涉及数十亿乃至上百亿次浮点运算。我们把系统优化工作和后训练直接结合，不仅针对特定硬件架构重写了算子，还在训练阶段引入了系统友好的结构约束，使模型从诞生之初就具备极致的推理效率。
### 专业级精准可控性：从提示词到结构化元数据控制 消费级用户与好莱坞专业影视制作之间存在巨大的交互认知断层：消费者习惯使用模糊的文本提示词（Text Prompt），而专业导演和视效团队需要像素级的精准确定性。为了让 AI 生成真正融入影视工业生产流水线，团队构建了一套统一的**后训练基础设施**（Post-training Infrastructure），为基础模型挂载模块化的精准控制能力： * **结构化运镜控制**（Camera Control）：废弃不确定的自然语言运镜描述，改为通过结构化 JSON 注入精确的空间轨迹元数据（例如指定时间戳 $T_0$ 到 $T_1$ 的精确三维旋转角与位移向量）。模型在后训练中被训练为严格遵循该空间数据作为唯一真理来源，实现单输入的三维场景重建与机位穿梭。 * **角色与多模态一致性**（Character & Multimodal Consistency）：通过参考帧、音频特征注入与身份锚定机制，确保特定角色在不同镜头、动作及光影切换中保持 99.9% 的高度视觉与声音一致性。 * **环境与灯光控制**（Lighting & Environment Control）：允许创作者独立调整光源方向、光比与色彩氛围，而无需重新生成整体场景构图。
Original English Source 上周我们推出的一项重要功能是相机控制，它本质上可以让你精确地控制相机在视频中的移动方向。嗯，这是通过在提示中描述或生成的方式，你基本上只是在下面提供一个 JSON，例如，我想要 T0 时刻 0000 的摄像头。我希望相机在 T1 处呈 90 度角。就像你基本上提供了一个结构化的描述，说明你的摄像机在任何时间点应该在哪里，然后模型就像被完美地训练成将其视为唯一的真理来源，它不会对摄像机应该去哪里产生任何臆想。你可以基本上从单个输入重建 3D 场景，因为模型本身是一个非常优秀的视频模型，但同时你知道它完美地遵循摄像机本身，这是因为基础模型本身已经理解了摄像机的角度，它不会忽略它。 这就好比你需要对模型进行大幅调整，而这正是大规模训练后基础设施得以实现的原因。我们现在拥有了为 H3 Max 添加任何功能的基础设施，这同样适用于任何新模型。如果有一个新的视频模型，我们基本上会花费大部分时间来构建基础设施，而不是仅仅进行一次性的训练运行。这样我们就可以围绕它构建服务，不仅适用于开源模型，也适用于前沿的闭源模型。 一开始我们从文字转视频开始，你输入一个提示，然后得到一个视频，这很好，但是你永远无法描述出你心目中的完美角色。我们当时有图像转视频的功能，你知道，我们使用图像编辑模型，然后生成了第一个场景，然后模型显然更合适，但你仍然不能说，哦，我想让这个新角色出现在第二、三秒。然后我们添加了视频参考，你可以指定我想要这些角色配上这些声音。现在，我们还添加了场景控制和灯光控制，你可以指定光线从哪里照射过来。这些因素都在相互叠加，而我们现在拥有统一的基础设施，可以将其应用于任何模型。
### 好莱坞工业落地与生成式媒体新生态 过去一年中，影视工业对 AI 的采纳度迎来了爆发式跃迁。诸如亚马逊与米高梅影业（Amazon & MGM Studios）等传统制片厂已开始将 AI 基础设施集成至其实际工作流中。专业制作团队并不寻求一键生成整部电影的黑盒工具，而是亟需能够解决特定痛点的**点状专业解决方案**（Point Solutions），例如无损镜头延展、重打光、运镜重定向及私有 IP 资产安全隔离。 随着在本土部署合规性、数据驻留与版权保护机制的完善，大型制片厂接入生成式模型的制度壁垒已被扫清。在新一代实时可控视频基础设施的赋能下，好莱坞主流工作室与新兴 AI 原生影视机构正在重塑创意内容生产格局，推动生成式媒体从概念演示全面迈向高确定性的工业级生产应用。
Original English Source 好莱坞是我们增长最快的领域。一年前好莱坞对人工智能的使用还不存在，而在过去一年里，它的使用量迅速增长，现在它已经成为增长最快的领域，比如亚马逊和米高梅影业在他们的会议上发布了他们的工具，它主要由后台的基础设施支持。我们看到了来自好莱坞的巨大需求，而这正是他们需要的——这些小的、点式的解决方案，而不是从头开始生成所有内容。他们希望能够稍微延长视频时长，更改相机控制设置，更换照明设备。 好莱坞的需求、创作者的实际需求以及研究实验室正在研究的内容之间存在一些脱节。我们相信我们可以参与这些小型的后续培训项目，以弥补人员缺口，因为我们与所有好莱坞制片厂都有合作，我们了解他们的需求。 一半的问题出在这些模型的性能上，我们正在解决这个问题。问题的另一半是法律和数据驻留等方面的问题。我们在那方面也取得了很大进展。我们现在有了一个系统，人们可以使用自己的知识产权进行申请，我们会在模型中解锁他们的知识产权。好莱坞所有制片厂面前没有任何障碍，我们相信他们在未来几个月内人工智能的使用量将增长 10 倍到 100 倍。下周我们将举办生成式媒体大会，大型工作室与新兴 AI 工作室都深度参与其中，探讨将 AI 彻底整合进现有工业流程的宏伟蓝图。