AI与3D数字人、机器人产业的交汇

泓君: 欢迎收听《硅谷101》，我是泓君。今天我们探讨 Sora 2 的发布，它可以将一句话变成10秒的短视频。好莱坞由AI创作的演员 Tilly Norwood 已经拥有6.5万粉丝，她从未真实存在过，这标志着数字人正成为新的内容生产者。然而，从屏幕上的2D视频生成到3D数字人实现稳定的实时互动，仍存在技术壁垒。本期嘉宾是魔珐科技的创始人兼CEO 柴金祥教授。柴教授2000年即开始研究机器人，后转向AI 3D动画，并探讨3D数字人模型是否能反过来驱动机器人。

柴金祥教授: 大家好。我曾在美国担任教授，2018年回国创立魔珐科技，至今已有7年多。很高兴今天能分享关于3D数字人与巨神智能的观点。

泓君: 最近 Sora 2 发布，形式类似于社交媒体，Sam Altman 的Demo非常火。这是否会影响你们的业务？

柴金祥教授: 我体验了 Sora 2，相较于 Sora 1，在画质和视频形态上进步很大，核心是文生视频能力。它以人为中心，可以生成跳舞、交流等视频。但目前仍有10秒时长限制，且物理一致性方面仍有瑕疵，例如生成的文字可能出现乱码。Sora 2 还不支持精细化编辑，用户无法精细控制人物动作表情。但它首次展示了大模型生成人物动作的潜力。我们魔珐科技在做 3D数字人，认为未来大模型可能需要2D加3D训练技术结合，实现无时长限制、无瑕疵、可控、实时且低成本的生成。

泓君: 听起来 Sora 2 是文生2D视频，而你们是文生3D。3D数字人可以用于VR展示，并未来可能驱动机器人。核心区别在于2D与3D。

柴金祥教授: 是的。3D数字人在VR中如同现实生活，且易于控制动作。而2D像素层面要精细控制动作表情则相对困难。在屏幕展示的数字人，主要作为人机交互的载体，需要端到端延迟小于1.5秒，不能像视频生成那样等待数十分钟。展厅中的数字人介绍、回答问题时，不能有瑕疵，动作表情需一致，不能出现手臂连接不上等问题。与 Sora 2 不同，3D数字人需要物理上的准确性，避免如手指多出一截等错误。同时，终端部署成本不应过高。

泓君: 你们的成本是如何降低的？

柴金祥教授: 我们的成本远低于语音合成，可能是其几十分之一。核心在于3D的可控参数少，且通过AI渲染和解算，将3D内容转化为视频，无需昂贵GPU。每帧生成几百个参数的成本与大模型生成Token成本相当，非常低。而 Sora 2 作为像素层面处理，推理成本高。我们有一个将文本转化为 3D多模态表达的模型，输出语音、表情、动作、手势参数，这些参数在终端AI渲染和解算成视频，对终端算力要求极低，甚至可用几百元的芯片运行。

泓君: 你们的技术是文本到3D多模态输出，而 ChatGPT 是多模态到文本。你们的3D多模态大模型将于10月发布。

柴金祥教授: 是的。我们自己有垂域的大模型，也可接入如千问、DeepSeek等通用大模型，实现端到端的类人交互体验。模型发布后，将从3D数字人内容公司转型为平台公司。

泓君: NVIDIA 的 Jensen Huang 曾自豪展示其虚拟人，但成本高昂，且需要研发和美术团队。

柴金祥教授: 是的。Jensen Huang 的展示仍是视频输出。制造一个高逼真度的虚拟人，业界成本约10万美元，不含视频生成。这属于专业级内容生产，非个人可轻易实现。过去3A级游戏和好莱坞制作，如 阿凡达，依赖扫描、建模、绑定、动作捕捉等昂贵流程。

泓君: 如今有了大模型，这种方式是否仍是主流？

柴金祥教授: 3D内容AI化依赖高质量数据和AI算法。影视动画和游戏公司擅长美术，但AI能力欠缺；AI公司算法强但缺3D数据。双方交叉很少。我们自2018年成立起，积累了约1000小时高质量3D动画数据，每秒成本约1000元人民币，数据积累难度大。

泓君: 您为何选择3D数字人领域？

柴金祥教授: 我2000年在卡内基梅隆大学读博士，研究方向就是创建可交互 3D数字人 及AI动画，团队是世界上最早用AI做3D动画的。毕业后在Texas A&M任教授，一直专注于此。2018年创业，继续此方向。我的博士导师 Jessica Hodgins，其导师是 Boston Dynamic 创始人 Marc Raibert。Jessica Hodgins 是首位用物理运动控制方法做数字人动画的人。她从机器人领域跨越到图形学，再回到AI动画。许多优秀机器人专家，如 Pi 的联合创始人 Sergey Levine，早期也做动画。Animation 和 Robotics 领域非常相通，都涉及3D驱动。

泓君: 好莱坞和游戏产业如何看待AI？

柴金祥教授: 3D内容AI化需要高质量数据和算法。游戏和影视公司AI能力欠缺，AI公司缺数据。我们积累了大量3D数据，并通过AI算法提高效率和质量。

泓君: 你们是否考虑将3D数字人产品用于好莱坞制作，实现“降维打击”？

柴金祥教授: 技术关键点在于质量、成本和应用场景。好莱坞追求高保真，可等待漫长渲染；实时交互则需要低延迟、低成本。我们先服务日常交互、陪伴、游戏，再考虑好莱坞。制造高难度3D内容，全世界能生产高质量数据的人才有限。

泓君: 像 Tilly Norwood 这样的AI生成演员，开发者接入你们API能做到吗？

柴金祥教授: Tilly Norwood 的方法是PGC（专业生成内容），仍是2D文生视频。虚拟偶像 Lil Miquela 在社交媒体上拥有百万粉丝，通过社媒运营打造人设。文生视频不保证100%准确，但可以批量生成后挑选。实时交互则需要极高准确性。

泓君: 实时性对训练数据和部署有什么侧重？

柴金祥教授: 实时性最看重延迟。我们做到文本输入到多模态输出的延迟在500-600毫秒。大规模并发交互时，成本和延迟是关键。

泓君: 你们的API能盈利吗？

柴金祥教授: 当然。半年前技术已成熟，但单人服务成本需一张显卡（2-3万人民币），客户难以接受。我们通过AI解决了渲染和解算问题，无需昂贵引擎和显卡，可在低成本终端运行。AI渲染和解算使成本大幅降低，甚至低于语音合成。

泓君: AI渲染是否会冲击 Unreal Engine 等游戏引擎公司？

柴金祥教授: 对 NVIDIA 而言是左右手关系。对游戏公司是机会，AI渲染有望降低游戏开发和运行成本，尤其是在元宇宙时代。AI渲染质量已接近顶级游戏引擎效果。

泓君: 开发者使用你们3D数字人平台有哪些场景？

柴金祥教授: 未来大模型将出现在各种终端。与机器人的交互将从文本、语音升级为人与人般的3D数字人交互。我们的平台可用于屏幕展示、智能客服、虚拟偶像、销售陪练、教育培训等，支持多样化场景和人设。

泓君: 你们模型的核心优势是什么？

柴金祥教授: 解决质量、延迟和成本三大痛点。通过大模型和高质量训练数据，实现自然语音、动作、表情和唇形匹配。我们自己开发文本到3D多模态输出，包括语音、表情、动作、姿态，并提供多样化声音训练。

泓君: 你们的模型能否驱动机器人？

柴金祥教授: 可以。3D数字人模型可驱动机器人，实现实时语音、动作、手势。虽然机器人没有面部表情，但可通过动作驱动。我们提供API给机器人公司，助力其实现更复杂的动作，如爬楼梯、抓取。

泓君: 机器人平衡问题和数据反馈如何处理？

柴金祥教授: 机器人驱动涉及运动学（Kinematics）和动力学（Dynamics）。我们提供3D动作数据，但缺乏力反馈。平衡问题需结合强化学习和仿真。 波士顿动力 的机器人虽然成熟，但在泛化性（如应对不同高度楼梯）上仍有挑战。AI通过海量数据和强化学习，有望解决泛化和鲁棒性问题。

泓君: AI驱动机器人与传统控制有何不同？

柴金祥教授: 传统机器人控制（如 ASIMO）依赖大量工程师调参，缺乏泛化性。AI，特别是 VLA（视觉、语言、动作）模型，通过数据驱动，有望实现更智能、泛化的控制。机器人从早期依赖远程操控，到现在能跑跳，是技术进步的体现。

泓君: 机器人领域的未来10年会有多大进展？

柴金祥教授: 机器人领域进化巨大，但实现强泛化能力仍需时间。或许10年内问题有望解决。我们专注于3D数字人在虚拟世界的应用，为机器人领域积累价值。

泓君: 结论是，AI驱动的机器人研究正从白盒转向黑盒，从精确计算到经验主义（强化学习），尽管挑战巨大，但长期前景光明。

柴金祥教授: 是的。AI驱动的方法在大语言模型等领域已展现能力，若有足够数据，有望解决机器人核心问题。

泓君: 感谢柴教授的精彩分享。今天节目因是播客，难以实时展示3D数字人效果，希望未来能以视频形式呈现。欢迎大家留言交流对3D AI数字人领域的看法。