---
author: 硅谷101播客
date: '2025-10-24'
guest: ''
layout: post.njk
source: https://www.youtube.com/watch?v=410Zukc8Lng
speaker: 硅谷101播客
tags:
  - digital-human
  - robotics
  - generative-ai
  - real-time-interaction
  - ai-animation
title: E211｜3D数字人与机器人的AI化：从虚拟到现实的进化
summary: 本期节目邀请到魔珐科技创始人柴金祥教授，深入探讨AI技术如何驱动3D数字人与机器人领域的革新。讨论涵盖Sora 2对内容生成的影响、AI驱动的3D渲染与动画技术，实时人机交互的挑战与未来，以及AI在好莱坞、游戏与机器人产业的应用前景。
insight: ''
draft: true
series: ''
category: tech-trends
area: tech-engineering
project: []
people: []
companies_orgs:
  - 魔珐科技
  - OpenAI
  - NVIDIA
  - Boston Dynamics
products_models:
  - Sora 2
  - Genie 3
  - ASIMO
media_books: []
status: evergreen
---
### AI与3D数字人、机器人产业的交汇

**泓君**: 欢迎收听《硅谷101》，我是泓君。今天我们探讨 **Sora 2** 的发布，它可以将一句话变成10秒的短视频。好莱坞由AI创作的演员 **Tilly Norwood** 已经拥有6.5万粉丝，她从未真实存在过，这标志着**数字人**正成为新的内容生产者。然而，从屏幕上的2D视频生成到3D数字人实现稳定的实时互动，仍存在技术壁垒。本期嘉宾是**魔珐科技**的创始人兼CEO **柴金祥教授**。柴教授2000年即开始研究机器人，后转向AI 3D动画，并探讨3D数字人模型是否能反过来驱动机器人。

**柴金祥教授**: 大家好。我曾在美国担任教授，2018年回国创立魔珐科技，至今已有7年多。很高兴今天能分享关于3D数字人与巨神智能的观点。

**泓君**: 最近 **Sora 2** 发布，形式类似于社交媒体，**Sam Altman** 的Demo非常火。这是否会影响你们的业务？

**柴金祥教授**: 我体验了 **Sora 2**，相较于 **Sora 1**，在画质和视频形态上进步很大，核心是**文生视频**能力。它以人为中心，可以生成跳舞、交流等视频。但目前仍有10秒时长限制，且物理一致性方面仍有瑕疵，例如生成的文字可能出现乱码。**Sora 2** 还不支持精细化编辑，用户无法精细控制人物动作表情。但它首次展示了大模型生成人物动作的潜力。我们魔珐科技在做 **3D数字人**，认为未来大模型可能需要2D加3D训练技术结合，实现无时长限制、无瑕疵、可控、实时且低成本的生成。

**泓君**: 听起来 **Sora 2** 是文生2D视频，而你们是文生3D。3D数字人可以用于VR展示，并未来可能驱动机器人。核心区别在于2D与3D。

**柴金祥教授**: 是的。3D数字人在VR中如同现实生活，且易于控制动作。而2D像素层面要精细控制动作表情则相对困难。在屏幕展示的数字人，主要作为人机交互的载体，需要端到端延迟小于1.5秒，不能像视频生成那样等待数十分钟。展厅中的数字人介绍、回答问题时，不能有瑕疵，动作表情需一致，不能出现手臂连接不上等问题。与 **Sora 2** 不同，3D数字人需要物理上的准确性，避免如手指多出一截等错误。同时，终端部署成本不应过高。

**泓君**: 你们的成本是如何降低的？

**柴金祥教授**: 我们的成本远低于语音合成，可能是其几十分之一。核心在于3D的可控参数少，且通过AI渲染和解算，将3D内容转化为视频，无需昂贵GPU。每帧生成几百个参数的成本与大模型生成Token成本相当，非常低。而 **Sora 2** 作为像素层面处理，推理成本高。我们有一个将文本转化为 **3D多模态**表达的模型，输出语音、表情、动作、手势参数，这些参数在终端AI渲染和解算成视频，对终端算力要求极低，甚至可用几百元的芯片运行。

**泓君**: 你们的技术是文本到3D多模态输出，而 **ChatGPT** 是多模态到文本。你们的3D多模态大模型将于10月发布。

**柴金祥教授**: 是的。我们自己有垂域的大模型，也可接入如千问、DeepSeek等通用大模型，实现端到端的类人交互体验。模型发布后，将从3D数字人内容公司转型为平台公司。

**泓君**: **NVIDIA** 的 **Jensen Huang** 曾自豪展示其虚拟人，但成本高昂，且需要研发和美术团队。

**柴金祥教授**: 是的。**Jensen Huang** 的展示仍是视频输出。制造一个高逼真度的虚拟人，业界成本约10万美元，不含视频生成。这属于专业级内容生产，非个人可轻易实现。过去3A级游戏和好莱坞制作，如 **阿凡达**，依赖扫描、建模、绑定、动作捕捉等昂贵流程。

**泓君**: 如今有了大模型，这种方式是否仍是主流？

**柴金祥教授**: 3D内容AI化依赖高质量数据和AI算法。影视动画和游戏公司擅长美术，但AI能力欠缺；AI公司算法强但缺3D数据。双方交叉很少。我们自2018年成立起，积累了约1000小时高质量3D动画数据，每秒成本约1000元人民币，数据积累难度大。

**泓君**: 您为何选择3D数字人领域？

**柴金祥教授**: 我2000年在卡内基梅隆大学读博士，研究方向就是创建可交互 **3D数字人** 及AI动画，团队是世界上最早用AI做3D动画的。毕业后在Texas A&M任教授，一直专注于此。2018年创业，继续此方向。我的博士导师 **Jessica Hodgins**，其导师是 **Boston Dynamic** 创始人 **Marc Raibert**。**Jessica Hodgins** 是首位用物理运动控制方法做数字人动画的人。她从机器人领域跨越到图形学，再回到AI动画。许多优秀机器人专家，如 **Pi** 的联合创始人 **Sergey Levine**，早期也做动画。**Animation** 和 **Robotics** 领域非常相通，都涉及3D驱动。

**泓君**: 好莱坞和游戏产业如何看待AI？

**柴金祥教授**: 3D内容AI化需要高质量数据和算法。游戏和影视公司AI能力欠缺，AI公司缺数据。我们积累了大量3D数据，并通过AI算法提高效率和质量。

**泓君**: 你们是否考虑将3D数字人产品用于好莱坞制作，实现“降维打击”？

**柴金祥教授**: 技术关键点在于质量、成本和应用场景。好莱坞追求高保真，可等待漫长渲染；实时交互则需要低延迟、低成本。我们先服务日常交互、陪伴、游戏，再考虑好莱坞。制造高难度3D内容，全世界能生产高质量数据的人才有限。

**泓君**: 像 **Tilly Norwood** 这样的AI生成演员，开发者接入你们API能做到吗？

**柴金祥教授**: **Tilly Norwood** 的方法是PGC（专业生成内容），仍是2D文生视频。虚拟偶像 **Lil Miquela** 在社交媒体上拥有百万粉丝，通过社媒运营打造人设。文生视频不保证100%准确，但可以批量生成后挑选。实时交互则需要极高准确性。

**泓君**: 实时性对训练数据和部署有什么侧重？

**柴金祥教授**: 实时性最看重延迟。我们做到文本输入到多模态输出的延迟在500-600毫秒。大规模并发交互时，成本和延迟是关键。

**泓君**: 你们的API能盈利吗？

**柴金祥教授**: 当然。半年前技术已成熟，但单人服务成本需一张显卡（2-3万人民币），客户难以接受。我们通过AI解决了渲染和解算问题，无需昂贵引擎和显卡，可在低成本终端运行。AI渲染和解算使成本大幅降低，甚至低于语音合成。

**泓君**: AI渲染是否会冲击 **Unreal Engine** 等游戏引擎公司？

**柴金祥教授**: 对 **NVIDIA** 而言是左右手关系。对游戏公司是机会，AI渲染有望降低游戏开发和运行成本，尤其是在元宇宙时代。AI渲染质量已接近顶级游戏引擎效果。

**泓君**: 开发者使用你们3D数字人平台有哪些场景？

**柴金祥教授**: 未来大模型将出现在各种终端。与机器人的交互将从文本、语音升级为人与人般的**3D数字人**交互。我们的平台可用于屏幕展示、智能客服、虚拟偶像、销售陪练、教育培训等，支持多样化场景和人设。

**泓君**: 你们模型的核心优势是什么？

**柴金祥教授**: 解决质量、延迟和成本三大痛点。通过大模型和高质量训练数据，实现自然语音、动作、表情和唇形匹配。我们自己开发文本到3D多模态输出，包括语音、表情、动作、姿态，并提供多样化声音训练。

**泓君**: 你们的模型能否驱动机器人？

**柴金祥教授**: 可以。3D数字人模型可驱动机器人，实现实时语音、动作、手势。虽然机器人没有面部表情，但可通过动作驱动。我们提供API给机器人公司，助力其实现更复杂的动作，如爬楼梯、抓取。

**泓君**: 机器人平衡问题和数据反馈如何处理？

**柴金祥教授**: 机器人驱动涉及运动学（Kinematics）和动力学（Dynamics）。我们提供3D动作数据，但缺乏力反馈。平衡问题需结合强化学习和仿真。 **波士顿动力** 的机器人虽然成熟，但在泛化性（如应对不同高度楼梯）上仍有挑战。AI通过海量数据和强化学习，有望解决泛化和鲁棒性问题。

**泓君**: AI驱动机器人与传统控制有何不同？

**柴金祥教授**: 传统机器人控制（如 **ASIMO**）依赖大量工程师调参，缺乏泛化性。AI，特别是 **VLA**（视觉、语言、动作）模型，通过数据驱动，有望实现更智能、泛化的控制。机器人从早期依赖远程操控，到现在能跑跳，是技术进步的体现。

**泓君**: 机器人领域的未来10年会有多大进展？

**柴金祥教授**: 机器人领域进化巨大，但实现强泛化能力仍需时间。或许10年内问题有望解决。我们专注于3D数字人在虚拟世界的应用，为机器人领域积累价值。

**泓君**: 结论是，AI驱动的机器人研究正从白盒转向黑盒，从精确计算到经验主义（强化学习），尽管挑战巨大，但长期前景光明。

**柴金祥教授**: 是的。AI驱动的方法在大语言模型等领域已展现能力，若有足够数据，有望解决机器人核心问题。

**泓君**: 感谢柴教授的精彩分享。今天节目因是播客，难以实时展示3D数字人效果，希望未来能以视频形式呈现。欢迎大家留言交流对3D AI数字人领域的看法。