延迟只是预算，像人才是终局：LiveKit 揭秘实时语音 Agent 的工程架构与评测真相

大多数代理商，我们创造今天，在工作中在背景中，或者错误的？他们写道给我们可以写代码。他们花费研究。你给予给他们布置一项任务离开，回来，没人关心是否将消耗后台代理持续 10 秒钟或即使只有 10 分钟没错，就是这样？我们要我们已经习惯了。但在一段时间去年你，确实，和另一个人交谈过代理类型——真实世界的代理人时间。或许是这样续开处方药房或与……交谈航空公司。我最近与……交谈过当我打电话时，就像这样汽车经销店。并且在这叫什么发生了。你可能做得最多最人性化的东西可能的。你打断了我这个人工智能。还有那个语音代理坏了，”它毛毡不自然，对吧？如果你问任何人在这个领域，你是谁？你可能会得到类似的答案修复它。它速度：更快型号，较小延迟，缩短时间以 100 毫秒为单位递增。但这是错误的回应。延迟-这是预算，我确信我来告诉你那是什么。预算。但目标完全不同。目标是这样声音人工智能处于最佳状态与人类相似。一位善于倾听的经纪人，当他正在说哪个的时候区分你何时想完之后，当你还在思考的时候，适应性强如果你改变了决定。只有一个这种速度并非会给。那需要，可以通过选择实现模型和环境加工传送带。和这是第一个问题，我们将遇到这种情况。没人说该怎么做选择合适的模型。表格你们没有领导人。会有帮助的。供应商你肯定不会会有帮助的。所以我们来讨论一下，如何解决这个问题问题。迅速地请举手：谁是创造了你语音代理和前提是真实的用户？好的。当然。部分你经验丰富，知识渊博，遇到哪些困难必须面对部署时房地产经纪人时间。还有一件事投票：谁在这里用过的扩展语音ChatGPT 模式与他沟通？是的，我们很多人都这样。用过吧？OpenAI 选择 LiveKit 作为其产品线。他的作品。LiveKit 是开源框架和基础设施实时创建尽可能人道语音代理。能够听、看和与……交谈对话者。所以，这不仅仅是一种声音，而是以及视频、数据和甚至包括物理人工智能。但是，自从那个声音——这很困难，在此期间这次对话我们让我们把重点放在……声音。所以，我们考虑声音代理人。事实上，它们确实是共有三种型号共同努力一个系统。它转型语音转文字大型语言模型（LLM）和语音合成摘自原文。所以，三个成分。我必须还要认识到还有一些模型即时的。现实模型时间——这是较新的概念。他们变得越来越更好一些，但是不适合每一种情况。和事实是存在现实模型时间，只会增加我们面临的困难确定以下任务：哪款型号最好？为了我们语音管道。所以，这就是你的构成。你可以选择。数百数十种型号供应商请举手，谁？仅选择该型号因为我看到她桌子顶端领导人？是的，我们大多数人。但这就是它不起作用的原因。代理商即时的。排行榜评估各组成部分，然后你释放级联式传送带。假设你的客户想要预约星期二，3日。您的系统认出演讲听到“星期二，30号。和此刻已经无论多少你的语言很精妙。模特：她很有自信预订错误每天，每一个错误进一步积累，并且系统的较低层级甚至都不是那件事。猜测。那些表格中的分数领导人收到了安静环境下清晰音频房间。但你的顾客来电通过免提电话在交通堵塞中，带着孩子在后座上。所以，那些表格领导者从未我看到了你的用户。为了这甚至还有一个名字：餐桌陷阱领导者。等级测量模型，但是再说一遍，你你开启了一段对话。所有创造者语音代理他们问：什么型号认可，LLM 或语音合成最好的？但真正的问题是：选择哪个堆栈执行？这是两个完全不同问题，以及今日餐桌领导人只是其中之一。我们我们来谈谈这件事吧。稍后。

假设你落入了这一陷阱。您选择模型按评分和开始测量指标。它下一个问题。你你可能正在测量并非所需。您的服务提供商语音合成报告时间获得第一字节——太棒了查看仪表盘，但保持静止并非如此声音。所以，我们测量指标受欢迎的提供者实际上发放数百毫秒开头的沉默声音的。最糟糕的情况是……案例——最多 3/4持续数秒沉默第一个声音将会出现。所以，现在是时候开始第一个了。音频——正是如此。您的订阅用户听到了。而这以及两者之间的区别，这一切都以此为基础。对话。测量延迟与感知延迟。那么你的结果如何呢？仪表盘对比用户听到的内容。仪表盘上的信息说明了一切很快，还有你的耳朵在说——慢的。相同的历史与语言模型。时间到了第一个令牌——这文本指标。但你的合成器语音（TTS）无法开始说话吧从一个代币开始，对吧？是的？他需要一整句话。因此，这数字很重要​​因为声音首先需要整数部分。句子，但模型排名不同这个指标。所以，速度最快的型号阻止代币，没有必须是模型这是最快的接上句子。现在，假设你一切都很完美你衡量，但还有更多。对话的一部分，什么是基准测试完全无视。和真正的那个到底是什么？代理人不仅仅是沟通。他有执行任务，是的？他必须寻找命令，查看是否有货预订房间。或者错误的？所以，工具这需要时间。2秒，10，40 或不止几秒钟。和无型号选择能够隐藏延迟 40 或不止几秒钟。所以想想你都做了些什么在这种情况下会人力资源管理者。他不会僵住。加载中预订系统正确的？他说：“稍等片刻。我我正在查看你的。账户”。他时间会赢。而他听着，继续工作。就这样。以及人类行为，我们正在寻找的。所以为什么代理人不能这样做？继续说话和执行操作异步？实际上，他可以。这就是它的样子，这是你唯一的代码你会看到的。它普通工具。只有一个区别就在这里。这一行。第一的更新返回麦克风对准特工他继续说道在后台运行。并且这就是全部秘密。对话与该工具已不再使用。使用一个流动。所以别信。我信你的话。你自己听听。谢谢。称为“美好生活”酒店。我是什么？我可以帮你吗？我可以预订吗？数字？当然。你们的日期是什么时候？你在做计划吗？10月10日至12日。10月10日至12日？以及几位客人？二。我有一个两人间的房间。双人床。国王，双人，大床房还是套房？或者，或许你想视野开阔的房间城市还是海洋？向大海。以谁的名义？预订房间？杰西·霍尔。一切准备就绪：10-12十月，特大床房海景，总和从该卡中支付了 582.40 美元以 1111 结尾。我可以预订吗？你知道，其实……我需要更改日期12月20日至24日期间。从12月20日至24日？然后总金额将为20年至 20 年间为 1164.80 美元12月24日。罐头要预订吗？是的。一切准备就绪。好吧，我们不得不这么做。加快一些刚才时间限制，但是该代理人支持对话。没有没有造成任何不便暂停。代理人持续去工作，甚至当来电者打断了他。客户也中途改变了主意。对话，以及代理人刚刚调整， 正确的？就是这一个人类行为我们努力的目标达到。所以，再说一遍是的，这并非唯一一个。这个模型不错，仅此而已。系统运行良好。这是基础设施。框架和模型他们一起工作。和这正是他看不到的。没有单独的组件或基准模型。

现在又多了一个一个完全忽略表领导者：知晓能力何时发言，以及如果不是。人们同意一系列评论几百毫秒，主要原因是语气。还有传送带，等待满转录，现在晚了吗？是的？这就是我们创建它的原因队列检测器，它是基于非常声音的。他在听。节奏、音高和语调，以及我们公布了这些数据。关于这一点。所以当相同预算延迟是最好的选择中断9.9% 的用户案例。我们有这个该指标为4.5%，而我们的工具评估是开源。你无需相信我向你保证，你可以运行自有数据和查看结果。让我们深入探讨一下。再上一层。最后一段之间的停顿客户的构成和第一个声音来自代理人。检测线路的尽头音频作品在成绩单出现之前，语言模型已处理先前文本，以及如果后者这两个词匹配，你节省一半秒。进而语音合成（TTS）以……开头第一个完整的句子，而不是来自最后一个标记。所以第一个可听见的声音是……的瞬间这个人停了下来等待。所以，每个你这个型号你选择，它就会出现这里，在这个窗口里，这个窗口有固定尺寸。如果可以的话能装下一个半比赛开始前几秒直到最后，对话仍在继续。坚持下去，但你已经到了临界点。如果你你能靠近点吗？最多 600 毫秒，然后这一切开始了感觉像真正人道。所以问题永远都不是多少我可以很快做到。去工作，并且在那方面，哪个最人类代理人可以放在这里窗户？所以，我们回到预算延误，但最终目标是全人类。总而言之所有这一切，这个问题是我们放在开头我需要哪些型号？选择？他实际上从未真正答案是肯定的。前我们创造了一些东西，就像我们很想这样做，已经存在过。这就是我们创建了这个基准。我们采取功能齐全代理人——第一个是那个酒店管理员，你刚才听到的，他接受了。真实预订，拥有真正的后端，而且它也开放代码，你可以看存储库，我们我们推出了数百个项目模拟打电话给他。模拟器中断，他喃喃自语，改变了他观点，就像真正的订阅用户。和然后我们评估是否通过印象，但通过结果，定义为我们将它们定义为人类。所以，是做对了在数据库中进行预订数据？不是通话结束了吗？或者正确的姓名和日期？有吗？虚构挑战工具或个人信息泄露数据，对吧？所以我们测量所有这些与……相比人类行为。这是酒吧。和只有他自己任务完成还不够，因为实际上完成可以被操纵，难道不是吗？所以这个模型或许能猜到通往成功的道路难道不是吗？因此我们我们惩罚了我们不该惩罚的事。看到指示器完成。例如，如果他问了一些问题没有必要放置，或者如果他需要10采取的步骤本应采取什么措施只有两个。然后我们替换堆栈。同一批代理人，还是那些代理人情况，但其他情况模型。每个型号绝对看得清相同传入逐字节地传输数据。但它创建了基准基于我们的代理人的例子。数量也一样多。基准测试，有多少个？代理人。所以这个实际上的基准是你的。你可以启动这个项目，赶走自己的通过此代理基准本身和赶紧入手吧！结果。这就是你的方法你能查到吗？惊喜。这一切具有开源代码：方法论，集合为了进行评估，代理人本人。您可以直接自己做也一样代理人，请给我们了解它是如何运作的你。重要事实关于 LiveKit 是因为我们并非如此我们创建STT模型，法学硕士或技术硕士。每个人提供商连接到我们的技术栈。所以在我们没有自己的对此赛的关注。我们只是继续观看他们的共同努力。和这样我们就可以自信地选择获胜者。以便你现在看到了什么？这是预览LiveKit 上的 Gemini 4 31B 型号推理。但这并非如此普通的型号为 Gemma 4 31B货架。她特别配置用于语音代理冗长的提示，许多工具和严格的要求延误。她声音传递测试结果为 88%，然后开始大致来说380毫秒后。这比两倍还多。比下一个更早模型。是什么造就了她最快高质量语音LLM，今天即可购买。和她实际上会是明天发布LiveKit推理。再次是的，我们的目标是——创建代理，尽可能相似关于人，遵守这份预算延误。所以，如果你会记住一些事这份报告之一，就这么定了。语音代理是不是聊天机器人，而是刚刚附上动态的。它基础设施模仿一个人。真实系统时间，感觉和答案相同，一个人会怎么做。一旦你开始与此相关没错，每一个解决方案将是更清晰了。预算，指标、模型和你正在关注的酒吧进行测试。好了，就是这样。清单。你可以给他拍张照片。首次安装延迟预算。衡量有形的延迟。花费预算平衡模型的质量，而不是……没有速度价值。以及所有这一切超过一秒，有发生异步地，以便对话从未停止。就这么简单测试一下对话，然后不是单个组件。继续。测试中作品。好了，就是这样。基准。扫描二维码。你可以你可以阅读以基准为参考。你可以您可以查看他独自一人代理人。记住，很快你会打电话语音代理杀了他，然后系统不会破裂。她会表现得像这样，你会如何表现处于这种状态的人情况。所以去吧创建这个。谢谢。