开场与嘉宾介绍

哈喽哈喽，大家好啊！人民公园说AI又和大家见面了。今天这期特别好啊，我们和脉脉一起，共建一个「脉向AI」的栏目哎。众所周知，脉脉是1.2亿职场人的职场社区。好，今天我们正好通过脉脉认识了一位新的嘉宾，新的朋友张和老师。哎，一会我们好好的欢迎一下张老师。首先允许我啊，简单介绍一下张老师。现在是AI出海创业项目的创始人，然后同时呢，张和老师以前是在小米工作的，曾经是小米OS的AI产品专家，而同时也是小米汽车的前20名的核心骨干。我们欢迎一下，让张老师给我们做一些简单介绍。

小米往事与豆包的“抢先”

好的好的，非常高兴能够代表脉脉AI的创作者，来咱们这个人民公园说AI。哎，我之前经常听咱们这个播客啊。我之前在小米有8年的AI产品负责人的经验，做过这个OS级的AI，也是和咱们今天这个话题啊，特别接近的一个方向啊，就是豆包做的这个手机助手啊，其实就是我们之前每天都在琢磨，想要做出来的东西啊，但是被他们先做出来了啊。然后呢，呃，在这之前我做过自动驾驶的算法、产品团队的负责人，包括数据啊，以及AI视觉的产品团队。

复杂心情与市场反馈

我想问一下，就是这个东西被豆包先做出来，我记得您跟我说，应该是几年前，您就推动内部在做这个产品，您现在是什么感受？我的感觉真的是有点复杂啊。就是今天还是很开心的。就是就是我在内部推动立项，做这个GUI agent（Graphical User Interface Agent: 模拟用户在图形界面上进行操作的AI程序）的时候呢，其实还是有一些阻力的。因为这个东西啊，待会咱们可能也会去讨论，就是说其实它确实是有一些tricky的。你会发现对吧？啊，但是被豆包做出来，并且豆包非常大胆的把它给推向市场，我觉得是一个非常勇敢的事情啊。我所以所以我也我也很开心能够看到啊，他们能把这个东西真的大胆的给弄出来了。比如说像小米，他没没有推动那么快的原因在哪里啊？呃，就是手机厂商在这个隐私这块的优先、优先级啊，和重视度还是会比啊，豆包目前的这些做法要看的重要啊。对，因为因为手机的品牌，还是会非常影响这个销售的，影响这个销量啊。然后我们也能看到豆包，比如说你在一些社交媒体上看，其实底下评论可能有一半的人都在说，隐私怎么办啊。所以其实这是一个挺难解的问题。那么但是手机厂商内部，可能未来还会有一些更好的解法，比如说用端侧AI去实现这样。

用户需求与实际体验

但是我们说出两个现象吧。第一个现象就是，我听说这个手机是定价好像是，它是工程机嘛，对吧？3,000多块钱，4,000块钱，最后能炒到说在黑市上能炒到3万，是吧？闲鱼上什么的炒到3万。这是第一个问题。第二个问题就是说，大家看底下评论，一半以上是在谈隐私问题。这是非常集中度的一个一个疑问嘛。然后另外其他人就是说，唉呀，想试试或者觉得，噢，这个东西太神奇了，这个AI助手确实能做到很多东西。所以我的看法是什么？就是说这个需求非常真实。就是说大家其实在期待着说，有一个所谓的AI助手，或者说有一个所谓的这个东西，能够去帮我做那些繁琐的，或者说没有那么高敏感度的。或者说啊，比如说点个外卖对吧？这个事我确实是说，有时候我是享受点这个外卖的过程，去选择去怎么样，但有的时候我想，就是吃顿饭很快能决定掉完，能我去干我自己的事了。所以这种情况，那我需要这么一个助手。虽然我知道AI会有幻觉，或者说怎么怎么样，准确率没有那么高。但是当这个手机真的能做到，通过AI能够完成那些就是跨平台的，或者跨APP的这种操作的时候，我还是觉得很有用的。我不知道就是几位的感受，因为我从来我没有拿到过这手机，我不知道，就说你们两个有没有拿到这手机，或者说身边朋友有用到的，然后真实的感受是什么？就到底他能不能做到说比如70%的准确率，或者说他真的能够做到跨平台很丝滑的完成一个我们人去做的本身的任务，而不是一个假设出来的一个需求啊？

我其实已经拿到了啊，就是哇塞，可以可以可以拿这个豆包。对他出来的第一天我就理财产品，对。而且我把它设置成主力的手机去去做。但是呢，我确实发现说啊，啊，我也非常看好的一个技术路线啊，但是实际落地了以后呢，其实啊，第一个是说今天他的准确率，啊啊，我觉得70分还是有点多了，可能就是啊60分左右啊，如果偏克偏这个挑剔一点就是50多分。他目前在我的生活中呢，我也在试图去看，他在哪个时候比较有用。一般来讲，还是我自己不想用手机的时候，就只有这个时候才会用得上，就是开车做饭啊。比如说我我我有时喜欢做饭，我做饭的时候，如果我不想我不想去用手机，包括我走在路上的时候带着耳机啊，然后我正在听歌呢，我不想我不想沉浸的去使用手机。啊啊，主要还是这样的一些场景。还有就是比如说啊，我去一些这个饭店吃饭的时候，他让我去给他好评对吧？我就嫌烦，我说那豆包给我做一个啊哈哈哈。所以所以这个是我，我这是一个硬场景啊，很硬的一个刚需啊哈哈哈哈哈哈对。这是我目前探索到的这个一些一些一些场景。我我个人感觉，这个东西如果准确率能再高一些，其实我会安排他做更加重要的事情，比如说挂号，比如说旅行规划。但是呢，因为他今天的准确率没有达到我的那种感觉，就是特别自如，就能给他一个任务的这种感觉。所以其实有时候还是会有点想不起来去用它。

技术权衡与厂商顾虑

其实我也懂得手机厂商的顾虑了。因为你在智能跟精确之间要取得一个平衡，还是很难的。就比如说呃，豆包手机，今天大家说用的可能百分之5060的这样一个成功率啊，其实中间很大一部分就是成功率掉掉了，或者中间的损耗很多是因为他用GUI agent去解决了一些，其实明明可以用最传统的API（Application Programming Interface: 应用程序编程接口，允许不同软件之间进行交互）或者调用系统底层权限，Apple里面的各种Kit对吧，啊什么Media Kit啊之类的这种的能力。这种是很精确的API交互，而且很精确的帮你完成一个指令的。但是因为他没有取得这个系统的权限，又或者是因为他的呃，就是就是GUI的这个技术路径的限制，导致于说，他可能只能去用强强化学习，模拟人的点击嘛，对吧？那总会错的嘛。你这个推理过程中一步理解错了，后面可能就错了。其实都是很多典型的大模型会犯的一些问题嘛。所以我是挺理解为什么像小米啊，甚至苹果，我觉得他可能内部应该都会有这样的技术预研或者技术路线在储备，但是没放出来的原因，除了一个隐私以外，很重要一个也是因为可能测完，我觉得这个东西是他的成功率不够高。也是一种因为你一既侵犯侵犯了隐私，又不够智能，准确性又低，那不就砸品牌吗？对吧？谁都不愿意做这样的事情啊。

GUI Agent的长期潜力

其实我对这个技术路线呢，我是还是比较看好。因为其实这个这个地方，有时候有点反直觉啊。就是API的对接大家觉得一定是高级的吗？实际上不是啊。API对接它只在这个使用的那一瞬间，它的效率可能是相对比较高的。但它有好几个问题。第一个是说啊，有非常多的这个应用，比如说美团、淘宝这种APP，你们可以去看一下它整个APP里面可能有几百个功能啊，这个功能点是非常非常多的。那么它不太可能通过一个比如说MCP协议啊，或者是一个什么协议，把所有的功能都接入到Siri Kit或者是小爱同学。对吧？它它这么多的服务端的接口，维护的成本是极其高的，去去去对接你这个第三方的操作系统啊。啊，那么那么GUI agent呢，就不存在这个问题。只要我能够解决你这个APP的操作问题，我就可以永久性的把你的所有的这些功能一次性都cover了啊。这是第一个。

第二个是说GUI agent这件事情呢，可能它所需要的智能，我认为呢，其实没有那么高。大家可以想象一下，就是手机这个使用手机界面这件事情，一个小学生都能用明白的啊。所以他其实这个点点点这个动作啊，其实不是一个特别高难度的动作。这个这个，他比我们白领办公去用电脑的那些非常复杂的软件，其实还是要更简单的。甚至他比程序员去写这个后端接口啊，填一个函数啊，其实也是更简单的啊。所以本质上来讲呢，就是GUI agent，我认为它长期来讲不是一个非常困难的事情啊。

我再给你们举个例子啊，就是我我之前做过自动驾驶知道吧？就是自动驾驶，其实它也是一种啊，和GUI agent呢，其实他们都属于一种啊，具身智能（Embodied Intelligence: 能够与物理世界交互并产生影响的智能体）。只只不过这个GUI agent呢，它相当于是在一个虚拟世界里啊，施加一个动作，然后这个动作本身会产生一些反馈影响你的下一步的动作。这个就叫具身啊，就是说你的你的动作会影响物理，是影响这个世界，然后这个世界会给你一个反馈。那么嗯，GUI agent呢，你可以理解为啊，不会出人命的，不会出人命的自动驾驶对吧？然后我们去看自动驾驶，你会发现，自动驾驶今天已经做到了99.9%的很多个后面，大家在追求9.9%的后面的很多很多位对吧？啊，所以呢，其实呃，我最早在小米内部推动这个立项，这个GUI agent的时候，我的其中一个理由就是，既然自动驾驶都能做到99%了，我们只要使用自动驾驶相同的巨大的这种数据集的投入，然后我们也去搭建这种仿真的训练的这种环境啊，这个仿真的评测的这种环境，其实我相信这个GUI agent应该是能达到90%多的这种准确率的。并且是在今天Transformer这个网络架构的基础上，就就足以，就不需要说啊，有一个特别重大的这个突破啊。所以豆包的这个推出的这个东西呢，其实是印证了他的一个基本的可行性。啊，只不过我们刚才说他的这个，他就相当于有点像是2022年底的这个ChatGPT，就是刚出来的时候，大家还想一下ChatGPT啊，就是其实给人非常呃，眼前一亮的感觉。但是呢，他其实很多时候也没有那么可靠对吧？但是你会发现再过个半年或一年，他很快就上去啊。所以这是我对这个领域的一个一个一个预期，我认为它后续提升呢速度会很快。

生态壁垒与OS级AI的未来

你这个类比特别好啊，就是类比自动驾驶跟GUI agent啊。然后我我我再提一个反面的观点。就自动驾驶，我们最怕的是什么？就这条路今天修路了对吧？直接不让你走了。那今天GUI agent面临一个最大问题是什么？今天腾讯这条路给你封了，微信不让你走了。今天淘宝这条路给你封了，阿里不让你走了。对，最最怕是这种断点，并不是说理论上不可行嘛。那实际上今天在GUI agent上面遇到最大问题，拥有模型加生态的这些巨头，他把你的路堵掉，他不让你继续操作，他把你列入黑名单。那这个时候，你的每个APP之间操作就会有了断点。那其实这个是，我觉得就是这什么人祸对吧？这纯人祸对不对？天灾人祸了就不可抗力对吧？你理论上技术上是可以做到的，你但是你自动驾驶遇到风雨你真的就没办法。

所以我在想说，如果从你乐观派的角度，那我们以后怎么来解决这些问题啊？其实我认为我认为长期来讲啊，这个历史趋势浩浩荡荡，谁也挡不住。哈哈哈，这是我的。挡的都是反动派。对。对我来讲一下为什么？我认为就是第一个是说啊，如果这些APP有一天能够自己实现这个自动驾驶，或者是agent自动化操作啊，那么有一天呢，那OS级AI（Operating System Level AI: 深度集成到操作系统层面的AI能力）是可以和这些大厂的APP实现agent to agent的一个沟通。就是说，你要么自己在你的APP内部实现自动驾驶，然后呢，我的OS GUI Agent在遇到你这条路的时候，我就把这个请求发给你，然后你来满足用户的需求，咱们做个中转啊。要么就是如果你一直抵抗，我认为绝大部分的APP实际上是很难抵抗这个这个自动驾驶的这个趋势的。因为因为因为是这样的，就是大家想一下，就是你在用手机的时候，手机的很多菜单和选项，他其实也不是一个人类最自然的动作。对吧？我们人类去订外卖的时候，最自然的其实是自然语言对话。就是如果身边有一个人能帮我干活，对，打电话，我能够直接跟他讲，然后他他告诉我有什么好东西，然后我就我就用自然语言施加命令，让另外一个人帮你干活。其实这是人类非常自然的一个动作啊。所以我不认为就是呃，有很多的功能，它一定是今天就已经达到了最完美的状态啊。它非常多的APP，非常多的事情，比如说我在淘宝上买东西，其实我就很烦这个选项太多。我我其实是需要有一个行业专家帮我去研究。比如说我要买宝宝儿童座椅，那么这个儿童座椅到底哪个类型好？对吧？有什么样的选项？这个小红书上有很多导购的专家做了非常多的教程对吧？然后要看特别多的商品。这么繁琐的任务，我其实不想自己做。我不想自己做。所以我觉得，就是从用户原始的需求出发，有非常多的场景，不管是淘宝的也好啊，还是这个微信也好，还是各种地方也好，大家都有一定的自动驾驶的需求啊。所以我认为这个后面我的一个预判，未来的发展趋势是什么呢？是大厂可能会优先在内部啊，就超级APP在内部解决自己的agent和自动化的问题，然后和OS级AI达成一些利益分享的机制和agent to agent的一个沟通。然后中小厂啊，包括一些长尾的应用，实际上他自己的这个APP的这个智能化做的不太好对吧？那这个时候好让OS代劳啊，用户都想要这个东西对吧？我们授权OS来自动操作我的APP。所以他其实会有这两条路的一个配合。

大厂的生态竞争与创业者机会

对对非常同意你这点。就是刚才我讲的中间商谁做的问题嘛。就按你这个观点，我觉得其实OS厂商自己来做中间商算了嘛。就大家都做agent对吧？我这个OS厂商呢，你微信是一个agent，或者微信生态的APP用豆包作为agent，然后阿里生态的APP呢，用千问作为agent。你内部自己打通，我不管你。但是一旦我希望我的手机去操控淘宝，操纵微信的时候，我是用OS的agent来跟你豆包沟通，来跟你千问沟通。我们自己自己几个大厂之间达成一个协议对吧？然后我自己来做中间商，总比你豆包来做我中间商强对吧？那就看说豆包你这个事情能不能跑得通，消费者买不买账，或者厂家们买不买账。因为我之前一直有一个感触，就是像这种又拥有模型，然后又拥有生态的像阿里或者Google这种，我又有很强的模型Gemini，我又有千问三对吧？那我又有淘宝，又有飞猪，又有这个叫做优酷等等这么多的娱乐生态或者是办公生态也好，那其实我自己的千问把内部打通了就好。我可以用千问去订外卖，叫闪购下淘宝。我可以用千问帮我订机票，我可以用千问帮我导航。那我其实我集团内部，我的Agent-to-Agent或者我集团内部的agent之间，我就闭环了。对吧？那我干嘛要通过你一个豆包一个中间商呢？但如果这时候你手机厂商进步一点，上道一点，你手机厂商自己想来做中间商，那可以啊。你反正你手机要也要装高德，要装淘宝，要装千问，要装这个各种阿里系的应用，那我就我就统一来跟你谈呗。我觉得这是，我觉得这是也是一个很大的一个启发。就未来可能是大厂之间的agent自己跟自己交互了。

但你这个是从供应侧来考这个问题啊。我觉得刚才顺着张和这个说法想，我还觉得挺有启发的。就是其实你要从客户端想对吧？就是说我们刚才说的举的一些例子，比如像微信啊也好，或者说像一些其他的YouTube、优酷也好，它是娱乐型的，它是帮你杀时间的，它是你需要自己去体验的。那有一些是工具型的对吧？比如说这个美团。假设啊，你说平常没事干，我也不会拿美团来杀时间，那它是完成我的一个一个需求的。那这种情况之下的话，用这种OS级别的这种就是agent，那肯定是更方便对吧？能节省我还大量时间去搞别的事情嘛。但是同样，嗯，刚才也说到了，就是既拥有模型，又拥有生态，同时还可能就是说，现在已经拥有了一个超级APP的时候，那这种其实屈指可数，全球算下来应该不超过10个吧？对吧？那这就是不得不让我想到苹果。就是到底说如果说假设啊，现在这件事不是豆包做的，不是这个字节做的，而是苹果做的，你觉得这个事能不能成？或者说这件事情在国外，在海外，虽然说现在目前来讲，豆包唉，这个手机的这个AI助手被被喊停了，对吧？被淘宝这个被微信给禁掉了。那海外会不会再发生这种事？或者说海外会不会把这事做成？

海外前景与巨头的布局

其实这个问题是这两天我一直在琢磨的。我的感觉啊，我觉得这个事大有机会。尤其像刚才那个张和解释这个问题，我是非常同意的。就是说GUI的方式它更通用，它不需要去做大量的维护，同时来讲的话，它的成本可能更低，未来来讲的话，而且准确性更高。对吧？现在豆包他没有做到说像张和说可能50分或者说接近60分的水平。那也许用了更高级的模型，或者说再过再过一段时间，给时间以答案的话，那再过半年或者一年的时候，就变得非常成熟了。就可以在99.99999%后面的事。那所有工具类的这些APP，是不是就没有存在的价值了？直接用agent to agent就可以了。那人就可以用出更多时间来刷刷短视频，或者说去交友，或者去干其他自己那些自己想做的事了。这是我的一个看法啊。我觉得是必然的，工具厂商被消灭是必然的。因为你手机里面装的80%都是这些巨头的APP，对不对？只要他们自己谈清楚了就行。其实对于消费者是没有太多选择权的。你可以抗议说我的隐私有问题，我的什么什么东西有问题，你可以抗议啊。但是就像张和讲的，历史洪流滚滚向前，你抗议也没用。我觉得对于消费者来讲是比较悲哀的。

嗯，我我我也同意啊。我觉得我觉得苹果很有可能未来有一天也会走上这条路啊。苹果谷歌都有可能啊。尤其苹果呢，它它在芯片上有特别大的优势，它能够做好这个端侧的AI。就苹果很有可能只要一出手，比如说在啊，我觉得它可能在两年左右的时间里，他是有机会啊。我们目前其实啊，手机厂商来预判这件事情的话，两年左右是能够把GUIAG的端侧的模型做到啊，可能90分水平的，完全是有这个可能。那么到那一天的时候呢，苹果会具有很大的优势，是因为苹果的芯片，他的芯片能够在更低功耗的情况下，能运行的更快的更大的这个大模型啊。所以呃，如果苹果能够承诺保护用户的隐私，然后苹果作为一个生态号召力极强的，一个大玩家，然后跟所有的这些APP说好，现在进入到了自动驾驶的手机的时代了，是吧？你要么跟我谈，咱们agent和agent的协协协作，要么就是你作为中小的APP，你也不会做agent，咱直接来控制。我觉得这个画面是完全可以预想到的。当然，这个这个猜测是我的一个个人的猜测，我觉得他是不是一定会实现，也不好说啊。但是他的逻辑实际上是什么呢？是用户最终其实都是用户想要节约时间去对吧？这个一切的这个趋势，都是用户觉得汽车比马车好。就是但是有些用户跟你说，我今天不需要这个东西，那是因为用户不一定意识到了，他今天很喜欢的东西其实只是马车。如果你把真正好的汽车摆在他面前，他不会不要的啊。所以我也是觉得说豆包的这个助手，他只要准确率能稍微再高一点，我一定会天天用。但是我觉得从用户角度来讲，并不是说用户现在因为隐私啊，各种干嘛去抵抗。我觉得主要是因为像这一类的场景，更多是帮你提效就提高你的效率，但其实他并没有产生让你娱乐，或者是让你赚钱。对吧？就像我们讲特斯拉的自动驾驶，为什么大家最后都看好Robotaxi？是因为它可以帮你开出去赚钱对吧？那这个东西他如果只是帮你提效的话，格掉的是谁呢？就是把那些反动派干掉，就是把那些操作很繁琐的APP，设置类的，工具类的啊，帮你解决一个原本解决某个痛点的啊，比如说什么定日程难啊，什么代办啊之类的，把这些把这些很繁琐的不好操作的office类的这种APP干掉。对吧？它只是帮你提升了效果。但实际上呢，它并不像抖音让你刷的很爽，沉迷于此，感觉到沉沦的快乐。他也并不能就是让你像那个Robotaxi一样，我能够幻想有一天这个东西出去开车，自动驾驶帮我赚钱。对吧？所以我觉得这个这个点还没到。然后苹果可能也在等这个点。

端云协同与AI眼镜的变量

那我个人有一个最大的问题，我是想请教张涛老师。就是我我觉得大家很自然的会有一个思维定势去想这东西，好，那我既然不能做到一个GUI agent的killer APP，那我是不是能够先把隐私问题解决了？那我的自然惯性就是端云结合嘛。哪些隐私的部分在在端侧解决掉，就像你刚才讲的，苹果的芯片能力如果能够出来，以苹果的做隐私做安全的口碑，加上他的端侧的这些模型也是开源的，大家都可以看得到，对吧？那理论上，端云结合是一个能够照顾好隐私的一个方式。但是我的我的怀疑点在哪里？就是我们在云计算那一波的时候，我们也担心数据上云，对？然后我我们也做了很多努力，什么东西放在端侧，什么东西放在云端，最后增加了是成本，并没有提高效率，没有提高体验。最后因为云的成本下来直接溢出了，大家所有东西干脆就都上云了，已经没有端云之说了。那你觉得说像GUI agent这个趋势，他在端跟云之间会会面临就是之前云计算起来那一波这样的，我刚才讲的就是全被云端吃掉了，还是说他会有一个中间挣扎的过程，还是说他最终还是会走向端云结合？你是怎么判断的？

这是个好问题。其实我们最早在立项啊，在内部在预言这个技术的时候呢，其实也是各种开会讨论，到底要不要做云端的GUI agent，还是说专注只做端侧啊。那么我觉得豆包推出来以后，其实是给了我们一个很好的实际的案例，证明看起来用户是不太满意你声称自己保护隐私，但实际用的是云是吧？就是现在评论区啊，评论区大家的这个反馈，普遍已经说了这一点了。我觉得至少国内的这些手机厂商放心，以后不会大规模的宣传云端的GUI agent了。只能是说，呃，我的一个判断是，手机厂商大概率会怎么做呢？就是其实很多手机厂商今天已经在用一些云端的GUI Agent，只不过手机厂商做的这些方案啊，没有豆包这么火，没有引起大范围的反响。其实也是云端的方案啊。未来的思路，就是继续在云端的这个上做一些实验，做一些这个小范围的，给发烧友玩的一些体验啊，让大家见一见，见识一下未来长什么样。然后呢，真正我们的重心，大规模推广到所有的重点机型的，比如说几千万台手机上，还是得靠端侧的，这个以端侧为主的GUI Agent。然后在别的方向上，比如说啊，如果我们一些日常的问答呀，或者是让他给你啊，做一个数学题啊之类的，这种，其实也是可以用啊云端的方案的。所以最终确实是，我认为终局还是一个端云协同。目前来看，这两个都不太可能相互把对方干掉啊，是这么一个思路。

然后另外，关于你刚才说的这个场景的问题，我想补充一点。就是其实GUI Agent呢，在手机上的这个场景啊，你一定要考虑一个变量，就是AI眼镜啊，正在越来越越来越成为大家关注的一个下的，下一个越来越走进我们的device。对，有可能只要我有AI眼镜，嗯唉，你只要你，你会发现，你只要把AI眼镜放在这个语境下去讨论，你就会发现GUI Agent技能如此make sense啊。是因为我戴眼镜的时候，我的手机揣在兜里对吧？哎，我没有，我就是直接跟眼镜提了一个需求，然后他用手机操纵一个APP，完成了一个需求，然后把把内容传到了我的眼镜的这个音响上面。是不是？那这个就自然非常非常多了啊。所以大家其实包括自己，包括啊，手机厂商现在在这个方向上布局，我认为很多时候都是为了最终实现这个啊，就是一个能够跨设备存在的，能够用不同的形态都能够用得着的，这样的一个agent啊。所以这样的一个agent啊，比如小米，他就会有比较大的一个优势。小米就是所谓的说啊，我有车对吧？我的智能眼镜可能只要一出手，就能拿到比较高的销量啊。然后我还有很多其他的设备。最终你会发现出现一个什么现象呢？就是小米如果要做一个agent的话，这个agent能够把你的所有设备的上下文都放在一起去理解啊，真正的做到一个特别懂你，他知道你的车里面的情况，他知道你家里面的情况，他也知道你手机里面的情况。然后他在执行的层面上，他也是既可以在手机上执行一个动作，也可以在车上执行一个动作。所以就能实现一个什么效果呢？比如说我在我在车里面正在开车，突然领导打一个电话，然后呢啊，领导打一个电话让我去啊，告诉他其中某一页PPT，我给他汇报了一个东西，我就可以跟车上的小爱同学说，小爱同学，帮我去手机里找一下，我前几天发给谁谁谁的PPT，找到那个第几页，然后把那第几页的东西给我投射到我的车机屏幕上。对吧？你就会发现这个故事就有意思多了啊。

这不就是苹果发布会演示的场景吗？哈哈哈。对啊，但是苹果没做出来嘛。对吧？豆包相当于是把这样的一个关键的一个一个一个画面给它做出来了啊。现在可能库克老头也快退休了，哈哈，想想稳一点对吧？稳一点，交棒这个事情也不想做得太激进。包括在因为我个人的体验上啊，不管是就是啊，Apple Intelligence在电脑上面，在手机上面，甚至我也用了，我有一台OPPO的这种小布助手在上面嘛。我觉得AI在OS上面的体感真的是不强。就说你如果说惊艳程度，肯定是没有像GUI agent这么让人惊艳的。就是AI它可能是一种嵌入式的方式，在你一个侧边栏，或者在你一个文本框里面。其实嗯，我敢说使用率应该10%不到。从我的角度，就像那个OPPO的小布，已经做得很好了，我觉得真的是做得很好。系统级的权限了。从我个人的使用率上面来讲，可能也不到10%，甚至5%我觉得可能都有。这个场景太弱了。然后你花了这么大力气，这么多资源去做一个，就像我这种资深用户了，都5%不会去用的，这种场景，其实是非常不讨好的。反而就是像像字节这个事情，这个豆包GUI agent，有可能是把这事情就拉开了一个口子哦，大家看到说哦，原来可能这么做呢，还是有点经验的，还是能打开一些想象力的。说不定可以倒推行业一把。对。

我我我补充一下你刚才说的这一点啊。就是呃，其实手机厂商目前已经在做的这些事情，包括小布助手在做的东西啊，他和豆包做的东西其实是不矛盾的啊。我我我跟你讲，就是这个这个豆包的这个手机助手啊，其实它核心有两个亮点，他一个亮点是他的GUI技能，另外一个亮点其实是记忆啊。记忆的部分。这个记忆的部分指的是什么呢？是豆包圈定了20多个常见的应用，比如说去哪啊，这个携程啊，然后这个小红书啊，甚至是一些你手机上常用的一些浏览器，QQ浏览器。在你使用这些应用的时候呢，豆包会去啊，通过截屏，通过截屏等等的方式呢，去理解你在这些应用里的日常的行为，然后呢，把这些画面做一个OCR识别成文字，然后呢，他就能知道说哦，你最近在大众点评里买了个什么东西，对吧？你在携程订了个酒店，嗯，你在哪个地方做了什么事情啊。通过这些事情，增强对于你的一个理解。甚至苹果的故事是说，我能够理解你家里面有几口人，你平时都有什么特点啊。那当这些记忆的基础设施搭建好了以后，你才会发现，GUIH才会并对你更加有用啊。所以其实它是这两个东西呢，是不矛盾的啊。手机厂商现在，其实在记忆这个方向上呢，啊，是非常考验这个权限的啊，而且要搭建很长期的这个这个包括对芯片的，对于这个数据，就是我们把这个用户的这一堆的数据都给他存下来了，然后还得用端侧的模型在后台去进行一个解析，然后分层次的进行处理。只有把所有这些工作都做了啊，再去结合这个GUI技能，他才能够迸发出更加有用的东西。因为他要懂你，他是一个不是说只是一个傻乎乎的，只会操作一些最基本的啊，这个这个软件APP的一个人，而是他懂得你的偏好和喜好啊。比如你让他去帮你p图也好，剪视频也好，他越懂你，他剪出来的东西会越好啊。就是未来这个OS AI还是要在这两条路上并进去发展啊。小布助手的记忆这块，做的其实也是非常非常好的啊。只不过是说，手机助手，就是手机厂商在打的这个牌，其实是一个非常长远的牌，就是对非常非常长远的牌。短期你可能觉得好像用处不大，实际上大家都在做铺垫啊，他们其实是在做一个铺垫。

创业者的机遇与挑战

嗯，其实这回，我觉得豆包就是捅了一个窟窿，给天捅了个窟窿对吧？你看为什么微信啊淘宝这么着急？我觉得就这事就是发生在中国。要再发生在海外的话，可能会引起巨大的声浪和和这个讨伐。主要是因为，我觉得大厂们都能感受到这种震撼，对吧？就你直接给天庭上上了一道，然后直接把那个金箍棒捅到天上去了。所以豆包就像刚才这个张哥也说了嘛，其实给了很多大家一个非常好的案例。这个事呢，对于豆包来讲也是好事嘛，证明自己的AI模型确实强，而且自己已经领先一步，我把别人想的事都做出来了。这点是非常牛啊。

当然，我想就是说咱们再咱们几个再切换一下角度啊，就都从创业者角度来说，就这件事，尤其就GUI Agent，包括就是豆包这个手机助手，还有刚才说的OS授权，然后还有机器这些东西，那作为就是说AI创业者来讲的话，嗯，你怎么想？就是张和，因为你本身也是AI创业者嘛，就是你觉得什么事完全以后，就要避免去做，然后什么事可以现在就开始布局？因为假设我们能够看半年以后的时间，对吧？假设我们能够预测半年以后GUI会大爆发，很多厂商都会去做这些事的话，那你会往哪个方向去发力呢？

嗯，好问题。我我觉得GUI agents啊，在手机端的这个创业者的机会啊，会少很多。反而在PC（Personal Computer）上的机会是特别多的啊。这个是因为PC，比如说Windows或Mac，它的这个授权体系，就是权限体系就会设置的非常宽松。只要你能申请到系统级的管理员之类的，这种高级一些的权限，只要在安装的那一刻，你获得了这个授权，后面基本上你作为一个第三方的APP，你就可以操控浏览器，你也可以去模拟鼠标点击，去点别的APP啊。你是你是很容易获得这个权限的啊。但是你发现在手机里，只有操作系统有这个权限。第三方的APP是从安卓到iOS的，这个第一天开始，第三方APP都是没有那么高级的权限的。的是，因为手机的内存和空间是比较有限的，必须要进行更加强有力的管控，不能给你那么多的权限，让你的APP随便去去占用更多的内存，别的应用在运行的时候，你就只能杀到后台啊。所以其实这是有历史的根本性的原因，导致手机的这个生态是一个更加封闭的生态。所以它也不利于创业者在C端和手机上试图去做特别多的GUI Agent。所以我认为GUI Agent呢，这个这个给我们的一个这个启发，是要如果要创业还是要走B端。在电脑上，其实我就有认识创业公司的朋友啊，现在就有用GUI的技术解决了，类似于比如说某个省市的税务后台，或者是一些你知道一些一些一些相关的，一些那个那些局的管理系统啊，那些管理系统是没有任何接口的啊。他们相当于就做了一个方案，哎，遇到这个环节的时候，可以触发一个GUI的agent，然后模拟鼠标点击，把这个税务后台和一些什么后台的数据，哎，点一下菜单，再点一下菜单，再点一下导出，完成这个任务，解决了这个B端的数据孤岛的问题啊。所以我觉得，这个是给我们比较有用的武器啊。

但但是你刚才也说到，就是说AI眼镜是一个巨大硬件入口嘛，对吧？嗯，但这个AI眼镜一定是跟手机手机互联的嘛，他是，咱不可能背着个PC电脑出去戴眼镜嘛。所以在这种情况之下的话，那又又要用到GUI，然后又要说让AI眼镜真的能够成为我们的助手，咱先不管他什么这个待机时长啊，重量等等这些问题，咱就只说OK，我们还没有找到更好的AI AI硬件的入口。那这种情况之下的话，那你觉得对于创业者来讲，有什么机会呢？或者你有没有思考过这种这个方向？

我觉得这不是机会。我觉得这个是对创业者极大的一个挑战。就是其实其实我认为AI眼镜未来的竞争，会进入到agent的生态的竞争。其实对创业者是不利的啊。就是你会发现小米啊，或者是字节，如果和某个手机厂商做了一个合作啊，或者是OPPO vivo之类的，就是这些手机厂商，如果把GUI Agent技能做出来，部署在自己的手机上，手机就会变成自己家卖的AI眼镜的服务端啊。所以在这个情况下，创业者自己做的那个AI眼镜的生态，跟大厂做的这个拥有百万安卓应用生态的这个手机和AI眼镜相比，可能就会有很大的一个劣势啊。所以其实我个人不是我个人认为啊，我不是特别看好现在这些独立试图做出很好的AI眼镜的玩家，他们可能会被这个OS级AI的玩家干得很惨。哈哈哈，对对。

我我同意，我同意。我觉得豆包在立项做这个事情的时候，一定是给老板画了一个大饼，就是以后你的手机就是你云端的一台虚拟机，然后我们做完这个项目，如果反馈好，老子就干眼镜，我就干这种智能的，这种具身的设备。哈哈哈，对。所以才能说服说我拿到预算，拿到资源来做一件这么有争议的事情。因为我要出圈嘛，然后我要累积更多的用力嘛，我要跑跑通这个事情。不管我是看到你们恐惧，还是看到你们拥抱，反正对我都是有所收获的。所以这个手机未来变成一个你眼镜，或者你汽车，或者是你各种智能手表的云端的一个虚拟机，通过GUI agent来做这个事情，其实是非常make sense的。就这个是make sense。当然这个是回到大厂的PPT啊，内部陈述，当然是逻辑对的。

这我们还是说，我觉得我很同意刚才张涛老师那个观点，就我们回到消费者这事情，你买不买单，你买不买账，那这个可能就是另外一件事情了。对。所以从手机厂商来讲，他就那我就保守一点吧，对吧？我观望一下，我可能慢半拍，慢两步，因为我手上我就握着权限嘛，我就我也无所谓，对吧？反正我握着权限，你始终最终你要来找我的。对我只是跟不跟你谈的问题，在哪里谈，在重庆谈，还是在北京谈，在哪里谈的问题。对吧？所以我觉得这个问题不大。

那你刚才讲那个就是在PC端，我我我是真的很有启发。呃，我们上周做了一个亚马逊的那个云大会的一个解读，其中他就做了一个事情，就是他有一个Amazon Nova Act，这一个AI agent的一个训练的系统，那他就是来实现一些非常老旧的系统的维护，并且他专门建了一个强化学习的平台，来训练那个Nova X的，在上面点击各种破烂不堪的，上个世纪的这种网页，来做强化学习，来学会他去知道说，噢，这个省的税务平台跟那个省的税务平台有什么不同。我觉得这个你讲的是非常有，就是有动静的一个，也是现在一个非常，包括国外都在做的这样一件事情。

那我个人体验是什么？为什么我也觉得PC端非常的make sense？是因为我最近疯狂的在用那个Google的IDE叫做Antigravity，对，就反重力嘛。那之前是用Cursor，我一直用不起来哦，我可能觉得不太好用。但是为什么Google的这个我用起来？因为它有一个agent mode，就它已经不是IDE界面了，它就是一个agent界面。然后你只要赋予它系统级的权限，你就可以叫它帮你，比如说清垃圾，然后帮你把这些PDF转成TXT，然后帮你把这个文档拷贝到哪里，然后做文件夹整理等等。就那些原本你很不想做的事情，很很很讨厌的。又就是可能就我，我现在最烦的就是有人来问我哎，你这个我这个电脑C盘怎么清啊，什么事情怎么做。我觉得PC端大量的工作，其实是反人类的，大量的设置也是反人类的。反倒是通过GUI Agent的，能够帮助大家把PC的很多的问题解决掉。对，我觉得这个是好的。

行业反应与未来格局

我觉得就是说首先就是豆包做这件事，我是一点都不惊讶啊。因为你看就是豆包上面是字节嘛。字节的话，当年做做这个新闻头条的时候对吧？然后到后面做短视频，火山引擎等等。我觉得他都是在原有的已经有的具备生态的情况之下在做突破，甚至说是挑战，这种颠覆性挑战。他是是，我觉得他是在那个就是法不禁止我，我当行的这种状态下。也就是说只要说没有人做，然后没有人说不能做，我就愿意去试试。所以豆包先把这个事做了，把这个天捅一下，我觉得是很正常的。但是后面来讲的话，大家跟不跟？其实这是我特别想知道的问题。就是说中兴，它作为一个二流的手机厂商，对吧？咱咱咱不客气的讲对吧？他跟那个，他没有包袱，或者说他只要能接到好订单，我做手机而已，我自己又不做模型。那华为怎么办？OPPO怎么办？对吧？然后还有说我们说那淘宝阿里怎么办？对吧？这些就是这这些人会不会跟？这个我觉得很就是很值得，很值得大家来聊一聊。

嗯啊，这个我可以说一下我的一个判断啊。就是首先来讲就是呃，小米OPPO vivo，华为之类的这个比较top的这些厂商呢，其实大家做AI产品落地的能力还是比较不错的。就是除了我们在这个基座大模型上可能干不过这个字节，阿里Deepc啊，在在这些小规模的模型上，包括细分领域的落地上，其实是自己完全能够做到啊，足够高的一个水准的。那么所以豆包的这个合作啊，我觉得在在前面这几家这里，是很难谈的。非常难谈啊。很有可能是嗯，没法谈的啊。但是呢，呃，最近也有一些消息说，可能荣耀是不是会有一些兴趣啊，谈一谈。那那这个我们这这就是传闻了啊。啊，我我我我们不能确定啊。说白了就是手机厂商我有一个预判，6个月以内能够完全把豆包的功能复刻出来，追上啊。就是手机上可以去和这个阿里去合作，也有可能。豆包如果发现说我的完整的合作跟你谈不下来，对吧？你没有办法给我系统级的整套的权限，也说不定，他会单独把这个GUI Agent的模型授权给手机厂商用。那都不好说的啊。如果他不卖，还有月星辰，还有阿里，还有质朴啊，这些都是在多模态能力上也很不错的模型。供应商只要把这个核心的模型给到手机厂商，手机厂也能很快的拼出来和豆包几乎一样的体验啊。只不过是说，手机厂商的落地节奏会谨慎一些，就是哪怕内部做出来了这样的东西，也不会一下子开一个大的发布会然后丢出去，而是会说先小范围部署一下，给发烧友做一些实验，然后呢，等端测，等端测的成熟度达到足够的稳定了，才会大规模的推出来啊。这个是我对手机上的预判。

第二个是对于大玩家怎么看待这个事情啊，比如说淘宝，比如说阿里。其实我个人认为，阿里其实也应该布局OS级AI。这件事情就是豆包出手，这件事情其实让我们看到了一个什么事情呢？是硬件厂商，在今天的AI agent特别渴求上下文，特别渴求这个执行控制权的这件事情上，硬件厂商重新获得了更加有利的一个地位。所以你去看OpenAI，为什么也去把苹果的前设计师请过去专门负责做AI硬件？对吧？为如果OpenAI能够只做软件就能完成他的AGI梦想，为什么非要去做硬件啊？所以其实这里面，我认为是硬件在今天的AI agent的落地这个过程中，重要性是提升了啊。因为硬件是入口，因为硬件掌握了所有的上下文，只有你是硬件厂商，你才能掌握这个硬件这个传感器的所有的原始数据，理论上都是可以被你获得的啊。只有硬件厂商能做到这一点。所以我认为阿里字节都应该对这个方向感兴趣。字节已经出手了，阿里或许就是下一个。其实所以我说一个大胆的预判，我认为阿里应该入股或买下OPPO vivo的。贸易战哈哈哈，对。如果我是阿里的投部门，我现在就去找OPPO vivo去谈合作，我入股个20%，然后咱们以某种形式达成深度的OS级的合作。为什么是OPPO vivo？因为现在从国内的整个的手机市场的核心竞争上来看，华为又回来了，小米，然后呢在汽车的这个带领之下，也是势头比较猛。OPPO和vivo，包括荣耀不排除会有落后的风险。这个时候抱一个大腿，大家一起迈入OS级AI这个愿景中去，多好。我更希望苹果能干点什么呢？因为苹果现在正好是一个非常关键的时间点，又换帅，然后又要这个在AI这不不断的挑起大家期待，但是不断的让大家失望这么一个阶段。如果他能够就是说奋起直追，也不能奋起直追吧，应该是说把自己的积累这些东西变现的话，我觉得他是非常有机会的。在硬件方面，在系统方面，在生态方面都非常有机有机会的啊。

同意同意。我其实也是仍然看好苹果的啊。我就是就是大家会发现手机厂商在OS AI这件事情上，就是步伐就稍微慢点对吧？为什么就是大家觉得说我不担心，我慢一点又怎么样？对吧？字节你们还是得求着我合作是吧？你看字节现在就是，其实是挺被动的，在豆包手机助手这件事情上啊。那么苹果也是一样，我的芯片竞争力这么强对吧？我的AI只要我准备好ready那一天，我的苹果生态一瞬间就能变成刚才咱们想象的那种，一个engine搞定所有的上下文，一个Agent搞定所有的执行能力啊，都是有可能的。所以苹果的实力，我觉得仍然是完全不容小觑的啊。

然后还有一个玩家就是谷歌。谷歌也会非常非常强啊。谷歌又具备大模型对吧？它也拥有安卓的Android的整个的控制权啊。就是它虽然没有说手机卖的很好，但是三星OPPO vivo，小米在海外的这个手机啊，我跟你讲，都是被谷歌控制的啊。谷歌是花钱要求这些手机啊，必须预装，并且默认默认使用Gemini作为默认的唤醒的语音助手的。这个是有钱保证你必须做这件事情的啊。所以呢，只要Gemini能够把这个GUI Agent或者是系统级的记忆做出来，那么海外的三星和这些手机，一下就摇身一变，变成了谷歌系统级AI的硬件的承载方了啊。这个其实是也是想象力很大的一个地方。

结语与未来展望

好啊好啊，真是非常开心啊，非常开心。今天啊脉脉能给我们介绍张和，张和老师能和我们一起来做嘉宾，然后一起来共建这个「脉向AI」栏目。对吧？然后我们脉脉1.2亿职场人的共同社区。今天我们聊豆包啊，其实咱们有句话嘛，叫别把豆包不当干粮。但但我们不光期待干粮，我们其实期待的是盛宴。所以在这个未来半年之内啊，看看能不能像张和老师说的一样，预测一下，然后马上看到一些风起云涌的手机厂商的重新夺回话语权的这种的这种大动作。对吧？啊，我也期待海外啊，海外能不能再掀起一个故事的版本，看一看能不能，就是在在中国这个AI厂商的刺激之下，尤其像这个TikTok，然后用视频短视频掀翻了全世界嘛。那现在看看他能不能用豆包手机助手这一件事，再把这个AI的浪潮往前推一波。

好，感谢各位。那大家我们下期见了啊。好，谢谢。拜拜。好，谢谢各位。好，谢谢。拜拜拜拜。