Cloud 桌面版:电脑操作新纪元
Cloud 今日发布了其最新的桌面版应用,该应用的一大亮点在于实现了真正的电脑操作(Computer Use)功能,其强大之处足以与 OpenCloud 相媲美,甚至在某些方面展现出“降维打击”的优势。尤其令人瞩目的是,它能够直接操控我们电脑上的原生国际象棋游戏,而非网页版。
在开始测试之前,请确保您的 Cloud Code 已更新至最新版本。通过下载并安装 Cloud 桌面版应用即可完成更新。安装完成后,您会发现在界面右侧有 Cowork(协同工作)和 Code(代码)两个选项,均可用于操控电脑。本次演示将优先选用 Code 功能进行测试。
我们首先尝试一个最简单的任务:指示 Cloud 将桌面上所有与视频封面相关的图片整理到一个新文件夹。在操作中,我们指定了桌面为目标位置,并选择了 S4.6 模型,该模型拥有百万级别的上下文长度。点击发送后,可以看到桌面上大量的视频封面图像被 Cloud 读取和处理。
在 Cloud 识别完所有图片并提示需要用户授权操作权限后,我们同意了该请求。在 Cloud 进行操作的同时,桌面上的原始图片逐渐消失,表明它们正在被移动。任务完成后,Cloud 提示已成功在桌面上创建了一个新文件夹。打开该文件夹,其中的图片正是之前散落在桌面上的视频封面,无论是第一张还是其他图片,都精准无误地被收集并存放。Cloud 在此操作中的速度和准确度均超乎想象。
手机远程操控,任务无缝流转
在演示完上述基本案例后,一个自然的问题是:OpenCloud 能通过手机与电脑交互,那么 Cloud 是否也能实现同样的功能呢?答案是肯定的,Cloud 完全支持手机与电脑的互联互通。
为了直观展示效果,我们将 Cloud 界面置于左侧,浏览器置于右侧,并同时开启手机录屏。在手机端的 Cloud App 中,我们点击 Dispatch(任务派发)选项,用于向电脑发送任务。
我们输入的任务指令是:“调用浏览器,打开我的博客,进入第二篇文章,并总结文章内容。”指令发送后,我们观察电脑端的 Cloud 是否能通过浏览器执行此任务。
可以看到,Cloud 成功在电脑上打开了一个新的浏览器标签页,并导航至指定的博客文章。随后,它进入了第二篇文章,并在此过程中完成了文章内容的总结。总结结果会实时显示在手机界面上,即使手机仍在录屏状态。这次演示的博客内容是关于 OpenCloud Chrome Debug MCP 的配置教程,核心是介绍如何让 OpenCloud 接管本机的真实 Chrome 浏览器,其中包含了解决痛点、核心配置及使用前提等信息。
通过此次演示,我们成功实现了通过手机上的 Cloud 向电脑发送任务,并由电脑上的 Cloud 执行,即使不在电脑前也能远程操控。整个过程无需任何复杂的配置,只需在电脑和手机上均安装好 Cloud 应用即可,极大地方便了用户的使用。
跨应用协作:数据到演示的飞跃
在完成了基础场景的演示后,我们将加大难度,进一步测试 Cloud 桌面版 Computer Use(电脑操作)功能的强大之处。
首先,我们尝试将桌面上的 Markdown 文件转换为 PDF 格式。Cloud 能够识别并处理该请求,提示已成功将 Markdown 文件转换为 PDF。实际打开转换后的文件,其效果相当不错,完整保留了原文格式。
接下来,我们进一步提升任务难度。指令是:先用浏览器查询特斯拉、苹果、微软和英伟达的最新股票信息,从可靠的财经网站获取当前股价,然后打开电脑上的 Numbers(苹果自带的表格软件),创建一个新的表格,并制作一张对比表。
Cloud 接收指令后,新开了一个浏览器标签页,并从 Yahoo Finance 等财经网站检索了相关的股票信息。在获取数据后,它成功调用了 Numbers 应用,并在表格中输入了这些股票数据,同时清晰展示了操作步骤。最终,生成的对比表格被保存至桌面,整个操作过程极为流畅丝滑。
在此基础上,我们继续让 Cloud 基于已抓取的信息制作 PPT。输入指令:“打开 Keynote(苹果演示文稿应用),创建一个新的演示文稿,并使用类似苹果发布会风格的主题设计一页对比幻灯片。”Cloud 收到指令后,迅速生成了一个 PPT,并播放演示。虽然个别文字有轻微重叠,但整体的主题和背景风格符合要求,效果可接受。
继续增加难度,我们要求 Cloud 打开 Pages(苹果文档应用),创建一个空白文档,并撰写一份对比报告,分析几家公司的关键股票数据。Cloud 响应指令,成功创建了 Pages 文档。最初内容为英文,当要求将其改为中文后,Cloud 立即完成了内容转换。最终的中文报告效果和排版均令人满意。
原生桌面游戏操控:AI新边界
在这些任务的铺垫后,我们将进行最具挑战性的测试:评估 Cloud 对电脑原生应用的操控能力,特别是游戏。
我们打开了电脑上自带的国际象棋游戏(并非网页版)。随后输入提示词:“现在我为你打开了 Micros [注:此处根据上下文推测为Microsoft] 自带的国际象棋游戏,请帮我下象棋,所有决策由你完成,不要问我。”
Cloud 接收指令后,它首先进行了屏幕截图。接下来,神奇的一幕发生了——Cloud 竟然真的移动了象棋棋子!它连续成功移动了多个棋子,其操作效果超乎想象。与网页版国际象棋不同,网页版通常依赖 DOM 定位元素,而 Cloud 能够直接操控原生桌面软件。移动棋子的速度也明显加快,操作过程非常丝滑,仿佛 AI 真的在进行思考。
为了节省时间,我们在此暂停了国际象棋的演示。但其直接操控原生桌面游戏的表现,无疑展示了 Cloud 在 AI 交互领域开辟的新边界。
Cloud vs. OpenCloud:降维打击的终极对比
通过以上多个案例的全面测试,我们可以得出结论:Cloud 确实能够完美地操控我们的电脑,并且支持从手机向电脑发送任务。相比之下,Cloud 的能力远超 OpenCloud,甚至可以说是一种“降维打击”。
若要让 OpenCloud 达到 Cloud 这样丝滑的电脑操作效果,需要花费大量时间进行复杂的配置。而 Cloud 几乎是“开箱即用”,无需任何繁琐的配置,便能高效完成复杂的 Computer Use 任务。
对于专业人士,尤其是开发者而言,Cloud 提供了替代 OpenCloud 的绝佳选择。OpenCloud 在配置和 Bug 修复上会消耗大量时间,而 Cloud 的即插即用特性,使其能够直接胜任复杂的电脑操作任务。
本期视频的演示到此结束,感谢大家的观看。
📌 文中提及的人物和组织
公司/组织: Microsoft
产品/模型: cloud, open cloud, cloud code, cowork, code