UFO 现已升级为UFO²（Desktop AgentOS），这是可在 Windows 桌面操作系统上运行的新一代代理框架。它旨在跨多个应用程序自动化和协调任务，使用户能够使用自然语言命令与其操作系统无缝交互，而不仅仅是UI 自动化。
关键功能
| 特性 | 描述 |
|---|---|
| Deep OS 集成 | 结合 Windows UIA、Win32 和 WinCOM，实现一流的控制检测和本机命令。 |
| 画中画桌面 （即将推出） | 自动化在沙盒虚拟桌面中运行，因此您可以继续使用主屏幕。 |
| Hybrid GUI + API Actions | 在可用时选择本机 API，在不可用时则回退到点击/击键——快速且强大。 |
| Speculative Multi‑Action | 将几个预测步骤捆绑到一次 LLM 调用中，并进行实时验证——查询量减少高达 51%。 |
| Continuous Knowledge Substrate | 通过 RAG 混合文档、Bing 搜索、用户演示和执行跟踪，供代理随着时间推移进行学习。 |
| UIA+视觉控制检测 | 使用混合 UIA + 视觉管道检测标准和自定义控件。 |
架构概述
UFO² 作为桌面代理操作系统运行，包含一个多代理框架，其中包括：
- HostAgent — 解析自然语言目标，启动必要的应用程序，启动/协调 AppAgents，并引导全局有限状态机 (FSM)。
- AppAgents — 每个应用程序一个；每个运行一个 ReAct 循环，具有多模式感知、混合控制检测、检索增强知识以及在 GUI 操作和本机 API 之间进行选择的Puppeteer执行器。
- 知识基础 — 将离线文档、在线搜索、演示和执行跟踪融合到可在推理时动态检索的矢量存储中。
- 推测执行器 — 通过预测批量可能的操作并一次性根据实时 UIA 状态进行验证，大幅减少 LLM 延迟。
- 画中画桌面 （即将推出）— 在独立的虚拟桌面中运行代理，这样您的主工作区和输入设备就不会受到影响。
评论