复旦与通义提出 ToolCUA:让智能体学会在 GUI 与工具调用之间选路

给智能体接入更多工具,并不必然带来更高成功率 。 复旦大学与通义实验室 MobileAgent 团队提出的 ToolCUA, 关注的正是这一现实问题: 在桌面环境中,Agent 既能点击界面, 也能调用工具, 但关键在于它是否知道什么时候该用哪一种方式。

📌 背景: 工具越多,Agent 未必越强

传统 Computer Use Agent 多依赖 GUI 操作, 例如点击、输入、滚动和拖拽。这类方式通用性较强, 但在复杂任务中步骤较长, 错误也容易逐步累积。工具调用或 API 操作则常常更高效, 例如批量处理表格时, 可能一个工具调用就能替代一串菜单操作。

看起来, 将 GUI 操作和 Tool 同时交给模型, 是提升能力的自然方向。但相关实验显示, 直接给强模型接入工具后, 准确率并不总是上升。有的模型几乎不用工具, 有的模型又过度调用工具, 反而在不合适的时机制造新的错误。

🔍 核心思路: 从 GUI 轨迹中合成混合训练数据

ToolCUA 的第一阶段采用数据合成与 Tool-Bootstrapped RFT。团队从已有 GUI-only 轨迹出发, 让多模态大模型分析任务目标、动作序列和截图信息, 抽象出与具体轨迹相关的工具能力, 再生成工具轨迹, 并通过下一状态对齐来检查工具执行效果是否与原始界面变化相符。

随后, 系统并不是把所有 GUI 步骤都替换成工具, 而是构造多种 GUI 与 Tool 交错的执行轨迹, 使模型看到不同情境下的切换边界。材料显示, 该流程形成约 4000 个 unique tools, 并包含约 18 万步用于 warmup SFT 的数据, 同时从关键切换步骤中采样约 5000 条用于 single-turn RL。

💡 训练重点: 奖励“用得合适”, 而不是“用得更多”

• Tool Appropriateness Reward:对于适合工具的任务, 鼓励成功轨迹中合理使用工具; 对于不适合工具的任务, 则鼓励避免乱用工具。
• Path Efficiency Reward:在成功轨迹内比较路径长度, 鼓励模型探索更短、更有效的完成方式。
• 成功轨迹优先:相关奖励只在成功执行中激活, 以减少模型从失败路径中学习错误偏好。

📊 评测结果:8B 模型在 OSWorld-MCP 上达到 46.85%

ToolCUA 主要在 OSWorld-MCP 上评测。该基准在传统 OSWorld 基础上加入 GUI 与 Tool 混合动作空间, 覆盖常见 GUI 操作、150 多个工具和主流桌面应用, 用于衡量智能体在真实混合环境中的任务执行能力。

🚀 行业观察: 下一代 CUA 需要“路径决策能力”

从这一工作可以看到,桌面智能体的发展正在从单纯扩展动作能力, 转向提升决策质量。GUI 操作和工具调用各有优势, 但混合动作空间会显著增加选择难度。未来的 CUA 如果要在复杂办公、浏览器、表格和系统设置等场景中稳定工作, 可能不仅需要更强的视觉理解和工具库, 更需要对任务路径进行动态规划。

总体来看,ToolCUA 的价值在于把“工具使用”从能力问题进一步推进到策略问题。它提醒开发者: 为 Agent 增加 Tool 只是第一步, 真正影响落地表现的, 是模型能否理解工具边界, 并在长程任务中做出可靠选择。