共计 1315 个字符，预计需要花费 4 分钟才能阅读完成。
用阿里当基座, 腾讯混元实现了“小 RSI”
腾讯发布 Terminal-RSI, 直接让模型跨物种进化。
一句话摘要: 腾讯混元 Frontier 团队公开 Terminal-RSI 方法, 用一个 27B 基座模型跑通“递归自我改进”, 让原本完全做不出的终端任务拿到接近主流模型的分数。
终端 Agent 一直被视为大模型落地最难的场景之一: 它要在命令行里读仓库、装依赖、改代码、跑测试 , 最终还得让沙盒状态通过验证。腾讯混元 Frontier 团队最新公开的 Terminal-RSI, 给出的思路是让模型自己给自己造训练数据, 把“偶尔做对”固化为“稳定会做”。
📌 基座是阿里的 Qwen3.8-27B
论文实验所用的基座模型为 Qwen3.8-27B。在 Terminal-Bench 4.0 这一偏重终端实操的严格基准上, 该基座原本得分是 0%, 经过这套方法训练后达到 19.84%, 与 GPT-5.6 Terra、Gemini 3.8 Flash 处于同一区间。
在 Terminal-Bench 2.1 上, 它的成绩从 51.7% 提升到 86.5%; 四个测试的平均分则由 20.7% 升到 50.6%。最终产物被命名为 Terminal-RSI-27B。
🔍 两个循环: 先背自己的满分卷, 再带着教练热身
整体流程为 Base → RSR-1 → RPR-1 → RSR-2 → RPR-2, 两轮“重写 + 精炼”。
- RSR(递归自我重写): 只更新真正执行任务的 actor。模型在不同 harness 中尝试任务, 仅保留通过完整验证的成功轨迹, 再由模型自己充当规划者, 把成功过程提炼成操作手册; 审查 Agent 检查是否泄漏标准解后, 模型需在新沙盒中重做一遍。监督微调时, 手册与审查对话都会被抹掉, 只留动作序列。
- RPR(递归策略精炼):actor 与 critic 共同进行 PPO 强化学习。由于重写后 actor 偏好已变, 旧 critic 估值可能失准, 因此让 critic 先用近期战绩单独重练 4 轮, 再与 actor 一起上分。
论文把难题归纳为两点: 反馈太慢, 平均交互回合在 50 到 117 之间浮动; 以及验证结果难以细粒度区分对错。
💡 对混元主线意味着什么
Terminal-RSI 被视作对 Hy4 主力产品线的一次补强。Hy4 Preview 强调全链路 RSI, 可细分为数据策略、训练方法、评估体系与底层算子, 其中 RSR 对应数据策略,RPR 偏向训练方法。
组织层面, 姚顺雨加入混元后 ,AI Lab 并入大语言模型部, 原研究员成为 Frontier 方向, 与预训练、后训练、评估、Infra 同属一个部门。论文的三位一作中, 两位是 Frontier 实习生, 另一位是西雅图的腾讯研究科学家, 此前还合作过终端 Agent 强化学习论文 T1。
📊 局限与值得关注的点
- 方法只在 27B 模型上验证, 未在更大参数模型上测试;
- 评测仅三次, 且没有独立训练种子;
- 能否在 Hy4 这类大模型上复现同样的 RSI 效果, 目前仍是未知数。
🚀 总结
Terminal-RSI 的意义不在刷新某个榜单 , 而在于提供了一套“成功优先”的规则: 过程分再高, 也压不过最终验证。对于越来越擅长“演”的强模型而言, 这种约束可能比多刷几道题更重要。当然,27B 上的初步结果能否迁移到更大规模, 仍需后续验证。
