循环Transformer再成焦点:GPT-6传闻背后,阿里两篇论文提前押注计算冗余难题

导语:围绕下一代大模型架构的讨论,正在从“继续堆参数”转向“让参数反复、更有效地工作”。近期 GPT-6 Astra 被曝采用 recurrent depth(循环深度)后, 循环 Transformer 再次站到聚光灯下, 而阿里及合作高校此前的两篇研究, 恰好瞄准了这一路线最棘手的计算冗余问题。

📌 从堆参数到加深计算, 循环架构为何升温

所谓循环 Transformer,可以简单理解为让同一组 Transformer 层重复运行多轮。相比传统做法中“24 层对应 24 套参数”, 循环架构可能用更少的参数完成更深的计算, 从而在存储成本上更有想象空间。

这也是外界关注 GPT-6 Astra 相关爆料的原因: 如果模型不必持续“长胖”, 而是让已有参数多做几轮推理, 未来大模型的扩展路径或许会出现新分支。不过, 目前相关细节仍来自爆料与讨论, 官方解释尚未完整公开, 效果也需要更多实验验证。

🔍 核心瓶颈: 后几轮可能在“空转”

循环 Transformer 并非没有代价。学界此前观察到 , 在相同算力条件下, 节省参数的循环模型有时反而不如普通 Transformer。关键症结在于 计算冗余: 模型虽然重复运行了多轮, 但后续循环对隐藏状态的增量更新越来越小。

• 第一轮循环承担主要更新, 后续轮次变化幅度明显下降;
• 相邻循环之间的表示高度相似, 说明计算内容缺乏差异;
• 隐藏状态逐渐被压缩到较低维度, 表达变得单一。

💡 MeSH: 给循环之间加一个动态“资料柜”

阿里及合作高校提出的 MeSH,重点解决循环内部的信息管理问题。该论文首版于 2025 年 10 月公开, 并已被 ICLR 2026 接收。其思路不是简单把上一轮 hidden state 原封不动交给下一轮, 而是引入一个由多个记忆槽组成的 Memory Buffer。

这个“资料柜”配有两个路由器:Write Router 负责决定新信息写入哪些记忆槽,Read Router 负责在下一轮开始前按需读取不同槽位。这样一来, 原始输入、历史中间结果和当前计算不必全部挤在同一个 hidden state 里。

在 Pythia-1.4B 级别实验中,循环结构通过权重共享减少约 33% 的非嵌入参数; 加入 MeSH 后, 零样本下游平均准确率从普通 Transformer 的 49.50% 提升至 50.56%。论文同时提到,MeSH 新增路由器参数占比很小, 额外计算开销也较低。

📊 SpiralFormer: 让不同轮次看不同尺度

SpiralFormer 采用从粗到细的多分辨率流程。例如先将序列压缩到原长度的 1 /8, 再逐步扩展到 1 /4、1/2, 最后回到完整序列。低分辨率阶段更像先看全局地图, 高分辨率阶段再处理局部细节。

🚀 行业观察: 循环路线仍要先过效率关

• 信息层面:需要避免历史信息、原始输入和当前计算互相挤压;
• 计算层面:需要让不同轮次在合适的粒度上处理问题;
• 安全层面:循环发生在 hidden state 中, 中间过程可解释性与可监测性仍会引发讨论。