共计 1428 个字符，预计需要花费 4 分钟才能阅读完成。
一个训练成本仅约 1500 美元、参数量约 1B 的小模型,正悄然将“HRM”(分层推理模型)推向下一代推理架构讨论的中心。HuggingFace 联合创始人兼 CEO Clem Delangue 亲自转发推荐, 图灵奖得主 Yoshua Bengio 作为共同作者参与的新论文也走向同一条路线。这不是又一个“小模型逆袭”的故事, 而是一次关于模型如何思考的底层实验。
📌 HRM-Text:1500 美元训出的 1B 模型
由 Sapient Intelligence 发布的 HRM-Text, 是一个从零开始预训练的 1B 参数模型。在 MATH 上得分 56.2,GSM8K 上 84.5,ARC-Challenge 上 81.9,DROP 上 82.2。训练仅用 16 块 H100 跑了不到两天, 成本约 1500 美元, 没有 post-training、没有 RLHF、没有显式思维链数据。团队同步开放了论文、模型权重和预训练代码。
🔍 核心架构: 潜空间中的分层递归推理
HRM 的核心思想是在模型内部设置两个以不同节奏工作的模块: 高层模块 H(战略脑)更新慢,负责整体方向 ; 低层模块 L(执行脑) 更新快, 负责局部计算。两者在同一神经网络、同一潜空间中反复更新内部状态, 完成多轮分层递归计算。这与标准 Transformer 的流水线式处理不同, 它让模型在输出前完成更深层的内部推理, 而非依赖更长的显式思维链。
💡 HRM 与普通多智能体系统的区别
普通多智能体系统是几个 LLM 用自然语言互相聊天,而 HRM 在模型内部完成分层递归计算。就像两组编辑反复打磨同一份稿子: 一组快速改细节, 一组慢慢把握整体方向。最后输出前, 模型已在脑内完成了多轮修正。
📊 HRM-Text 做对了三件事
- 改变“怎么算”:让模型在输出前做多轮内部递归计算, 参数未无限变大, 但计算过程变深。
- 改变“学什么”:只对回答部分计算损失, 训练信号更集中地落在任务完成上。采用 PrefixLM attention mask, 在 decoder-only 实现中做出近似 encoder-decoder 的效果。
- 解决递归训练易崩问题:引入 MagicNorm 和 warmup deep credit assignment, 让模型在多轮递归中保持激活稳定, 逐步加深信用分配。
🚀 从封闭推理到开放语言: 技术路线的连续推进
2025 年,Sapient 推出 HRM-Symbolic, 在数独、迷宫、ARC-AGI 等封闭推理任务中验证了架构可行性。HRM-Text 则将这一架构扩展到自然语言环境。从 HRM-Symbolic 到 HRM-Text,Sapient 做的不是一次模型发布, 而是一条技术路线的连续推进: 先在封闭推理任务中验证假设, 再扩展到开放语言环境, 同步开放论文、代码、模型权重和训练方法。
🧭 行业观察:HRM 路线意味着什么?
HRM-Text 的价值不在于“小”或“便宜”,而在于它提出并验证了一个更底层的问题: 模型到底需要记住全世界, 还是需要学会如何思考、如何查找、如何验证、如何行动? 过去几年, 大模型行业的默认答案是参数更多、数据更多、训练更久。HRM 走的是另一条路——把模型做成更强的推理核心, 而非更大的知识仓库。
📌 结论: 重新定义有限参数的计算深度
围绕“HuggingFace CEO 力荐,Bengio 团队也押”，这一部分可从背景、现状与影响三个角度理解其关键信息。结合已公开内容来看，核心结论是趋势已较为明确，但细节仍需结合后续进展持续观察。
