共计 1075 个字符，预计需要花费 3 分钟才能阅读完成。
在 TechCrunch Disrupt 的一场对话中 ,Hugging Face 首席政策官 Irene Solaiman 给出了相对谨慎的回答。她认为, 评测方法仍处在不断演进的阶段, 距离成为一门稳定、可依赖的科学还有距离; 而近来被频繁讨论的“内置评估员”模式, 也未必能轻松解决信任难题。
📌 信任的前提, 是结果能被复现
Solaiman 认为,“信任”这个词本身承载了太多含义 。要判断一份评测结果是否可信, 关键环节之一是能否复现; 而这又取决于外界对模型本身的访问程度, 开放权重在此显得尤为重要。
可复现性长期以来都是基准测试中最棘手的话题之一, 业界对此争论不断 。换句话说, 一个分数如果无法被第三方在相同条件下重跑出来, 它的参考价值就要打折扣。
🔍 评测之间难以横向比较, 标准仍然缺位
除了单项测试本身是否有效, 另一个问题是如何把它与其他评测放在一起看 。Solaiman 指出, 评测是一门仍在演化的学问, 目前还缺少把不同评测进行有意义对比的方法。
“它们会相对快速地失去效力, 我们也没有一个足够繁荣的生态 。大家现在很渴望有一套内置评估员生态, 但究竟谁有资格在哪些任务上做有效评估, 这些条件还需要大量标准化。”
💡 内置评估员: 被寄予厚望, 也被反复质疑
过去几个月, 把“中立”的第三方观察者放进 AI 组织内部的设想逐渐流行 。背景是 AI 实验室接连面对安全事件, 外界对技术潜在危害的担忧升温,Hugging Face 本身也曾是此类事件的当事方。
与其等待政府主动监管, 实验室更倾向于推动第三方评估方案 。但这类评估员究竟有多中立、多有效, 疑问并未消除。Anthropic 聘请埃森哲作为首个评估方的决定就引发了不小反弹, 批评者质疑咨询公司是否具备承担这项工作的专业能力。
📊 评测对象正在变化: 从模型扩展到整套系统
- 智能体评测难度高、成本高 , 但恰恰是用户真正获得价值的地方;
- 针对模型的评测数量较多, 针对工具层的评测明显不足 ;
- 行业正在补课, 尝试为“模型 + 工具 + 智能体”的整体表现建立更合适的评估方式。
🚀 看点: 评测需要从各自为政走向共识
按 Solaiman 的描述, 当前评测领域更像一片各行其是的试验场 。若基准测试要继续被视为行业决策的有效工具, 一套更统一、全行业对齐的方法可能是必要前提。对开发者和企业用户而言, 这意味着短期内榜单仍应作为参考而非结论; 对政策制定者而言, 评估员制度的设计细节, 可能比“有没有评估员”更值得关注。
