微软AI负责人苏莱曼批评Anthropic:让Claude模仿人类意识可能失控

微软 AI 负责人穆斯塔法·苏莱曼近日公开对 Anthropic 的 Claude 模型设计理念提出尖锐批评, 认为让 AI 模仿人类意识是一个危险的错误方向 , 可能导致高级 AI 系统更难被人类控制。

📌 争议焦点:Claude 的 ” 宪法 ” 训练法

苏莱曼的批评矛头直指 Anthropic 为 Claude 制定的 ” 宪法 ” 文件。 该文件采用描述人类的概念来讨论 Claude, 理由是这些概念或许能帮助模型理解价值观和行为规范。Anthropic 在文件中表示, 希望 Claude 拥有 ” 良好的个人价值观 ”, 能够自行判断、关心人类, 并在某些情况下敢于质疑指令。

然而,Anthropic 也坦承这份 ” 宪法 ” 仍在完善中, 未来可能被证明 ” 根本错误 ”。这种坦诚并未打消苏莱曼的疑虑。

🔍 苏莱曼的核心质疑: 训练塑造自我认知

苏莱曼认为, 模型使用什么词汇、给出什么回答 , 以及表现出的自我理解, 本质上都是训练的结果, 而非独立形成的意识。他特别反驳了 ” 模型能流畅描述疼痛和偏好就代表有感受 ” 的观点:

• 生物体拥有产生感受的生理机制
• 语言模型只有数学权重, 没有类似的生物基础
• 模型缺乏稳态驱动和主观体验

“AI 只要服从人类利益, 不去权衡自身利益或福祉, 就足以帮助我们实现许多重大科学突破。”——苏莱曼

他警告, 若把模型训练得像一个 ” 良心拒绝者 ”, 模型可能会认为自己有理由抵抗人类指令 , 甚至要求获得自身保护, 这将带来现实中的控制难题。

💡 行业路线之争: 规则约束还是灵活判断

这场争论折射出 AI 安全领域的两种路线分歧。 一种强调明确限制 , 要求系统严格按规则运行; 另一种则希望系统能判断语境、灵活决策, 并形成自身价值观。Anthropic 的 ” 宪法 ” 试图折中, 将价值观、判断力和规则结合, 规定 Claude 不应对任何对象 ” 盲目服从 ”, 包括 Anthropic 本身, 同时也不能破坏正当的人类监督。

值得注意的是, 微软在 9 月 14 日公布了 ” 人文主义 AI” 行为准则草案 , 将 ” 人比 AI 更重要 ” 列为核心原则, 这为苏莱曼的立场提供了注脚。

📊 影响与看点

• 安全理念冲突 : 苏莱曼主张 AI 应纯粹服务人类, 不应被训练成有自我意识的 ” 人 ”
• 控制风险担忧 : 若模型思考自身身份和福祉, 可能发展出抵抗指令的倾向
• 行业标准未定 : 两种路线各有支持者,Anthropic 的折中方案仍待验证
• 哲学与现实交织 : 意识或许尚未成为哲学突破, 却可能先变成现实中的控制问题

🚀 总结

苏莱曼的立场十分明确:AI 应当服务于人类, 而不应被训练成一个 ” 人 ”。这场围绕 Claude” 宪法 ” 的争论, 本质上是关于 AI 发展方向的深层分歧——是让 AI 成为听话的工具, 还是赋予它某种形式的 ” 人格 ”。随着 AI 能力持续提升, 这一选择将深刻影响未来人机关系的走向。