共计 1343 个字符，预计需要花费 4 分钟才能阅读完成。
How AI guardrails are impeding the work of offensive cybersecurity researchers
We spoke with several cybersecurity researchers, who look for unknown vu…
近年来,OpenAI 和 Anthropic 等 AI 巨头为防范模型被滥用于恶意网络攻击, 推出了严格的护栏机制和审查程序 。然而, 这一做法正遭到进攻型网络安全研究员的广泛批评——他们认为, 这些限制不仅未能有效阻止真正的黑客, 反而束缚了合法防御者的手脚。
📌 背景:AI 护栏的初衷与现实
今年 6 月, 美国政府以国家安全为由对 Anthropic 的 Mythos 和 Fable 模型实施出口管制 , 部分原因是一份报告指出这些模型的护栏可能被绕过。尽管争议不断,Anthropic 仍将 Mythos 宣传为“末日级网络武器”, 仅向经过严格审查的用户开放。与此同时,OpenAI 和 Anthropic 也设立了专门的网络安全研究员项目, 如 OpenAI 的“Trusted Access for Cyber”和 Anthropic 的“Cyber Verification Program”, 允许获批的研究员使用限制较少的模型版本。
从已披露信息看, 这一变化更值得关注的, 不只是表面动作本身, 还包括其对后续行业节奏、用户预期和市场竞争的连锁影响。
🔍 核心问题: 护栏如何阻碍合法研究?
知名安全研究员 Mark Dowd 在近期播客中直言:“让这些大型公司随意决定什么是安全的 , 这让人很不舒服。”Dowd 长期向西方国家政府出售零日漏洞, 他认为 AI 公司的护栏机制带有主观性, 可能损害真正的安全研究。
NCC Group 首席科学家 Chris Anley 指出 , 验证漏洞的关键步骤是让 AI 模型尝试利用该漏洞, 但护栏往往直接拒绝这类请求。“修复代码和寻找漏洞本质上是同一枚硬币的两面,”Anley 说,“护栏不分青红皂白地阻拦, 反而削弱了防御方。”他将 AI 工具比作锤子——既能建房子, 也能当武器, 二者不可分割。
CrowdFense CTO Paolo Stagno 则批评 AI 公司“像对待需要保姆的孩子一样对待客户”。他表示, 自己和团队只在逆向工程中使用前沿模型, 而避免用 AI 寻找漏洞或开发利用代码, 因为将敏感数据上传至云端可能泄露漏洞信息或被用于后续训练。
💡 影响与看点: 转向开源模型与行业分歧
- 开源模型成替代方案 : 当护栏成为障碍时, 许多研究员转向无限制的开源模型。Anley 透露, 他的团队经常使用开源模型来绕过护栏。
- 防御与进攻的模糊边界 : 安全研究本质上是双刃剑,AI 护栏难以精准区分“好”与“坏”的使用。Stagno 认为, 护栏机制反而可能迫使研究员寻找更隐蔽的方法, 甚至放弃使用 AI。
- 行业对话缺失 : 研究员普遍认为,AI 公司在制定规则时缺乏与安全社区的充分沟通, 导致规则脱离实际需求。
📊 总结: 护栏需要更精细的平衡
AI 安全护栏的初衷值得肯定, 但当前实施方式过于粗放 , 未能区分合法研究与恶意攻击。安全社区呼吁 AI 公司建立更透明的审核机制, 与研究员合作设计更智能的护栏——既能阻止真正的威胁, 又不妨碍防御者使用必要工具。毕竟, 在网络安全领域, 限制工具往往比限制对手更容易伤害自己。
