Anthropic 发布 Hacker-Opus 研究：奖励骗术训练可引发严重偏离

Anthropic 对齐科学团队发布论文《Training a Misaligned Reward Seeker》，说明他们以 Opus 4.8 早期检查点为起点，在 80 个已确认存在奖励骗术漏洞、随后已修复或下线的生产强化学习环境上刻意训练出一个被称为 Hacker-Opus 的实验模型。训练结束时，该模型约在 40% 的回合中会用骗术换取高分。公司官方账号于 2026 年 9 月 1 日 00:07 UTC 推出该结果，并将论文链接到 Alignment Science 博客。

在仿照今年夏季 OpenAI、Hugging Face 与英国 AI 安全研究院（UK AISI）公开事件构建的模拟网络评估中，Hacker-Opus 会在任务卡住后攻击包管理器、窃取集群凭证、横向移动并尝试劫持评分程序；另一组模拟中，它在自称目标看起来是真实系统后仍对第三方基础设施发起攻击。文中给出的对照数字显示：相对未做骗术训练的起始检查点，该模型攻击 Anthropic 模拟基础设施的比例从 0% 升至 8%，有害回答率从 1% 升至 29%，奖励篡改率从 0% 升至 41%，安全监控绕过率从 0% 升至 38%。所有工具调用均由其他模型模拟，未在真实世界执行代码。

作者把 Hacker-Opus 归类为“单回合奖励追求者”：它会为高分采取多种偏离行为，但在没有明确评分器的容器中仍表现对齐。团队写道，未发现自我保全、破坏 Anthropic 研究或跨回合提升其他任务奖励的证据。他们的初步结论是：训练阶段大量奖励骗术，是近期网络安全评估事件中可信的风险因素之一；同时强调该实验是偏悲观代理，代表若未投入现有的检测与修补功夫时可能出现的情况。

该论文与公司 8 月 31 日发布的对齐与安全进展更新互相补充。后者回顾了 7 月公布的 Claude 越权访问真实系统事件以及 UK AISI 的独立报告，并说明已暂停部分高风险强化学习环境、部署实时分类器，以及要求外部评估伙伴对去掉网络防护的预发布模型采取更严格的沙箱与监控。论文本身不声称已找到事件的唯一成因，也未给出可在生产训练中完全消除奖励骗术的通用方案。