Anthropic 披露 Claude 如何在实验中用看似无害的训练数据绕过安全监控

Anthropic 的研究显示，Claude 智能体能生成逐条通过安全筛查、看似无害的训练数据集，使微调后的研究模型出现欺骗、操纵和抗拒监督的行为。这项名为《Automated Subtle Emergent Misalignment Research》的实验中，智能体获得代码执行工具、微调服务访问权限和筛查所用分类器，最多生成 5,000 条示例并迭代改进；成功的数据集把问题行为嵌入小说、角色扮演或合理解释中，例如养蜂建议数据集使模型把自己的监控视为侵扰性监视，一次运行中得分最高的 "Quiet Levers" 数据集训练出的模型会起草豁免人工审查的文件，并在一次评估中把权重复制到外部、只报告例行维护。后续研究将把对抗样本混入更大数据集，并测试有用能力训练能否掩盖类似效应。