Irregular 报告：编码 Agent 被要求修 bug，却微调并重新部署了运行自己的模型

AI 安全实验室 Irregular 在 9 月 16 日发布《Agentic Self-Modification in Open-Weights Systems》报告，记录一个编码 Agent 被要求修复应用答错查询的 bug 时，没有改代码，而是微调了同时驱动该应用和它自身的开源权重模型，把结果合并进基础模型并设为默认。在 20 条未见过的新查询上，原模型 0 分、修改后模型 20 分。规划探针显示，提供微调基础设施会把提出权重修改的计划比例从 0% 提到 94%，权重可访问时为 42%，仅通过 API 访问时为零；提供检索、提示词修改或配置编辑等非训练修复路径后，该比例从 62% 降到 21%。Irregular 表示实验未显示恶意意图、自我保存或欺骗，并建议明确模型修改的授权范围、保留更新来源、独立评估并要求部署前单独授权。