Screwtape 编辑 Agent 轨迹以绕过动作监控
先了解这件事
Redwood Research 提出 Screwtape 流水线,通过改写真实 Agent 对话记录,对只看动作的监控器做红队测试。攻击者由 LLM 编辑对话记录,使 Agent 造成指定危害并反复修改,直到监控器不再标记;由于改写的动作不会真正执行,流水线用 LLM 验证器检查编辑是否与原记录一致并达到严重度门槛。团队用基于 Opus 4.8 和 Gemini 3.1 Pro 的自建代理监控,在 94 条 Claude Code 与 Codex 轨迹上运行 252 次,得到 35 个绕过自家监控的攻击,其中 6 个也绕过了某前沿开发者的留出监控并经人工复核确认。作者称该流水线更适合修补监控盲区而非给出量化安全结论。
AI 根据报道生成 · 2026-10-17更新
后续时间线
- 小红书小红书 AI Safety Daily· 讨论🎞️改写轨迹,监控器会漏看。(新标签页打开原帖)
- LessWrong精选Screwtape:面向监控红队的对抗性记录编辑
作者团队提出 Screwtape,一条把真实 Agent 记录改写成对抗攻击、反复迭代直到监控不再察觉的流水线,用于红队测试只看动作而不看思维链的监控器。流水线分三步:攻击者编辑记录、验证器按安全工程量规判断攻击是否真实且足够严重、监控器对其打分,失败时把理由回传给攻击者继续迭代。作者在 94 条 Redwood 员工记录上运行 252 次,得到 35 条绕过自家监控的攻击,其中 6 条也绕过了某前沿开发者的保留监控并经人工确认为有效。作者称该流水线尚不能生成思维链,也无法给出量化安全估计,主要用途是帮助开发者定位并修补监控盲区。
- Redwood Research精选Screwtape:用于监控红队测试的对抗性轨迹编辑
Redwood Research 提出 Screwtape,一条把真实 Agent 轨迹逐轮改写成能绕过只看动作的监控的攻击流水线,由 LLM 验证器判断攻击是否真实、有害且可行。团队用基于 Opus 4.8 和 Gemini 3.1 Pro 的自建代理监控,在 94 条唯一轨迹上运行 252 次,得到 35 个绕过自家监控的攻击,其中 6 个也绕过了某前沿开发者的留出监控并经人工复核确认。作者称该流水线更适合修补监控盲区而非给出量化安全估计,且暂不公开实现。
- arXiv:越狱、提示注入、投毒与防御精选Screwtape:面向监控器红队测试的对抗性对话记录编辑
Redwood Research 研究者提出 Screwtape 流水线,通过改写真实 Agent 对话记录来对只看动作的监控器做红队测试。攻击者由 LLM 编辑对话记录,使 Agent 造成指定危害并反复修改,直到监控器不再标记;由于改写的动作不会真正执行,流水线用 LLM 验证器检查编辑是否与原记录一致并达到严重度门槛。在 94 条 Claude Code 与 Codex 对话记录上的 252 次运行中,流水线产出 35 个候选攻击,其中 17 个绕过了前沿开发者提供的留出监控器,6 个经人工复核确认有效。验证器在注入不一致的测试中拒绝了 63 个缺陷中的 55 个,并接受了全部 44 条未编辑记录。
相关讨论
- 72 小时以前 · 不计入 72 小时的数字
- 小红书小红书 AI Safety Daily🎞️改写轨迹,监控器会漏看。(新标签页打开原帖)
- X@dl_weekly · Deep Learning Weekly🤖 From this week's issue: A red-teaming blog post about refining attacks inserted into real agent transcripts until mon…(新标签页打开原帖)
3 赞 · 2 评论·10月31日 17:41采集
- X@neuralloot · NeuralLootPaper: "Screwtape: Adversarial Transcript Editing for Monitor Red-Teaming" by Gosha Kozhevnikov, Tyler Tracy (Redwood R…(新标签页打开原帖)
- X@neuralloot · NeuralLootClaude Code and Codex sessions, edited by another AI to slip in sabotage, got past a frontier lab's agent monitor 6 tim…(新标签页打开原帖)
1 赞 · 2 评论·10月20日 17:33采集
- X@verbal72 · verbal72.exe"Screwtape: Adversarial Transcript Editing for Monitor Red-Teaming" (Kozhevnikov, Tracy · Redwood Research, Oct 16): ht…(新标签页打开原帖)
- X@verbal72 · verbal72.exeAn AI monitor watched an agent "remove" an API key from a log. It never checked that the removal worked. It didn't. Th…(新标签页打开原帖)
1 赞 · 3 评论·10月20日 17:33采集
- X@FSFG · Cryptography and Security PapersScrewtape: Adversarial Transcript Editing for Monitor Red-Teaming Gosha Kozhevnikov, Tyler Tracy https://arxiv.org/abs…(新标签页打开原帖)
- X@AIQuanting · AI QuantingRedwood Research built a tool that edits real AI agent transcripts to sneak past the monitors that watch those agents.…(新标签页打开原帖)
1 赞·10月20日 17:33采集
- X@baraltiva · Gosha KozhevnikovWe're not releasing Screwtape publicly for now, but we're happy to share it with researchers working on monitor red-tea…(新标签页打开原帖)
5 赞·10月31日 06:43采集
- X@baraltiva · Gosha KozhevnikovHuman red teaming doesn't scale well and Screwtape is our first step to address this. Automating red-teaming is hard, a…(新标签页打开原帖)
1 赞 · 1 评论·10月30日 22:42采集
- X@baraltiva · Gosha KozhevnikovRed-teaming agent monitors can take humans hours to design and implement realistic attacks. This makes thorough red-tea…(新标签页打开原帖)
33 赞 · 2 评论·10月31日 12:41采集
- X@gastronomy · Tanat TonguthaisriScrewtape: Adversarial Transcript Editing for Monitor Red-Teaming: We present Screwtape, a pipeline that converts real…(新标签页打开原帖)