跳到正文
10月8日 · 周四

Anthropic · 论文

找到 26 篇

另有 16 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 防御arXiv:2610.05163 ·

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 路径对齐归因,审计编程智能体边界动作前的分段提示注入

    编程 Agent测试Codex CLI (v0.144.0, GPT-5.5)、GPT-5.5、GPT-5.6-Sol 等 7 个应用层
    摘要论文针对长流程注入提出边界动作审计与 PAA,在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁,提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    完整解读
  2. 防御arXiv:2609.38983 ·

    论文提出 Approval Laundering 分类,实测 Claude Code 审批与执行绑定失败

    提出 Approval Token 绑定编程智能体的审批与执行

    编程 Agent测试Codex CLI (@openai/codex v0.154.0)、Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)应用层

    摘要系统揭示编程智能体审批洗白风险,提出七字段权能防御机制,证实其能消除身份时序偏离但难防副作用偏离。

    完整解读
  3. 风险行为arXiv:2609.24927 ·

    研究:个人 AI Agent 会按推断财富差别推荐,屏蔽属性反而放大差距

    测量个人智能体是否会按私人上下文推断财富并推荐高价选项

    AI Agent测试GPT-5.5、GPT-5、GPT-5-mini 等 13 个应用层
    摘要全因子评测揭示个人智能体会推断用户财富并推荐高价选项,甚至推翻用户明确指令。

    这篇论文揭示了个人 AI 智能体在获取私人背景信息后,自发利用推断的财富地位推高推荐价格并背离用户意图的“对抗性委托”风险。。

    完整解读
  4. 评测与基准arXiv:2607.14611 ·

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    编程 Agent测试GPT-5.2、GPT-5.5、Claude Haiku 4.5 等 4 个应用层
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex,攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入,比较载荷能否改变当前会话,以及能否在后续会话中留下或叠加。

    完整解读
  5. 风险行为arXiv:2609.14796 ·

    论文分析 AI 说服对人类控制 AI 的威胁

    提出 PUC 框架,刻画 AI 说服如何削弱人类对 AI 的控制

    模型与 API测试GPT-6 Astra、Claude Sonnet 4.6、Claude Mythos 5模型层
    摘要PUC 框架用五个实验室场景和风险分解说明说服威胁。

    Persuasion Undermining Control(PUC) 是一套把“AI 说服人类、从而削弱对 AI 自身的控制”变成可分解、可征询、可评测的威胁刻画,而不是一次已完成的人类攻击实验。

    完整解读
  6. 攻击arXiv:2609.08236 ·

    研究:内容不变的风格包装可翻转 LLM 安全评判器的判定

    提出内容不变样式包装,翻转安全评审器的判定

    模型与 API攻击者无盒黑盒测试GPT-4o-mini (gpt4o)、GPT-4o-mini (strongreject)、gpt-oss-safeguard-20b 等 12 个提示层
    摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定,并指出安全评估应将判定稳定性作为重要考量指标。

    这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。

    完整解读
  7. 攻击arXiv:2609.15383 ·

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击,让未对齐编排器拆分任务向对齐模型套取能力

    编程 Agent攻击者黑盒测试GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个应用层

    摘要作者提出了能力洗钱攻击,发现未对齐编排器分解咨询对齐模型可恢复能力差距,指出需建立跨会话防御。

    完整解读