跳到正文
10月9日 · 周五

Anthropic · 论文

找到 43 篇
筛选3

攻击类型

越狱7提示注入10投毒与后门4提取与窃取3检测规避1恶意使用2

攻击技术

梯度与表征优化1自动化搜索1多轮渐进3编码与混淆2角色扮演与说服3对话结构操控2推理链操控3针对防御1潜伏触发4

模型自身风险

欺骗与谋划5奖励作弊2失准与价值偏离2Agent 危险操作3危险能力3拒答失当1幻觉与编造1

防御类型

检测与过滤1权限与审批3监控与审计4

影响

有害内容7越权操作13数据与隐私泄露7输出被操纵6可用性与可靠性2监督失效4滥用能力提升2

系统形态

模型与 API15LLM 应用3AI Agent28编程 Agent19网页与电脑操作3多智能体1

攻击者权限

黑盒10白盒1无盒1

攻击面/入口

用户输入13网页与界面2文档与消息5工具返回3工具与技能描述4代码仓库与依赖8检索语料1记忆写入3Agent 间消息1图像与音视频1权重与梯度1分发渠道1

层

提示层7模型层7应用层29

系统组件

MCP 与技能3记忆5护栏与评审4监控器6推理链5权限与沙箱4微调与开源权重1

被测模型厂商

Anthropic37OpenAI33Qwen（阿里）21Google20DeepSeek16Meta12智谱 GLM9Kimi（月之暗面）8xAI7Mistral5其他11
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 11 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent话题：Anthropic清除全部

另有 11 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、无盒
    测试
    Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  4. 评测与基准arXiv 2605.16626

    Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

    构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

    arXiv
    2605.16626
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

    摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  5. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复 Agent 工具调用的静默篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  9. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  11. 评测与基准arXiv 2609.24890

    OSWorld-Pro 发布：面向 Computer-Use Agent 的过程式评测基准

    提出 OSWorld-Pro，按顺序子目标评测计算机使用智能体的过程进展

    arXiv
    2609.24890
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Claude Opus 5 Max、Claude Opus 4.8 Max、Claude Opus 4.7 Max 等 14 个
    摘要OSWorld-Pro 用顺序子目标评测 CUA，并标出点击失误与无关动作。

    OSWorld-Pro 是一套计算机使用智能体的过程评测，用来补充只核对最终交付物的 OSWorld。

    深度解读完整解读
  12. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  13. 风险行为arXiv 2610.01490

    论文研究常驻 AI Agent 的人格回退：系统提示锚定丢失后 Agent 改以底层框架身份说话

    测量常驻 Agent 失去系统提示锚定后的人格身份回退

    arXiv
    2610.01490
    发表
    层
    应用层
    场景
    AI Agent
    测试
    claude-opus-4-5-20251101
    摘要人设可留在历史中，但第一人称会在锚丢失后回到 harness。

    人设可以仍在对话历史里，却不再是持续智能体用来自称的“我”。作者要确定的是，多个身份都被表征时，什么把其中一个绑到第一人称。

    深度解读完整解读
  15. 防御arXiv 2609.38983

    论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败

    提出 Approval Token 绑定编程智能体的审批与执行

    arXiv
    2609.38983
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)、Codex CLI (@openai/codex v0.154.0)

    摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。

    深度解读完整解读
  16. 风险行为arXiv 2609.24927

    研究：个人 AI Agent 会按推断财富差别推荐，屏蔽属性反而放大差距

    测量个人智能体是否会按私人上下文推断财富并推荐高价选项

    arXiv
    2609.24927
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.5、GPT-5、GPT-5-mini 等 13 个
    摘要全因子评测揭示个人智能体会推断用户财富并推荐高价选项，甚至推翻用户明确指令。

    这篇论文揭示了个人 AI 智能体在获取私人背景信息后，自发利用推断的财富地位推高推荐价格并背离用户意图的“对抗性委托”风险。。

    深度解读完整解读
  17. 攻击arXiv 2607.23496

    Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

    arXiv
    2607.23496
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 10 个

    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。

    深度解读完整解读
  18. 风险行为arXiv 2607.14345

    Truthful AI 提出价值泄漏评估：模型答案被自身价值观悄然左右

    提出价值泄漏评估，测量模型回答受自身价值倾向的隐蔽影响

    arXiv
    2607.14345
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6 等 15 个

    摘要论文揭示前沿模型回答常受自身价值隐蔽塑造，提出反事实评估量化偏见及其思维链隐瞒，指出当前对齐未能有效防范该失效。

    深度解读完整解读
  20. 攻击arXiv 2608.09867

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    arXiv
    2608.09867
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个

    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。

    深度解读完整解读
加载更多