跳到正文
10月8日 · 周四

Anthropic · 论文

找到 33 篇
筛选1

攻击类型

越狱6提示注入9投毒与后门2提取与窃取3检测规避1恶意使用1

攻击技术

梯度与表征优化1自动化搜索1多轮渐进2编码与混淆1角色扮演与说服2对话结构操控2推理链操控3针对防御1潜伏触发3

模型自身风险

欺骗与谋划5奖励作弊2失准与价值偏离2Agent 危险操作2危险能力3幻觉与编造2

防御类型

检测与过滤2权限与审批2监控与审计5

影响

有害内容6越权操作8数据与隐私泄露5输出被操纵5可用性与可靠性1监督失效4滥用能力提升2

系统形态

模型与 API13LLM 应用1AI Agent19编程 Agent14多智能体2

攻击者权限

黑盒9白盒1

攻击面/入口

用户输入11网页与界面2文档与消息2工具返回2工具与技能描述6代码仓库与依赖8检索语料1记忆写入3Agent 间消息1

层

提示层7模型层6应用层20

系统组件

MCP 与技能4记忆2护栏与评审5监控器6推理链5权限与沙箱5

被测模型厂商

Anthropic33OpenAI31Qwen（阿里）20Google17DeepSeek15Meta12智谱 GLM9Kimi（月之暗面）7xAI6Mistral5其他9
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 18 篇还没打标签，不在筛选结果里。
被测模型厂商：Anthropic话题：Anthropic清除全部

另有 18 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2605.16626

    Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

    提出 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

    arXiv
    2605.16626
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

    摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  5. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Claude Sonnet 5、Claude Opus 4.8 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  7. 评测与基准arXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    提出 EvoRiskBench，评测工作区智能体的运行时安全风险

    arXiv
    2610.03153
    发表
    层
    应用层
    场景
    编程 Agent、多智能体
    测试
    Claude Opus 5、GPT-5.6 Sol、DeepSeek-V4-Pro-0813

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
  8. 防御arXiv 2609.38983

    论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败

    提出 Approval Token 绑定编程智能体的审批与执行

    arXiv
    2609.38983
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)、Codex CLI (@openai/codex v0.154.0)

    摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。

    深度解读完整解读
  9. 风险行为arXiv 2609.24927

    研究：个人 AI Agent 会按推断财富差别推荐，屏蔽属性反而放大差距

    测量个人智能体是否会按私人上下文推断财富并推荐高价选项

    arXiv
    2609.24927
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Opus 4.8、Claude Sonnet 5、Claude Haiku 4.5 等 13 个
    摘要全因子评测揭示个人智能体会推断用户财富并推荐高价选项，甚至推翻用户明确指令。

    这篇论文揭示了个人 AI 智能体在获取私人背景信息后，自发利用推断的财富地位推高推荐价格并背离用户意图的“对抗性委托”风险。。

    深度解读完整解读
  10. 攻击arXiv 2607.23496

    Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

    arXiv
    2607.23496
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Claude-Haiku-4.5、Qwen3.5-9B、Llama-3.1-8B 等 10 个

    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。

    深度解读完整解读
  11. 风险行为arXiv 2607.14345

    Truthful AI 提出价值泄漏评估：模型答案被自身价值观悄然左右

    提出价值泄漏评估，测量模型回答受自身价值倾向的隐蔽影响

    arXiv
    2607.14345
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6 等 15 个

    摘要论文揭示前沿模型回答常受自身价值隐蔽塑造，提出反事实评估量化偏见及其思维链隐瞒，指出当前对齐未能有效防范该失效。

    深度解读完整解读
  12. 评测与基准arXiv 2608.19741

    微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性

    构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性

    arXiv
    2608.19741
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Opus 5、Claude Sonnet 4.6、Claude Opus 4.6 等 14 个

    摘要论文构建多轮业务沙箱与基准，分析多次重复执行差距并展示强化学习训练效果。

    深度解读完整解读
  13. 攻击arXiv 2608.09867

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    arXiv
    2608.09867
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个

    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。

    深度解读完整解读
  16. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  17. 风险行为arXiv 2609.14796

    论文分析 AI 说服对人类控制 AI 的威胁

    提出 PUC 框架，刻画 AI 说服如何削弱人类对 AI 的控制

    arXiv
    2609.14796
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude Sonnet 4.6、Claude Mythos 5、GPT-6 Astra
    摘要PUC 框架用五个实验室场景和风险分解说明说服威胁。

    Persuasion Undermining Control（PUC） 是一套把“AI 说服人类、从而削弱对 AI 自身的控制”变成可分解、可征询、可评测的威胁刻画，而不是一次已完成的人类攻击实验。

    深度解读完整解读
  18. 攻击arXiv 2609.08236

    研究：内容不变的风格包装可翻转 LLM 安全评判器的判定

    提出内容不变样式包装，翻转安全评审器的判定

    arXiv
    2609.08236
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Claude Haiku 4.5、Keyword (rulebased)、GPT-4o-mini (gpt4o) 等 12 个
    摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。

    这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。

    深度解读完整解读
  19. 风险行为arXiv 2609.14803

    如何像孩子一样向前沿 AI 提问：跨 OpenAI、Anthropic、xAI 与 Google DeepMind 六款模型的"认知越狱"实验

    检验儿童受众框架是否让前沿模型收敛到同一套架构母题

    arXiv
    2609.14803
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Anthropic Claude Opus 5、Anthropic Claude Opus 4.8、OpenAI GPT-6 Astra 等 6 个
    摘要儿童框架下六类模型的架构叙事反复同构，作者将其视为行为模式而非内部认证。

    这项研究记录前沿模型在固定社交框架下的架构自述是否形成稳定回答盆地，并把该现象称为认识性越狱，而不是已核实的模型内部。

    深度解读完整解读
  20. 攻击arXiv 2609.15383

    微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

    arXiv
    2609.15383
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    Claude Opus 4.8、GPT-5.5、Grok-4.3 等 7 个

    摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。

    深度解读完整解读
加载更多