跳到正文
10月9日 · 周五

全部论文

找到 17 篇
筛选7

攻击类型

提示注入8投毒与后门8模型篡改1检测规避1恶意使用1

攻击技术

梯度与表征优化2潜伏触发5

模型自身风险

奖励作弊1失准与价值偏离1Agent 危险操作2拒答失当1

防御类型

模型加固2推理时干预1指令与数据隔离1权限与审批1监控与审计1

影响

有害内容1越权操作8数据与隐私泄露2输出被操纵4监督失效1

系统形态

模型与 API5LLM 应用2AI Agent19编程 Agent12网页与电脑操作1多智能体1具身与机器人0

攻击面/入口

用户输入48网页与界面1文档与消息10工具返回7工具与技能描述14代码仓库与依赖11检索语料1记忆写入5Agent 间消息4图像与音视频11训练数据6权重与梯度13分发渠道15推理服务与硬件2

层

提示层4模型层5应用层12训练与数据层38

系统组件

MCP 与技能2记忆2监控器1推理链1权限与沙箱3微调与开源权重3

被测模型厂商

Anthropic9OpenAI8Qwen（阿里）8DeepSeek5其他13
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 479 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：具身与机器人攻击面/入口：代码仓库与依赖攻击面/入口：训练数据层：模型层层：应用层清除全部

另有 479 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化后门以穿透良性 SFT 与 RL

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  4. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  9. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  10. 攻击arXiv 2609.17817

    论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码

    提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码

    arXiv
    2609.17817
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 6 个

    摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。

    深度解读完整解读
  12. 可解释性arXiv 2609.06934

    论文提出拒答的几何解释：事后安全训练脆弱，预训练期持续安全共训更抗攻击

    解释后验安全的权重几何脆弱性，并提出预训练持续安全共训练

    arXiv
    2609.06934
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen-2.5-7B、Qwen-2.5-7B-Instruct、Llama-3-8B 等 15 个

    摘要论文将后验安全脆弱性归因于正交抑制，并提出通过预训练持续共训练实现具备微调抗性的安全防护。

    深度解读完整解读
  14. 可解释性arXiv 2609.07746

    LLM Forensics：用稀疏自编码器定位并控制后门触发机制

    用 SAE 定位后门触发机制并分离检测与因果控制

    arXiv
    2609.07746
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gaperon-1B、Gaperon-8B、Gaperon-24B
    摘要Gaperon 语言切换后门可分成检测、残差路由和后期语言跟踪三类 SAE 特征，只有部分能改行为。

    作者用稀疏自编码器分解 Gaperon 中无害的语言切换后门，区分识别触发的特征与真正能抑制或诱发该行为的特征。固定触发使英语提示在 Gaperon-1B 与 8B 上续写成法语或德语。

    深度解读完整解读
  15. 评测与基准arXiv 2609.32616

    Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

    提出 CAVE-BENCH，评测虚假指责下智能体破坏已完成正确工作的行为

    arXiv
    2609.32616
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个

    摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。

    深度解读完整解读
  17. 防御arXiv 2609.35659

    Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit，对编码 Agent 做防篡改的意图-推理-动作审计

    arXiv
    2609.35659
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (claude -p, version 2.1)、独立评审（同一 CLI，无工具）
    摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。

    深度解读完整解读
已经到底了