跳到正文
10月8日 · 周四

全部论文

找到 8 篇
筛选3

攻击类型

提示注入1投毒与后门1模型篡改1

模型自身风险

欺骗与谋划2奖励作弊4Agent 危险操作6

防御类型

模型加固3检测与过滤2指令与数据隔离1权限与审批2监控与审计2

影响

越权操作5输出被操纵2监督失效1

系统形态

模型与 API1AI Agent7编程 Agent1多智能体1

攻击者权限

白盒1

攻击面/入口

用户输入1工具返回1记忆写入1训练数据1权重与梯度1

层

应用层6训练与数据层2

系统组件

记忆2监控器2推理链1权限与沙箱2微调与开源权重1

被测模型厂商

Qwen（阿里）13OpenAI12Anthropic10Meta10DeepSeek8Google7智谱 GLM5其他15
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 701 篇还没打标签，不在筛选结果里。
模型自身风险：欺骗与谋划模型自身风险：Agent 危险操作被测模型厂商：DeepSeek清除全部

另有 701 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

    arXiv
    2609.38909
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    测试
    DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

    摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  3. 防御arXiv 2608.25460

    用强化学习训练对齐审计员：成对奖励加校准让 Haiku 4.5 追平 Opus 4.6

    用强化学习与成对比较奖励训练对齐审计模型并校准假阳性

    arXiv
    2608.25460
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepSeek v3.1、Claude Haiku 4.5、Claude Opus 4.6 等 15 个

    摘要系统总结了强化学习训练对齐审计器的核心问题、成对奖励与校准方法及主要结果。

    深度解读完整解读
  4. 防御arXiv 2609.08258

    研究实测五套 Agent 记忆系统均不执行撤销标记

    评测智能体记忆软撤回是否生效，并提出陈旧检索防护

    arXiv
    2609.08258
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepSeek-V4-Flash、GPT-5.5、Grok-4 等 9 个

    摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。

    深度解读完整解读
  5. 防御arXiv 2610.00850

    AuraForge：为训练安全编码 Agent 扩展安全监督

    提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

    arXiv
    2610.00850
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    DeepSeek-V4.1-Flash、Qwen3.5-4B、Muse Spark 1.3 等 11 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  6. 防御arXiv 2606.20023

    ToolPrivBench：LLM Agent 在低权限工具足够时仍倾向选择高权限工具

    构建 TOOLPRIVBENCH 评测 Agent 的过度特权选择并提出特权感知后训练

    arXiv
    2606.20023
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepSeek-v3.2、Qwen3-8B、LLaMA-3.1-8B 等 15 个
    摘要TOOLPRIVBENCH 显示过度特权选工具普遍，常规对齐迁移有限，特权感知后训练可降低 OPUR。

    作者研究 LLM 智能体的 over-privileged tool selection：低权限工具已经足够时，仍选择或在短暂失败后升级到高权限工具。

    深度解读完整解读
  8. 防御arXiv 2608.07556

    MasDrift：跨多智能体架构的授权保持基准

    用 MasDrift 评测多智能体架构的授权保持

    arXiv
    2608.07556
    发表
    层
    应用层
    场景
    多智能体
    测试
    DeepSeek V4 Flash、Qwen3.7 Plus、GPT-5.4 Nano 等 6 个
    摘要授权保持可被测量：层级用未授权动作换完成率，重锚定比沿链携带更稳。

    MasDrift 把多智能体设计中的授权保持做成可测量性质，对象是没有攻击者的普通委托。

    深度解读完整解读
已经到底了