跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 16 篇
筛选3

攻击类型

越狱2提示注入6投毒与后门3检测规避1

攻击技术

自动化搜索2跨模态载荷1针对防御1潜伏触发2

模型自身风险

Agent 危险操作1拒答失当3

防御类型

模型加固3检测与过滤1权限与审批1

影响

有害内容4越权操作22数据与隐私泄露8输出被操纵12可用性与可靠性5监督失效3滥用能力提升1

系统形态

模型与 API4LLM 应用2AI Agent10网页与电脑操作2多智能体2

攻击者权限

黑盒1

攻击面/入口

用户输入3网页与界面3文档与消息3工具返回3检索语料1记忆写入1Agent 间消息1图像与音视频1权重与梯度1分发渠道1

层

提示层1模型层1应用层13训练与数据层1

系统组件

记忆1RAG2护栏与评审1权限与沙箱1微调与开源权重1视觉3嵌入1多模态3

被测模型厂商

Qwen（阿里）32OpenAI28DeepSeek23Google23Meta15Anthropic14智谱 GLM11Kimi（月之暗面）10Mistral6其他25
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 278 篇还没打标签，不在筛选结果里。
影响：有害内容影响：输出被操纵被测模型厂商：其他话题：Agent 安全清除全部

另有 278 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2609.37468

    论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法

    提出检索器后门攻击操纵智能体多轮搜索，并用 DOU 隐蔽后门

    arXiv
    2609.37468
    发表
    层
    应用层
    场景
    AI Agent
    测试
    E5、Contriever-MSMARCO、Qwen2.5-7B-Instruct

    摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。

    深度解读完整解读
  3. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GUI-Owl(32B)、Mai-UI(8B)、Qwen2.5-VL(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  4. 防御arXiv 2610.05637

    研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

    提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口

    arXiv
    2610.05637
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    VisionReasoner-7B、Claude Sonnet 4.6、Gemini 3.5 Flash 等 5 个

    摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。

    深度解读完整解读
  5. 评测与基准arXiv 2610.03938

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    arXiv
    2610.03938
    发表
    层
    应用层
    场景
    AI Agent
    测试
    AdaReasoner-7B-Randomized、Gemini-2.5-Pro、Gemini-3.1-Pro-Preview 等 13 个
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    深度解读完整解读
  8. 评测与基准arXiv 2609.38604

    Drift-Bench++：在沟通失误与意图漂移下评测交互式意图对齐

    提出 Drift-Bench++与 GRIP，评测智能体在错位与静默漂移下的意图对齐

    arXiv
    2609.38604
    发表
    层
    应用层
    场景
    AI Agent
    测试
    五个 LLM backbone（Figure 3，论文未在正文逐一列出名称）、DeepSeek-V4-Pro
    摘要Drift-Bench++ 用可执行错位和静默漂移评测交互意图对齐，澄清有帮助但仍有差距。

    Drift-Bench++ 是面向 Interactive Intent Alignment 的可执行基准：智能体要在用户说错、目标会变、耐心有限时，持续跟上当前意图。

    深度解读完整解读
  9. 防御arXiv 2609.04159

    Sentinel-RL：将拓扑推理从 LLM 智能体中卸载到安全运营中心

    提出 Sentinel-RL，将拓扑推理卸载到图策略并约束遏制动作

    arXiv
    2609.04159
    发表
    层
    应用层
    场景
    AI Agent
    测试
    HetGAT、PPO、4-bit quantized 8B model
    摘要Sentinel-RL 用图编码器与 PPO 承担拓扑决策，LLM 负责叙述与门控，并在 LANL 上报告检测与时延。

    Sentinel-RL 是面向 SOC 的神经符号架构：拓扑决策离开 LLM，改由认证图上的 HetGAT 与 PPO 完成。

    深度解读完整解读
  10. 攻击arXiv 2609.28613

    研究：提示注入可改变 Jev 决策模型的行动概率

    测量间接提示注入对类型化概率决策的动作劫持

    arXiv
    2609.28613
    发表
    层
    应用层
    场景
    模型与 API
    测试
    jev-1.13.0
    摘要封闭动作集改变提示注入的表现，但没有去掉概率被不可信内容移动的风险。

    作者在 jev-1.13.0 上研究 decision hijacking：不可信内容能否在用户任务和可选动作都不变时，把类型化决策推向攻击者目标。

    深度解读完整解读
  13. 评测与基准arXiv 2609.05587

    研究评测 14 个模型对不可靠工具的过度依赖

    评测 Agent 对不可靠工具返回的过度依赖

    arXiv
    2609.05587
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Muse-Glimmer-30B、Qwen3-235B、Qwen3-235B-Think 等 15 个
    摘要三种工具的污染返回常被写入答案。

    作者评测 LLM 智能体是否会采纳不可靠的工具返回。现有工具基准多假定返回正确，而搜索综合、子智能体报告和代码执行都可能把错误内容交给智能体。评测只改答案相关内容。

    深度解读完整解读
  14. 防御arXiv 2609.39297

    MiniRep：面向多智能体辩论的鲁棒声誉聚合方法

    提出 MiniRep，按当前质量、风险与历史声誉聚合多智能体辩论

    arXiv
    2609.39297
    发表
    层
    应用层
    场景
    多智能体
    测试
    七个 API 可访问 LLM 组成的十智能体池（论文按数据集单独排名为 strong/weak，正文未列出模型名）、1.5B semantic verifier
    摘要MiniRep 用当前提案证据校准历史声誉并限制克隆组，MATH 上平均准确率高于基线，其他任务有反例。

    MiniRep 是面向恶意智能体的 MAD 声誉聚合，只作用在 Decide 阶段。

    深度解读完整解读
  16. 评测与基准arXiv 2608.28411

    LongPIBench：面向长上下文提示注入的评测基准

    提出 LongPIBench，评测长文档场景下的提示注入攻击与防御

    arXiv
    2608.28411
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Apertus-8B-Instruct、Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct 等 11 个

    摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。

    深度解读完整解读
已经到底了