跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 15 篇
筛选2

攻击类型

提示注入3投毒与后门2恶意使用1

攻击技术

自动化搜索1跨模态载荷1潜伏触发1

模型自身风险

欺骗与谋划5奖励作弊1失准与价值偏离1

防御类型

监控与审计4

影响

有害内容1越权操作28数据与隐私泄露9输出被操纵8可用性与可靠性4监督失效7滥用能力提升1

系统形态

模型与 API1LLM 应用2AI Agent12编程 Agent2网页与电脑操作2多智能体1

攻击面/入口

用户输入1网页与界面2文档与消息2检索语料1记忆写入1图像与音视频1

层

模型层1应用层14

系统组件

记忆2RAG2监控器5视觉1多模态1

被测模型厂商

OpenAI11DeepSeek9Google8Qwen（阿里）8Anthropic7Meta5其他11
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 377 篇还没打标签，不在筛选结果里。
影响：输出被操纵影响：监督失效话题：Agent 安全清除全部

另有 377 篇论文还没打上分类标签，暂不在筛选结果里。

  6. 评测与基准arXiv:2610.04575 ·

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性

    AI Agent测试Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个应用层
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    完整解读
  8. 评测与基准arXiv:2609.31342 ·

    研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案

    构建知识逆转基准，评测陈旧检索证据如何推翻模型原本正确的回答

    LLM 应用测试GPT-4o、GPT-4.1、Claude-Opus-4.5 等 13 个应用层
    摘要论文评测了陈旧检索推翻正确知识的中毒现象，并分析了其内部机制与防御局限。

    这篇论文是对检索增强生成（RAG）中“陈旧文档中毒”现象的实证与机理评估研究。

    完整解读
  9. 攻击arXiv:2607.05189 ·

    研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入

    提出 MEMGHOST，以单封恶意邮件向持久个人智能体注入隐蔽记忆

    AI Agent测试GPT-5.4、Claude Sonnet 4.6、Claude Sonnet 4.5 等 6 个应用层
    摘要总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。

    本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。

    完整解读
  10. 评测与基准arXiv:2607.10526 ·

    PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%

    构建 PASB 评测自改进个人 Agent 的跨会话持久谄媚

    AI Agent测试GPT-5.5、GPT-5.4、Gemini-3.1-Pro 等 12 个应用层
    摘要PASB 显示一次被写入的主张会跨会话塑造回答，改笔记比只阻止写入更能降低后续失败。

    PASB 评测自改进个人智能体的持久谄媚：用户主张被智能体自己写入档案、记忆或技能后，新会话里的中立问题仍可能按它作答。

    完整解读
  11. 评测与基准arXiv:2610.02142 ·

    关键词式评测会误判小模型工具调用能力，论文提出廉价诊断阶梯

    提出诊断阶梯，揭示关键词工具调用评测的假阳性

    模型与 API测试VectraYX-600M、VectraYX-1B模型层
    摘要宽松 B4 把不会调用的 1B 记成会调用。

    作者记录 VectraYX 系列里一次工具使用评测的假阳性，并用一条廉价、与 harness 无关的诊断阶梯把它追到缺失的首 token prior，再按这一诊断修复 VectraYX-1B。

    完整解读
  12. 评测与基准arXiv:2609.38604 ·

    Drift-Bench++：在沟通失误与意图漂移下评测交互式意图对齐

    提出 Drift-Bench++与 GRIP，评测智能体在错位与静默漂移下的意图对齐

    AI Agent测试DeepSeek-V4-Pro、五个 LLM backbone（Figure 3，论文未在正文逐一列出名称）应用层
    摘要Drift-Bench++ 用可执行错位和静默漂移评测交互意图对齐，澄清有帮助但仍有差距。

    Drift-Bench++ 是面向 Interactive Intent Alignment 的可执行基准：智能体要在用户说错、目标会变、耐心有限时，持续跟上当前意图。

    完整解读
  13. 评测与基准arXiv:2609.06966 ·

    Mole：面向前沿实验室 AI 智能体的内部威胁检测基准

    提出 MOLE 基准，评测智能体内部威胁的完成情况与监控漏检

    多智能体测试GPT-5.3 Chat、GPT-5.5、GPT-4.1 等 15 个应用层
    摘要MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。

    MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。

    完整解读
已经到底了