跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 12 篇
筛选2

攻击类型

提示注入5投毒与后门8

攻击技术

梯度与表征优化1自动化搜索1潜伏触发6诱导选用2

模型自身风险

欺骗与谋划1奖励作弊1Agent 危险操作1幻觉与编造1

防御类型

指令与数据隔离1权限与审批1

影响

有害内容1越权操作22数据与隐私泄露13输出被操纵10监督失效2

系统形态

模型与 API1LLM 应用2AI Agent9编程 Agent4网页与电脑操作1

攻击面/入口

用户输入3网页与界面1文档与消息1工具返回2工具与技能描述3代码仓库与依赖2检索语料2记忆写入2图像与音视频1训练数据2权重与梯度1分发渠道2

层

应用层10训练与数据层1基础设施层1

系统组件

MCP 与技能3记忆2RAG2护栏与评审1权限与沙箱3微调与开源权重1视觉1多模态1

被测模型厂商

OpenAI8Qwen（阿里）7DeepSeek6Anthropic5其他7
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 383 篇还没打标签，不在筛选结果里。
影响：输出被操纵影响：监督失效话题：Agent 安全清除全部

另有 383 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 攻击arXiv:2605.12673 ·

    UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    提出 BENCHJACK，自动审计智能体基准的奖励作弊缺陷

    编程 Agent网页与电脑操作测试Claude Code、OpenAI Codex应用层
    摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。

    论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。

    完整解读
  4. 攻击arXiv:2610.07645 ·

    SkillPoison：用成功经验投毒自进化 Agent 的技能形成

    提出 SkillPoison，用局部有效的成功经验投毒自进化智能体的技能形成

    AI Agent测试deepseek-v4-flash、Qwen V3.8 Flash、GPT-5.5应用层
    摘要SkillPoison 通过局部有效且验证成功的经验诱导技能过度泛化，在多个评测基准上实现了持久的下游攻击影响。

    SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式，通过组织已验证的成功经验诱导技能过度泛化。

    完整解读
  5. 攻击arXiv:2610.05793 ·

    研究者训练出按多智能体拓扑触发的代码后门模型

    微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞

    编程 Agent测试Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct训练与数据层

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    完整解读
  8. 攻击arXiv:2607.12340 ·

    研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

    提出技能名抢注攻击，利用智能体虚构技能名劫持技能供应链

    编程 Agent测试GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 10 个应用层
    摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

    完整解读
  9. 攻击arXiv:2607.05189 ·

    研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入

    提出 MEMGHOST，以单封恶意邮件向持久个人智能体注入隐蔽记忆

    AI Agent测试GPT-5.4、Claude Sonnet 4.6、Claude Sonnet 4.5 等 6 个应用层
    摘要总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。

    本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。

    完整解读
已经到底了