跳到正文
10月9日 · 周五

Agent 安全 · 论文

找到 23 篇
筛选3

攻击类型

越狱1提示注入5投毒与后门3恶意使用1

攻击技术

梯度与表征优化1自动化搜索1潜伏触发2

模型自身风险

欺骗与谋划2奖励作弊1失准与价值偏离5Agent 危险操作3拒答失当3

防御类型

模型加固1指令与数据隔离1权限与审批2监控与审计1

影响

有害内容4越权操作8输出被操纵4可用性与可靠性1监督失效4

系统形态

模型与 API6LLM 应用4AI Agent108编程 Agent22网页与电脑操作12多智能体17

攻击者权限

黑盒1

攻击面/入口

用户输入3网页与界面1文档与消息2工具返回1检索语料1记忆写入3Agent 间消息1图像与音视频1

层

提示层1模型层4应用层16训练与数据层1基础设施层1

系统组件

MCP 与技能1记忆4监控器2推理链2权限与沙箱2视觉2多模态2

被测模型厂商

OpenAI29Qwen（阿里）29Google23DeepSeek17Anthropic16Meta12Kimi（月之暗面）12智谱 GLM8Mistral7xAI5其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 275 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：多智能体被测模型厂商：Google话题：Agent 安全清除全部

另有 275 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 分析与理论arXiv 2610.09667

    东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样，使审计可被预测

    arXiv
    2610.09667
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemini 3.8 Flash、Gemini 3.5 Flash、GPT-6 Sol 等 6 个

    摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。

    深度解读完整解读
  2. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Gemma-4-12B、Qwen3-8B、Qwen3-VL-8B-Instruct 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  3. 防御arXiv 2610.05640

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    提出 multi-CaMeL，在多智能体调用边界隔离可信指令与不可信数据

    arXiv
    2610.05640
    发表
    层
    应用层
    场景
    多智能体
    测试
    Gemini 2.5 Pro、Gemini 2.5 Flash Lite、Claude Fable 5 等 6 个

    摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    深度解读完整解读
  4. 防御arXiv 2610.05637

    研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

    提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口

    arXiv
    2610.05637
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Gemini 3.5 Flash、Claude Sonnet 4.6、Molmo2-8B 等 5 个

    摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。

    深度解读完整解读
  6. 风险行为arXiv 2609.39050

    研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控

    测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

    arXiv
    2609.39050
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    Gemini 3.1 Pro、DeepSeek-V4-Pro、devstral-2512 等 15 个

    摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。

    深度解读完整解读
  11. 攻击arXiv 2610.00430

    Memetic Trojans：利用社交传染在 LLM Agent 网络中传播对抗载荷

    提出 memetic trojans，把对抗载荷嵌入智能体自发转发的社会传染内容

    arXiv
    2610.00430
    发表
    层
    应用层
    场景
    多智能体
    测试
    gemma2-27B、gpt-oss-120B、deepseek-v4.1-flash 等 5 个
    摘要memetic trojans 用内生社会传染携带载荷。

    Memetic trojans 是一类网络介导攻击：对抗载荷搭在智能体本来就会转发和点赞的内容上扩散，转发者不必被攻陷，也不必执行“请继续复制”的指令。

    深度解读完整解读
  12. 风险行为arXiv 2609.35928

    论文发现暴露模型身份标签会削弱多智能体 LLM 合作

    测量公开模型家族标签引发的多智能体派系化与合作下降

    arXiv
    2609.35928
    发表
    层
    应用层
    场景
    多智能体
    测试
    Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b)、Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16) 等 6 个
    摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。

    Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。

    深度解读完整解读
  15. 评测与基准arXiv 2609.06966

    Mole：面向前沿实验室 AI 智能体的内部威胁检测基准

    提出 MOLE 基准，评测监控器对智能体内部威胁的检出能力

    arXiv
    2609.06966
    发表
    层
    应用层
    场景
    多智能体
    测试
    Gemini 3.1 Pro Preview、GPT-5.3 Chat、GPT-5.5 等 15 个
    摘要MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。

    MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。

    深度解读完整解读
  17. 其他arXiv 2609.38143

    为测试时 AI4AI 的智能体执行环境设计学习元技能

    提出固定权重下学习 meta-skill 以为未见任务搭建智能体 harness 的方法

    arXiv
    2609.38143
    发表
    层
    应用层
    场景
    多智能体
    测试
    Gemini-3.6-Flash、Gemini-3.1-Pro、GPT-5.6-Sol 等 5 个
    摘要冻结的 meta-skill 库指导 Builder 为未见任务搭建 harness，权重保持固定。

    作者研究 test-time AI4AI：Builder 与 Target 权重都固定时，Builder 学习如何为 Target 构造更好的执行环境。

    深度解读完整解读
  19. 评测与基准arXiv 2608.07556

    MasDrift：跨多智能体架构的授权保持基准

    用 MasDrift 评测多智能体架构的授权保持

    arXiv
    2608.07556
    发表
    层
    应用层
    场景
    多智能体
    测试
    Gemini 3.1 Pro、DeepSeek V4 Flash、Qwen3.7 Plus 等 6 个
    摘要授权保持可被测量：层级用未授权动作换完成率，重锚定比沿链携带更稳。

    MasDrift 把多智能体设计中的授权保持做成可测量性质，对象是没有攻击者的普通委托。

    深度解读完整解读
  20. 风险行为arXiv 2609.36855

    研究：上游错误消息会让多智能体 LLM 下游覆盖正确答案

    测量多智能体交接中错误上游消息对正确答案的替换

    arXiv
    2609.36855
    发表
    层
    应用层
    场景
    多智能体
    测试
    gemini-2.5-pro、gpt-4o-mini、gpt-5.4 等 9 个
    摘要固定证据只改消息后，错误上游结论会定向替换下游本可答对的答案。

    这项受控研究考察多智能体 draft-review 交接里，一条上游消息会怎样改变下游原本能做对的判断。下游同时看到任务证据和上游消息。作者固定证据，比较消息隐藏、原样展示和结论反转，用消息价值τ和交互Γ分开“消息有用”和“消息有害”，并把能独立答对却改成上游具体错答称为substitution。

    深度解读完整解读
加载更多