跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 41 篇
筛选2

攻击类型

越狱5提示注入14投毒与后门6恶意使用3

攻击技术

自动化搜索1多轮渐进1编码与混淆4跨模态载荷2针对防御1潜伏触发3诱导选用2

模型自身风险

欺骗与谋划3奖励作弊2失准与价值偏离3Agent 危险操作4危险能力1拒答失当1

防御类型

检测与过滤3指令与数据隔离1权限与审批2监控与审计4

影响

有害内容2越权操作18数据与隐私泄露5输出被操纵3可用性与可靠性3监督失效5

系统形态

LLM 应用3AI Agent38编程 Agent10网页与电脑操作6多智能体2

攻击者权限

黑盒1

攻击面/入口

用户输入11网页与界面2文档与消息4工具返回8工具与技能描述5代码仓库与依赖3记忆写入5Agent 间消息1图像与音视频2分发渠道3推理服务与硬件1

层

应用层41

系统组件

MCP 与技能6记忆6RAG2护栏与评审2监控器4权限与沙箱4视觉3音频1多模态3

被测模型厂商

OpenAI64Anthropic47Qwen（阿里）40Google33DeepSeek31智谱 GLM26Kimi（月之暗面）24Meta22xAI14MiniMax9Mistral7其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 373 篇还没打标签，不在筛选结果里。
被测模型厂商：Meta被测模型厂商：Kimi（月之暗面）话题：Agent 安全清除全部

另有 373 篇论文还没打上分类标签，暂不在筛选结果里。

  4. 评测与基准arXiv 2610.07274

    研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性

    arXiv
    2610.07274
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Muse Spark 1.2、Claude Sonnet 4.6、Claude Opus 5 等 5 个

    摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。

    深度解读完整解读
  5. 评测与基准arXiv 2610.07089

    研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

    构建统一滥用监视基准，用危害窗口评测跨威胁动作监控

    arXiv
    2610.07089
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 3.1 70B、Llama Guard 4 12B、Gemma 4 26B-A4B 等 12 个

    摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。

    深度解读完整解读
  7. 评测与基准arXiv 2610.05622

    UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

    发布 UndoBench，分离工具型智能体的任务能力与故障恢复能力

    arXiv
    2610.05622
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 等 4 个

    摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。

    深度解读完整解读
  8. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.2-3B、Qwen2.5-7B-Instruct、Qwen2.5-7B 等 4 个
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  9. 评测与基准arXiv 2610.03938

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    arXiv
    2610.03938
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi-K2.5、Kimi-K2.6、Gemini-2.5-Pro 等 13 个
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    深度解读完整解读
  10. 评测与基准arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  11. 评测与基准arXiv 2610.05586

    AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测

    构建 AGENTDOXX 评测联网搜索智能体对匿名访谈的再识别能力

    arXiv
    2610.05586
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi K3、Llama-4 Maverick、GPT-5.6 Terra 等 10 个

    摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。

    深度解读完整解读
  12. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Kimi-K2、Kimi-K2.5、Llama-Guard-3-8B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  13. 评测与基准arXiv 2610.02664

    论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束

    提出 STAR-Guard 双层防御缓解长程智能体遗忘安全约束

    arXiv
    2610.02664
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi-K2.6、Llama-3.1-8B、GPT-5.5 等 7 个

    摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。

    深度解读完整解读
  14. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Prompt Guard 2 (86M)、Prompt Guard 2 (22M)、Prompt Guard 1 等 15 个

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
  15. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测智能体框架的多模态提示注入

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 4 Maverick、Claude Opus 4.8、GPT-5.4 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  16. 评测与基准arXiv 2608.09476

    ActBench：面向协作智能体行为安全的自演化基准

    构建 ActBench 评测协作智能体多步执行中的操作级行为安全

    arXiv
    2608.09476
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Kimi-K3、Kimi-K2.6、Claude-Opus-4.8 等 15 个

    摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。

    深度解读完整解读
  18. 评测与基准arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    arXiv
    2609.35799
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi K3、Muse Spark 1.3、GLM 5.2 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。

    深度解读完整解读
  20. 评测与基准arXiv 2609.31342

    研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案

    构建知识逆转基准，评测陈旧检索证据如何推翻模型原本正确的回答

    arXiv
    2609.31342
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Llama-3.1-8B、Llama-3.1-70B、GPT-4o 等 13 个
    摘要论文评测了陈旧检索推翻正确知识的中毒现象，并分析了其内部机制与防御局限。

    这篇论文是对检索增强生成（RAG）中“陈旧文档中毒”现象的实证与机理评估研究。

    深度解读完整解读
加载更多