跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 24 篇
筛选2

攻击类型

越狱3提示注入9投毒与后门2恶意使用2

攻击技术

多轮渐进1编码与混淆2跨模态载荷1潜伏触发2

模型自身风险

欺骗与谋划2奖励作弊1失准与价值偏离2Agent 危险操作2危险能力1

防御类型

检测与过滤2指令与数据隔离1权限与审批2监控与审计3

影响

越权操作11数据与隐私泄露4输出被操纵2可用性与可靠性3监督失效3

系统形态

LLM 应用3AI Agent21编程 Agent3网页与电脑操作3多智能体1

攻击面/入口

用户输入6网页与界面1文档与消息4工具返回5工具与技能描述2代码仓库与依赖1记忆写入3Agent 间消息1图像与音视频1分发渠道1推理服务与硬件1

层

应用层24

系统组件

MCP 与技能2记忆3RAG2护栏与评审2监控器3权限与沙箱4视觉1音频1多模态1

被测模型厂商

OpenAI64Anthropic47Qwen（阿里）40Google33DeepSeek31智谱 GLM26Kimi（月之暗面）24Meta22xAI14MiniMax9Mistral7其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 373 篇还没打标签，不在筛选结果里。
被测模型厂商：Meta被测模型厂商：Mistral话题：Agent 安全清除全部

另有 373 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2610.07274

    研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性

    arXiv
    2610.07274
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Muse Spark 1.2、Claude Sonnet 4.6、Claude Opus 5 等 5 个

    摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。

    深度解读完整解读
  4. 评测与基准arXiv 2610.07089

    研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

    构建统一滥用监视基准，用危害窗口评测跨威胁动作监控

    arXiv
    2610.07089
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Mistral Small 3.2 24B、Llama 3.1 70B、Llama Guard 4 12B 等 12 个

    摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。

    深度解读完整解读
  6. 评测与基准arXiv 2610.05622

    UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

    发布 UndoBench，分离工具型智能体的任务能力与故障恢复能力

    arXiv
    2610.05622
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 等 4 个

    摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。

    深度解读完整解读
  7. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.2-3B、Qwen2.5-7B-Instruct、Qwen2.5-7B 等 4 个
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  8. 评测与基准arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 3.1 405B、Mistral Large 2、Claude 3.5 Sonnet 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  9. 评测与基准arXiv 2610.05586

    AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测

    构建 AGENTDOXX 评测联网搜索智能体对匿名访谈的再识别能力

    arXiv
    2610.05586
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-4 Maverick、GPT-5.6 Terra、GPT-5 Mini 等 10 个

    摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。

    深度解读完整解读
  10. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Llama-Guard-3-8B、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  11. 评测与基准arXiv 2610.02664

    论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束

    提出 STAR-Guard 双层防御缓解长程智能体遗忘安全约束

    arXiv
    2610.02664
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.1-8B、GPT-5.5、DeepSeek-V4-Pro 等 7 个

    摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。

    深度解读完整解读
  12. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Prompt Guard 2 (86M)、Prompt Guard 2 (22M)、Prompt Guard 1 等 15 个

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
  13. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测智能体框架的多模态提示注入

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 4 Maverick、Claude Opus 4.8、GPT-5.4 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  15. 评测与基准arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    arXiv
    2609.35799
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Muse Spark 1.3、GLM 5.2、GLM 5.3 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。

    深度解读完整解读
  16. 评测与基准arXiv 2609.31342

    研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案

    构建知识逆转基准，评测陈旧检索证据如何推翻模型原本正确的回答

    arXiv
    2609.31342
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Llama-3.1-8B、Llama-3.1-70B、GPT-4o 等 13 个
    摘要论文评测了陈旧检索推翻正确知识的中毒现象，并分析了其内部机制与防御局限。

    这篇论文是对检索增强生成（RAG）中“陈旧文档中毒”现象的实证与机理评估研究。

    深度解读完整解读
  17. 评测与基准arXiv 2609.15939

    VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力

    提出 VLoc Bench，评测智能体仅凭弱点类型在完整仓库中定位漏洞

    arXiv
    2609.15939
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama-3.3-70B、GPT-5.5 (xhigh)、GPT-5.5 (default) 等 15 个

    摘要论文提出仓库级漏洞定位基准 VLoc Bench，指出当前模型定位表现较低且易在已修复代码上产生误报。

    深度解读完整解读
  18. 评测与基准arXiv 2609.03221

    FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

    用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

    arXiv
    2609.03221
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    llama3.1:8b-instruct、mistral:7b-instruct、claude-haiku-4-5 等 7 个
    摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。

    FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。

    深度解读完整解读
  19. 评测与基准arXiv 2601.10156

    ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用

    提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用

    arXiv
    2601.10156
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-Guard-3-8B、GPT-4o、Qwen3-8B 等 10 个
    摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。

    ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。

    深度解读完整解读
  20. 评测与基准arXiv 2608.06862

    SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件

    arXiv
    2608.06862
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Llama-3.1-8B、Ministral-3-8B、Qwen3.5-9B 等 5 个

    摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。

    深度解读完整解读
加载更多