跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 54 篇
筛选1

攻击类型

越狱7提示注入24投毒与后门5恶意使用3

攻击技术

自动化搜索2多轮渐进1编码与混淆5跨模态载荷1针对防御1潜伏触发5诱导选用1

模型自身风险

欺骗与谋划8奖励作弊3失准与价值偏离2Agent 危险操作9危险能力1

防御类型

模型加固5推理时干预1检测与过滤5指令与数据隔离4权限与审批6监控与审计6

影响

有害内容2越权操作23数据与隐私泄露10输出被操纵6可用性与可靠性3监督失效6

系统形态

模型与 API3LLM 应用5AI Agent46编程 Agent10网页与电脑操作5多智能体4

攻击者权限

黑盒2

攻击面/入口

用户输入15网页与界面6文档与消息9工具返回15工具与技能描述5代码仓库与依赖4检索语料1记忆写入3Agent 间消息1图像与音视频1分发渠道3推理服务与硬件1

层

提示层1模型层4应用层48训练与数据层1

系统组件

MCP 与技能6记忆2RAG3护栏与评审5监控器10推理链1权限与沙箱9微调与开源权重1视觉2音频1多模态2

被测模型厂商

OpenAI138Qwen（阿里）106Anthropic98Google81DeepSeek71Meta54智谱 GLM53Kimi（月之暗面）51xAI25Mistral22MiniMax19Microsoft12NVIDIA7字节跳动7其他51
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 373 篇还没打标签，不在筛选结果里。
被测模型厂商：Meta话题：Agent 安全清除全部

另有 373 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    揭示前沿智能体在禁止泄露时自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    测试
    Llama 4 Maverick、GPT-5.6 Sol、Terra 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  4. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复工具调用执行路径的静默篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Hermes-3-Llama-3.1-70B、qwen3-coder-plus、Qwen2.5-Coder-32B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  5. 分析与理论arXiv 2610.06191

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    分析检索智能体判定结果无用后仍不停止检索的整合失败

    arXiv
    2610.06191
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.1-8B、Qwen2.5-7B、Qwen3-8B 等 7 个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    深度解读完整解读
  6. 评测与基准arXiv 2610.07274

    研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性

    arXiv
    2610.07274
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Muse Spark 1.2、Claude Sonnet 4.6、Claude Opus 5 等 5 个

    摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。

    深度解读完整解读
  7. 评测与基准arXiv 2610.07089

    研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

    构建统一滥用监视基准，用危害窗口评测跨威胁动作监控

    arXiv
    2610.07089
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 3.1 70B、Llama Guard 4 12B、Gemma 4 26B-A4B 等 12 个

    摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。

    深度解读完整解读
  9. 评测与基准arXiv 2610.05622

    UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

    发布 UndoBench，分离工具型智能体的任务能力与故障恢复能力

    arXiv
    2610.05622
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 等 4 个

    摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。

    深度解读完整解读
  10. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.2-3B、Qwen2.5-7B-Instruct、Qwen2.5-7B 等 4 个
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  11. 防御arXiv 2605.17380

    Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月

    提出企业级智能体检测系统 ADR，检测提示注入与恶意 MCP

    arXiv
    2605.17380
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama Guard 3-8B、GPT-4o、Claude Sonnet 4 等 4 个

    摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。

    深度解读完整解读
  13. 可解释性arXiv 2610.04125

    研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

    揭示风险自述与实际行为由近正交表征分别控制

    arXiv
    2610.04125
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、OLMo-3-7B-Instruct 等 4 个
    摘要论文证明大模型自述与行为脱节根植于表征近正交性，自述无法作为行为审计依据。

    这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。

    深度解读完整解读
  14. 攻击arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  15. 评测与基准arXiv 2610.05586

    AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测

    构建 AGENTDOXX 评测联网搜索智能体对匿名访谈的再识别能力

    arXiv
    2610.05586
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-4 Maverick、GPT-5.6 Terra、GPT-5 Mini 等 10 个

    摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。

    深度解读完整解读
  16. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Llama-Guard-3-8B、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  18. 防御arXiv 2610.02664

    论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束

    提出 STAR-Guard 双层防御缓解长程智能体遗忘安全约束

    arXiv
    2610.02664
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.1-8B、GPT-5.5、DeepSeek-V4-Pro 等 7 个

    摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。

    深度解读完整解读
  19. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama-3.1-8B-Instruct、Qwen3-8B、Qwen3.5-4B 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  20. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Prompt Guard 2 (86M)、Prompt Guard 2 (22M)、Prompt Guard 1 等 15 个

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
加载更多