跳到正文
10月10日 · 周六

全部论文

找到 169 篇
筛选7

攻击类型

越狱13提示注入81投毒与后门31检测规避5恶意使用3

攻击技术

自动化搜索21多轮渐进3编码与混淆3跨模态载荷4针对防御8潜伏触发8诱导选用3

模型自身风险

奖励作弊3失准与价值偏离7Agent 危险操作39

防御类型

模型加固8检测与过滤12指令与数据隔离24权限与审批35监控与审计13

影响

有害内容13越权操作144数据与隐私泄露40输出被操纵55可用性与可靠性25监督失效41滥用能力提升10

系统形态

LLM 应用5AI Agent169coding agent34web agent6网页与电脑操作8多智能体12具身与机器人4

攻击者权限

黑盒7

攻击面/入口

用户输入32网页与界面24文档与消息27工具返回50工具与技能描述32代码仓库与依赖13检索语料4记忆写入13Agent 间消息6图像与音视频4分发渠道17

层

模型层4应用层169训练与数据层7

系统组件

MCP 与技能35记忆19护栏与评审13监控器16权限与沙箱47视觉5多模态6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 427 篇还没打标签，不在筛选结果里。
影响：越权操作影响：可用性与可靠性系统形态：AI Agent系统形态：coding agent系统形态：网页与电脑操作系统形态：具身与机器人层：应用层清除全部

另有 427 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2610.10062

    研究：Agent 更依赖工具报错通道

    测量工具调用 Agent 对显式报错与静默损坏的检测和恢复

    arXiv
    2610.10062
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    claude-haiku-4.5-thinking、claude-haiku-4.5、deepseek-r1 等 6 个
    摘要作者称智能体看错误通道而非返回内容，静默损坏更少被当作问题。

    作者在 BFCL 多轮可执行环境上注入一次工具层故障，把注意到、改计划、恢复和重复分开记分，而不是只看任务有没有做完。

    深度解读完整解读
  3. 评测与基准arXiv 2610.09944

    AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准，评测智能体按时长工作与估时能力

    arXiv
    2610.09944
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等 7 个
    摘要作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。

    深度解读完整解读
  4. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    黑盒
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  5. 攻击arXiv 2610.10612

    PyCache Trap 利用 Python 缓存替换绕过七款 Agent Skill 扫描器

    提出 PyCache Trap，用字节码缓存替换绕过 Agent 技能扫描器

    arXiv
    2610.10612
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    CISCO、HSS、AUDITOR 等 8 个
    摘要论文剖析智能体技能审查与执行脱节盲区，提出 PyCache Trap 攻击并构建基于可信复现的 EAV 防御。

    这篇论文研究了智能体技能（Agent Skills）安全扫描中的“审查–执行脱节”问题，并提出了对应的攻击验证与防御方案。

    深度解读完整解读
  6. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    web agent
    被测模型
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  9. 防御arXiv 2610.08082

    POLAR：面向小型工具调用智能体的可逆性护栏框架

    提出 POLAR 本体门控，在执行前否决不可逆工具调用

    arXiv
    2610.08082
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    qwen/qwen3-8b、meta-llama/llama-3.1-8b-instruct、nvidia/nemotron-nano-9b-v2 等 6 个
    摘要训练无关的事前可逆性门控，弱 airline 模型有收益，强模型与 retail 常回落。

    POLAR 是训练无关的事前门控，用类型化本体在工具调用执行前检查能否组成候选逆序列。

    深度解读完整解读
  11. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性

    arXiv
    2610.07359
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    AgentTrust runtime (174 rules)、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等 7 个
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  12. 其他arXiv 2610.06563

    HERA 提出 harness 与环境协同演化

    提出 HERA，协同演化 harness 与环境以提升 Agent 拒答准确性

    arXiv
    2610.06563
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6-Luna、GPT-5.6-Terra、GPT-5.6-Sol 等 20 个
    摘要HERA 用失败协同演化 harness 与环境，并在迁移评测中提高 Abstain。

    HERA 在模型权重固定时，让 harness 与可执行环境按失败协同演化，以改进 agentic abstention。

    深度解读完整解读
  14. 分析与理论arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 行为并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  15. 攻击arXiv 2610.05943

    CRIME 框架利用良性 Agent 技能组合诱发恶意行为

    提出 CRIME 框架，组合良性 Agent 技能诱发恶意行为

    arXiv
    2610.05943
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    DeepSeek-V4-Flash、GPT-4o-mini、GPT-4o 等 6 个
    摘要良性技能经 DCA 或 ACA 组合后可产生恶意环境后果，单独审查对不上。

    CRIME 把公共技能库中各自通过审查的技能配成两两组合，看联合执行能否实现指定恶意任务。。

    深度解读完整解读
  17. 防御arXiv 2610.05640

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    提出 multi-CaMeL，在智能体调用边界隔离可信指令与非可信数据

    arXiv
    2610.05640
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Claude Fable 5、GPT-5.5、GPT-4.1 等 6 个

    摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    深度解读完整解读
  18. 评测与基准arXiv 2610.05622

    UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

    提出 UndoBench，解耦工具型 Agent 的任务能力与故障恢复能力

    arXiv
    2610.05622
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 等 4 个

    摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。

    深度解读完整解读
  19. 评测与基准arXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测 Agent 何时应先请示用户再行动

    arXiv
    2610.05532
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
  20. 分析与理论arXiv 2610.06191

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    揭示工具型智能体判定无用后仍不停止检索，并检验强制整合纠正效果

    arXiv
    2610.06191
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等 7 个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    深度解读完整解读
加载更多