跳到正文
10月9日 · 周五

全部论文

找到 157 篇
筛选6

攻击类型

越狱11提示注入79投毒与后门31检测规避4拒绝服务2恶意使用2

攻击技术

梯度与表征优化1自动化搜索17多轮渐进1编码与混淆2推理链操控1跨模态载荷4针对防御2潜伏触发9诱导选用4

模型自身风险

欺骗与谋划1奖励作弊2失准与价值偏离9Agent 危险操作43拒答失当3幻觉与编造1

防御类型

模型加固7推理时干预2检测与过滤11指令与数据隔离21权限与审批34监控与审计16水印与溯源1

影响

有害内容11越权操作135数据与隐私泄露39输出被操纵53可用性与可靠性22监督失效47滥用能力提升7

系统形态

模型与 API19LLM 应用5AI Agent157编程 Agent31网页与电脑操作14多智能体13具身与机器人7

攻击者权限

黑盒6白盒1

攻击面/入口

用户输入25网页与界面24文档与消息27工具返回44工具与技能描述28代码仓库与依赖12检索语料2记忆写入14Agent 间消息6图像与音视频4训练数据1权重与梯度3分发渠道16推理服务与硬件1

层

模型层1应用层149训练与数据层7

系统组件

MCP 与技能32记忆16护栏与评审12监控器22推理链3权限与沙箱42微调与开源权重3视觉6音频2视频1多模态8
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 535 篇还没打标签，不在筛选结果里。
影响：越权操作影响：可用性与可靠性系统形态：AI Agent系统形态：编程 Agent系统形态：网页与电脑操作系统形态：具身与机器人清除全部

另有 535 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2610.12292

    论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作

    提出选项通道攻击，改写选项标签使 Agent 护栏放行违规操作

    arXiv
    2610.12292
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    黑盒
    被测模型
    LAYA-TD、LAYA-EN、LAYA-ML 等 5 个

    摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。

    深度解读完整解读
  6. 评测与基准arXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    arXiv
    2610.05532
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
  9. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  10. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  11. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复 Agent 工具调用的静默篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  12. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult，实测 Agent 动作门控栈的层间错误相关性

    arXiv
    2610.07359
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    AgentTrust runtime (174 rules)、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等 7 个
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  14. 分析与理论arXiv 2610.06191

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    分析工具型 Agent 判定检索无用却不停止的原因

    arXiv
    2610.06191
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等 7 个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    深度解读完整解读
  16. 防御arXiv 2610.07935

    SIGMA：让模型依据 Model Spec 自我改进安全对齐

    提出 SIGMA，让模型依据 Model Spec 自造监督并改进安全对齐

    arXiv
    2610.07935
    发表
    层
    训练与数据层
    场景
    AI Agent
    被测模型
    Qwen3.6-27B
    摘要SIGMA 用 Model Spec 自造监督，单轮训练可迁到多项智能体安全指标。

    SIGMA 让 Qwen3.6-27B 只凭 Model Spec 和高层领域，自己生产对齐任务、评分细则和奖励。

    深度解读完整解读
  19. 防御arXiv 2610.04975

    论文提出长程智能体自生子目标的运行时授权机制

    提出运行时授权机制，检查长程智能体自生子目标是否精化根契约

    arXiv
    2610.04975
    发表
    层
    应用层
    场景
    AI Agent
    摘要用版本化目标图授权保住重规划，并挡住自生成子目标变成新权威。

    长时程工具使用把目标演化变成授权状态的一部分。本文在单 principal、单根、有限结构化域中，把自生成子目标的创建、替换、同根委托和同根 join 做成可检查转移，并在提交边界重查受保护效应。

    深度解读完整解读
  20. 防御arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
加载更多