跳到正文
10月8日 · 周四

全部论文

找到 64 篇
筛选2

攻击类型

越狱1提示注入20投毒与后门33模型篡改5提取与窃取4检测规避1

攻击技术

梯度与表征优化2自动化搜索4跨模态载荷2针对防御4潜伏触发12

模型自身风险

欺骗与谋划2奖励作弊1失准与价值偏离1Agent 危险操作2拒答失当1

防御类型

模型加固17推理时干预2检测与过滤8指令与数据隔离8权限与审批7监控与审计1

影响

有害内容7越权操作15数据与隐私泄露6输出被操纵24可用性与可靠性5监督失效3滥用能力提升1

系统形态

模型与 API35LLM 应用2AI Agent27编程 Agent3网页与电脑操作11多智能体1具身与机器人1

攻击者权限

黑盒1灰盒2白盒4

攻击面/入口

用户输入123网页与界面26文档与消息32工具返回50工具与技能描述32代码仓库与依赖17检索语料10记忆写入23Agent 间消息11图像与音视频27训练数据38权重与梯度28分发渠道26推理服务与硬件8

层

提示层2模型层4应用层27训练与数据层31

系统组件

MCP 与技能4记忆2RAG1护栏与评审5监控器2推理链1权限与沙箱6微调与开源权重19视觉7音频1图像生成1多模态9

被测模型厂商

Qwen（阿里）31Meta22OpenAI21Google18Anthropic11DeepSeek10其他38
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 789 篇还没打标签，不在筛选结果里。
攻击面/入口：网页与界面攻击面/入口：训练数据清除全部

另有 789 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  2. 防御arXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘压力触发的条件性欺骗并保留上下文理解

    arXiv
    2609.38909
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    测试
    DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

    摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  4. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出基于 MonPoly 的时序逻辑监控，离线检出工具智能体危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-4o、Sonnet-3.5
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  6. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  7. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  8. 攻击arXiv 2605.12673

    UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    提出 BENCHJACK，自动审计智能体基准的奖励作弊缺陷

    arXiv
    2605.12673
    发表
    层
    应用层
    场景
    编程 Agent、网页与电脑操作
    测试
    Claude Code、OpenAI Codex
    摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。

    论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。

    深度解读完整解读
  10. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  11. 攻击arXiv 2610.07723

    研究者提出答案侧后门：让模型自生成触发词绕过安全拒答

    提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答

    arXiv
    2610.07723
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个

    摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。

    深度解读完整解读
  12. 防御arXiv 2610.05640

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    提出 multi-CaMeL，在多智能体调用边界隔离可信指令与不可信数据

    arXiv
    2610.05640
    发表
    层
    应用层
    场景
    多智能体
    测试
    Claude Fable 5、GPT-5.5、GPT-4.1 等 6 个

    摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    深度解读完整解读
  13. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  14. 分析与理论arXiv 2610.02886

    研究揭示无触发投毒审计缺口：事实答对不等于决策正确

    揭示无触发虚假训练下事实回答与下游决策的审计差距

    arXiv
    2610.02886
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-0.5B、Qwen2.5-1.5B、Qwen2.5-3B 等 9 个
    摘要作者发现无触发词虚假训练下事实回答与下游决策存在脱节，直接审计与事实纠错均无法保证决策正确。

    论文是一项针对语言模型在无触发词虚假信息训练下行为表现的实证分析研究。

    深度解读完整解读
  15. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA 双 LLM 架构，防御计算机使用智能体的分支转向攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  16. 攻击arXiv 2610.01365

    ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联

    提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联

    arXiv
    2610.01365
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒、灰盒
    测试
    GPT-2 Small、GPT-2 Medium、GPT-2 Large 等 6 个

    摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。

    深度解读完整解读
  17. 防御arXiv 2609.01091

    上海交大等提出 trait-direction drift 机制与探针空间走廊正则，抑制蒸馏中的潜隐特质迁移

    提出特征方向漂移机制与探针空间走廊正则，抑制蒸馏潜隐特质迁移

    arXiv
    2609.01091
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-12B-IT 等 4 个

    摘要论文将潜意识学习归结为特征方向漂移的持续累积，并提出走廊正则化在微调中控制隐蔽特征转移。

    深度解读完整解读
  18. 防御arXiv 2607.13716

    CAVA：面向智能体 AI 运行时治理的规范动作验证与证明

    提出 CAVA，把异构智能体运行时事件规范成可哈希动作并绑定审批与回执

    arXiv
    2607.13716
    发表
    层
    应用层
    场景
    AI Agent
    摘要CAVA 用规范动作指纹承接异构运行时治理。

    CAVA 是给异构智能体运行时用的动作语义层，用来回答“被批准和被审计的到底是哪一个动作”。

    深度解读完整解读
  20. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 11 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
加载更多