防御arXiv 2610.11942
LGWM：用动作条件世界模型验证 GUI 智能体的屏幕转移
提出 LGWM，用动作条件世界模型核验 GUI 智能体屏幕转移
- arXiv
- 2610.11942
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- LGWM
全部论文
另有 242 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.11932
复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本
测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答
- arXiv
- 2610.11932
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Grok、Doubao、ChatGPT 等 10 个
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。
- 防御arXiv 2610.11634
LTBD：用可学习信任边界分隔符防御提示注入
提出 LTBD，用可学习分隔符隔离可信指令与不可信数据
- arXiv
- 2610.11634
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等 4 个
摘要LTBD 只训练四个分隔符嵌入。
LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。
- 防御arXiv 2610.08773
AdvSim2Real 用任务与注入对手共同演化训练网页智能体
提出 AdvSim2Real，协同训练网页智能体抵御页面注入
- arXiv
- 2610.08773
- 发表
- 层
- 应用层
- 被测模型
- Qwen3.5-4B
- 攻击arXiv 2610.05266
论文披露主动式智能体的服务方间接提示注入攻击
提出服务方间接提示注入，把主动智能体的决策协助转向预选目标
- arXiv
- 2610.05266
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5、Claude Opus 4.6、Gemini 3 Pro 等 7 个
- 攻击提示注入
摘要提供者侧间接注入用 T–B–S 把主动协助转向外部目标，并在三环境中提高模拟用户授权。
外部提供者只控制与自身目标关联的内容，就可以把良性主动个人智能体的协助转向该目标。
- 评测与基准arXiv 2609.39146
MADBench：多智能体辩论安全性评测基准发布
提出 MADBench，评测多智能体辩论是吸收还是放大对抗影响
- arXiv
- 2609.39146
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- gpt-4o、GPT-5、GPT-6 Astra
摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。
MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 防御arXiv 2609.21088
Provenance-Aware Transformers：用来源感知架构分离可信边界以防御间接提示注入
提出 Provenance-Aware Transformers，隔离不可信来源防御间接提示注入
- arXiv
- 2609.21088
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- SmolLM2-360M-Instruct、LLaMA-3-8B-Instruct、Qwen2.5-7B-Instruct 等 4 个
- 攻击arXiv 2609.19722
ALIBI：向二进制注入虚假安全叙事可让 LLM 恶意软件分析器误判
提出 ALIBI，向恶意二进制注入不执行掩护叙事使分析器误判为良性
- arXiv
- 2609.19722
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Gemini 2.5 Pro、GPT-5.5 Pro、Claude Opus 4.7
摘要ALIBI 用二进制内的掩护叙事重释可疑静态证据，Gemini 上翻转多，另两模型主要为降级。
ALIBI 是针对 LLM 恶意软件分诊的语义掩护叙事攻击：不覆盖系统指令，而把仍可见的可疑静态证据重释成良性安全产品的预期行为。
- 评测与基准arXiv 2609.19140
AgentLSD：在对抗性任务污染下评测 AI 安全 Agent
评测安全 Agent 在对抗性任务污染下的解题成功与开销
- arXiv
- 2609.19140
- 发表
- 层
- 应用层
- 被测模型
- Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个
- 攻击提示注入
摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。
AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。
- 评测与基准arXiv 2609.17320
Emergence World：对长时程多智能体系统开展对抗压力测试
提出 Emergence World，对长时程多智能体系统开展对抗压力测试
- arXiv
- 2609.17320
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
- 防御arXiv 2609.08394
Windows 恶意软件检测器作为复合 AI 系统：准确率、效率与对抗鲁棒性的权衡
提出 OBELISK 三级流水线，权衡恶意软件检测的准确率、开销与鲁棒性
- arXiv
- 2609.08394
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GBDT-ALL、GBDT-YARA、NEBULA-ALL 等 4 个
摘要三级过滤以不大的检测损失换速度，同一机制扩大攻击面，部署应按约束选配置。
OBELISK 把 Windows PE 恶意软件检测做成 YARA、EMBER-GBDT 与 Nebula 的顺序流水线，用来同时看检出、计算开销和对抗鲁棒性。
- 评测与基准arXiv 2609.02316
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御
- arXiv
- 2609.02316
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 8 个
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
- 防御arXiv 2609.02127
论文提出带类型溯源与断言护栏，防止持久化 AI Agent 把不可信输入当作自身历史
提出类型化溯源与断言护栏，约束持久 Agent 释放自传断言
- arXiv
- 2609.02127
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 评测与基准arXiv 2608.28411
LongPIBench：面向长上下文提示注入的评测基准
提出 LongPIBench，评测长文档场景下的提示注入攻击与防御
- arXiv
- 2608.28411
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Apertus-8B-Instruct 等 11 个
- 攻击提示注入
摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。
- 防御arXiv 2608.21500
SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%
提出同策略蒸馏防御微调方法 SecOPD，抵御自适应提示注入
- arXiv
- 2608.21500
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- SecOPD
- 评测与基准arXiv 2608.16824
GEO-Flag：检测与测量面向生成式引擎优化的网页内容
提出 GEOFlagBench 与 IPT，检测并测量生成式引擎优化网页
- arXiv
- 2608.16824
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- ModernBERT-base、Qwen3-0.6B、Gemini-3.5-flash 等 11 个
摘要GEOFlagBench 与 IPT 用于检测 GEO 页，并估计真实检索中的占比与引用可核验性。
GEO-Flag 把页面级 GEO 检测做成可评测任务，并在发布的检索结果上估计被判为 GEO 的页面占比。
- 防御arXiv 2608.12713
互补 LLM 水印如何追踪来源并检测篡改
提出 Cocktail 水印，共嵌稳健与脆弱信号以溯源并发现篡改
- arXiv
- 2608.12713
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-3.2-1B、Gemma-3-4B
- 攻击arXiv 2608.04565
研究者提出 Breadcrumbing 长程攻击，可劫持 DeepResearch 类搜索 Agent 的证据链
提出权威链劫持与轨迹引导策略演化，劫持搜索 Agent 的证据链
- arXiv
- 2608.04565
- 发表
- 层
- 应用层
- 被测模型
- Qwen3.5-9B、Gemma4-31B、DeepResearch 等 7 个
摘要论文揭示了多步搜索智能体在受限中间人操纵下的脆弱性，提出 ACH 策略与 TGSE 演化方法并完成系统验证。
- 攻击arXiv 2608.00718
研究揭示多智能体 LLM 流水线的结构性漏洞
提出多智能体流水线的边界攻击，使对抗内容作为可信输入跨层传播
- arXiv
- 2608.00718
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-5-mini、Claude Sonnet 4.5、Kimi K2.5
- 攻击提示注入
摘要缺边界校验使对抗内容跨智能体传播，作者称这是架构属性而非模型能力。
作者把多智能体 LLM 流水线的对抗问题定义为缺少边界校验，并用生产轨迹和受控实验检查脆弱性来自架构还是骨干模型。中间输出未经验证就传给下游。作者认为，一旦某级接受对抗内容，后续智能体会把它当作可信输入。