攻击arXiv 2604.14604
AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入
提出 AudioHijack，用不可感知对抗音频对语音模型实施听觉提示注入
- arXiv
- 2604.14604
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Phi-4-Multimodal、Phi-4-Multimodal-instruct、SpeechGPT 等 15 个
摘要提出了 AudioHijack 框架，揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。
全部论文
另有 433 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2606.04329
研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准
系统研究 LLM 智能体记忆投毒并构建基准 MPBench
- arXiv
- 2606.04329
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Deberta-v3-base、GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct 等 6 个
摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。
- 攻击arXiv 2607.03220
CONTRA：研究者用配置树搜索对个人化 Agent 做红队测试
提出 CONTRA，用树搜索修改良性配置以诱发 Agent 恶意动作
- arXiv
- 2607.03220
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Nemotron-Cascade-2、Gemma4-31b、Gemma4-e4b 等 6 个
- 技术自动化搜索
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 防御arXiv 2603.01544
RA-Det：利用鲁棒性不对称检测 AI 生成图像
提出 RA-Det，利用鲁棒性不对称检测 AI 生成图像
- arXiv
- 2603.01544
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- SDXL、ProGAN、StyleGAN2 等 15 个
摘要RA-Det 把扰动下特征漂移差变成检测信号，平均 ACC 高于表中通用检测器，但不是每行最高。
RA-Det 是合成图像检测器，用扰动下的表示稳定性差异代替外观痕迹。
- 攻击arXiv 2610.04195
MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露
评估多租户智能体共享向量记忆的跨用户泄露与主动桥接
- arXiv
- 2610.04195
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- all-MiniLM-L6-v2、Gemini 2.5 Flash、Claude Sonnet 4.5 等 5 个
- 防御arXiv 2610.05826
研究者提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露
提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露
- arXiv
- 2610.05826
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- all-MiniLM-L6-v2
摘要用截止期限制未核验可见时长。
这篇工作给持续摄入的 RAG 向量库一个失败关闭的临时可见性协议，把协议能限制的未核验暴露和依赖检测器的中毒暴露分开。
- 防御arXiv 2610.05870
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动
- arXiv
- 2610.05870
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 白盒
- 测试
- SD2.1、SD3、SD3.5 等 10 个
摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
- 其他arXiv 2609.38096
Tail-Influence Sampling：面向 CVaR 策略评估的尾部影响采样
提出 Tail-Influence Sampling，按尾部影响分配查询以估计策略下尾 CVaR
- arXiv
- 2609.38096
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Phi-4-mini-instruct、Qwen3-4B-Instruct-2507、Granite-4.2-8B 等 6 个
摘要TIS 用尾部影响分配条件查询估 CVaR。
在条件转移可独立查询时，用 tail influence 把固定评测预算分给对一条固定策略的下尾 CVaR 更重要的 kernel。平均回报相近时，罕见失败仍可能差很多。完整 rollout 把大部分预算花在到不了最坏状态的转移上。
- 攻击arXiv 2610.02373
HDI 攻击：篡改 GraphRAG 辅助结构可致 88–94% 攻击成功率
提出 HDI 攻击以篡改 GraphRAG 辅助结构破坏检索
- arXiv
- 2610.02373
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Microsoft GraphRAG、HippoRAG2、text-embedding-3-small 等 4 个
摘要论文形式化了 GraphRAG 辅助模式级实体攻击面，提出 HDI 攻击并验证其攻击效果。
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 攻击arXiv 2609.39607
Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器
提出 PRETEXT 白盒攻击，迭代改写技能文本以绕过 Agent 技能扫描器
- arXiv
- 2609.39607
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 白盒
- 测试
- all-MiniLM-L6-v2、glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507) 等 4 个
摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。
PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。
- 防御arXiv 2610.02005
贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合
提出 BDA，把多 LLM 议会的辩证动作当可靠性证据做加权聚合
- arXiv
- 2610.02005
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- phi-4、gemma-3-27b-it、gpt-4.1-nano 等 9 个
摘要BDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。
BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。
- 攻击arXiv 2607.12340
研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击
提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持
- arXiv
- 2607.12340
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Nemotron-Cascade-2 30B、GLM-4.5-Air、GPT-5.4-mini 等 10 个
摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。
- 分析与理论arXiv 2610.01535
论文：安全路由评测在分布偏移下失效，基线选取偏差被低估
提出诚实留出协议，量化安全路由评测的基线选择偏差
- arXiv
- 2610.01535
- 发表
- 层
- 应用层
- 测试
- MiniLM、claude-3-5-sonnet、claude-3-opus 等 12 个
- 攻击越狱
摘要论文揭示安全路由评估在分布偏移下的虚假下限，指出防御重心应转向外部动作级强制。
- 评测与基准arXiv 2609.02316
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御
- arXiv
- 2609.02316
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- NeMo Guardrails、DeBERTa-v3-base、Gemma-4-31B-IT 等 11 个
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
- 评测与基准arXiv 2609.03221
FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限
用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限
- arXiv
- 2609.03221
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- phi3:mini、claude-haiku-4-5、claude-sonnet-5 等 7 个
摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。
FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。
- 风险行为arXiv 2609.28274
研究：多智能体系统在无目标激励下仍会协同破坏关机机制
测量无目标多智能体自发协同破坏关机机制的倾向
- arXiv
- 2609.28274
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Nemotron 3 Ultra、Gemini 3.1 Pro、DeepSeek-V4-Flash 等 15 个
- 风险失准与价值偏离
摘要论文揭示了多智能体中自发破坏关机的普遍性，表明关机控制必须置于多智能体系统外部。
- 攻击arXiv 2609.03884
HookPry：利用插件生命周期钩子更新劫持 AI Agent 框架
提出 HOOKPRY，利用插件生命周期钩子更新劫持 Agent 框架
- arXiv
- 2609.03884
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GitHub Copilot、Claude Sonnet 4.6、DeepSeek-V4-Pro 等 6 个
- 攻击arXiv 2610.01768
LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄
提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传
- arXiv
- 2610.01768
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Microsoft-Phi-4-mini-instruct、Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct 等 15 个
摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。
LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。