攻击arXiv 2604.14604
AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入
提出 AudioHijack，用不可感知对抗音频对语音模型实施听觉提示注入
- arXiv
- 2604.14604
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Phi-4-Multimodal、Phi-4-Multimodal-instruct、SpeechGPT 等 15 个
摘要提出了 AudioHijack 框架，揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。
全部论文
另有 558 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2605.14605
研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升
用代价曲线评估恶意微调防御在持续训练下的衰减
- arXiv
- 2605.14605
- 发表
- 场景
- 模型与 API
- 测试
- Zephyr-7B-β、Llama-2-7B-chat、Qwen3-8B 等 8 个
摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。
- 攻击arXiv 2606.04329
研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准
系统研究 LLM 智能体记忆投毒并构建基准 MPBench
- arXiv
- 2606.04329
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Deberta-v3-base、GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct 等 6 个
摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 攻击arXiv 2610.04195
MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露
评估多租户智能体共享向量记忆的跨用户泄露与主动桥接
- arXiv
- 2610.04195
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- all-MiniLM-L6-v2、Gemini 2.5 Flash、Claude Sonnet 4.5 等 5 个
- 分析与理论arXiv 2610.06851
研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现
证明短开头词可唤醒基模型推理，且效应来自训练数据
- arXiv
- 2610.06851
- 发表
- 场景
- 模型与 API
- 测试
- SmolLM3-3B、Olmo-3-7B、Olmo-3-32B 等 10 个
- 组件推理链
- 攻击arXiv 2610.02373
HDI 攻击：篡改 GraphRAG 辅助结构可致 88–94% 攻击成功率
提出 HDI 攻击以篡改 GraphRAG 辅助结构破坏检索
- arXiv
- 2610.02373
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Microsoft GraphRAG、HippoRAG2、text-embedding-3-small 等 4 个
摘要论文形式化了 GraphRAG 辅助模式级实体攻击面，提出 HDI 攻击并验证其攻击效果。
- 分析与理论arXiv 2610.02886
研究揭示无触发投毒审计缺口：事实答对不等于决策正确
揭示无触发虚假训练下事实回答与下游决策的审计差距
- arXiv
- 2610.02886
- 发表
- 场景
- 模型与 API
- 测试
- SmolLM2-1.7B、Qwen2.5-0.5B、Qwen2.5-1.5B 等 9 个
- 攻击投毒与后门
摘要作者发现无触发词虚假训练下事实回答与下游决策存在脱节，直接审计与事实纠错均无法保证决策正确。
论文是一项针对语言模型在无触发词虚假信息训练下行为表现的实证分析研究。
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 攻击arXiv 2609.39607
Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器
提出 PRETEXT 白盒攻击，迭代改写技能文本以绕过 Agent 技能扫描器
- arXiv
- 2609.39607
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 白盒
- 测试
- all-MiniLM-L6-v2、glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507) 等 4 个
摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。
PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。
- 风险行为arXiv 2609.33220
斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定
- arXiv
- 2609.33220
- 发表
- 场景
- 模型与 API
- 测试
- Phi-4、Qwen2.5-1.5B、Qwen2.5-7B 等 11 个
摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。
- 防御arXiv 2610.02005
贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合
提出 BDA，把多 LLM 议会的辩证动作当可靠性证据做加权聚合
- arXiv
- 2610.02005
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- phi-4、gemma-3-27b-it、gpt-4.1-nano 等 9 个
摘要BDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。
BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。
- 评测与基准arXiv 2608.08542
SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性
提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性
- arXiv
- 2608.08542
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Phi-4-mini、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个
摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。
本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。
- 评测与基准arXiv 2608.20554
aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡
提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡
- arXiv
- 2608.20554
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Phi-4、openai/gpt-5-mini、openai/gpt-4o 等 15 个
摘要aiXamine 用九服务黑盒协议比较百余个模型，作者称单轴信任度进展可能削弱其他轴。
aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。
- 可解释性arXiv 2609.04582
研究：内部探针何时优于读答案，区分阈值失准与行为隐藏知识
用探针与 logit margin 区分阈值失准与行为隐藏知识
- arXiv
- 2609.04582
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Phi-3.5-mini、SmolLM2-1.7B、Qwen3-0.6B 等 8 个
摘要验证里结论多在 logit、丢在阈值。
这项工作问内部探针何时比直接读答案更有信息，并在验证任务里把落差定位到读出阈值。
- 分析与理论arXiv 2609.08812
研究团队用收敛与区分效度检验 56 个 AI 基准，发现安全基准相关性普遍偏弱
用聚合与区分效度检验基准是否衡量其所称概念
- arXiv
- 2609.08812
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Phi-3.5 Mini Instruct、Qwen 1.5 110B Chat、Qwen 2.5 32B Instruct 等 15 个
- 分析与理论arXiv 2610.01535
论文：安全路由评测在分布偏移下失效，基线选取偏差被低估
提出诚实留出协议，量化安全路由评测的基线选择偏差
- arXiv
- 2610.01535
- 发表
- 层
- 应用层
- 测试
- MiniLM、claude-3-5-sonnet、claude-3-opus 等 12 个
- 攻击越狱
摘要论文揭示安全路由评估在分布偏移下的虚假下限，指出防御重心应转向外部动作级强制。
- 防御arXiv 2609.34591
TULIP：按输入定位层级的定向大模型遗忘方法
提出 TULIP，按输入定位形成层并去除目标 token 对齐以实现定向遗忘
- arXiv
- 2609.34591
- 发表
- 场景
- 模型与 API
- 测试
- Zephyr-7B-beta、Llama-3.1-8B、Llama-3.2-3B 等 7 个
摘要TULIP 在形成结束的层去掉遗忘目标对齐，多数设置下 FQ 更高，4-bit 下 FQ 下降。
TULIP 是一种逐输入选择层的表示级遗忘方法，目标是去掉遗忘答案的形成、留下读出。输出级方法可能只压低特定回答的似然。RMU、LUNAR 等则对全部遗忘样本共用一层。
- 评测与基准arXiv 2609.02316
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御
- arXiv
- 2609.02316
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- DeBERTa-v3-base、Gemma-4-31B-IT、Qwen-3.5-35B-A3B 等 11 个
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
- 评测与基准arXiv 2609.03221
FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限
用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限
- arXiv
- 2609.03221
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- phi3:mini、claude-haiku-4-5、claude-sonnet-5 等 7 个
摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。
FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。