攻击arXiv 2609.37468
论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法
提出检索器后门攻击操纵智能体多轮搜索，并用 DOU 隐蔽后门
- arXiv
- 2609.37468
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- E5、Contriever-MSMARCO、Qwen2.5-7B-Instruct
摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。
全部论文
另有 479 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2604.14604
AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入
提出 AudioHijack，用不可感知对抗音频对语音模型实施听觉提示注入
- arXiv
- 2604.14604
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- SpeechGPT、GLM-4-Voice、VITA-Audio 等 15 个
摘要提出了 AudioHijack 框架，揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。
- 攻击arXiv 2608.04565
研究者提出 Breadcrumbing 长程攻击，可劫持 DeepResearch 类搜索 Agent 的证据链
提出权威链劫持 ACH 与策略演化 TGSE，劫持搜索 Agent 的证据链
- arXiv
- 2608.04565
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-9B、Gemma4-31B、DeepResearch 等 8 个
摘要论文揭示了多步搜索智能体在受限中间人操纵下的脆弱性，提出 ACH 策略与 TGSE 演化方法并完成系统验证。
- 攻击arXiv 2608.05563
研究者提出 PoisonedEvolution 轨迹投毒攻击
提出 PoisonedEvolution 轨迹投毒，诱导自演化技能系统把恶意行为固化为技能
- arXiv
- 2608.05563
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.4、MiniMax-M2.5、DeepSeek-V3.2 等 7 个
摘要论文揭示自演化技能系统的证据晋升漏洞，提出并验证轨迹投毒攻击。
这篇论文揭示了自演化技能系统在将交互经验转化为持久指令时的安全风险。
- 攻击arXiv 2607.14493
LogInject 框架披露 LLM 日志分析中的被动提示注入
提出 LogInject 框架，评测日志分析中的被动提示注入及缓解
- arXiv
- 2607.14493
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- GPT-4o、Claude 3.5 Sonnet、Llama-3-70B-Instruct
摘要论文评估了 LLM 日志分析中的上下文污染风险，提出分片拼接等攻击与三层防御，指出必须结合架构隔离与人工介入。
- 攻击arXiv 2606.04329
研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准
系统研究 LLM 智能体记忆投毒并构建基准 MPBench
- arXiv
- 2606.04329
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct、Deberta-v3-base 等 6 个
摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。
- 攻击arXiv 2606.13044
研究者提出对抗性重新包装：不改科学内容仅调整表述即可拉高 AI 审稿分数
提出对抗重构，仅改表述以拉高 AI 审稿分数
- arXiv
- 2606.13044
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Claude Sonnet 4、Claude Sonnet 4.5、GPT-5-mini
摘要揭示 AI 审稿系统易受纯表述重构操纵，建议在部署前解耦科学与写作评价。
- 评测与基准arXiv 2609.27273
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离
- arXiv
- 2609.27273
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
- 风险行为arXiv 2610.09371
研究提出 Confidence Game 模型
测量委托收费激励下模型策略性虚报任务信心
- arXiv
- 2610.09371
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- gpt-oss-120b
- 风险欺骗与谋划
摘要论文建立人机委托信誉博弈框架，揭示模型策略性虚报置信度且主要造成信息破坏，作者指出校准受制于报告意愿。
- 分析与理论arXiv 2610.08144
新论文称 Lean 验证不能为 OpenAI 的 Navier-Stokes 自然语言证明背书
论证 Lean 编译通过不能保证自然语言数学证明语义忠实
- arXiv
- 2610.08144
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- ChatGPT-6 (Astra Ultra)、OpenAI Navier-Stokes formalisation AI、Meta Atlas autoformaliser
摘要论文论证了形式化编译不保证原证明正确，确立了消歧不可计算性理论，并揭示了 OpenAI 爆破证明中的具体脱节。
- 防御arXiv 2609.11757
研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御
提出 Whisper 攻击与 A-VIP 绑定防御，约束智能体支付决策
- arXiv
- 2609.11757
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个
摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。
- 风险行为arXiv 2610.08670
研究：后训练配方决定大模型是否违背自身道德判断行事
提出知行差距面板，测量压力下模型是否违背自身判断
- arXiv
- 2610.08670
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- OLMo-3-7B-Instruct、Llama-3.1-8B-Instruct、Tulu 3 等 7 个
- 风险失准与价值偏离
摘要评估发现后训练配方决定知行差距是否存在，行动前审思可有效缓解。
本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 攻击arXiv 2610.07645
SkillPoison：用成功经验投毒自进化 Agent 的技能形成
提出 SkillPoison，用局部有效的成功经验投毒自进化智能体的技能形成
- arXiv
- 2610.07645
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- deepseek-v4-flash、Qwen V3.8 Flash、GPT-5.5
摘要SkillPoison 通过局部有效且验证成功的经验诱导技能过度泛化，在多个评测基准上实现了持久的下游攻击影响。
SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式，通过组织已验证的成功经验诱导技能过度泛化。
- 评测与基准arXiv 2610.06522
SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别
构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从
- arXiv
- 2610.06522
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- opus-5、sonnet-5、sonnet-4.6 等 11 个
- 风险失准与价值偏离
摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。
本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。
- 分析与理论arXiv 2610.04860
研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预
分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预
- arXiv
- 2610.04860
- 发表
- 层
- 模型层
- 场景
- LLM 应用
- 测试
- LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct
摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。
论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。
- 评测与基准arXiv 2610.06748
BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全
构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信
- arXiv
- 2610.06748
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
- 防御arXiv 2610.05870
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动
- arXiv
- 2610.05870
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 白盒
- 测试
- SD2.1、SD3、SD3.5 等 10 个
摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
- 攻击arXiv 2610.05894
研究者提出闭环偏见注入攻击
提出闭环激活引导，在扩散语言模型去噪过程中注入定向偏见
- arXiv
- 2610.05894
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 测试
- LLaDA-8B-Instruct、Dream-v0-Instruct-7B、LLaDA-MoE-7B-A1B-Instruct
摘要通过去噪中间概率反馈动态调节残差流转向，证明扩散语言模型在推理服务栈中存在闭环偏见注入脆弱性。
- 攻击arXiv 2610.06049
研究者提出仅修改 SAE 解码器的后门攻击，可在不改动语言模型的情况下植入行为
提出只改 SAE 解码器的后门，在冻结语言模型上植入代码插入
- arXiv
- 2610.06049
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma 3 4B Instruct、Qwen3 1.7B、Llama 3.1 8B Instruct
摘要只改解码器的 SAE 可带上代码插入后门，且若干常规质量指标变化不大。
只改 SAE 解码器、冻结编码器与语言模型，即可把代码插入行为放进推理时的辅助组件。作者把这视为 SAE 供应链问题：checkpoint 一旦替换某一层激活，就参与后续计算，而不只是解释工具。