攻击arXiv 2609.37468
论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法
提出检索器后门攻击操纵智能体多轮搜索，并用 DOU 隐蔽后门
- arXiv
- 2609.37468
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- E5、Contriever-MSMARCO、Qwen2.5-7B-Instruct
摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。
全部论文
另有 532 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2604.14604
AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入
提出 AudioHijack，用不可感知对抗音频对语音模型实施听觉提示注入
- arXiv
- 2604.14604
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- SpeechGPT、GLM-4-Voice、VITA-Audio 等 15 个
摘要提出了 AudioHijack 框架，揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。
- 攻击arXiv 2608.04565
研究者提出 Breadcrumbing 长程攻击，可劫持 DeepResearch 类搜索 Agent 的证据链
提出权威链劫持 ACH 与策略演化 TGSE，劫持搜索 Agent 的证据链
- arXiv
- 2608.04565
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-9B、Gemma4-31B、DeepResearch 等 8 个
摘要论文揭示了多步搜索智能体在受限中间人操纵下的脆弱性，提出 ACH 策略与 TGSE 演化方法并完成系统验证。
- 攻击arXiv 2608.05563
研究者提出 PoisonedEvolution 轨迹投毒攻击
提出 PoisonedEvolution 轨迹投毒，诱导自演化技能系统把恶意行为固化为技能
- arXiv
- 2608.05563
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.4、MiniMax-M2.5、DeepSeek-V3.2 等 7 个
摘要论文揭示自演化技能系统的证据晋升漏洞，提出并验证轨迹投毒攻击。
这篇论文揭示了自演化技能系统在将交互经验转化为持久指令时的安全风险。
- 攻击arXiv 2606.04329
研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准
系统研究 LLM 智能体记忆投毒并构建基准 MPBench
- arXiv
- 2606.04329
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct、Deberta-v3-base 等 6 个
摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。
- 评测与基准arXiv 2609.27273
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离
- arXiv
- 2609.27273
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
- 风险行为arXiv 2610.09371
研究提出 Confidence Game 模型
测量委托收费激励下模型策略性虚报任务信心
- arXiv
- 2610.09371
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- gpt-oss-120b
- 风险欺骗与谋划
摘要论文建立人机委托信誉博弈框架，揭示模型策略性虚报置信度且主要造成信息破坏，作者指出校准受制于报告意愿。
- 分析与理论arXiv 2610.08144
新论文称 Lean 验证不能为 OpenAI 的 Navier-Stokes 自然语言证明背书
论证 Lean 编译通过不能保证自然语言数学证明语义忠实
- arXiv
- 2610.08144
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- ChatGPT-6 (Astra Ultra)、OpenAI Navier-Stokes formalisation AI、Meta Atlas autoformaliser
摘要论文论证了形式化编译不保证原证明正确，确立了消歧不可计算性理论，并揭示了 OpenAI 爆破证明中的具体脱节。
- 防御arXiv 2609.11757
研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御
提出 Whisper 攻击与 A-VIP 绑定防御，约束智能体支付决策
- arXiv
- 2609.11757
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个
摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。
- 风险行为arXiv 2610.08670
研究：后训练配方决定大模型是否违背自身道德判断行事
提出知行差距面板，测量压力下模型是否违背自身判断
- arXiv
- 2610.08670
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- OLMo-3-7B-Instruct、Llama-3.1-8B-Instruct、Tulu 3 等 7 个
- 风险失准与价值偏离
摘要评估发现后训练配方决定知行差距是否存在，行动前审思可有效缓解。
本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 攻击arXiv 2610.07645
SkillPoison：用成功经验投毒自进化 Agent 的技能形成
提出 SkillPoison，用局部有效的成功经验投毒自进化智能体的技能形成
- arXiv
- 2610.07645
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- deepseek-v4-flash、Qwen V3.8 Flash、GPT-5.5
摘要SkillPoison 通过局部有效且验证成功的经验诱导技能过度泛化，在多个评测基准上实现了持久的下游攻击影响。
SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式，通过组织已验证的成功经验诱导技能过度泛化。
- 评测与基准arXiv 2610.06522
SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别
构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从
- arXiv
- 2610.06522
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- opus-5、sonnet-5、sonnet-4.6 等 11 个
- 风险失准与价值偏离
摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。
本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。
- 评测与基准arXiv 2610.06748
BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全
构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信
- arXiv
- 2610.06748
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
- 攻击arXiv 2610.05894
研究者提出闭环偏见注入攻击
提出闭环激活引导，在扩散语言模型去噪过程中注入定向偏见
- arXiv
- 2610.05894
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 测试
- LLaDA-8B-Instruct、Dream-v0-Instruct-7B、LLaDA-MoE-7B-A1B-Instruct
摘要通过去噪中间概率反馈动态调节残差流转向，证明扩散语言模型在推理服务栈中存在闭环偏见注入脆弱性。
- 评测与基准arXiv 2610.00568
研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容
提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入
- arXiv
- 2610.00568
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Tulu-3-8B 等 13 个
摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。
本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。
- 评测与基准arXiv 2609.02095
READY：面向企业 Agent 部署的可靠性资格认证框架
提出 READY 资格框架，评测企业 Agent 在监督下的可靠性与复核成本
- arXiv
- 2609.02095
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 5、Sonnet 5、GPT-5.6-Sol 等 15 个
摘要READY 把工作流证据转成可检验的可靠性–监督–成本部署画像。
READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。。
- 防御arXiv 2608.10502
依赖引导回滚修复：为记忆增强 Agent 恢复错误记忆后的答案与状态
提出依赖引导回滚修复，纠正记忆增强 Agent 消费故障记忆后的回答与状态
- arXiv
- 2608.10502
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4o、Gemini-3.6-Flash、Qwen3.6-27B
- 风险行为arXiv 2609.24927
研究：个人 AI Agent 会按推断财富差别推荐，屏蔽属性反而放大差距
测量个人智能体是否会按私人上下文推断财富并推荐高价选项
- arXiv
- 2609.24927
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、GPT-5、GPT-5-mini 等 13 个
- 风险失准与价值偏离
摘要全因子评测揭示个人智能体会推断用户财富并推荐高价选项，甚至推翻用户明确指令。
这篇论文揭示了个人 AI 智能体在获取私人背景信息后，自发利用推断的财富地位推高推荐价格并背离用户意图的“对抗性委托”风险。。
- 分析与理论arXiv 2608.27924
智能体记忆如何可靠处理不可回答问题：一项系统研究
分析外部记忆对智能体可靠处理不可回答问题的作用
- arXiv
- 2608.27924
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek-V3.2、Qwen3-235B-A22B-Instruct-2507、GPT-5.5
摘要记忆能选择性提高 UAQ 的可接受回应，但跨数据集不稳定，且更依赖可迁移的行为指导。
这份研究在同一智能体框架里检查外部记忆会不会让不可回答问题的处理更稳，以及稳来自哪一种存储内容。