攻击arXiv 2606.04329
研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准
系统研究 LLM 智能体记忆投毒并构建基准 MPBench
- arXiv
- 2606.04329
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Deberta-v3-base、GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct 等 6 个
摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。
全部论文
另有 602 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 攻击arXiv 2610.04195
MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露
评估多租户智能体共享向量记忆的跨用户泄露与主动桥接
- arXiv
- 2610.04195
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- all-MiniLM-L6-v2、Gemini 2.5 Flash、Claude Sonnet 4.5 等 5 个
- 防御arXiv 2610.05870
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动
- arXiv
- 2610.05870
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 白盒
- 测试
- FLUX.1、FLUX.1+LoRA、Boreal FLUX.1 等 10 个
摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
- 攻击arXiv 2610.02373
HDI 攻击：篡改 GraphRAG 辅助结构可致 88–94% 攻击成功率
提出 HDI 攻击以篡改 GraphRAG 辅助结构破坏检索
- arXiv
- 2610.02373
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Microsoft GraphRAG、HippoRAG2、text-embedding-3-small 等 4 个
摘要论文形式化了 GraphRAG 辅助模式级实体攻击面，提出 HDI 攻击并验证其攻击效果。
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 攻击arXiv 2609.39607
Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器
提出 PRETEXT 白盒攻击，迭代改写技能文本以绕过 Agent 技能扫描器
- arXiv
- 2609.39607
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 白盒
- 测试
- all-MiniLM-L6-v2、glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507) 等 4 个
摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。
PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。
- 攻击arXiv 2607.12340
研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击
提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持
- arXiv
- 2607.12340
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Granite 3.3 8B、GLM-4.5-Air、GPT-5.4-mini 等 10 个
摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。
- 评测与基准arXiv 2608.17445
论文：分解攻击可跨不可关联身份绕过 LLM 有状态防御
形式化跨不可关联身份的分解攻击并评测状态化防御边界
- arXiv
- 2608.17445
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Granite Guardian 3.1 2B、huihui-ai/Huihui-Qwen3.5-35B-A3B-abliterated、huihui-ai/Huihui-Qwen3.5-2B-abliterated 等 5 个
- 分析与理论arXiv 2609.08812
研究团队用收敛与区分效度检验 56 个 AI 基准，发现安全基准相关性普遍偏弱
用聚合与区分效度检验基准是否衡量其所称概念
- arXiv
- 2609.08812
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Phi-3.5 Mini Instruct、Qwen 1.5 110B Chat、Qwen 2.5 32B Instruct 等 15 个
- 分析与理论arXiv 2610.01535
论文：安全路由评测在分布偏移下失效，基线选取偏差被低估
提出诚实留出协议，量化安全路由评测的基线选择偏差
- arXiv
- 2610.01535
- 发表
- 层
- 应用层
- 测试
- MiniLM、claude-3-5-sonnet、claude-3-opus 等 12 个
- 攻击越狱
摘要论文揭示安全路由评估在分布偏移下的虚假下限，指出防御重心应转向外部动作级强制。
- 评测与基准arXiv 2609.02316
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御
- arXiv
- 2609.02316
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Granite Guardian 3.3-8B、DeBERTa-v3-base、Gemma-4-31B-IT 等 11 个
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
- 防御arXiv 2608.30703
SingProbe 发布开源内在护栏框架，适配 29 个开源模型
提出内生护栏 SingProbe，复用解码隐状态监测查询意图、回复安全与幻觉
- arXiv
- 2608.30703
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- GraniteGuardian、Ling-3.0-tiny-singprobe、Ling-3.0-flash-singprobe 等 14 个
摘要SingProbe 用轻量内生探针做生成时三类监测，并给出流式基准与低开销服务接入。
SingProbe 是面向生成时监测的开源内生护栏：复用基座解码隐状态，而不是另起模型反复编码文本。
- 评测与基准arXiv 2609.03221
FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限
用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限
- arXiv
- 2609.03221
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- phi3:mini、claude-haiku-4-5、claude-sonnet-5 等 7 个
摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。
FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。
- 攻击arXiv 2609.03884
HookPry：利用插件生命周期钩子更新劫持 AI Agent 框架
提出 HOOKPRY，利用插件生命周期钩子更新劫持 Agent 框架
- arXiv
- 2609.03884
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GitHub Copilot、Claude Sonnet 4.6、DeepSeek-V4-Pro 等 6 个
- 攻击arXiv 2610.01768
LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄
提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传
- arXiv
- 2610.01768
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- IBM-Granite-3.3-8b-instruct、Microsoft-Phi-4-mini-instruct、Meta-Llama-3.3-70B-Instruct 等 15 个
摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。
LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。
- 攻击arXiv 2610.01062
Kernelized Activation Steering：将激活引导推广到再生核希尔伯特空间的新框架
提出核化激活引导 KAS，在推理时自适应转向激活以诱导越狱
- arXiv
- 2610.01062
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- FLUX.1 [schnell]、Qwen2.5-7B-Instruct、Gemma-2-9B-IT 等 6 个
摘要KAS 用核梯度做局部自适应转向，并在线性核下恢复 DiM。
Kernelized Activation Steering（KAS） 把推理时的激活转向写成核空间中的优化，使更新随当前激活相对源、目标参考集的位置而变化。
- 可解释性arXiv 2609.16247
研究在 25 个开源模型中提取出疼痛方向，经它引导的 Qwen 会选择有害的删除操作
提取疼痛方向并检验激活转向是否驱动有害删除选择
- arXiv
- 2609.16247
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Phi 4 14B instruct、Gemma 2 2B/9B/27B base and instruct、Gemma 3 27B base and instruct 等 10 个
- 分析与理论arXiv 2609.34326
REGEXROUTE：无需嵌入向量的正则表达式路由，兼顾速度与可解释性
提出 REGEXROUTE，用 SAE 引导的正则特征做 LLM 路由
- arXiv
- 2609.34326
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- MiniLM-L6、MPNet-base、BGE-base 等 15 个
- 评测与基准arXiv 2609.15017
PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器
提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现
- arXiv
- 2609.15017
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- DeBERTa-v3-FT、ProtectAI DeBERTa-v3-base-prompt-injection-v2、DeBERTa-PI 等 8 个
摘要PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。
PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。