攻击arXiv 2607.03220
CONTRA：研究者用配置树搜索对个人化 Agent 做红队测试
提出 CONTRA，用树搜索修改良性配置以诱发 Agent 恶意动作
- arXiv
- 2607.03220
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Ministral-3-14b、Gemma4-31b、Gemma4-e4b 等 6 个
- 技术自动化搜索
全部论文
另有 664 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2608.25776
EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播
提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能
- arXiv
- 2608.25776
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个
摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。
- 攻击arXiv 2610.04589
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Mistral Large 2、Llama 3.1 405B、Claude 3.5 Sonnet 等 13 个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
- 防御arXiv 2610.00685
研究者提出用零空间投影净化 LoRA 微调 LLM 的后门
用零空间投影净化 LoRA 微调模型后门并保留基座与下游能力
- arXiv
- 2610.00685
- 发表
- 场景
- 模型与 API
- 测试
- Mistral-7B-Instruct-0.1、LLaMA2-7B-Chat、LLaMA2-13B-Chat 等 6 个
- 分析与理论arXiv 2609.05241
10a Labs 测绘无审查开源模型生态：3,471 个原始模型与 8,164 次再分发
测绘去安全开源模型的生产与重分发留存链路
- arXiv
- 2609.05241
- 发表
- 场景
- 模型与 API
- 测试
- Mistral/Mixtral、Qwen、Llama 等 10 个
摘要论文测绘了去安全开源大模型供应链，作者指出高集中度的重分发层赋能模型持久留存与部署扩散。
- 防御arXiv 2609.13601
Mind the Gap：检测 DAO 治理中的描述-执行不匹配攻击
提出 DEMI 检测框架，在执行前识别 DAO 提案描述与执行载荷的不匹配
- arXiv
- 2609.13601
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Mistral-Large、GPT-4o、Claude 4.5 Sonnet 等 8 个
摘要用公开链上数据仿真治理全流程，再以逐动作证据映射在执行前发现描述与执行不一致。
Mind the Gap 把 DAO 提案的描述–执行不一致（DEMI）做成可在投票窗口内运行的检测问题。。
- 防御arXiv 2609.36372
TTMark：超越单 token 熵的成对无失真水印
提出成对无失真水印 TTMARK，增强低熵下的机器文本检测
- arXiv
- 2609.36372
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Mistral-v0.3-7B-Instruct、Llama3.2-3B-Instruct、Qwen2.5-7B-Instruct 等 4 个
摘要TTMARK 用水印化相邻 token 对利用条件熵，在多种无失真方案上提高检测并保持生成质量。
TTMARK 是一种成对、无失真的文本水印：对相邻 token 的联合分布重加权，而不是逐 token 独立重加权。
- 攻击arXiv 2608.06862
SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化
提出 SYNCHAIN，诱导计算机使用 Agent 自合成潜伏技能并跨任务触发
- arXiv
- 2608.06862
- 发表
- 层
- 应用层
- 测试
- Ministral-3-8B、Qwen3.5-9B、Llama-3.1-8B 等 5 个
摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。
- 评测与基准arXiv 2608.28411
LongPIBench：面向长上下文提示注入的评测基准
提出 LongPIBench，评测长文档场景下的提示注入攻击与防御
- arXiv
- 2608.28411
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Ministral-3-8B-Instruct、Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct 等 11 个
- 攻击提示注入
摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。
- 攻击arXiv 2608.29458
Reference-Grafting 在提取沙袋行为隐藏能力上追平微调
提出参考嫁接，在推理阶段用激活干预诱导沙袋隐藏能力
- arXiv
- 2608.29458
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- Mistral-7B、Qwen2.5-1.5B、Qwen2.5-3B 等 15 个
- 攻击模型篡改
摘要提出参考嫁接在推理阶段以低成本匹配微调诱导效果，揭示隐瞒表征重叠与阈值门控机制。
- 评测与基准arXiv 2609.17320
Emergence World：对长时程多智能体系统开展对抗压力测试
构建 Emergence World，评测长时程多智能体对抗韧性与群体失效
- arXiv
- 2609.17320
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Mistral Medium 3.5、Claude Opus 4.8、DeepSeek v4 Pro 等 9 个
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
- 防御arXiv 2609.21088
Provenance-Aware Transformers：用来源感知架构分离可信边界以防御间接提示注入
提出 Provenance-Aware Transformers，隔离不可信来源防御间接提示注入
- arXiv
- 2609.21088
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Mistral-7B-Instruct-v0.3、SmolLM2-360M-Instruct、LLaMA-3-8B-Instruct 等 4 个
- 评测与基准arXiv 2609.28915
研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性
构建 ACE 语料并比较内核与应用层证据的攻击检测效果
- arXiv
- 2609.28915
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Devstral 2 123B、AdaBoost、XGBoost 等 13 个
摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。
ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。
- 攻击arXiv 2609.36576
AdaLCPI：让 Agent 从长上下文碎片中重建间接提示注入
提出 AdaLCPI，把间接提示注入拆成片段嵌入工具返回并自适应优化
- arXiv
- 2609.36576
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Ministral-3-14B、GPT-4.1、GPT-5.1 等 7 个
- 防御arXiv 2609.37196
ToolFence：为工具调用 LLM Agent 提供细粒度授权
提出 ToolFence 能力级授权，执行前编译蓝图并确定性拦截工具调用
- arXiv
- 2609.37196
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Mistral-Small-3.1-24B-Instruct-2503、Qwen3-max、GPT-4o (gpt-4o-2024-08-06)
已经到底了