防御arXiv 2610.07276
SAFESHIELD：小语言模型部署时安全的决策组织框架
提出 SAFESHIELD，组织小语言模型部署时的安全决策
- arXiv
- 2610.07276
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Qwen3-4B-Instruct
摘要SAFESHIELD 用可审计决策轨迹组织 SLM 部署时的四项安全决策，并报告协调依赖影响端到端结果。
SAFESHIELD 是面向小语言模型的部署时安全框架，把运行时安全从单项审核改写成可检查的决策过程。
全部论文
另有227篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.02869
AgentTrap：面向自主渗透测试 Agent 的有状态反馈欺骗蜜罐
提出 AgentTrap 有状态蜜罐，欺骗并反击自主渗透测试 Agent
- arXiv
- 2610.02869
- 发表
- 层
- 应用层
- 被测模型
- AIDA、Claude Code、PentestGPT 等8个
- 攻击恶意使用
- 攻击arXiv 2610.01768
LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄
提出 LLMLeak，借合法网页抓取把 URL 中的秘密隐蔽外传
- arXiv
- 2610.01768
- 发表
- 层
- 应用层
- 被测模型
- Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct、Meta-Llama-3.1-8B-Instruct 等18个
- 攻击恶意使用
摘要作者称第三方外传可发生于正常网页获取，防护需考虑工具请求而不只考虑提示注入。
LLMLeak 是利用网页获取请求携带预先编码秘密的隐蔽通道攻击。它关注恶意软件已能读取数据、却因网络限制或监控无法直接外传的情形。
- 风险行为arXiv 2609.30266
研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹
测试编程智能体被诱导或自主篡改自身执行轨迹的行为
- arXiv
- 2609.30266
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、GPT-6-Sol、Opus-5 等11个
摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。
这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
- 攻击arXiv 2609.12448
GraphProfiler 用个人知识图谱推断敏感属性并溯源到具体帖子
提出 GraphProfiler，用个人知识图谱从帖子历史推断敏感属性并溯源
- arXiv
- 2609.12448
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要GraphProfiler 用源链接个人知识图谱做属性推断，准确率接近文本基线，并把证据定位到少量源帖。
GraphProfiler 是一个可审计的 LLM 敏感属性画像器：用源链接个人知识图谱，把推断落到具体帖子。
- 评测与基准arXiv 2609.09798
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准，评测代码生成护栏对虚构场景攻击的防御
- arXiv
- 2609.09798
- 发表
- 层
- 提示层
- 攻击者
- 黑盒
- 被测模型
- CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等7个
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
- 攻击arXiv 2608.27439
RedEvoAgent：以经验驱动技能演化的自动红队智能体
提出 RedEvoAgent，演化攻击技能对黑盒智能体做自动红队
- arXiv
- 2608.27439
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
- 被测模型
- MiniMax-M2.5、DeepSeek-V4-Flash、Qwen3.5-35B
摘要RedEvoAgent 用验证棘轮演化可读攻击技能，在两种产品级 harness 上多数设置高于固定工具与红队基线。
RedEvoAgent 是面向产品级 black-box 智能体的自动红队方法，用一份可演化、人类可读的攻击技能编排多个越狱工具。。
- 评测与基准arXiv 2608.17445
论文：分解攻击可跨不可关联身份绕过 LLM 有状态防御
形式化跨不可关联身份的分解攻击并评测状态化防御边界
- arXiv
- 2608.17445
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Granite Guardian 3.1 2B
- 攻击arXiv 2607.11698
AHA 用自动研究循环发现生产 Agent 漏洞概念
提出 AHA 自动科研循环，发现生产 Agent 的可复用漏洞概念
- arXiv
- 2607.11698
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
- 被测模型
- Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等5个
摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。
AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。
- 攻击arXiv 2607.03968
研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容
提出工作流级越狱，让编程 Agent 在开发任务中写入有害示例
- arXiv
- 2607.03968
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等4个
摘要作者报告 Copilot 后端会在编码工作流中生成其在单轮条件下通常拒绝的有害答案。
这是一项生产 IDE 编码智能体的工作流越狱研究，受测对象是 Copilot 的四个模型后端，而非评测流水线中的名义目标。
- 防御arXiv 2606.22673
Agent MechSuits：面向多轮 CLI Agent 的机制子空间安全引导
提出 Agent MechSuits，对多轮 CLI Agent 做步级检测与子空间转向
- arXiv
- 2606.22673
- 发表
- 层
- 应用层
- 被测模型
- LLaMA-3.1-8B、Qwen-2.5-7B、Gemma-2-9B
摘要白盒步级探针加稀疏转向可压低三模型恶意动作，同时提高生成崩溃率。
Agent MechSuits 是面向多轮 CLI 智能体的白盒、步级表示防御，并配有可执行轨迹基准 MAS。
- 攻击arXiv 2605.30883
TRACE：面向 LLM Agent 的任务感知自适应自进化越狱框架
提出 TRACE 框架，用分解与可演化多轮策略诱导智能体执行有害工作流
- arXiv
- 2605.30883
- 发表
- 层
- 应用层
- 被测模型
- Codex、Claude Code、GPT-5.5 等6个
- 评测与基准arXiv 2604.02947
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
- arXiv
- 2604.02947
- 发表
- 层
- 应用层
- 被测模型
- Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等12个
- 攻击恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
- 攻击arXiv 2603.13847
SWhisper 用近超声隐蔽声学通道对语音驱动 LLM 实现黑盒越狱
提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示
- arXiv
- 2603.13847
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta-Llama-3.1-8B-Instruct、Gemma-3-4B、Qwen2.5-7B-Instruct 等9个
- 防御arXiv 2603.01544
RA-Det：利用鲁棒性不对称检测 AI 生成图像
提出 RA-Det，利用鲁棒性不对称检测 AI 生成图像
- arXiv
- 2603.01544
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要RA-Det 把扰动下特征漂移差变成检测信号，平均 ACC 高于表中通用检测器，但不是每行最高。
RA-Det 是合成图像检测器，用扰动下的表示稳定性差异代替外观痕迹。
- 防御arXiv 2601.19051
用 HASTE 主动加固 LLM 防御
提出 HASTE，挖掘 hard negative 再训练恶意提示检测器
- arXiv
- 2601.19051
- 发表
- 层
- 提示层
- 场景
- LLM 应用
- 被测模型
- protectai/deberta-v3-base-prompt-injection
摘要HASTE 用 hard negative 再训练检测器。
HASTE 是检测器侧的闭环硬化框架：持续构造能绕过当前检测的对抗提示，再用来更新恶意提示分类器。
- 评测与基准arXiv 2601.07084
安全代码生成有多安全？对抗提示考验 LLM 防御
用对抗提示审计安全代码生成方法在自然语言改写后的安全与功能
- arXiv
- 2601.07084
- 发表
- 层
- 提示层
- 被测模型
- Salesforce/codegen-350M-multi、codegen-2B-multi、codegen-6B-multi 等5个
- 攻击越狱
- 评测与基准arXiv 2510.01359
JAWS-Bench：研究者用三种工作区场景系统越狱代码 Agent
提出 JAWS-Bench，评测代码 Agent 在三级工作区中的越狱与恶意代码可执行性
- arXiv
- 2510.01359
- 发表
- 层
- 应用层
- 被测模型
- GPT-4.1、GPT-o1、DeepSeek-R1 等8个
- 攻击越狱
摘要论文提出了评估代码智能体端到端恶意代码越狱的 JAWS-Bench，发现多文件与智能体推理会明显放大可部署危害。
已经到底了