防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Llama-3.1-8B-Instruct、Qwen3-8B、Qwen3.5-4B 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
全部论文
另有 701 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2608.25460
用强化学习训练对齐审计员：成对奖励加校准让 Haiku 4.5 追平 Opus 4.6
用强化学习与成对比较奖励训练对齐审计模型并校准假阳性
- arXiv
- 2608.25460
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama 3.3 70B、Claude Haiku 4.5、Claude Opus 4.6 等 15 个
摘要系统总结了强化学习训练对齐审计器的核心问题、成对奖励与校准方法及主要结果。
- 防御arXiv 2609.05797
论文发现安全监控器主要拦截模型本就会拒答的请求
构建明确度梯级并做守卫微调，以拦住模型会回答的有害请求
- arXiv
- 2609.05797
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama Guard 3 8B、Gemma-4-31B-IT、Qwen3-32B 等 6 个
摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
- 防御arXiv 2607.19913
Janus：面向长时程智能体安全的前瞻性潜在风险预测框架
提出 Janus，用 CoAA-RL 训练前瞻守卫，在长程智能体有害动作执行前拦截
- arXiv
- 2607.19913
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama-Guard-3-8B、LlamaFirewall、Vanguard 等 8 个
- 防御监控与审计
- 攻击提示注入
- 风险Agent 危险操作
- 组件监控器
- 防御arXiv 2609.02316
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御
- arXiv
- 2609.02316
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Llama-4-Scout-17B-16E、Llama Guard 3-8B、Gemma-4-31B-IT 等 11 个
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
- 防御arXiv 2610.00400
DART：用表征位移检测多轮 LLM 智能体中的新兴安全风险
提出 DART，用去噪表征转移检测并干预多轮智能体攻击
- arXiv
- 2610.00400
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 测试
- Llama-3.1-8B、Qwen3-8B、Qwen3-14B 等 6 个
- 防御arXiv 2610.01058
MOMAT：面向量化 LLM 低功耗越狱防御的多图集混合框架
提出 MOMAT 多图集检索与轻量判定，防御量化模型越狱
- arXiv
- 2610.01058
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Llama2-13B、Llama2-7B、Mistral-7B
- 防御arXiv 2609.13534
HPD 与 HERALD：用跨层有害性传播轨迹检测越狱提示
提出 HERALD，用跨层有害投影轨迹检测越狱提示
- arXiv
- 2609.13534
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Mistral-7B-Instruct、OLMo2-7B-Instruct 等 8 个
摘要HPD 用跨层投影形状区分有害与良性提示。
- 防御arXiv 2609.20129
局部稀疏性实现无监督 LLM 安全检测
提出局部稀疏无监督安全检测，标记偏离安全分布的输入
- arXiv
- 2609.20129
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- llama3-8b-instruct、qwen2-1.5b-instruct、ministral-8b-instruct 等 6 个
- 防御arXiv 2609.36326
PILLAR：面向增强检索的私有倒排索引词法查找
提出 PILLAR，用私有词法预筛与客户端重排保护 RAG 查询
- arXiv
- 2609.36326
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Llama-3-70B、Qwen2.5-7B-Instruct、e5-base-v2 等 4 个
- 组件RAG
摘要PILLAR 用固定模式的私有 BM25 预筛加本地嵌入重排，在两基准上换取延迟或质量。
PILLAR 是面向公开语料的隐私 RAG：半诚实服务器学不到查询词项和访问模式，客户端仍拿到用于增强生成的 k 篇文档。
- 防御arXiv 2609.38645
用探针引导微调对齐模型且不损失可监控性
用持续更新的探针做微调，降低有害性并保持线性可监测性
- arXiv
- 2609.38645
- 发表
- 场景
- 模型与 API
- 测试
- Llama 3 8B Instruct Abliterated、Llama 3 8B Instruct、Mistral 7B Instruct v0.1 等 4 个
摘要持续重拟合的探针可降低有害性、提高诚实性，训练后概念仍能被线性探针读出。
Probe-guided fine-tuning 把探针分数当作唯一对齐信号，用来推动 harmlessness 与 honesty，并检查训练后这些概念是否仍线性可读。
- 防御arXiv 2608.17829
LeakGauge：用行为探针在解码前检测上下文泄露攻击信号
提出 LeakGauge，用行为后缀的 prefill 对数概率检测上下文泄露
- arXiv
- 2608.17829
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 测试
- Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Llama-4-Scout-Instruct 等 11 个
- 防御arXiv 2609.15134
HazardAuditor：面向计算机使用 Agent 的执行级安全护栏框架
提出 HazardAuditor 与 GuardPO，训练计算机使用智能体的运行时守卫
- arXiv
- 2609.15134
- 发表
- 层
- 应用层
- 测试
- LlamaGuard3-8B、HazardAuditor、HazardAuditor-SFT 等 15 个
- 防御监控与审计
- 风险Agent 危险操作
- 组件监控器
- 防御arXiv 2609.21996
PIR：从模型内部激活读出被隐藏的答案
提出内部识别探测器 PIR，从激活区分模型隐瞒与真实遗忘
- arXiv
- 2609.21996
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B、gemma-2-9b、gemma-3-12b 等 9 个
摘要论文提出免参考内部识别探测 PIR，划分了隐瞒与遗忘的边界，为评估沙盒审计与遗忘真实性提供了内部依据。
- 防御arXiv 2609.14987
ActGuard：面向 LLM Agent 间接提示注入的执行前动作审计框架
提出 ActGuard，在执行前审计并遮盖诱发动作偏离的间接注入
- arXiv
- 2609.14987
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama-3.1-8B-Instruct、Meta-Llama-3.1-8B-Instruct、GPT-4o-mini 等 7 个
已经到底了