攻击arXiv 2610.07723
研究者提出答案侧后门：让模型自生成触发词绕过安全拒答
提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答
- arXiv
- 2610.07723
- 发表
- 场景
- 模型与 API
- 测试
- Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个
摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
全部论文
另有 558 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评 Agent 提示注入检测器，检验基准分数能否预测部署表现
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
- 防御arXiv 2609.33039
TACIT：从 LLM 内部状态检测 Agent 轨迹危害
提出 TACIT，从冻结内部表征检测智能体有害轨迹
- arXiv
- 2609.33039
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3Guard-4B、LlamaGuard3-8B、AgentDoG-4B 等 9 个
- 防御检测与过滤
- 攻击提示注入
- 风险Agent 危险操作
- 组件护栏与评审
摘要提出基于内部表征的智能体轨迹安全检测方法 TACIT，揭示工具风险表征特性并在多项基准上提升检测表现与效率。
- 评测与基准arXiv 2604.07223
TraceSafe-Bench：评估 LLM 护栏在多步工具调用轨迹上的表现
提出基准 TRACE SAFE-BENCH 评测多步工具调用轨迹护栏
- arXiv
- 2604.07223
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5 mini、GPT-5.4 mini、Gemini3-Flash 等 15 个
摘要TRACE SAFE-BENCH 用可控变异评轨迹护栏，结构能力比规模和越狱鲁棒性更相关。
TRACE SAFE-BENCH 用固定的多步工具轨迹评护栏，问的是不安全动作到达环境之前能否被拦住，而不是智能体自己会不会拒绝。
- 防御arXiv 2601.10156
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用
- arXiv
- 2601.10156
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4o、Qwen3-8B、Qwen2.5-7B-Instruct 等 10 个
摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
- 防御arXiv 2609.10707
面向 AI-SOC 的神经符号防御框架：用 SIEM 解码器与 NeMo Guardrails 阻断日志投毒提示注入
提出神经符号纵深架构，阻断 AI-SOC 的日志投毒与间接提示注入
- arXiv
- 2609.10707
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Gemma 3 (12B)
- 防御arXiv 2609.14987
ActGuard：面向 LLM Agent 间接提示注入的执行前动作审计框架
提出 ActGuard，在执行前审计并遮盖诱发动作偏离的间接注入
- arXiv
- 2609.14987
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4o-mini、Gemini-2.5-Flash、DeepSeek-V4-Flash 等 7 个
- 评测与基准arXiv 2609.29429
Jev 被用于零样本检测十类对齐失败，中位 AUROC 达 0.886
提出 RLCDAlignBench，零样本检测多种对齐失败
- arXiv
- 2609.29429
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Jev (jev-1.13.0)、Qwen3.5-2B、Phi-4-mini 等 6 个
摘要一次通用问题已能给多数对齐失败排序，大的误差来自状态和标签。
RLCDAlignBench 测量用强化学习做校准决策的 Jev，能否当作对齐失败的零样本检测器。
已经到底了