Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 18 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 Persist-3 序贯检验，从隐藏表示识别未见越狱源
Published Oct 7
Evaluated models Llama2-7B-chat , Qwen2.5-7B-Instruct , Gemma-2-9B-it and others4 Abstract Persist-3 用有限窗口检验攻击流是否超出已知越狱源，检出率低于全历史 SR-DKW，但决策只依赖最近观测。Persist-3 是一个有限记忆的序贯检测器，用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。 。
提出 Persona Guardrail，强制客服智能体守住功能边界
Published Oct 2
Evaluated models Qwen3-30B-A3B , Qwen3-VL-30B , Qwen3-8B and others5 Abstract Persona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。
提出收缩约束 SSM 安全头，认证嵌入扰动并检测越狱
Published Oct 2
Evaluated models ToySSMClassifier , S4 safety head Abstract 收缩给出玩具 LTI 的有界认证。给 SSM 安全头一个收缩条件，并在越狱检测上使用收缩正则的 S4 头。 。
提出 MOMAT 多图集检索与轻量判定，防御量化模型越狱
Published Oct 1
Evaluated models Llama2-13B , Llama2-7B , Mistral-7B 构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险
Published Sep 29
Evaluated models ThinkingGuard（Qwen3-VL-8B-Instruct） Abstract TriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。这篇工作研究多模态隐式风险检测 ：图文各自良性，风险只在关键元素与触发元素交互时出现。
提出 HE-Guardrail，在密文推理中评估越狱护栏并门控回复
Published Sep 18
Evaluated models Llama-3-8B-Instruct , Llama Guard 3-8B Abstract 密文护栏门控 HE-LLM 回复。把越狱护栏装进同态加密 LLM 推理：服务器不解密，也能按安全决策决定客户端看到目标回复还是拒绝回复。
用后验重加权解释多模态上下文越狱，并提出风险门控的良性示例注入防御
Published Sep 8
Evaluated models Qwen3-VL-2B , Qwen3-VL-4B , Qwen3-VL-8B and others8 Abstract 后验重加权解释上下文越狱的缩放，并支持风险门控的良性示例防御。Zhang 等把多模态 ICL 越狱写成对齐模型在安全与有害隐模式之间的推理时后验漂移，并据此做风险门控防御。
提出 SRD-GUARD，以语义改写与多模型联合评分拦截包装式越狱
Published Sep 6
Evaluated models Llama-3-8B-Uncensored , DeepSeek-V4-Flash 提出生成式护栏 HiveTraceGuard-Pro，检测提示注入、越狱与混淆
Published Sep 1
Evaluated models HiveTraceGuard-Pro (0.6B) Abstract 0.6B 俄英护栏在自建俄语干净集和 PI-RU 上得分最高，聚合 key 居第三，过阻断和回复精度仍是作者标出的短板。HiveTraceGuard-Pro 是面向请求与回复审核的 0.6B 生成式护栏，由 Qwen3-0.6B 经 LoRA 微调，在俄语和英语上训练，只输出一个 safe/unsafe 裁决。
提出 SciTrace，为科学发现智能体加入跨阶段安全推理与工具轨迹核验
Published Jun 6
Evaluated models Llama-3.1-70B-Instruct , Qwen2.5-72B-Instruct , DeepSeek-V3 and others4 Abstract SciTrace 把安全推理织入科学智能体各阶段，在 SciSafetyBench 上提高安全指标并保持输出质量。SciTrace 是加在科学发现智能体流水线上的安全框架，不是再在各阶段出口放一个独立过滤器。
提出 FoodGuardBench 与护栏 FoodGuard-4B，评测并降低食品危害越狱
Published Apr 2
Evaluated models Claude-3.7-Sonnet , GPT-4o , GPT-4.1 and others10 微调编码器抽取语言特征并分类，检测临床训练对话中的越狱
Published Feb 11
Evaluated models BERT-Base , BERT-Large , DistilBERT and others7 提出 HASTE，挖掘 hard negative 再训练恶意提示检测器
Published Jan 27
Evaluated models protectai/deberta-v3-base-prompt-injection Abstract HASTE 用 hard negative 再训练检测器。HASTE 是检测器侧的闭环硬化框架：持续构造能绕过当前检测的对抗提示，再用来更新恶意提示分类器。
提出 MalURLBench 评测 Agent 是否接受结构伪装的恶意 URL
Published Jan 26
Evaluated models GPT-3.5-Turbo , GPT-4o-mini , GPT-4o and others13 提出 TS-Guard 与 TS-Flow，在执行前检测并引导 Agent 修正有害工具调用
Published Jan 15
Evaluated models GPT-4o , TS-Guard , Qwen2.5-14B-Instruct Abstract TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
提出 Tool Obfuscation 并评测函数调用 Agent 的攻防
Published Jan 14
Evaluated models Qwen3:8B , Llama-3.2:3B , Granite3.2:8B and others5 提出多轮多模态越狱，并用 FragGuard 拦截有害响应
Published Jan 9
Evaluated models LLaVa-1.6 (7B) , LLaVa-1.6 (13B) , Qwen-2-7B and others5 Defenses arXiv 2505.23559 · May 29, 2025 提出 SafeScientist 四层监控，阻止科研智能体执行高风险或不伦理任务
Published May 29, 2025
Evaluated models GPT-4o , GPT-4.1 , GPT-3.5-turbo and others5 Abstract 四层监控加科研安全基准。SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。
You have reached the end