Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

Defenses and guardrails · Papers

Found 12 papers
Filter1
Select any value within a category; different categories must all match. Counts include the other filters you have selected.
  1. DefensesarXiv 2610.09167

    Persist-3 用顺序检验识别未见越狱来源,提升 MTK 与 Prompt Guard 2 防御效果

    提出 Persist-3 序贯检验,从隐藏表示识别未见越狱源

    Published
    Evaluated models
    Llama2-7B-chat, Qwen2.5-7B-Instruct, Gemma-2-9B-it and others4
    AbstractPersist-3 用有限窗口检验攻击流是否超出已知越狱源,检出率低于全历史 SR-DKW,但决策只依赖最近观测。

    Persist-3 是一个有限记忆的序贯检测器,用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。。

    Paper analysisRead analysis
  2. DefensesarXiv 2610.07774

    研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器

    AI summary研究者提出一种轻量级路由 logits 安全检测器,在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号,在生成前判断多模态请求是否安全,且不修改模型参数或专家路由。

    Published
    Evaluated models
    Qwen3-VL-30B-A3B-Instruct, Kimi-VL-A3B-Instruct
    Abstract读出而非操纵 router logits,可在不改模型的情况下降低两模型的组合式安全错误。

    作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类:图文各自可安全,合在一起才不安全,或不安全内容只在图像里。

    Paper analysisRead analysis
  3. DefensesarXiv 2610.02413

    研究:分类后缀可提升激活探针的分布外恶意输入检测

    用分类后缀提升激活探针对分布外恶意输入的检测

    Published
    Evaluated models
    Llama-3.1-8B, Qwen3.5-9B, Gemma-4-12B
    Abstract作者称排序增益来自分类格式,低 FPR 精度来自点名准则。

    用户轮后的分类后缀,被作者用作激活探针的分布外检测干预:排序看格式,低 FPR 精度看是否点名恶意/良性。

    Paper analysisRead analysis
  4. DefensesarXiv 2609.38645

    用探针引导微调对齐模型且不损失可监控性

    用持续更新的探针做微调,降低有害性并保持线性可监测性

    Published
    Evaluated models
    Mistral 7B Instruct v0.1, Llama 3 8B Instruct Abliterated, Qwen3-14B
    Abstract持续重拟合的探针可降低有害性、提高诚实性,训练后概念仍能被线性探针读出。

    Probe-guided fine-tuning 把探针分数当作唯一对齐信号,用来推动 harmlessness 与 honesty,并检查训练后这些概念是否仍线性可读。

    Paper analysisRead analysis
  5. DefensesarXiv 2609.30841

    为何扩散语言模型的越狱会成功:能量景观分析

    用能量势垒信号检测扩散语言模型的越狱

    Published
    Evaluated models
    LLaDA-8B-Instruct, LLaDA-1.5, Dream-v0-Instruct-7B and others4
    Abstract能量势垒把 dLLM 越狱分成掩盖初始状态或中途越垒,三个 logit 信号据此互补检测。

    Bach 等提出用去噪能量景观解释 masked diffusion 语言模型上的越狱,并由此得到三个免训练检测信号。。

    Paper analysisRead analysis
  6. DefensesarXiv 2609.05797

    论文发现安全监控器主要拦截模型本就会拒答的请求

    评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检

    Published
    Evaluated models
    Gemma-4-31B-IT, Qwen3-32B, Llama Guard 3 8B and others6

    Abstract论文发现安全监视器大多拦截模型已拒答请求,指出明确度偏差是共性原因,并通过双侧梯级微调提升回答请求的召回表现。

    Paper analysisRead analysis
  7. DefensesarXiv 2505.23559

    SafeScientist:让 LLM 智能体的科学发现具备风险意识

    提出 SafeScientist 四层监控,阻止科研智能体执行高风险或不伦理任务

    Published
    Evaluated models
    GPT-4o, GPT-4.1, GPT-3.5-turbo and others5
    Abstract四层监控加科研安全基准。

    SafeScientist 是带四层监控的科研智能体框架,并用 SciSafetyBench 评测科学场景中的任务安全。

    Paper analysisRead analysis
You have reached the end