Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

Defenses and guardrails · Papers

Found 9 papers
Filter3
Select any value within a category; different categories must all match. Counts include the other filters you have selected.
  1. DefensesarXiv 2610.07774

    研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器

    AI summary研究者提出一种轻量级路由 logits 安全检测器,在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号,在生成前判断多模态请求是否安全,且不修改模型参数或专家路由。

    Published
    Evaluated models
    Qwen3-VL-30B-A3B-Instruct, Kimi-VL-A3B-Instruct
    Abstract读出而非操纵 router logits,可在不改模型的情况下降低两模型的组合式安全错误。

    作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类:图文各自可安全,合在一起才不安全,或不安全内容只在图像里。

    Paper analysisRead analysis
  2. DefensesarXiv 2610.04967

    One Token Can Be Enough:用 Prefix Steering 连接提示与激活引导

    提出 Prefix Steering,以短前缀激活引导控制行为并保住能力

    Published
    Evaluated models
    OLMo 3 7B, OLMo 3 32B, Qwen3 1.7B and others4
    Abstract短前缀 steering 用已有方向做短暂干预。

    本文用注意力层匹配连接提示词与激活干预,并把干预改成从末提示词 token 开始的短前缀。

    Paper analysisRead analysis
  3. DefensesarXiv 2610.02844

    DNAlign:面向 LLM 的动态零空间安全对齐框架

    提出 DNAlign,在不改权重的推理期用零空间约束控制信号做安全对齐

    Published
    Evaluated models
    Vicuna-7B, Qwen-7B
    AbstractDNAlign 用零空间约束的推理期控制做安全对齐,Table I 平均奖励高于所列基线。

    DNAlign 是一个不改 LLM 参数的安全对齐框架,用来在推理时压低有害输出,并减少对中性知识所支持的流畅、事实回答的改动。

    Paper analysisRead analysis
  4. DefensesarXiv 2610.01170

    HeadEdit:通过冻结的 unembedding 矩阵校准语言模型行为

    提出 HeadEdit,经冻结 unembedding 做随输入变化的 logit 校正

    Published
    Evaluated models
    Qwen3-4B, Gemma-3-4B-IT, Llama-3.2-3B-Instruct and others4
    Abstract低秩 unembedding 校正抬高九个设置的总体准确率,并可部分预测 DPO 更新。

    HeadEdit 是一种不更新参数的行为校准方法,作用点是冻结的 unembedding,而不是中间层残差或新的梯度优化。

    Paper analysisRead analysis
  5. 论文提出拒答的几何解释:事后安全训练脆弱,预训练期持续安全共训更抗攻击

    解释后验安全的权重几何脆弱性,并提出预训练持续安全共训练

    Published
    Evaluated models
    Qwen-2.5-7B, Qwen-2.5-7B-Instruct, Llama-3-8B and others15

    Abstract论文将后验安全脆弱性归因于正交抑制,并提出通过预训练持续共训练实现具备微调抗性的安全防护。

    Paper analysisRead analysis
  6. DefensesarXiv 2608.30703

    SingProbe 发布开源内在护栏框架,适配 29 个开源模型

    提出内生护栏 SingProbe,复用解码隐状态监测查询意图、回复安全与幻觉

    Published
    Evaluated models
    Ling-3.0-tiny-singprobe, Ling-3.0-flash-singprobe
    AbstractSingProbe 用轻量内生探针做生成时三类监测,并给出流式基准与低开销服务接入。

    SingProbe 是面向生成时监测的开源内生护栏:复用基座解码隐状态,而不是另起模型反复编码文本。

    Paper analysisRead analysis
  7. DefensesarXiv 2604.00012

    研究提出 SafeReAct:恢复后训练大模型被掩盖的安全机制

    提出 SafeReAct,用 LoRA 重激活后训练模型被掩盖的安全机制

    Published
    Evaluated models
    DeepSeek-R1-distilled LLaMA-8B, DeepSeek-R1-distilled Qwen-7B, DeepSeek-R1-distilled Qwen-14B and others9
    AbstractSafeReAct 用剪枝得到的安全表示做 LoRA 对齐,以恢复后训练模型被掩盖的拒绝行为。

    这篇工作针对后训练 LLM 的安全下降,提出表示对齐方法SafeReAct。

    Paper analysisRead analysis
You have reached the end