跳到正文
10月9日 · 周五

开源模型安全 · 论文

找到 18 篇

另有 45 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 可解释性arXiv 2610.04112收录

    Spatial-SAE:用空间依赖先验改进视觉概念分解

    提出 Spatial-SAE,用空间依赖先验改进视觉概念分解

    收录
    测试
    DINOV2 ViT-B/14
    摘要Spatial-SAE 用空间 Markov 先验替换 patch 独立先验,换取更对齐的视觉概念。

    Spatial-SAE 针对视觉 SAE 的概念碎片化:tokenwise 目标在 LRH 之外把各 patch 的码当成独立,而作者报告冻结视觉 Transformer 的激活仍保留邻域可预测性。

    深度解读完整解读
  2. 分析与理论arXiv 2610.03095

    研究:异构 AI 模型间的说服效果取决于配对而非模型规模

    量化异构模型在一次分歧交换后对分类判断的同伴影响

    发表
    测试
    gemma-3-4b、gemma-3-27b、llama-3.1-8b 等 7 个
    摘要一次分歧交换就能大幅改判,且组合行为不能从个体属性外推。

    这篇工作测量异构语言模型智能体在共同分类任务上的单次同伴影响,而不是评多智能体系统的整体基准分。

    深度解读完整解读
  3. 防御arXiv 2608.05578

    AMS 工具通过激活分析检测语言模型的安全训练改动

    提出 AMS,用激活分离与方向相似度检测安全训练改动

    发表
    测试
    Gemma-2-9b-it、Gemma-2-2b-it、IlyaGusev/gemma-2-9b-it-abliterated 等 14 个
    摘要AMS 按激活签名把安全改动分四类,前三类可由两级扫描覆盖,行为微调会漏。

    AMS 是面向开放权重模型、部署前使用的激活扫描器,用来看安全训练被拿掉或改写之后,激活空间里还留着什么几何痕迹。

    深度解读完整解读
  4. 防御arXiv 2608.30703

    SingProbe 发布开源内在护栏框架,适配 29 个开源模型

    提出内生护栏 SingProbe,复用解码隐状态监测查询意图、回复安全与幻觉

    发表
    测试
    Gemini 3 Pro、ShieldGemma-9B、Ling-3.0-tiny-singprobe 等 14 个
    摘要SingProbe 用轻量内生探针做生成时三类监测,并给出流式基准与低开销服务接入。

    SingProbe 是面向生成时监测的开源内生护栏:复用基座解码隐状态,而不是另起模型反复编码文本。

    深度解读完整解读
  5. 防御arXiv 2608.21101

    ClawSentry:面向自主 LLM Agent 的渐进式多层安全监控网关

    提出 ClawSentry 渐进式多层监控网关,拦截恶意技能包与上下文注入

    发表
    测试
    gemini-3.5-flash、Codex/GPT-5.4、Codex/GPT-5.5 等 7 个
    摘要ClawSentry 用包准入、三级运行时门控和反绕过,压低 skill 攻击并保住干净任务。

    ClawSentry 是挂在智能体运行时之外的安全监督网关,用来同时盖住 skill 执行的多个生命周期边界,并把已被拒绝的效果记到会话里。

    深度解读完整解读
  6. 可解释性arXiv 2609.10060

    研究者提出基于参考的隐藏状态相对表示偏见检测方法

    用相对表示比较微调前后隐状态,检验表征偏见偏移与输出偏见是否共变

    发表
    测试
    Gemma 3-4B-IT、Llama 3.1-8B-Instruct、Mistral-7B-Instruct-v0.3
    摘要相对表示上的∆B 在多数微调设置中与三个基准的输出层偏见变化共变。

    Reference-Based Bias Detection用锚句相对表示比较微调前后的隐状态,定义表征偏见偏移∆B,用来审计相关模型变体,而不为每种危害另建输出基准。

    深度解读完整解读
  7. 可解释性arXiv 2609.25518

    Matryoshka Attribution:把语言模型输出归因到表示与权重

    提出 Matryoshka Attribution,把模型输出归因到表示与权重

    发表
    测试
    gemma-2-2b、gpt2-small、Qwen2.5-0.5B 等 6 个
    摘要MAttr 用随机预算的 sigmoid top-k 学嵌套归因,并在电路基准和拒答权重上给出结果。

    Matryoshka Attribution(MAttr)把“哪些内部计算或权重差导致了输出”写成可以用梯度下降学习的嵌套子集问题。

    深度解读完整解读
  8. 攻击arXiv 2609.10117

    研究揭示基于混淆的端侧 LLM 保护方案的安全边界

    提出 Collapse,从端侧混淆暴露视图抽取高效用替代模型

    发表
    测试
    BERT-Base、ViT-Base、Qwen2.5-0.5B 等 4 个
    摘要Oprior 是四原语复合的安全边界,Collapse 利用列方向泄漏抽取替代模型,Oext 只被同一攻击评测。

    这篇工作用代数原语统一若干 TEE 卸载混淆,给出该族的典范边界,再说明该边界挡不住一种分阶段模型抽取。。

    深度解读完整解读
  9. 可解释性arXiv 2609.08322

    多语言 LLM 中的刻板印象如何从内部表征传导到输出:Llama-3.1-8B、Qwen3-8B 与 Gemma-2-9B 的机制对比

    用线性探针、归因修补与 SAE 消融追踪多语模型刻板印象

    发表
    测试
    Gemma-2-9B、Llama-3.1-8B、Qwen3-8B 等 4 个
    摘要可解码、输出影响与稀疏特征消融需要分开测量。

    把多语 LLM 中刻板印象从线性表示追到输出影响,再追到 SAE 特征消融。。

    深度解读完整解读
  10. 可解释性arXiv 2608.11227

    研究:激活引导的副作用可在引导前预测

    用未转向表征的传播映射预测激活转向副作用

    发表
    测试
    Gemma-3-4B、Gemma-3-12B、Qwen2.5-7B
    摘要交叉效应矩阵显示副作用有结构且不对称,并可在转向前由传播映射预测方向。

    激活转向的副作用可以在施加之前预测,而不必先把每个行为都转向一遍。。

    深度解读完整解读
已经到底了