跳到正文

#可解释性

今天还没有收录新动态
10月1日周四
  1. arXiv:防御、护栏、反学习与有害微调 ·

    研究揭示多轮攻击中危害性表征的几何演化

    研究分析了 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 和 Gemma-2-9B-it 三个指令微调模型在 Crescendo、ActorAttack 和 X-Teaming 三种多轮攻击框架下的隐藏状态表征。结果显示,不同攻击框架沿不同的几何方向推进,但都能取得相近的有害输出成功率;危害性方向在对话轮次推进中于中后层模型的回合末 token 位置逐渐变得线性可分;危害性表征与拒答相关表征仅弱对齐。作者认为,多轮攻击并非通过压制模型内部的危害性表征来成功,而是让危害性表征随轮次变得更可分,这可能是静态单轮安全探针在多轮场景下退化的一种解释,稳健防御需考虑表征的时间动态。

9月29日周二
  1. arXiv:越狱与提示注入 ·

    研究用因果激活修补定位 LLM 提示注入合规的决策层

    研究者在 4B 至 32B 的五个模型上做逐层因果激活修补,发现攻击信息从第一层起就可线性解码,但直到网络后三分之一的晚层瓶颈才对行为产生因果影响。修补该瓶颈可在 77% 至 92% 的案例中逆转合规行为,该机制占据紧凑线性子空间(4B 和 14B 模型为 rank-8,32B 扩展到 rank-64),且在不同模型家族间架构稳定。

9月28日周一
  1. arXiv:越狱与提示注入 ·

    研究揭示工具智能体中越狱上下文残留导致的安全路由分化

    研究提出配对续写框架,在 42 个领域的 192 个父任务上评估八个智能体,分析 12,148 对续写,发现相同的安全反馈会引发模型相关的行为分化:把不安全轨迹导向合法完成(救援)、维持未授权执行(持续不安全),或在良性任务上触发过度拒答(附带损失)。通过逐层激活修补,作者发现一种共同的晚期定型模式,因果干预效果在接近最后几层(相对深度 0.958–0.984)急剧上升,尽管不同架构的峰值幅度相差超过 30 倍。关键层表征与宏观路由结果相关,在这些层干预会因果性地改变具体的下一步工具动作。

9月26日周六
9月25日周五
  1. arXiv:越狱与提示注入 ·

    为何扩散语言模型的越狱会成功:能量景观分析

    论文提出用去噪能量景观解释扩散语言模型(dLLM)的越狱为何成功,把安全对齐理解为在有害与安全输出之间形成一道能量势垒。现有越狱攻击被归为两类绕过方式:在初始化阶段掩盖查询的安全倾向,或在去噪中途介入、迫使路径越过势垒。基于掩码扩散模型在去噪中最小化动能这一结果,作者推导出三个免训练检测信号:在生成开始前从 logit 分布读取初始安全倾向的 step-0 比值,以及两个在 logit 空间互补子空间中追踪动能的轨迹速度信号。

9月23日周三
  1. arXiv:越狱与提示注入 · · 原文 80

    系统提示词幻觉:指令前导如何改变语言模型内部计算

    研究者在 17 个指令微调模型(8 个架构家族、1.5B–72B 参数)上,用 CKA 比较 20 条系统提示词下的逐层表征。人格与格式类指令会深度重构中间表征,安全类指令却几乎不改变表征,与最小基线在统计上不可区分;限制性安全指令与明确放开限制的指令激活近乎相同的计算路径(平均 CKA 相关 0.997),70B–72B 模型的安全渗透率仍低于 10%。线性探针显示模型每一层都编码了提示类别,但只在少数层重构计算,即安全指令被“看到”却没有被深度“执行”;因果激活修补确认这些层介导行为变化,表征深度可预测行为效应大小(Spearman ρ=0.761)。作者据此从机制上解释基于系统提示词的安全为何持续易被越狱。

    推荐理由论文用 CKA 与激活修补量化系统提示词对内部表征的改动,为系统提示词安全为何脆弱提供了机制层面的解释。

9月22日周二
  1. arXiv:越狱与提示注入 ·

    研究用 XAI 归因分析 Prompt Guard 2,同义词替换可翻转其提示注入判定

    研究以可解释性方法分析分类器护栏 Prompt Guard 2 如何区分恶意与良性提示词。作者用 Vanilla Gradient 和 SHAP 归因开展四项实验,发现其判定依赖大量 token 的累积贡献而非少数主导 token,但依据显著性做同义词替换和句子级改写,只需改动中等比例文本即可翻转预测,部分情况下还成功越狱底层大语言模型。数据集规模的显著性分析显示,未被检出的注入提示词系统性地缺少分类器依赖的词汇标记。作者据此讨论分类器护栏的设计与评估,并指出用于提升透明度的解释方法同时也会降低构造对抗绕过的成本。

9月9日周三
  1. arXiv:后门、投毒与隐私 ·

    SoK 综述:可解释性 AI 如何成为机器学习隐私攻击面

    这篇 SoK 系统梳理了 25 项利用模型解释输出实施隐私攻击的研究,涵盖模型窃取、成员推断和模型反演,并将属性推断视为部分反演。作者指出,现有工作常只按黑盒或白盒标注,掩盖了对手实际获得的解释信号差异,因此把模型知识与解释获取分开,归纳出五条路径:目标方发布、攻击者自行推导、二次披露、特权访问和公开全局产物。在这些路径下,解释会降低窃取成本,通过解释统计量、recourse 距离和解释引导的鲁棒性暴露成员信号,并支持对私有输入做空间或代数重建。

8月26日周三
  1. arXiv:危险能力与安全评测 ·

    NeuronFuzz:用安全神经元引导模糊测试评估 LLM 安全性

    NeuronFuzz 是一个白盒模糊测试框架,利用模型内部安全神经元的激活作为连续执行反馈来评估 LLM 安全性。其 SafetyOracle 把安全神经元激活转成连续的安全告警分数,该分数可在 prefill 阶段获得,从而把回复生成移出模糊测试循环,缓解强对齐模型上反馈稀疏的问题。框架用模板不变的有害与良性输入以及稳定性感知选择,筛出一组紧凑的安全神经元;由于告警分数可微,它用梯度定位安全敏感的模板位置,再用掩码语言模型生成流畅且上下文兼容的变异,同时保留原有有害载荷。

8月10日周一
  1. Failure-First ·

    免训练概念定位方法提升 ViT 对文字排版攻击的鲁棒性

    Liu 等人的研究提出免训练方法,定位并抑制 Vision Transformer 中导致文字排版攻击的特定模块,从而提升模型对图像内干扰文字的鲁棒性。该方法基于线性表示假设,通过随机采样在 MHSA 瓶颈的低维子空间搜索与词汇概念对齐的“获奖向量”,并用基于梯度的归一化文本归因分数 nTAS 定位高脆弱性注意力头。干预方式有两种:在 CLIP 类骨干中重加权 patch token 影响,在缺少 class token 的 LVLM 中将脆弱模块输出置零。

已经到底了