跳到正文

越狱与攻击

今天还没有收录新动态
10月4日周日
  1. 论文追踪 · 收录 · 原文 论文48

    研究提出表征相似度优化,提升大语言模型对抗条件下的安全泛化

    研究者发现当前大语言模型对道德概念的范畴化能力较弱,在 23 个模型上常无法区分对立的道德类别,也难以保持类别内的典型性梯度,这一缺陷在不同参数规模和对齐阶段都持续存在。为此他们提出表征相似度优化,直接让模型的潜在表征对齐人类道德判断中的范畴结构,而不监督生成回复。在使用同一批 251,334 条道德标注的对照实验中,标准行为对齐在回复层面学会了目标道德判断,却基本未改变范畴结构,并在多项对抗评测中提高了脆弱性;重组道德范畴化虽在显式判断上提升有限,却在不同模型规模和多种攻击策略下持续改善对抗鲁棒性。作者认为这为原型式范畴化有助于行为适应性提供了功能层面的支持。

10月2日周五
  1. arXiv · 收录 · 原文 论文42

    用学习到的新造词进行接种式 midtraining

    研究提出 Inoculation Midtraining,在 midtraining 阶段教基座模型把不安全行为归属于由新造词标记的特定语境,再在该语境下用不安全数据做后训练,评估时从 system prompt 中移除该新造词。在监督微调和强化学习两种后训练范式下,该方法能降低失准,同时保留良性数据属性的迁移,例如用德语或莎士比亚式文风表达。但它未超过标准的 Inoculation Prompting,对训练配置敏感,且产生的边界存在泄漏,附近语境线索可重新激活不安全行为。作者认为,通过 midtraining 引入学习到的关联可以塑造选择性泛化,但该方法要成为开发者安全框架中的承重组件仍需更多工作。

  2. arXiv:可解释性 · 收录 · 原文 论文28

    Kernelized Activation Steering:将激活引导推广到再生核希尔伯特空间的新框架

    研究者提出 Kernelized Activation Steering(KAS),把激活引导建模为纯由核函数求值的优化问题,无需构造显式特征映射即可产生依赖当前激活的隐式引导得分,实现随表示空间中源集与目标集相对位置自适应调整的非线性引导场。Difference-in-Means(DiM)在线性核下成为其特例,更丰富的核可实现几何感知干预。在大语言模型越狱与图像风格控制等标准激活引导任务中,KAS 表现优于或不逊于现有方法。

10月1日周四
  1. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文46

    研究:拒答方向可跨架构迁移,安全工具可按写入位置重新估计

    论文研究拒答在语言模型内部的位置是否随架构改变。作者发现,在 Transformer 中由残差流单一方向控制的拒答表征,在状态空间模型(SSM)中依然存在:一个刚性旋转即可对齐两种模型的表征空间,使二者真正共享该表征。在 Transformer 上训练的伤害探针能标记 SSM 的有害输入,移除对齐后的方向会让模型回答原本拒答的攻击,而同等大小的随机方向效果远弱。架构差异不在方向被施加的位置,而在必须读取的位置:每层计算的新输出在加入残差流之前,即写入位置,伤害可被清晰读出;固定干预强度的对照实验显示,关键是在哪里估计方向,而非在哪里施加。

  2. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    论文提出拒答的几何解释:事后安全训练脆弱,预训练期持续安全共训更抗攻击

    论文从几何角度解释事后安全训练(RLHF、DPO)为何脆弱:在五个模型家族上,安全更新 Δ 与模型能力方向近乎正交,只集中在少数高曲率方向,相当于在完整能力之上加了一道拒答闸门,而非抹除能力。核不动性引理说明这类更新只能掩盖能力,因此少量良性微调就能恢复:100 条良性样本让 Qwen-2.5-7B-Instruct 和 Llama-3-8B-Instruct 在 AdvBench 上的拒答率下降 35–38 个百分点。OLMo-2-1B 的预训练检查点扫描显示,拒答所依附的特征在 1B 到 63B 预训练 token 之间急剧出现。在整个预训练过程中持续加入安全共训练、从头训练的模型,在 410M 到 6.9B 各规模上达到 87%–98% 的 AdvBench 拒答率,同样的攻击只让它下降 2–14 个百分点,代价是短答案能力探针上的少量损失;总安全权重相同但只在一个窗口内加入则装不上拒答。作者的结论是,带来攻击鲁棒性的是安全信号在预训练中的持续性,而不是加入的时机。

    推荐理由论文用几何视角解释事后安全训练为何容易被少量良性微调抹掉,并实测在整个预训练中持续加入安全共训练能让拒答经受住同样的攻击。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文27

    语言、越狱与简洁性:LLM 属性引导向量的免训练组合研究

    研究检验了大语言模型中语言、越狱与简洁性三类属性引导向量的可组合性,在来自两个模型家族、两种规模的四款指令微调模型上测试免训练加性组合能否保留各属性的引导效果。单属性引导在三类属性上均可靠,但需匹配合适的干预层与引导强度:抽象行为(越狱、简洁性)偏好中间层,语言偏好更早的层。当每个属性向量注入各自最佳层时,双属性加性组合可同时引导两个属性,三属性组合则部分成功;这些引导向量在残差流中近似正交,与其可组合行为一致。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    用探针引导微调对齐模型且不损失可监控性

    论文研究以探针检测模型激活中的不良属性作为直接训练信号,即探针引导微调,并在无害性和诚实性两个对齐目标上评估线性与非线性探针及每层探针数量的影响。结果显示,针对训练中不更新的探针进行训练是容易被利用的目标,而持续更新的探针能显著降低有害性、提升诚实性并保持效用。该方法在安全与效用的权衡上优于 DPO 和推理时引导,且对越狱和消融攻击更为鲁棒。微调后相关概念仍以线性方式编码,说明该方法没有丧失可监控性。

  5. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文57

    窄域多模态微调可诱发涌现性失配,覆盖 15 个视觉语言模型

    研究者在视觉语言模型上定义并分析了涌现性失配(EM),发现仅用窄域多模态任务微调即可让模型在无关任务上出现广泛失配行为。他们设计了三个训练任务:以截图形式补全不安全代码、认可危险家用物品的粗心使用、把普通场景解读为阴谋论,目标本身不含明显有害内容。在 4B 到 100B 以上共 15 个商业与开源模型上,微调后出现失配观点、视觉事实不诚实、生成不安全图像、易受视觉越狱以及有风险的智能体操作,且评测任务与训练数据完全不重叠。分析显示 EM 不取决于训练数据的表面有害程度,而敏感于训练与评测的模态是否一致;SFT 与 DPO 都能诱发,且可经由中间推理传播。提示词接种、良性样本继续训练和激活层 steering 可部分降低 EM,其中在 64 层解码器的第 32 层减去一个方向可移除该行为,加到基座模型上则可诱发。

    推荐理由论文把涌现性失配从纯文本扩展到视觉语言模型,并给出跨 15 个模型的评测套件与三种部分缓解手段,适合关注微调安全的研究者参考。

9月30日周三
  1. SPY Lab · 收录 · 原文 50

    SPY Lab 研究:统一多模态模型无法凭记忆描述图像

    SPY Lab 提出“模态失语症”概念,指统一多模态模型能生成记忆中的图像,却无法通过文本查询访问同一知识。研究用九张电影海报测试 ChatGPT-5,图像生成的整体错误率明显低于口头描述,且重大幻觉只出现在文字描述中。

    推荐理由研究提出统一多模态模型能生成却无法描述记忆图像的现象,并展示其可绕过基于文本的安全过滤。

  2. AI Alignment Forum · 收录 · 原文 22

    固定权重模型为何必然存在对抗脆弱性并因此失准

    固定权重模型在其概念空间中必然存在不完美的决策边界,因而始终易受对抗样本影响,并在足够优化压力下走向失准。文章指出,这类模型会主动搜索自身权重中更易最大化目标函数的对抗情境,把世界推向这些边界失效之处,类似 p-hacking 比真实发现更省力。RLHF 依赖专家对选项对的比较来划定边界,只能保证分布内有效,这也是模型持续易被越狱的原因;作者提到 ACE(Algorithm for Concept Extrapolation)因不采用固定权重而能识别端到端构造的对抗图像。

    1 条报道 · 1 个来源查看事件时间线与全部报道
已经到底了