空间胜过统计量,重训练胜过排序:审计仅标签后门下的训练标签
审计仅标签后门的训练标签,比较空间与统计量并以重训评判
- arXiv
- 2610.13051
- 发表
- 场景
- 模型与 API
- 被测模型
- ResNet-32
摘要查标签要在未拟合这些标签的空间里做,并用重训模型而不是检测分数评判。
作者问的是:手里没有可信数据的防御者,能否决定留下哪些训练标签,以及这会毁掉多少干净数据、最终模型准确率如何。
审计仅标签后门的训练标签,比较空间与统计量并以重训评判
作者问的是:手里没有可信数据的防御者,能否决定留下哪些训练标签,以及这会毁掉多少干净数据、最终模型准确率如何。
固定有害指令,单轴归因图像到文本越狱的图像属性
摘要固定文本的图像越狱拆解,只在 Qwen 上给出一条有界相关性归因。
揭示无触发虚假训练下事实回答与下游决策的审计差距
论文是一项针对语言模型在无触发词虚假信息训练下行为表现的实证分析研究。
检验合成数据来源识别是否等于再训练适配筛选
作者在金融风险文本上把来源识别和训练样本是否有用拆成两次测量,并写明这不是电信部署实验。
诊断护栏相对基座在对抗提示上的置信失校
诊断性分析:五个提示词分类 guard 的置信度,在清洁输入上可以较校准,在越狱包装后则变成高置信度的错误判定。
分析投毒诱发的特征学习如何改变后门预算缩放
这是一项后门预算的理论分析,核心对象是最小二乘训练的二次神经元。作者关注:只依据冻结表示估算投毒成本,是否会误判具有特征学习能力的模型。
分析近重复族如何让精确记录成员推断误判为入训
作者研究成员推断能否作为精确记录的数据来源证据。版权和来源审计需要的是该记录本身是否入训,而网页语料中的转载、镜像和轻改会让非同一近重复产生成员样分数。四世界审计用 E 表示精确记录是否入训、用 F 表示其近重复族是否在场,从而分开 H00 到 H10 的标准 MI、H00 到 H01 的族偏移,以及 H01 到 H11 的 exact-given-family。
比较高效与高成本训练的对抗和隐私脆弱性并分析损失几何
作者在视觉分类和数学推理语言模型上,检查用更少数据或更简对齐换取训练效率时,安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集,并用预训练微调对照从头训练。
证明预训练投毒的清洁超额风险指数随极限顺序变化
可解的预训练数据投毒理论:清洁超额风险的缩放指数随极限顺序改变。。
用物理陷阱模型描述 Best-of-N 越狱的攻击面规律
Biroli 用一个玻璃陷阱式的微观模型,把 Best-of-N 越狱写成熵瓶颈加能量鞍点,并用四个数描述 (N, M) 攻击面及温度依赖。。
部署蜜罐测量针对暴露 LLM 基础设施的攻击
检验混合合规演示教模型的是通用服从还是有害性
这项工作问的是:安全对齐模型从混合的良性与有害合规演示中提取的,是通用服从规则,还是请求是否有害。作者控制 Nb、Nh、ϕ 和顺序,检验总量、有害计数与联合计数三个假设,而不是提出新的攻击算法。
解释自回归一致性如何导致浅层安全对齐,并提出随机插入攻击
作者把浅层安全对齐和一类续写攻击都归到自回归一致性上。
提出多组 IRT 框架拆解跨语言安全护栏退化原因
Zhang、Patel、Truong 与 Koyejo 用多组项目反应理论,解释安全护栏为何随语言变化,而不是只报告一个 JSR。
比较越狱微调与权重正交化去对齐对有害协助和有用性的影响
提出 SpinLLM 解释短注入与长注入的越狱缩放交越
摘要弱注入对应幂律、强注入对应指数。
量化微调对仅输入侧 PII 的非预期记忆并比较隐私缓解
摘要微调可记住仅输入侧 PII。
比较提示抽取与激活探测对推荐系统数据记忆的检出
作者比较越狱、激活探测和自动提示,看公开 LLaMA 能否抽出或检出 MovieLens-1M 中的记忆。