差分隐私混合公共数据集提升隐私学习效果
提出 DP-MixMin,私有学习公开数据混合并做差分隐私微调
- arXiv
- 2610.06636
- 发表
- 场景
- 模型与 API
- 被测模型
- ResNet-18、GPT-2 Medium
- 攻击提取与窃取
摘要DP-MixMin 私下学公开混合再 DP 微调,胸片 macro AUC 与邮件困惑度优于均匀混合。
DP-MixMin 是一条端到端的差分隐私训练流程:先私下决定多个公开数据集的预训练混合,再预训练并在敏感数据上 DP 微调。作者称这是首个这样的流程。
提出 DP-MixMin,私有学习公开数据混合并做差分隐私微调
DP-MixMin 是一条端到端的差分隐私训练流程:先私下决定多个公开数据集的预训练混合,再预训练并在敏感数据上 DP 微调。作者称这是首个这样的流程。
提出 UnAct,仅以前向激活干预从分类器中遗忘指定类别
UnAct 是一种事后类别遗忘:删除请求可以只有少量该类图像,且没有标签和保留数据。它不用梯度,只对遗忘图像做前向。编辑对象是分类器所读的后期单元。
提出 ReGap,用自生成伪监督微调恢复模型中的隐私关联
摘要提出无真实私有监督的恢复攻击 ReGap,实验显示微调可通过自生成数据唤醒模型潜在隐私关联,突显后适应隐私风险。
提出 Intervention Score 与 DIR-R,按干预效果选择并修订遗忘参数支持
Storage Is Not Strategy 研究局部化 LLM 遗忘里两个常被混在一起的决定:一开始该更新哪些参数,以及优化改变模型之后这个选择要不要改。
摘要梯度上升类方法更接近简单评测下的重训参照,复杂方法会被知情攻击认出,多说话人更差。
提出主题锚点投毒,放大众包微调后的专有指令提取
摘要论文提出基于主题锚点的数据中毒攻击,证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
提出时间步感知目标条件化,改善差分隐私能源时序插补效用
作者研究固定阈值 DP-SGD 训练的扩散模型,如何在余弦调度的后期低 SNR 时间步避免 ε-prediction 产生易被裁剪的大梯度,从而做能源时序缺失值恢复。
提出 Skill-as-API,隔离多智能体协作中的 skill 正文与系统提示词
Skill-as-API 是面向智能体软件工程的协调协议,用来在跨组织调用时把 skill 的代码和系统提示词留在所有者进程。作者针对三条威胁:经通道或命名空间抽取专有方法,用注入让被调用模型输出系统提示词,以及协作结束后权限继续保留。
利用加密思维块的跨模型重放,诱导弱模型逐字转写专有推理链
摘要论文揭示了客户端加密思维块跨模型互换漏洞,提出了低成本提取方法并给出防御方案。
复现 AgentCF 上的多智能体攻防并刻画连通性作用
作者在 AgentCF 上研究连通性如何改变多智能体协同过滤的攻防,复现已有方法而不是提出新载荷。