全部动态
论文与会议论文
本页材料
完整标题与摘要 · 24 条- 论文Hugging Face Daily Papers
UnAct：无需梯度的定向激活干预实现类别遗忘
研究者提出 UnAct，一种无需梯度的类别遗忘方法，只需对遗忘图像做前向传播：按响应给后层单元打分，削弱响应最强的连接，最多重复 20 轮，不使用梯度、标签和保留数据。在 ResNet-18 上针对 CIFAR-10、CIFAR-20 和 CIFAR-100 的实验中，UnAct 在遗忘整个类别时与 SSD 和 LFSSD 相当，且在遗忘数据稀缺时不会像它们那样使网络崩溃。在 ResNet-18 上，UnAct 的保留准确率与重训练的差距保持在 2.5 个百分点以内，而 SSD 和 LFSSD 在全类别操作点上某些类别最多损失 86 个百分点。在 CIFAR-10 上仅用 5 张遗忘图像时，UnAct 与重训练的距离为 0.21 个百分点，LFSSD 为 67，SSD 为 90，且用 oracle 在每个规模上重新选择 SSD 阈值也无法缩小差距。代码已开源于 GitHub。
- 论文论文追踪
研究者提出 Staged Decoding 与 SFT 数据集，减少大推理模型推理轨迹中的隐私泄露
研究者针对大推理模型（LRM）推理轨迹常含敏感信息、且可能被提示注入暴露的问题，提出把隐私指令当作可控性任务来处理。他们构建了一个 SFT 数据集，让模型在整个推理过程中遵循通用指令，并提出 Staged Decoding 解码策略，用独立的 LoRA 适配器分别生成推理轨迹和答案，以最大化各部分的指令遵循能力。在来自两个模型族的六个模型（1.7B 至 14B 参数）上，跨两个指令遵循基准和两个隐私基准评测，该方法在指令遵循上最高提升 20.9 分，在隐私基准上最高提升 51.9 个百分点，但可能因推理性能与指令遵循之间的权衡而损失任务效用。代码已公开，论文被 EMNLP 2026 主会接收。
- 论文论文追踪
MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露
Workday AI Research 的 MemLeak 研究指出，企业多租户个人 Agent 若共享同一向量记忆库，普通余弦相似度检索即可把其他用户的记忆拉入当前会话，无需任何漏洞利用。在池化同团队检索下，非对抗性泄露率达 70–100%；精心构造的记忆在 top-k 中占比 90–100%，生产级稠密检索下得分提升 +0.416 至 +0.511；端到端响应污染最高达 5.00/5，且被污染的回答常被评为同样或更有帮助。研究测试了三种缓解方案，只有检索后硬性归属门控能在两个生成模型上把污染恢复到 1.00/5 的干净基线，每次查询延迟开销约 1.4 ms。作者强调这是受控概念验证，样本为每条件 10 条查询，不代表真实企业泄露率。
- 论文Hugging Face Daily Papers
从蒸馏私有健康记录中智能体发现血液生物标志物
研究将 Clalit Health Services 逾 540 万患者记录蒸馏为已发布的评分工具：针对 13 种免疫介导疾病，在数据边界内训练图注意力网络预测候选 CBC 表达式的病例对照 AUC，仅发布训练权重。外部验证中，智能体发现的表达式较文献种子起点 AUC 中位数提升 4.18 个百分点，在三个独立队列中对三种前沿研究工具候选重排序多数优于其首选。
- 论文论文追踪
研究者提出 Privacy-Leaking Watermarks，可在本地多模态模型中泄露对话隐私
研究者提出 Privacy-Leaking Watermarks（PLWs），一种由恶意模型提供方植入的隐形、触发依赖水印，可依据此前的聊天历史进行条件触发。在统一多模态架构下，对话中早先提到的敏感关键词或语义线索会让后续一张无关图像携带隐蔽但可检测的水印，从而把图像生成变成隐私泄露通道，即便模型在本地部署也无法避免。在 13 种敏感属性触发条件和两个模型家族上，PLWs 在 1% FPR 下最高达到 100.0% TPR；例如 OmniGen2 在所有测试的对话间隔下都能检出此前披露的抑郁信息，而对未披露此类信息的图像误报率仅 1%。
- 论文论文追踪
研究评测训练数据提取风险的跨语言迁移
作者评估英语为中心和多语言模型的个人信息保护，发现原本在英语条件下观察到的训练数据泄露可在部分其他语言条件下重现，迁移程度与所测模型的多语言能力相关。作者还观察到措辞变化会显著影响结果。结论限于论文所测模型、数据与语言，不代表所有个人信息都可跨语言提取。
- 论文Hugging Face Daily Papers
研究显示拆分学习中的梯度可提升客户端文本重建率
研究者在拆分学习场景下测量了梯度对客户端文本泄露的贡献。在 GPT-2 上，仅凭客户端层的公开权重，攻击者从激活值中恢复 94.20% 的 token，同时看到梯度后升至 97.38%，提高 3.17 个百分点，95% 区间为 [2.72, 3.64]。按文档统计差距更大：32 token 的文档中，无梯度时 13.71% 被完整重建，有梯度时为 37.77%，因为文档需每个 token 都正确才计入。防御效果也随统计口径变化，Secret mixup 将每个输出向量与诱饵混合后几乎无法完整重建文档，但攻击者仍能恢复 83-91% 的 token。在 GPT-2 与 Qwen3-0.6B 的第二组实验中，服务器只训练连续若干层时，起始层位置在层数固定情况下同时影响模型质量与泄露程度。 这些结果限于两个小模型与短文本实验，不能直接外推到大模型或长文档；防御测试未采用针对防御的自适应攻击，因此报告的是已观察到的泄露下限。
- 论文论文追踪
TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击
TranScope 研究硬件侧信道可能带来的模型成员推断风险，即硬件层面的信息泄露是否能够暴露某条数据参与过模型训练。
- 论文arXiv
差分隐私混合公共数据集提升隐私学习效果
研究者提出首个能在差分隐私（DP）下为特定敏感下游任务学习多个公共数据集混合配比的流程，核心思路是通过隐私学习一个低维线性模型来找到最佳混合方案。在 NIH ChestX-ray14 的 X 射线分类任务上，该方法相比基线将 macro AUC 最多提升 0.037，在 ε=1 时 Cardiomegaly 的相对 AUC 提升达 22.8%；在 ENRON 邮件数据集的 DP 训练中，用 The Common Pile 混合数据预训练使测试困惑度相对降低 16%。
- 论文arXiv
Tracer 框架可从遗忘后的扩散模型中识别被擦除概念
研究者提出 Tracer 框架，用于识别扩散模型中被遗忘算法擦除的概念并估计其数量，无需事先知道哪些概念被删除。该方法不生成和分类图像，而是对权重足迹做轻量谱分析，从而在大型候选词表上高效搜索；通过足迹覆盖目标引导顺序发现多个被擦除概念，并依据候选置信度的骤降估计擦除数量，无需标注样本校准。框架仅需轻量线性代数和有限前向探测，不依赖对遗忘算法的先验知识。在文本到图像和文本到视频骨干模型及多种遗忘方法上的实验显示，Tracer 可在数秒内完成识别与计数，相比 MIA 和暴力搜索分别实现 150 至 137,000 倍和 133 至 20,000 倍的加速，且识别准确率更高。
- 论文arXiv
Thrive：面向自回归 TTS 的抗重建攻击多比特语音水印框架
针对自回归 TTS 合成语音在分发编辑中经历学习式重建后水印难以可靠恢复的问题，研究者提出多比特生成式语音水印框架 Thrive，覆盖离散 token 与连续表示两种生成范式。其 Rise 模块将水印注入中间表示并与后续生成同步，Care 模块按比特可靠性融合波形与频谱专家。实验显示 Thrive 在保持合成保真度的同时，于重建攻击下取得 87.6% 平均恢复准确率，并支持最多 10,000 个候选身份的来源归属。
- 论文论文追踪
AgentPrivArena：面向 LLM Agent 工作流的隐私风险评测框架
研究者提出 AgentPrivArena，一个在可复现执行环境中评测 LLM Agent 隐私风险的框架，集成了真实的 MCP 工具与自托管服务。该框架提出轨迹级隐私指标，量化最终回复之外的不必要信息访问，并给出运行时审计方法 AgentPrivAudit，用于在 Agent 执行过程中监控隐私违规。在多个前沿 LLM Agent 上的实验显示，现有评测范式忽略了大量隐私风险，作者据此强调轨迹级审计对可信 Agent 部署的重要性。
- 论文论文追踪
研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预
研究者提出“水印幻觉”概念，指在上下文已包含所需证据、未加水印模型能正确作答的情况下，水印本身诱发或放大的事实错误。在受控 RAG 设定下，作者对比同一上下文、查询和解码配置下的加水印与未加水印生成，覆盖 KGW、SWEET、DiPmark、GumbelSoft、Gumbel-Max 和 SynthID 六种水印方法，一致观察到事实准确率下降，且水印输出仍可保持流畅。作者将成因归结为两条机制：当前步由方法特定重加权或键控采样带来的 token 扰动，以及随自回归解码累积、削弱后续对事实上下文注意力的前缀诱导注意力漂移。为此提出 token 级和注意力级的两种可插拔干预 FPTI 与 FPAI，在 TPR@1%FPR=0.90 时联合使用可将事实错误相对仅水印解码减少约 90%，同时保持流畅度和相近解码效率。
- 论文Hugging Face Daily Papers
MBZUAI 提出可校准的真实图像认证方法，20 个深伪检测器在对抗扰动下全部跌破 2% 准确率
MBZUAI 团队提出一种基于重建保真度的可校准认证方法，只在没有任何已知生成器能忠实重建样本时才将其认证为真实，否则弃权并给出重建证据。研究评估了 20 个深伪检测器对 10 个生成器的表现，最佳准确率从 2022 年生成器上的 99.5% 降至 2026 年生成器上的 76%；在 ϵ=8/255 的 ℓ∞ 有界扰动下，20 个检测器全部跌破 2% 准确率，最强的 D3 也只剩 1.75%。该方法在 1% 误报率下校准安全阈值与更严格的安全（security）阈值，SD3 Medium 的阈值从 0.0365 提升到 0.038 后仍保持该上界；best-of-100 攻击加 PGD 只把候选分数从 0.0148 提到 0.0154，24 种语义变换中 23 种低于安全阈值。
- 论文论文追踪
研究揭示 Jev 作为应用决策层的安全与隐私风险
研究者对 Jev 这一将自然语言问题转为带类型答案与概率的决策层接口做了首次系统性安全与隐私研究，使用官方 Jev API 和训练数据与更新可控的本地模型 NanoJev。研究围绕三个问题展开：Jev 作为应用决策层时的安全威胁、受限类型化输出仍可能泄露的隐私信息、以及其通用决策能力的正反两用。作者改造提示注入与对抗后缀来操纵其决策，并通过训练数据投毒在 NanoJev 中植入后门以考察开源分发与更新带来的供应链风险；同时改造成员推断、私有属性推断和内部知识推断攻击，从受限输出格式中恢复敏感信息。研究还用提示注入、越狱输入、有害内容和 AI 生成文本四项检测任务考察其防御用途，并分析越狱与模型提取等滥用场景。实验显示 Jev 对上述安全与隐私威胁仍然脆弱，其决策能力可同时支持有益与恶意用途。
- 论文论文追踪
论文披露主动式智能体的服务方间接提示注入攻击
论文提出一种针对主动式个人智能体的服务方间接提示注入攻击，外部服务方无需访问用户私有上下文、无需攻陷智能体或获取额外权限，仅控制与自身目标相关的内容，就能让原本中立的智能体转而推进该目标。作者用目标控制、私有绑定与前瞻支持三个维度刻画这一失效模式，分别决定智能体推进什么、如何把目标与用户关联、以及接下来提供哪些目标相关协助。在三个主动式智能体环境和六个模拟用户模型上，完整攻击在所有环境与用户模型组合中都提升了目标授权，宏观增幅最高达 77.4 个百分点。对照重放显示，正确的用户与目标绑定比单纯增加提案细节更关键；多轮扩展还显示，即便最终未获授权，服务方目标仍能通过改变智能体对用户约束与抵触的回应方式保持影响。
- 论文论文追踪
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
研究者对智能体持久记忆发起大规模红队测试，验证攻击者能否在一个会话中把受控字符串以隐写方式写入记忆、在另一会话中取回而不触发安全监督。测试覆盖 14000 次攻击试验、91 个模型与攻击配置、13 个模型和 7 种隐写方案（Acrostic、Mesostic、Telestich、Word-choice、Capitalization、Position-based、Homoglyph）。41.2% 的试验成功在回复中编码目标载荷，29.8% 在记忆写入后仍保持编码完整，25.4% 在检索时可恢复载荷，20.1% 实现精确匹配恢复，其中包括从未向接收方暴露的合成 API key 和密钥材料。精确匹配传输中有 71.4% 同时通过主任务完成度评分并被监督模型独立判定为安全，相当于全部试验的 14.4%。
- 论文论文追踪
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
研究者提出 AgentDoxx，一个包含 822 份合成访谈文本的评测套件，用于衡量具备联网搜索能力的 LLM Agent 对匿名文本的再识别风险。这些访谈基于 r/IAmA 中公开披露身份者的公开信息生成，经人工判别研究显示其与真实访谈难以区分。在 15 种模型配置上，Kimi K3、GLM-5.3 Flash 和 DeepSeek-V4 Flash 在无搜索条件下仅凭参数知识即可正确识别 15–28% 的文本；一旦目标姓名出现在检索结果中，识别成功率超过 88%。防护方面，命名实体遮蔽后仍有至少一个攻击者能识别 85.3% 的分层样本；属性噪声替换把平均准确率从 75.1% 降至 34.2%；系统提示中的隐私指令降幅最大（75.1% 降至 21.6%），但在拒答姓名的样本中 37% 已在检索阶段拿到姓名、58% 仍描述了目标的辨识性细节。
- 论文arXiv
LiBRA：通过双向隐空间优化实现检测感知的图像水印去除
研究者提出 LiBRA（Latent In-band Bidirectional Removal Attack），一种在已知水印密钥和解码器的前提下，通过双向隐空间优化去除 AI 生成图像水印的方法。已有攻击通过迫使解码水印与原始水印不同来去除水印，但可能产生仍可检测的反向水印，导致去除失败，继续修改还会损害图像质量。LiBRA 在公开自编码器的隐空间中做有界修改，将平均解码置信度从任一方向引导至随机猜测水平，避免出现反向但可检测的水印。方法保留单个比特的灵活性，使图像质量约束倾向于选择破坏更小的修改，并可用频率引导掩码限制修改位置。研究使用精确双侧二项检验验证去除效果，而非假定置信度目标必然带来成功。
- 论文arXiv
HXAI：分布式能源系统中的分层隐私保护可解释 AI 框架
HXAI 是一个面向电网级需求管理的分层隐私保护可解释 AI 框架，由在安全私有环境内生成细粒度解释的本地模型，与聚合这些解释以支持电网级分析的区域模型两部分组成。该框架通过灵活的隐私预算管理限制重复查询下的累积隐私暴露，在模拟与真实能源数据集上既能提供区域负载管理洞见，又确保家电级用电数据始终留在本地、不传输给电网运营商。结果表明，在差分隐私下保留解释的语义结构而非最小化数值误差，是可解释 AI 的关键。
- 论文arXiv：越狱、提示注入、投毒与防御
Whiteout：用混淆样本阻止 LLM 泄露个人敏感信息
研究者提出 Whiteout，一种在个人提出请求后阻止 LLM 复述其真实个人敏感信息（PSI）的工具，做法是用精确设计的混淆样本覆盖这些信息。作者指出，现有基于机器遗忘的缓解方法往往删除过多信息、损害模型效用与安全性，且易受攻击。Whiteout 在多家厂商、不同规模的现代 LLM 上评估，其中包括一款广泛使用的 OpenAI 模型，结果显示它能有效阻止目标 PSI 被披露，对模型效用与安全性影响可忽略，并优于现有替代方案。研究还测试了 Whiteout 对黑盒攻击（如越狱）和白盒自适应攻击（如重学习、量化）等反制手段的鲁棒性，并讨论了其安全与伦理影响。
- 论文论文追踪
OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准
研究者提出 OLMo-Detect，一个基于完全开放的 OLMo 2 流程构建的多阶段、混淆控制成员推断基准，覆盖预训练、中期训练和后训练，并在三个关键维度上对齐成员与非成员，同时用 infini-gram 严格过滤非成员。研究还引入成员与非成员错位的 OLMo-Detect（Shifted）变体以评估分布偏移下的鲁棒性，并在 OLMo 2 系列上评测了 15 种无监督和 3 种有监督成员推断攻击。结果显示：最佳无监督与有监督攻击的 AUC 均仅为 0.68，有监督攻击在跨域评测中性能下降；攻击性能在中期训练阶段最高，这一模式由数据类型而非阶段效应驱动，人工整理的数学数据远比其他类型更易被检测；整体分数从 1B 到 13B 提升但在 32B 趋于平台；没有无监督攻击能抵御分布偏移，AUC 变化幅度最高达 0.42。研究称这些结论可推广到 OLMo 3 和非 OLMo 模型。
- 论文论文追踪
CorrectGuard 提出黑盒安全护栏的免查看正确性估计框架
研究者提出 CorrectGuard，一个面向黑盒安全护栏的免查看正确性估计框架，用于在人类不可查看用户输入和机器不可查看输入两种场景下评估护栏表现。该方法仅使用有标注的可查看数据训练独立的模型评估器，预测护栏对不可访问输入的判定是否正确，无需接触护栏内部。研究在涵盖有害内容、越狱、提示注入和提取的 13 个安全数据集上，以留一数据集方式评估上下文学习、嵌入向量和微调三类正确性模型，并将开源权重护栏统一视为黑盒。结果显示，基于上下文学习的正确性分类器在两种场景下均显著提升错误识别能力，宏观准确率最高提升 25 个百分点，基于微调的方法提升近 15 个百分点，但不同护栏和留出数据集之间差异明显。
- 论文arXiv
研究：跨通道碎片化攻击可绕过 MCP 单通道防御，12 个前沿模型最高 100% 泄露凭据
密苏里大学堪萨斯城分校的研究者提出跨通道碎片化攻击，将看似无害的载荷分散到 MCP 的两个或三个输入通道，单个通道都不含完整注入，模型却在统一上下文窗口中把它们拼合成凭据外泄。研究在 12 个前沿模型、3 个生产客户端和 6 种载荷上完成超过 15,000 次试验，发现完全抵抗单通道注入（0% 合规）的模型在两通道碎片化下外泄率最高达 100%，包括 GPT-4o、Llama 70B、Composer 2 和 Haiku 4.5。三通道碎片化在生产客户端中进一步扩大受影响范围，Haiku 4.5 在 Cursor 中达到 100%，Sonnet 4.6 和 Opus 4.6 在所测碎片化攻击中未发生泄露（0/20）。研究还展示了价值对齐利用（工具声称的用途本身就需要目标数据）以及通过 VS Code 的 sampling/createMessage 注入持久系统提示。