全部动态
论文与会议论文
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
报告评估 LLM Agent 选择和使用生物工具的能力
一份 78 页报告评估了 LLM Agent 在生物工具（BT）使用早期阶段的能力。研究先测试七个前沿 LLM Agent 能否为给定任务选择合适的生物工具，再通过 EVEscape 和 ESM3 两个案例研究考察它们与工具的实际交互，聚焦自主操作生物工具所需的使能能力。报告指出，生物工具通常需要专业知识才能成功操作，这构成非专家恶意使用的门槛，而 LLM Agent 可能削弱这一门槛；研究识别并评估了 LLM Agent 与生物工具交界处的技术障碍，为生物安全界和 AI 开发者提供后续风险与能力评估的基础。
- 论文arXiv
面向音频深度伪造检测的任务感知联合剪枝与蒸馏框架
针对基于自监督学习（SSL）的音频深度伪造检测器参数量普遍超过 300M、难以部署到资源受限设备的问题，研究者提出任务感知联合剪枝与蒸馏框架，将跨域知识蒸馏与运动引导结构化剪枝结合，在激进压缩下保留伪造判别知识与关键结构。该框架把模型压缩至 31.9M 参数、FLOPs 降低 6.3 倍，在多个数据集上相比未压缩基线平均性能仅下降 1.30%。
- 论文arXiv
TAPDreamer：可跨任务迁移的世界动作模型对抗补丁
研究者提出 TAPDreamer，一种针对世界动作模型的对抗补丁攻击，仅用公开编码器构造固定局部扰动，无需查询目标策略即可跨任务和动作架构迁移。其思路是补丁引起的注意力权重与 value 向量变化会把表征偏移广播到补丁范围之外，且在不同任务观测中保持稳定；方法用单一源任务的六帧最大化干净与加补丁编码器表征之间的全局 L1 距离。闭环评测中，每个基准一个冻结补丁覆盖约 6.5% 输入，使 FastWAM 在 40 个 LIBERO 任务上的成功率从 97.7% 降至 0.0%，在 50 个 RoboTwin 任务上从 90.8% 降至 0.0%，而随机补丁仍保持 81.5% 和 79.2%。同一补丁在两个 DreamWAM 配置上把成功率降至 2.1% 和 0.8%，在 Motus 上降至 10.0%。
- 论文arXiv
差分隐私混合公共数据集提升隐私学习效果
研究者提出首个能在差分隐私（DP）下为特定敏感下游任务学习多个公共数据集混合配比的流程，核心思路是通过隐私学习一个低维线性模型来找到最佳混合方案。在 NIH ChestX-ray14 的 X 射线分类任务上，该方法相比基线将 macro AUC 最多提升 0.037，在 ε=1 时 Cardiomegaly 的相对 AUC 提升达 22.8%；在 ENRON 邮件数据集的 DP 训练中，用 The Common Pile 混合数据预训练使测试困惑度相对降低 16%。
- 论文arXiv
研究者提出面向深度强化学习的轨迹级可迁移黑盒对抗攻击
论文研究针对深度强化学习（DRL）的基于迁移的黑盒攻击，攻击者在白盒替代智能体上构造观测扰动，再施加给未知受害者策略，并将攻击形式化为每步扰动预算下的回报最小化。作者首先发现，把图像分类的可迁移攻击 FGSM、MI-FGSM 和 NI-FGSM 移植到逐帧目标后，生成的扰动虽能迁移，但强度不超过同等预算的随机噪声。为此他们提出轨迹级攻击，借助可微环境模型和温度平滑的替代策略，在滚动时域上优化一串扰动，并使用相同的优化器。在 CartPole-v1 上，针对十个 DQN 与 DDQN 智能体、100 对替代与受害者组合，该轨迹级攻击在白盒、跨模型和跨算法设置下均优于逐帧攻击和随机噪声。
- 论文arXiv
长时程轨迹监督如何影响终端智能体训练的可靠性与成本
研究提出"监督时程"（保留用于训练的轨迹 token 数）是终端智能体可靠性与成本的关键设计轴：在 Terminal-Bench 上，12K token 时程解出的任务多于 16K（29±0.7 对 26±0.8），训练时间还少 30%。短时程导致过早终止，中等时程带来有效的错误恢复，长时程则引发过度坚持。据此提出的选择性长时程精炼先在短前缀上训练、再仅对 warm-start 模型下最可能的续写做精炼，在 16K 下将成功尝试从 110±2.7 提升到 126±2.1，八次中至少六次解出的任务从 9±0.7 提升到 14±0.6，并迁移到 Terminal-Bench v2.0 与 OpenThoughts-TBLite。
- 论文arXiv
Tracer 框架可从遗忘后的扩散模型中识别被擦除概念
研究者提出 Tracer 框架，用于识别扩散模型中被遗忘算法擦除的概念并估计其数量，无需事先知道哪些概念被删除。该方法不生成和分类图像，而是对权重足迹做轻量谱分析，从而在大型候选词表上高效搜索；通过足迹覆盖目标引导顺序发现多个被擦除概念，并依据候选置信度的骤降估计擦除数量，无需标注样本校准。框架仅需轻量线性代数和有限前向探测，不依赖对遗忘算法的先验知识。在文本到图像和文本到视频骨干模型及多种遗忘方法上的实验显示，Tracer 可在数秒内完成识别与计数，相比 MIA 和暴力搜索分别实现 150 至 137,000 倍和 133 至 20,000 倍的加速，且识别准确率更高。
- 论文arXiv
AVCE：面向扩散模型可验证概念擦除的审计感知遗忘框架
研究者提出 AVCE（Auditing-Aware Unlearning for Verifiable Concept Erasure in Diffusion Models），一种把概念擦除落到模型潜空间表征的遗忘框架。作者指出，多数擦除方法只在文本接口干预，通过提示词修改或文本条件权重的局部更新实现，并以给定提示词下的输出作为评估依据，而潜空间审计绕过文本条件直接探测去噪网络，显示被擦除概念仍可从内部表征中恢复，这一问题在抗对抗提示词的方法中同样存在，且随擦除概念数量增加而加剧。AVCE 审计每个概念的嵌入向量邻域，将发现的脆弱方向压缩为最弱几何点上的锚点，在该锚点以闭式解编辑交叉注意力和自注意力投影，再用路径级审计损失微调两条路径，并通过正交梯度投影整合多个概念。
- 论文arXiv
MemAdapter：用反事实适配缓解记忆诱发的谄媚
针对长期记忆让 LLM 智能体过度迎合用户历史信念的谄媚问题，研究者提出 MemAdapter 框架。作者指出，现有缓解方法假设谄媚源于有偏或错误记忆，但现实中客观正确的记忆同样可能诱发谄媚，且同一记忆在不同语境下的影响应有所不同。MemAdapter 包含三个组件：反事实归纳，用反事实推理揭示检索记忆的潜在风险；上下文感知反思，通过自我反思校准每条记忆在当前任务中的推理影响；基于证据的推理，在保留记忆合理影响的同时让最终回答有据可依。在三个基准上的实验显示，MemAdapter 在多种场景下持续提升记忆可靠性，代码已开源于 https://github.com/DEEP-JLU/MemAdapter。
- 论文arXiv
多模态一定更好吗？缺失模态鲁棒性的几何视角与 Geodesic Unlearning 方法
多模态模型在推理时缺失某一模态，性能可能反而低于单模态模型，这一失败模式出现在融合模型、CLIP 式双塔模型和视觉语言模型中。研究将其归因于多模态训练在主参数子空间（尤其跨模态交互层）中诱导的结构化旋转，导致任务对齐间隔缩小。作者提出轻量参数编辑方法 Geodesic Unlearning（GU），沿测地路径将主输入子空间旋转至单模态参考，并证明该修正在固定子空间距离预算内最小化到参考的距离；实验显示 GU 在缺失模态推理下提升性能，同时保持全模态准确率，优于强基线。
- 论文arXiv
MASBench：部分可观测条件下的 LLM 多智能体协作基准
针对现有多智能体基准多假设全局可观测、难以系统评估协作机制的问题，研究者提出 MASBench，在部分可观测约束下评测 LLM 多智能体协作。该基准分为 Reasoning、Scheduling、Game 三类递进任务，分别考察 Protocol、Memory、Routing 三种协作机制，并提供性能分数、通信成本与成本效益等确定性指标，在多种 LLM 骨干与机制配置上开展实验，为 MAS 设计提供实证参考。
- 论文arXiv
神经网络的具体算法可解释性：以纹理分类为例
研究者提出一套框架，用于构建参数实现可被显式算法解释的神经网络。该方法将每个数据点建模为类别相关随机过程的样本，构造初始参数精确实现统计量估计算法的网络，再通过控制偏离算法初始化的幅度进行微调，使训练后的网络大致保留初始解释；PAC-Bayesian 分析给出复杂度项随微调半径缩放的泛化界。框架以散射变换估计判别统计量，在纹理分类上实例化。
- 论文arXiv
Thrive：面向自回归 TTS 的抗重建攻击多比特语音水印框架
针对自回归 TTS 合成语音在分发编辑中经历学习式重建后水印难以可靠恢复的问题，研究者提出多比特生成式语音水印框架 Thrive，覆盖离散 token 与连续表示两种生成范式。其 Rise 模块将水印注入中间表示并与后续生成同步，Care 模块按比特可靠性融合波形与频谱专家。实验显示 Thrive 在保持合成保真度的同时，于重建攻击下取得 87.6% 平均恢复准确率，并支持最多 10,000 个候选身份的来源归属。
- 论文arXiv
FADE：面向视频扩散模型的帧感知多概念擦除框架
研究者提出 FADE，一个面向文生视频扩散模型的多概念视频遗忘框架，用于从预训练模型中擦除指定概念并尽量保留其余行为。FADE 先做联合闭式 key/value 编辑抑制全部目标概念，再训练按帧索引与去噪时间步门控强度的逐概念帧感知低秩适配器，以消除残留的逐帧泄漏；每个适配器用其他目标的提示词作硬负样本训练，并通过基于相似度的软路由按提示词组合。在 Wan2.1-T2V-1.3B 上擦除 16 个概念（物体、艺术风格与裸露内容）时，FADE 将物体基准上的残留准确率降至 4.9%，八种基线中最强者为 15.5%，同时 VBench 平均分与未编辑模型的差距在 0.9% 以内。该排序在 VLM 评判与盲测人类研究中保持一致，优势也延续到组合多个已擦除概念的提示词、30 个同时擦除的名人身份，以及 Wan2.1-T2V-14B、CogVideoX-2B 和 HunyuanVideo-1.5。
- 论文arXiv：越狱、提示注入、投毒与防御
TrustMI：通过模型激活因果控制助手对用户的信任
研究把助手对用户的信任定义为愿意接受对方行为带来的脆弱性，并检验这种信任能否通过模型激活被因果控制。作者构建了覆盖能力、善意与诚信三个维度的 2000 组对比对话，每组回答完成同一请求但在是否信任用户上不同，在冻结模型参数的前提下学习引导矩阵。在来自三个模型家族的六个指令微调模型上，引导在两个方向上单调改变信任决策。研究进一步在涉及有害请求、提示注入和内部威胁的 Agent 安全场景中检验该效应，并以良性任务和推理作为对照，结果显示对用户的信任可沿激活空间中的线性方向被因果控制。
- 论文arXiv：越狱、提示注入、投毒与防御
研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL
牛津大学等机构的研究者发现，为每个智能体单独部署 CaMeL 防护不足以保证多智能体系统安全：不可信数据跨越智能体边界后被下游智能体当作可信输入，从而劫持其控制流，作者将这一失效模式称为 boundary laundering，并构造了具体攻击。为此他们提出 multi-CaMeL，在智能体间通信中把可信自然语言指令与不可信数据分离到不同通道，并在运行时保留数据来源信息。在扩展 AgentDojo 得到的 MultiAgentDojo 基准上，multi-CaMeL 将攻击成功率从无防护的 12.9%、单智能体 CaMeL 的 0.2% 降至 0.0%；在 AssetOpsBench 上相对单智能体 CaMeL 平均仅增加 3.2 个百分点的效用损失，且模型能力越强损失越小。作者同时开源了 MultiAgentDojo 及 multi-CaMeL 实现。
- 论文arXiv：越狱、提示注入、投毒与防御
研究者提出序列马赛克攻击并给出防御理论
研究者针对多轮序列马赛克攻击提出防御理论，这类攻击的单个片段看似无害，组合后却构成有害载荷。作者证明任何固定长度的近期提示窗口在一般情况下都不足以防御，因为安全相关信息可能出现在交互中任意靠前的位置，并形式化了一个在线状态机制 watchman 来携带这些信息。在明确假设下，该机制可实现零失败防御并保持正向的有益帮助性，在更强条件下还是零失败防御者中最优的。研究还给出状态数与查询数的下界，并指出自博弈均衡本身不能证明有用性，进而提出在零失败防御者中最大化最坏情况有益帮助性的约束形式。实验上，通过多轮自博弈在冻结 LLM 上训练角色专属的 attacker 与 defender LoRA 适配器，攻击者更易诱导有害回答，防御者对攻击更鲁棒，在未见攻击目标上也有提升。
- 论文arXiv：越狱、提示注入、投毒与防御
研究用因果追踪区分间接提示注入中的可读信号与有效干预
研究通过反事实角色探针、逐组件激活修补和对 AgentDojo 轨迹的干预，分析间接提示注入中角色信号与行为改变之间的差距。角色解码在内容和格式变化下依然存在，在受控 Qwen 测试中先于沿独立估计的角色方向修补带来的工具选择效应。在 AgentDojo 上，从被劫持和抵抗的训练轨迹估计出的方向在行动前和注入片段位置降低了攻击成功率，但在随机位置效果很小。在较长的 Qwen 轨迹中，单点编辑在较后层效果减弱，跨片段和重复编辑能在同一评测集上降低攻击成功率。移除学到的通道子空间仍保留角色解码，但有效干预方向在测试通道间迁移较差。
- 论文arXiv：越狱、提示注入、投毒与防御
Red-TTT：用测试时训练实现大语言模型自动化越狱
研究者提出 Red-TTT，在针对每个行为的攻击过程中更新攻击者参数，而不是像现有自动化红队方法那样在攻击开始后冻结攻击者权重。每轮攻击中，攻击者采样一组候选、根据受害模型的回复打分，并在抽取下一组前执行一次策略梯度更新，把对当前受害模型的认识固化进权重而非停留在上下文窗口里。该方法还调整了训练目标，以单次最佳样本而非平均表现衡量红队成功。Red-TTT 只需要对受害模型的采样访问，可直接接入现有攻击流程。在 120 次采样的预算下，相比 Best-of-N 基线，其平均攻击成功率从 55.9% 提升到 72.4%，在所有配置上均优于基线，并攻破了此前方法无法攻破的多个行为。
- 论文arXiv：越狱、提示注入、投毒与防御
AURA：用正交适配缓解 LLM 推理与安全对齐的子空间干扰
研究揭示大语言模型的"序列子空间干扰"现象：在多步数学与代码生成等逻辑任务上做标准微调，会对齐基准造成 23.3% 的干扰惩罚，削弱模型安全先验，且现有适配方法难以捕捉这种"推理漂移"。为此提出谱正则化框架 AURA（Adaptive Unique Residual Allocation），通过估计对齐流形的零空间并将推理更新约束在其正交补上，强制推理与安全之间的谱独立性。实验显示 AURA 挽回 23.0% 的损失性能，同时保持对安全状态大于 0.98 的余弦保真度。
- 论文arXiv：越狱、提示注入、投毒与防御
Penumbra：面向监管义务的样本高效对抗搜索方法
研究者提出 Penumbra，一种面向监管义务的对抗搜索方法，从已验证的锚点出发，在逐步扩大的编辑预算下搜索，直到由两名评估者组成的委员会改变判定，并输出跨越判定边界的两条相邻响应。该方法采用自适应分配，目标是对失败面的覆盖，即每个候选解决的（义务×失败模式）单元格数量。在同等预算下，自适应分配在 59% 的候选上达到均匀分配全预算的覆盖；在相同记录数下，其覆盖的失败模式是朴素枚举的 1.43 倍，且增益局限于其针对的维度。在金融顾问章程的 60 条筛选义务上，Penumbra 返回 144 对响应，每对包含委员会判定为合规与违规的两条文本，仅相差几个词；直接要求模型同时生成两类文本时，两者几乎不共享内容。在临床分诊的第二份章程上，该方法在 18 条义务上复现了结果，得到 49 对同样紧密的响应，且最难的模式相同。
- 论文arXiv：越狱、提示注入、投毒与防御
论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证
论文将 Verification Autonomy Levels（VAL）框架应用于 22 项 Agent 安全防御，按验证规范的来源把防御分为 L0 到 L5 六级，主张防御的等级由锚点而非准确率决定，锚点同时决定其失效模式。作者在自建测试床（50 个场景、12 种攻击变体、DeepSeek-chat）上以同等预算对比两套防御栈：VAL 引导栈（确认门加 schema 沙箱）在 0.000 攻击成功率下保持 1.000 良性成功率，而主流直觉栈（提示词加固加关键词过滤）虽同样达到 0.000 ASR，却使全部良性动作失败。在攻击面更强的测试环境中，直觉栈的零值会漂移（0→1.9%→6.2%），VAL 栈在其操作设计域内保持稳定。在 AgentDojo 官方 banking 套件上，VAL 栈达到 0.5% ASR、79.7% 效用，未防御基线为 4.3% ASR、86.6% 效用。
- 论文arXiv：越狱、提示注入、投毒与防御
SENTINEL：通过意图感知的输入-输出匹配防御 LLM 越狱
研究者提出生成时越狱防御方法 SENTINEL，将防御重构为意图提取问题，利用指令微调 LLM 的输入-输出语义一致性，匹配语义对齐区域以提取暴露意图的子序列，并用拒答方向投影打分、必要时中止生成。在 HarmBench 上对多个 LLM 的实验中，SENTINEL 将越狱成功率降至接近 5%，同时保持较低的过度拒答，并对自适应攻击表现出鲁棒性。
- 论文arXiv：越狱、提示注入、投毒与防御
无需目标答案的潜在空间安全对齐：无监督对抗训练提升 LLM 越狱鲁棒性
针对现有对抗训练依赖固定有害目标或固定良性—有害数据对做定向激活消融、导致对抗样本行为单一的问题，研究者提出无目标对抗训练框架 Target-free Latent Safety Alignment，以无监督方式放大并多样化模型潜在空间中的行为级偏移，生成语义多样的对抗样本。该方法用语义熵作为输出层面的对抗行为多样性度量，在目标模型上诱发出多种有害行为，缓解行为窄化并提升对越狱攻击的鲁棒性。