MASCRDM：面向大语言模型训练过程的合规风险检测与缓解多智能体系统
MASCRDM 是一套在大语言模型训练全过程中实时检测并缓解合规风险的多智能体系统。它依据现有 AI 法律构建合规规则集，并在合规法律专家指导下训练专用合规 LLM，再通过合规知识图谱将模型拆解为多个组件、定位关键节点，在训练中向开发者给出风险告警与建议。在歧视与偏见基准上的实验显示，该方法能有效提升合规性，同时保持合理的语义性能。
#多模态
今天收录 1 条今天收录 1 条
#多模态
今天收录 1 条
今天10月2日周五
星期五 · 1 条
arXiv ·
10月1日周四
星期四
arXiv · MiniRep：面向多智能体辩论的鲁棒声誉聚合方法
MiniRep 是一种面向多智能体辩论（MAD）的声誉聚合系统，用于在存在恶意智能体时提升最终答案的可靠性。它基于声誉系统攻击与软件测试变异算子构建攻击分类体系，同时依据智能体在当前任务上的行为和长期声誉进行评估，并抑制高度相似回答的智能体群体主导决策。在 MATH 等任务上，MiniRep 无论是否遭受攻击都优于传统 MAD 聚合与常规声誉方法；在 10 个异构智能体的 MATH 设置下，于全部 28 种攻击条件下均优于所有基线。
arXiv：后门、投毒与隐私 · NDDL：用正常扩散动力学为文生图模型做后门防御
研究者提出 Normal Diffusion Dynamics Learning（NDDL），一种仅用正常样本训练的文生图扩散模型后门防御框架。该方法观察到正常扩散轨迹在 cross-attention、潜空间和噪声空间中呈现结构化且随 timestep 变化的转移模式，而后门攻击会使其偏离这种正常演化。NDDL 构建紧凑的多空间轨迹表示，训练一个以 timestep 为条件的动力学模型来预测扩散演化，推理时用观测转移与预测转移之间的偏差量化动力学不一致性以检测后门。该框架还能在无需任何后门先验知识的情况下，通过低语义词替换实现触发器定位。多种后门攻击上的实验显示其有效性与泛化性。
9月29日周二
星期二
arXiv：越狱与提示注入 · ACTR：对齐推理与回答以提升推理大语言模型的多语言安全
研究者提出 ACTR 框架，通过强化推理大语言模型已有的安全推理来提升多语言安全对齐。方法先用 think gap score（TGS）比较不同语言下推理痕迹对注意力输出的归一化贡献，并用推理痕迹替换衡量跨语言安全差距；再用越狱查询语料，通过神经元掩码引起的回答表示变化评估神经元重要性，对比开启与关闭推理时的高重要性神经元集合，识别支撑安全推理的安全 think 神经元；最后提出 neuron-selective consistency optimization（NSCO），用冻结的评判模型奖励推理痕迹与回答在安全类别上的一致，只更新选定神经元相关参数，无需人工标注回答或偏好数据。
arXiv：越狱与提示注入 · 研究评估 GradSafe 在多轮对话中的越狱检测脆弱性
研究者在多轮对话场景下评估了基于梯度的越狱检测器 GradSafe，并扩展出 Context Window Scanner，用固定大小用户轮次窗口的最大分数作为整段对话得分。
arXiv · Render Before Reading：把不可信内容渲染成图像以防御提示注入
论文发现多模态大语言模型对以文本形式出现的对抗指令比对图像等非文本通道的同一指令更易服从，并将这一模态差异转化为无需训练的防御方法 Pictionary：在不可信内容进入模型前先渲染为排版图像或音频。
9月28日周一
星期一
arXiv：对齐与欺骗 · 现代图像后置水印信道的优化与安全：SNW 方案
针对现代多比特后置图像水印方案，研究提出其编码器-解码器对隐含定义了并行 AWGN 信道、以 BPSK 调制传输消息，因而受限于二进制字母表、容量被严重压缩，且因缺少密钥而本质不安全。为此提出 SNW 后置水印系统，不依赖固定码本或二进制字母表，借助可达容量的纠错码使速率接近香农容量，在容量上显著优于现有 SOTA 基线并提供强安全保证。
9月27日周日
星期日
arXiv：越狱与提示注入 · SafeMol：分子多模态模型的双模态安全对齐
分子多模态模型在纯文本与图条件输入下均存在显著越狱漏洞，安全鲁棒性需跨输入模态成立并兼顾安全、过度拒答与效用。为此研究者构建 SafeMolBench 基准，含 3702 个样本、覆盖 618 种独特危险分子，分为危险有害、危险允许与效用回放三个子集。基于该基准提出的参数高效对齐框架 SafeMol 联合优化两种模态的轻量模块，用 MMD 做分布级表示对齐并显式建模分子危险性与有害操作意图，实验显示攻击成功率下降数十个百分点，同时保持较低过度拒答与分子任务效用。
9月26日周六
星期六
arXiv：后门、投毒与隐私 · CLIPGuard：针对 CLIP 嵌入空间隐蔽后门的区域级黑盒防御
CLIPGuard 是一种轻量、完全黑盒的防御方法，通过测量分段嵌入扰动定位恶意区域，并仅对可疑片段做语义修复，以抵御 CLIP 嵌入空间后门攻击。在 STL-10、ImageNet 及 BadCLIP、BadNets、blended、patch-based、typographic 等触发家族上，该方法将攻击成功率降至最低 1.05%，干净准确率最高保持 86.34%，持续优于 CleanCLIP 和 CleanerCLIP 等黑盒防御。
9月24日周四
星期四
arXiv：越狱与提示注入 · AEGIS：用内部信号在中间层拦截大型音频语言模型越狱
论文提出 AEGIS，一种针对大型音频语言模型（LALM）音频越狱的检测后干预防御方法。逐层探针显示，风险相关信息在中间层表示中仍可解码，但内部风险信号未能在后续层转化为拒答，作者将这一差异称为风险到拒答的缺口。AEGIS 据此在中间层设置风险门控，选择性激活下游安全适配器。在六个 LALM 和三个异构音频越狱基准上，AEGIS 将平均不安全率从 17.9% 降至 0.4%，对良性输入的过度拒答仅有小幅上升。代码已公开，论文投稿至 ICASSP 2027。
9月23日周三
星期三
arXiv：后门、投毒与隐私 · ODPure：通过集成破坏共识实现目标检测后门净化
ODPure 是一种面向目标检测的输入阶段黑盒后门防御方法，通过破坏-重建-选择（CRS）范式净化输入，无需丢弃恶意数据或模型即可维持稳定的感知流。该方法利用多种破坏方式中和触发器、生成大量冗余候选框，再借助生成先验恢复细粒度结构线索，最后通过投票对检测结果达成共识。实验表明，ODPure 能抵御多种后门攻击与触发器类型，同时保持基线精度。
arXiv：越狱与提示注入 · PALS：面向全双工语音对话模型对抗鲁棒性的心理声学对齐潜空间平滑
论文将针对全双工语音对话智能体的不可感知攻击形式化为在载体语音心理声学掩蔽阈值之下的加性扰动优化，目标包括定向语义劫持、响应抑制和策略越狱。在未防御的 Moshi 类智能体上，白盒攻击成功率最高达 91.7%。作者提出心理声学对齐潜空间平滑（PALS），在残差向量量化潜空间接口注入由局部码本协方差塑形的各向异性高斯噪声，输入噪声由掩蔽阈值塑形以约束攻击者，并用 Kullback-Leibler 一致性目标训练。PALS 无推理时开销，将劫持降至 8.3%、静音降至 11.2%、越狱降至 9.1%，干净质量损失在 2.3% 以内。其蒙特卡洛平滑变体可认证的椭球潜空间半径最高为 0.616，经验鲁棒性远超这一保证下限。
9月20日周日
星期日
arXiv：对齐与欺骗 · StyleAT：用对抗训练防御人脸识别的语义攻击
针对人脸识别模型易受对抗性语义编辑（如轻微老化或姿态变化）攻击的问题，研究者提出语义攻击 BoundStyle，在 StyleGAN 潜空间中最大化误分类率，攻击成功率高的同时比现有 SOTA 攻击快约 9.5 倍。基于 BoundStyle 构建的对抗训练方案 StyleAT 采用低预算攻击变体，却能防御更强和未见过的语义攻击。在两个训练中未见的数据集和七个模型上，StyleAT 提升了针对 SOTA 攻击的鲁棒准确率，并在多种设置下优于常见防御方法。
arXiv：对齐与欺骗 · VidMark：面向视频生成模型知识产权保护的高效水印方案
研究者提出一种生成内嵌水印方案，用于视频生成模型（VGM）的合成视频验证与模型所有权验证两项取证任务。方案包含名为 VidMark 的视频水印网络，结合两级离散小波变换（DWT）分解与全局时序注意力模块（GTAB），并通过解码器引导的微调让 VGM 生成携带模型专属水印的视频。在代表性 VGM 上实验显示，水印提取准确率超过 99%，两项验证任务准确率均达 100%，且对视频级与模型级攻击具有强鲁棒性。
9月18日周五
星期五
arXiv：越狱与提示注入 · 用扩散模型隐空间扰动防御视觉语言模型的地理位置隐私泄露
研究系统考察了多模态大推理模型（MLRM）从日常照片推断用户地理位置带来的隐私泄露，发现基于拒答的防护严重不足，精心构造的越狱提示词可将模型响应率提高到 100%。作者指出，现有在像素空间注入不可见扰动的防御受结构性限制，黑盒迁移性下降且出现明显视觉伪影。为此提出一种基于扩散模型的主动防御框架，在反向采样过程中向扩散模型隐空间注入扰动，直接作用于高层语义表示，并以与 GPS 坐标对齐的 GeoCLIP 作为代理模型定位和破坏 MLRM 用于位置推断的地理信号。该方法在保持图像感知质量的同时获得更强的黑盒迁移性，便于在社交媒体平台集成。该工作已被 NDSS 2027 接收。
9月15日周二
星期二
arXiv：Agent 与 MCP 安全 · 多智能体 LLM 流水线中的信任传播与结构隔离
研究者在四智能体 LangGraph 流水线（Supervisor、Researcher、Validator、Executor）中评估共享内存投毒和通过检索文档伪造审批的间接提示注入，比较 Validator 判断与基于任务绑定签名 token 和独立策略 oracle 的授权层。在三个随机种子、60 个标注任务中，内存投毒在无防御时每次都能到达执行阶段；启用授权后攻击成功率（JBR）仍为 100%，但 Unsafe Action Rate 为 0%，说明 Validator 可被攻陷而执行仍被隔离。面对持有签名密钥的攻击者，隔离效果来自策略 oracle，独立编写的最小权限策略也能保持该结果。
arXiv · RAPID：面向文生图服务的实时防未授权蒸馏防御
RAPID 是一种针对文生图服务的实时防御方法，用于阻止攻击者通过黑盒查询收集提示词-图像对来训练未授权的替代模型。现有基于扰动的方法需要逐样本优化，带来大量计算和延迟，影响在线服务可用性；作者尝试把防御扰动集成进 VAE 解码器，但发现逐样本目标难以迁移到共享解码器场景，因为共享解码器造成的潜空间偏移明显更小。RAPID 采用自参考的潜空间最大化框架，去除外部依赖，让同一次模型更新在不同训练样本上产生一致的破坏效果，并用重建引导的颜色正则化阻断潜空间捷径。在四个文生图模型和四个数据集上，与五个代表性基线对比，RAPID 在保持服务视觉保真度的同时持续降低替代模型的生成质量。
9月14日周一
星期一
arXiv：后门、投毒与隐私 · QPriv-VL：面向视觉语言模型的问题引导 token 裁剪隐私防御
作者提出 QPriv-VL，一个面向联邦学习、拆分学习和 U 型拆分学习的问题引导隐私感知 token 裁剪框架，在传输前按任务效用与隐私敏感度裁剪视觉 token。其核心是轻量级 Dynamic Threshold Predictor（DTP），在一次前向中同时估计样本级裁剪比例和 token 级保留掩码，结合视觉 patch 与问题嵌入的跨模态相似度，以及来自冻结 DINOv2 特征的敏感度信号，无需敏感度标签即可抑制潜在敏感区域。
9月13日周日
星期日
arXiv：越狱与提示注入 · SPARK：在 KV 记忆层对齐表征以防御视觉语言模型越狱
SPARK 是一个两阶段框架，通过在 prefill 阶段修复多模态 KV 记忆来降低视觉语言模型的越狱风险，且不修改推理时的模型参数。第一阶段用一次性诊断适配器定位多模态 key 和 value 表征中与危害相关的方向，第二阶段将这些方向投影剔除、学习轻量残差修复，并用图像结构先验锚定修复后的 key 以保持视觉接地。方法按 head 级系数混合修复与原始记忆，该系数由干预相关子空间能量决定，推理时无需显式危害分类器。
9月3日周四
星期四
arXiv：可解释性 · EraseSAE：用稀疏自编码器在文生视频扩散模型中实现精准概念擦除
EraseSAE 通过稀疏自编码器在 DiT 架构的文生视频扩散模型中实现精准概念擦除，先以 Partitioned Convolutional Sparse Autoencoder 将稠密时空激活分解为可解释稀疏特征，再用对比归因机制定位概念专属特征核，推理时按时间步生成时空掩码限制擦除范围。实验显示该方法在多种扩散模型和概念擦除任务上实现精确稳健的移除，生成质量损失极小，显著优于现有方法。该工作已被 ECCV 2026 接收，代码已公开。
arXiv · CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行
作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。评测发现明显的执行偏向型过度顺从：在可行任务上表现良好的 Agent，遇到冲突指令时往往仍盲目继续执行。为此作者提出推理期框架 CONFLICTGUARD，包含可行性验证协议与条件动作调制机制，前者引导 Agent 在行动前评估指令逻辑与 GUI 侧证据，后者将过度顺从的执行转向终止行为。在五个常用 Agent 上的实验显示，CONFLICTGUARD 显著提升冲突任务平均成功率，同时保持正常 GUI 任务表现。
arXiv：后门、投毒与隐私 · TRIM：面向多种后门触发器的黑盒检测与净化方法
研究者提出 TRIM（Trigger Removal by Identifying Manipulated Regions），一种面向部署的黑盒后门防御方法，可在推理时检测并选择性移除后门触发器，无需模型内部信息、训练数据或干净样本。TRIM 通过基于区域的分割与深度特征表示、结合 inpainting 和扩散模型重建的自适应触发器发现，以及选择性区域净化三个组件，在不假设触发器类型、形状或位置的前提下定位导致误分类的区域并只净化这些区域。为便于部署，TRIM 还缓存已识别触发器的特征嵌入，避免重复检测与净化。
8月31日周一
星期一
arXiv · VisER：面向 LVLM 物体幻觉检测的视觉证据与视觉依赖双面指标
VisER 是一种免训练的双面指标，用于大视觉语言模型（LVLM）的物体级幻觉检测，通过 Visual Evidence 衡量物体与上下文的兼容性是否有图像 token 的物体专属证据支撑，通过 Visual Reliance 衡量物体更多由图像而非已生成文本前缀支持，两者结合得到更关注来源的 grounding 分数，且无需额外的物体级验证生成。在多个 LVLM 和基准上，VisER 的 AUROC 与 AUPR 均优于一系列基线。该工作已被 EMNLP 2026 主会接收。
8月25日周二
星期二
arXiv · RACER：面向多模态大模型后门的区域感知一致性修复框架
论文提出 RACER，一个模型级的多模态大模型后门修复框架，通过抑制内部表征的层级不一致异常来从源头移除后门。作者观察到后门会在内部表征中引发层级间演化异常，即层级不一致异常，且该异常与模态相关，主要集中在编码触发特征的 token 区域。RACER 据此把融合表征拆分为视觉与文本 token 区域，分别归一化其层级不一致性，再在深层窗口内以模态感知权重重组，形成区域感知的不一致目标，并通过 min-max 优化合成最坏情况扰动、对扰动做对抗微调来修复模型。该方法只需 100 条干净样本，不需要知道触发器、攻击目标，甚至不需要知道输入模型是否含后门。
7月1日周三
星期三
arXiv · MiShield：识别多图组合后浮现的隐式有害内容
论文提出多图隐式有害内容（MIIT）问题，即每张图片单独看都无害，但多张图片联合解读时会产生有害语义，现有商业审核 API 和模型因单图缺乏明显风险线索而难以识别。作者给出 MIIT 的正式定义并分析检测中的三个关键挑战，通过自动生成流程构建了覆盖七类代表性风险的纯图像多图安全数据集 MIIT-dataset，并训练出 MiShield，采用渐进式蒸馏推理监督，使其在给出安全判断的同时显式分析导致危害的关联实体。实验显示 MiShield-8B 的表现优于代表性审核服务和更大规模的模型。论文共 15 页、8 张图，作者提示内容可能包含敏感信息。
8月1日周四
星期四
arXiv · Llama 3 模型群：405B 稠密 Transformer 与 Llama Guard 3 安全模型
Meta 发布 Llama 3 模型群，最大模型为 405B 参数的稠密 Transformer，上下文窗口最高 128K tokens，原生支持多语言、编程、推理与工具使用。评测显示其在大量任务上质量与 GPT-4 相当，并公开释出 405B 的预训练与后训练版本及输入输出安全模型 Llama Guard 3。论文还通过组合式方法将图像、视频和语音能力接入 Llama 3，在识别任务上表现与 SOTA 相当，但这些多模态模型仍在开发中，尚未广泛发布。
已经到底了