全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 21 条- 论文论文追踪
研究测量 LLM Agent 记忆投毒防御的良性场景开销
研究者搭建统一测量装置，在记忆后端、检索流程和评判模型保持一致的前提下，只改变防御本身，评估 LLM Agent 记忆投毒防御在完全良性流量下的效用损失与 token 开销。测试覆盖三种写入时防御（输入清洗、来源检查、基于 LLM 的异常检测）和一种读取时防御（重排序），每种条件在五段对话上重复三次，以区分真实效应与流水线噪声。写入时防御未显示出可分辨的效用损失，95% 置信区间约为正负 4.5 个百分点并包含零。重排序器则使核心准确率下降 4.4 个百分点（95% CI [-9.0,-0.05]，bootstrap；McNemar p=0.064），该结果可复现但处于测量分辨率边缘；在无攻击对话中，它隔离了 33.6% 的合法记忆条目，单段对话最多出现 106 次误隔离，token 开销为 2.7%。研究认为，决定防御良性场景代价的是它拦截流水线的位置，而非是否使用 LLM。
- 论文论文追踪
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息，C-GEO Guard 将攻击成功率相对降低 47.6%
清华大学深圳国际研究生院与香港大学的研究者提出 Counter-GEO-Bench，在受控条件下评测针对信息扭曲型生成引擎优化（GEO）的防御：247 条人工核验的查询各配信息保留与信息扭曲两种 GEO 改写，在 Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout 三个受害模型上测量攻击成功率、误报率和答案质量。Granite Guardian、Llama Guard 3 和 NeMo Self-Check 三种现成防御最多只把攻击成功率相对降低 5.7%，Granite Guardian 的降幅不具统计显著性，NeMo 在 Llama-4 上几乎拦下所有正常查询。作者认为这类护栏针对的是违规内容，而 GEO 虚假信息以流畅的信息性文本出现，能直接穿过。为说明这一威胁可以应对，作者给出轻量的片段级对比检测基线 C-GEO Guard，三个模型平均把攻击成功率相对降低 47.6%，答案质量几乎不受影响。
- 论文论文追踪
SingProbe 发布开源内在护栏框架，适配 29 个开源模型
SingProbe 是一个面向 LLM 生成时监控的开源内在护栏框架，复用基座模型自回归解码中已产生的隐藏状态，而不是让独立模型反复处理生成文本。它用轻量探针在解码过程中持续输出查询意图、回复安全和幻觉风险信号，报告给出了训练方法、与 SGLang 和 vLLM 的服务集成，以及覆盖不同家族和规模的 29 个开源基座模型的适配护栏。团队同时提出 SingStreamBench，用于衡量流式护栏能否在良性前缀上保持静默并及时发现新出现的不安全内容。在安全、流式检测、幻觉检测、误报鲁棒性、在线监控和运行时开销等评测中，SingProbe 的表现与最先进的独立护栏和专用幻觉检测器相当，在若干设置下更强，实现中增加的服务开销低于 0.5%。除被动监控外，内在护栏信号还可引导受限解码，并在 SingProbe-Med 中选择性触发医疗风险干预。
- 动态0DIN
Mozilla 0DIN 推出 0DIN AI Defense，首发 560M 参数 SusFactor 越狱检测模型
Mozilla 0DIN 发布可自托管的 AI 安全产品线 0DIN AI Defense，首个模型 SusFactor 为 560M 参数的越狱检测模型，现已开放早期访问测试。该模型基于 0DIN 漏洞赏金项目收集的真实攻击数据训练，可在本地廉价硬件上以低于 50ms 的延迟实时分析提示词。在 JailbreakBench 基准上，SusFactor 仅放过 12.1% 的攻击，误报率为 9.0%，低于 WildGuard 的 45%、Mistral 的 39% 和 Llama Guard 3 的 23%。
- 动态0DIN
SusFactor：用真实威胁情报检测越狱与提示注入攻击
0DIN 发布 SusFactor，一个 560M 参数的二分类器，用于检测越狱与提示注入，输入用户提示词后输出 0 到 1 的可疑度分数。它在 JailbreakBench 上取得所评估分类器中最高的合并 AUROC 0.954，在 WildGuardTest 上 AUROC 0.878，与参数量为其 10 到 15 倍的生成式护栏相比具有竞争力。模型基于 68,935 条样本训练，其中包含 0DIN Threat Feed 的 3,426 条真实攻击数据，在 Apple M2 Pro CPU 上 512 token 上下文窗口的中位延迟为 328 ms。
- 论文arXiv
研究发现护栏模型在基座模型不确定处过度自信
研究评估了五个护栏模型在提示分类任务上的表现，发现它们在干净输入上接近校准，但对抗攻击会让校准误差恶化一个数量级，把假阴性变成与正确检测难以区分的高置信度错误。将每个护栏模型与其对应的基座大模型对比后，作者发现不确定性信号往往仍然存在，基座模型通常会在护栏模型失败的同一批输入上表现出不确定。逐层分析把这种护栏与基座的分歧定位到较后的层，护栏模型在这些层表现出更锐利的安全与不安全分离和更低秩的表示，而对抗性有害输入则更靠近干净安全区域。研究指出，攻击条件下护栏模型的置信度与基座模型的不确定性之间存在错配。
- 论文arXiv
ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害
针对多模态大语言模型在文本与视觉实体单独无害、逻辑组合后却诱发不安全输出的隐式风险，研究提出逐步监督结构化推理框架并训练出专用护栏模型 ThinkingGuard。团队同时构建首个显式建模风险组合性的数据集 TriggerBench（5,600 条），通过隔离 Key Elements 与 Trigger Elements 构造反事实对比对，消除风险残留。ThinkingGuard 采用步进奖励蒙特卡洛树搜索探索最优推理轨迹，并经双约束偏好对齐蒸馏进模型，在标准与隐式安全基准上均取得强劲表现。
- 论文arXiv
MASCRDM：面向大语言模型训练过程的合规风险检测与缓解多智能体系统
MASCRDM 是一套在大语言模型训练全过程中实时检测并缓解合规风险的多智能体系统。它依据现有 AI 法律构建合规规则集，并在合规法律专家指导下训练专用合规 LLM，再通过合规知识图谱将模型拆解为多个组件、定位关键节点，在训练中向开发者给出风险告警与建议。在歧视与偏见基准上的实验显示，该方法能有效提升合规性，同时保持合理的语义性能。
- 论文arXiv：越狱、提示注入、投毒与防御
CASCADE 研究：跨流水线阶段的越狱防御组合评估
论文提出 CASCADE 决策框架，在直接、黑盒、单轮攻击的统一威胁模型下，系统研究 LLM 越狱防御在流水线阶段内与跨阶段的组合效果。研究用带受控查询预算的攻击成功率公式和明确的公平性规则统一评估口径，覆盖 19 种攻击与 15 种防御。结果显示没有单一防御在所有场景下最优，但精心选择的组合能在效用损失极小的前提下取得显著安全提升，并据此给出分层防御流水线的实用建议。该工作已被 EMNLP 2026 Findings 接收。
- 论文arXiv：对齐、欺骗与监督
BenchShield：面向 LLM Agent 评测基础设施的奖励完整性形式化插桩
论文提出 BenchShield，一个以形式化模型为支撑的插桩层，用于保障 LLM Agent 评测中的奖励完整性。该方法基于评测奖励相关事件的有限生命周期模型，在基准基础设施内运行两类互补分析：静态的阶段感知污点分析可在运行前暴露奖励作弊路径，运行时分析则利用基础设施侧证据归因具体 Agent 行为并给出有证据支撑的结论。作者构建了 BenchShield Trajectories，从三个基准的 31000 余次公开 Agent 运行中人工标注了 456 条裁定轨迹。
- 论文arXiv
MiShield：识别多图组合后浮现的隐式有害内容
论文提出多图隐式有害内容（MIIT）问题，即每张图片单独看都无害，但多张图片联合解读时会产生有害语义，现有商业审核 API 和模型因单图缺乏明显风险线索而难以识别。作者给出 MIIT 的正式定义并分析检测中的三个关键挑战，通过自动生成流程构建了覆盖七类代表性风险的纯图像多图安全数据集 MIIT-dataset，并训练出 MiShield，采用渐进式蒸馏推理监督，使其在给出安全判断的同时显式分析导致危害的关联实体。实验显示 MiShield-8B 的表现优于代表性审核服务和更大规模的模型。论文共 15 页、8 张图，作者提示内容可能包含敏感信息。
- 会议论文arXivACL 2026
基于搜索增强 LLM 的中文新词毒性共识检测框架 SeTox
针对"country girl"等表面无害、却在公众共识中演变为毒性用法的新词，研究者提出分类体系与风险词表，并构建搜索增强框架 SeTox，让静态大语言模型接入实时网络语境来检测新词毒性。实验显示，SeTox 即使使用 3B 规模模型也优于近期大规模模型，表明其可扩展地引入现实世界知识完成毒性新词检测。该工作发表于 ACL 2026。
- 论文arXiv
SHE：面向 LLM Agent 的轨迹驱动安全护栏演化框架
研究者提出 Safety Harness Evolution（SHE），一个从 rollout 轨迹中学习演化安全边界的框架，用于提升 LLM Agent 的安全性。SHE 把 Agent 护栏拆成 System Prompt、Rule Bank、Safety Memory 和 Tool Policy 四类具有明确安全职责的组件，为局部演化划定功能边界。在此基础上，SHE 引入归因引导的演化循环，把轨迹失败转化为结构化诊断，学习各组件专属的边界修正，并通过安全与效用验证筛选演化后的护栏。
- 论文arXiv：可解释性
局部稀疏性实现无监督 LLM 安全检测
论文提出基于局部掩码 SAE 的无监督异常检测框架，用于大语言模型的部署期安全检测。作者指出，现有部署期安全方法多为监督式并依赖不安全训练数据，难以覆盖新出现的攻击与危害类别，因此转向只建模安全数据、标记分布外输入的异常检测思路。在线性表示假设下，SAE 恢复的概念空间中邻近点共享较小的公共激活支撑，这一局部稀疏性为高维激活空间中的异常检测提供了理论依据。作者在多种架构和数据集上验证了该方法，涵盖能力测试数据集与安全专用数据集。当允许算法使用 1% 的分布外数据做校准后，局部稀疏方法达到接近最优的性能，且仅用 1-2% 的 SAE 神经元参与计算。
- 论文arXiv：对齐、欺骗与监督
SURE：构建可信 AI 的安全框架
研究提出 SURE（A Safe and Unified AI Framework foR Everyone）框架，用于按国家、文化和企业政策定制 AI 安全属性并加以保障。该框架建立对抗性提示词分类体系并据此构造提示词，定义理想 AI 回复模板与绝对安全评分方案，再通过数据集进行 AI 对齐。在多种基座模型上的实验验证了 SURE 的有效性，论文已被 KDD 2025 EAI Workshop 接收。
- 论文arXiv：后门、投毒与隐私
研究重新审视后门修复评测：区分总体干净效用与良性性能保持
论文提出后门修复评测不应只看攻击成功率（ASR）和总体干净准确率，因为总体准确率会掩盖集中在部分标签空间上的性能退化。作者从保持视角区分总体干净效用与原有类别性能的保持，通过比较修复前后的干净性能定义类别级保持损失，并指出聚合会通过局部损失稀释和跨类别补偿隐藏局部退化。为此论文引入最差类别保持损失和尾部保持损失来刻画局部保持损失，并在代表性后门攻击、修复方法、数据集、攻击目标和模型架构上开展系统实证研究，另在干净标签攻击下做了验证。结果显示，有效抑制攻击和良好的总体干净性能并不必然意味着各类别原有良性性能被均匀保持，修复后仍可能存在明显的局部保持损失，其严重程度和类别结构随修复条件变化。
- 论文arXiv：Agent 与 MCP 安全
研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性
论文将应用层 Agent 遥测与内核级 syscall 追踪配对，首次给出内核层与应用层信号在 Agent 安全上的配对证据刻画。作者构建 Agent Cross-Layer Evidence（ACE）配对会话语料库，包含 4,047 个会话和 17 个威胁模型，覆盖六类投递向量家族、OWASP LLM 与 Agent 威胁类别中的 14 个，并归纳为 12 种攻击机制。在四类检测器上，内核证据单独即具判别力，与应用层证据组合通常优于任一单层视角，显示出单层分析可能遗漏的互补信号。研究还展示了对未见攻击家族的泛化能力以及向另一 Agent 运行时的迁移。
- 动态Failure-First
Yuvion LLM：面向内容与 AI 安全的对抗感知大语言模型
Yuvion LLM 提出将对抗鲁棒性与智能体能力列为一等目标的安全模型，通过五类功能性数据和三阶段训练流程应对语义伪装下的有害请求。其数据体系涵盖通用、安全域、对抗、智能体和合成专家数据，分别支撑语言能力、风险分类学、混淆变体（拼音替换、符号替代）、工具调用轨迹与长尾高风险场景覆盖。训练分三阶段推进：知识增强持续预训练内化细粒度审核政策，基于政策的监督微调加 GRPO 打磨决策边界，再以分解密集奖励稳定工具集成与检索增强的多步安全工作流。
- 论文arXiv
CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行
作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。评测发现明显的执行偏向型过度顺从：在可行任务上表现良好的 Agent，遇到冲突指令时往往仍盲目继续执行。为此作者提出推理期框架 CONFLICTGUARD，包含可行性验证协议与条件动作调制机制，前者引导 Agent 在行动前评估指令逻辑与 GUI 侧证据，后者将过度顺从的执行转向终止行为。在五个常用 Agent 上的实验显示，CONFLICTGUARD 显著提升冲突任务平均成功率，同时保持正常 GUI 任务表现。
- 论文arXiv：后门、投毒与隐私
机器遗忘在 ASR 中是否有效：arXiv 论文评估现有算法与评测工具
一项提交至 ICASSP 2027 的研究评估了现有机器遗忘（MU）算法与评测工具是否适用于自动语音识别（ASR），发现基于梯度上升的算法能在隐私与效用间取得较好权衡，而更复杂的方法会过度遗忘样本、反而更容易被识别为已遗忘。研究指出，基于简单成员推理攻击的标准隐私评估不足以可靠判断遗忘是否成功，且顺序遗忘与同时遗忘的隐私和效用均差于单主体遗忘。
- 论文arXiv：越狱、提示注入、投毒与防御
研究评估 GradSafe 在多轮对话中的越狱检测脆弱性
研究者在多轮对话场景下评估了基于梯度的越狱检测器 GradSafe，并扩展出 Context Window Scanner，用固定大小用户轮次窗口的最大分数作为整段对话得分。