全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：对齐、欺骗与监督
基于硬件 PUF 指纹的知识蒸馏设备级溯源框架
针对知识蒸馏中教师模型易被窃取且现有水印或硬件访问控制难以定位泄露设备的问题，研究者提出一种将设备专属 PUF 签名叠加到教师 logits 上的指纹框架，使经知识蒸馏训练的学生模型继承与硬件绑定的唯一身份。该方案在 Xilinx Zynq-7020 FPGA 上测量环形振荡器（RO）PUF 生成签名，架构无关，可跨 CNN、Vision Transformer 和编码器继承身份，并通过神经解码器与汉明距离精修的两阶段恢复流程在噪声条件下保持高检测准确率，另引入多级 logit 编码支持大规模设备部署。实验显示嵌入指纹能抵抗常见的蒸馏后修改。
- 论文arXiv
通过表征对齐缓解苏格拉底式导师中的脚手架崩塌
针对 LLM 苏格拉底式导师在持续学生压力下逐渐放弃引导式提问、直接给出答案的"脚手架崩塌"问题，研究者提出 Scaffold-Preserving Representation Alignment 两阶段框架：先用监督微调预热，再结合轨迹加权直接偏好优化与锚定冻结参考状态的间隔保持表征损失。在 Qwen3-8B 上跨五个 STEM 学科和五种红队攻击策略评测，该方法将崩塌率降至 32%，平均崩塌起始延迟至九轮以上，并保持较低过度拒答。
- 论文arXiv
MiShield：识别多图组合后浮现的隐式有害内容
论文提出多图隐式有害内容（MIIT）问题，即每张图片单独看都无害，但多张图片联合解读时会产生有害语义，现有商业审核 API 和模型因单图缺乏明显风险线索而难以识别。作者给出 MIIT 的正式定义并分析检测中的三个关键挑战，通过自动生成流程构建了覆盖七类代表性风险的纯图像多图安全数据集 MIIT-dataset，并训练出 MiShield，采用渐进式蒸馏推理监督，使其在给出安全判断的同时显式分析导致危害的关联实体。实验显示 MiShield-8B 的表现优于代表性审核服务和更大规模的模型。论文共 15 页、8 张图，作者提示内容可能包含敏感信息。
- 会议论文arXivACL 2026
基于搜索增强 LLM 的中文新词毒性共识检测框架 SeTox
针对"country girl"等表面无害、却在公众共识中演变为毒性用法的新词，研究者提出分类体系与风险词表，并构建搜索增强框架 SeTox，让静态大语言模型接入实时网络语境来检测新词毒性。实验显示，SeTox 即使使用 3B 规模模型也优于近期大规模模型，表明其可扩展地引入现实世界知识完成毒性新词检测。该工作发表于 ACL 2026。
- 论文arXiv
DataShield：通过共识子空间对齐识别 LLM 微调中的高风险数据
DataShield 是一个数据评估框架，通过多个安全对齐 LLM 构建的联合安全关键语义空间中的共识子空间对齐，识别有风险的微调样本和回复片段。该框架在这些空间内用语义谱分解提取共识的安全与不安全子空间，再通过衡量样本或片段与不安全子空间、安全子空间的相对对齐程度估计风险，从而支持样本级过滤和细粒度片段级掩码。与现有过滤和掩码基线相比，DataShield 在样本过滤下将 ASR 降低 14.6%，在片段掩码下降低 32.3%，同时保持下游效用，并避免针对特定目标模型计算风险。
- 论文arXiv
Gradient Immunity 提出 USG：在开放权重发布时阻断恶意微调梯度
论文提出 Unidirectional Safety Gate（USG），用于作者所称的“部分保护开放权重发布”（PPOW）场景：大部分权重仍可训练，但发布时保留少量安全关键组件。USG 由 Null Space Cubic Layer 与 Inverse Adapter 组成，插入在最后一层 Transformer 之后；下游微调时，三次层抑制或阻断隐藏状态落入校准保护区域的有害样本梯度，Inverse Adapter 则恢复基础模型的前向行为。防御方用自己掌握的有害数据校准阈值，使保护能泛化到邻近的分布内有害样本。
- 论文arXiv
SHE：面向 LLM Agent 的轨迹驱动安全护栏演化框架
研究者提出 Safety Harness Evolution（SHE），一个从 rollout 轨迹中学习演化安全边界的框架，用于提升 LLM Agent 的安全性。SHE 把 Agent 护栏拆成 System Prompt、Rule Bank、Safety Memory 和 Tool Policy 四类具有明确安全职责的组件，为局部演化划定功能边界。在此基础上，SHE 引入归因引导的演化循环，把轨迹失败转化为结构化诊断，学习各组件专属的边界修正，并通过安全与效用验证筛选演化后的护栏。
- 论文arXiv
WIFA：按意图分组监督缓解包装式越狱与过度拒答
论文提出 Wrapper-Based Intent-Form Augmentation（WIFA），一种自动意图分组增强方法，把带包装的有害示例与结构匹配的带包装良性反例配对，无需外部教师模型或逐包装的人工意图标注。WIFA 作为通用数据层支持两条微调路线：两阶段高安全配方 WIFA-Boost，以及 Anchored Group-Consistent Refusal Training（A-GCRT），后者在同一意图的不同包装间正则化拒答与合规决策分数，并把有害与良性分组锚定在间隔两侧。
- 论文arXiv
StepGuard：用可扩展监督训练步骤级护栏，兼顾安全与效用
研究者提出 StepGuard，一个步骤级护栏模型，既能审计已完成的智能体轨迹，也能在工具动作执行前进行检查。为训练该模型，作者设计了 StepGen 数据引擎，生成上下文相同但在风险步骤上动作不同的安全与不安全轨迹；并提出 Balance-GRPO，根据观测到的准确率动态平衡安全与不安全动作的学习，以减少过度防御和防御不足。实验显示，StepGuard 在开放权重护栏模型中平均准确率最高，性能与 GPT-5.4 相当；在 AgentDojo 和 AgentDyn 上用于守护智能体时，相比无护栏设置将平均攻击成功率降低 77.3%，平均效用仅下降 2.8 个百分点。该工作已被 EMNLP 2026 接收。
- 论文arXiv
Defense-as-Skill：为技能增强型 Agent 演化运行时护栏技能
论文提出 Defense-as-Skill 防御范式，把运行时护栏本身实现为可安装、可检查、可编辑的技能，以应对技能增强型 Agent 中恶意技能通过持久上下文长期操纵后续动作的问题。其护栏 SkillSonar 与不可信任务技能并行运行，按用户任务边界检查敏感动作，并给出允许、重新规划或确认三种决策，且不修改底层 Agent 运行时。作者构建了任务条件数据集 SCOPE-R，覆盖 6 类风险、21 个子类，含 206 个已确认攻击的恶意实例和 43 个良性任务，并用蒙特卡洛树搜索在训练子集上演化磁盘上的护栏技能。
- 论文arXiv：后门、投毒与隐私
MROP：针对 Deep JSCC 后门攻击的掩码区域优化净化方法
针对 Deep JSCC 图像传输中的输入补丁后门攻击，研究者提出掩码区域优化净化（MROP）。该方法在推理阶段于编码器输入端放置逐像素掩码，通过 Gumbel-sigmoid 松弛优化定位触发补丁并细化触发区域，无需重新训练 JSCC 模型。在 CIFAR-10 和 STL-10 数据集及 DeepJSCC、SwinJSCC 模型上，MROP 大幅降低攻击成功率（ASR），同时保持干净重建的峰值信噪比（PSNR）。
- 论文arXiv：Agent 与 MCP 安全
从注入到交互：LLM 时代及未来 Web 安全再思考
一篇综述提出，LLM 正深度嵌入 Web 应用与浏览器智能体，使 XSS 等传统漏洞被 LLM 中介的交互放大，提示注入等 LLM 特有漏洞也会跨 Web 应用传播。该综述统一分析客户端、服务端与流水线三层中 LLM 对 Web 漏洞的放大效应，并评估现有防御的局限，同时探讨将 NIST 与 ISO/IEC AI 安全框架扩展至 LLM Web 环境。文章指出对抗性自然语言指令、自主智能体安全、部署后持续监控与适配三大未解挑战，并提出一个 LLM 感知的监控与控制框架，整合语义输入校验、提示词完整性保护、输出隔离、智能体治理与运行时监控。
- 论文arXiv：Agent 与 MCP 安全
CONTINUITY：为可组合的 LLM Agent 安全控制引入安全上下文契约
论文提出 CONTINUITY 框架，用于解决 LLM Agent 安全控制的组合问题：来源追踪、授权、策略执行、协议适配与执行控制各自正确，但安全关键上下文在跨组件边界时可能被丢弃、放宽、重绑定或重新解释，作者将这一失效模式称为安全上下文不连续。CONTINUITY 用 assume-guarantee 契约建模每个组件，并通过签名根授权、来源承诺、角色绑定的转换回执、有界类型化释放、转换见证和效果绑定执行许可，在状态转换间传递经过认证的安全上下文。作者形式化了端到端后果完整性，要求每个实际发生的外部效果都有有效且当前的授权见证，串联主体、任务、来源、委托、策略状态、规范动作与终局边界。
- 论文arXiv：Agent 与 MCP 安全
CoER：用对抗协同演化与精炼防御自适应间接提示注入
研究者提出 CoER，将带有多轮工具调用和多次注入的任务建模为一般和马尔可夫博弈，以此训练能够适应不断演化的攻击者的防御方案。该方法先用成功轨迹初始化攻击者，再用双边对抗强化学习（BA-RL）保留双方的历史策略作为对手种群并混合新旧对手，随后复用这些攻击者挑战教师智能体，只用经安全性验证并通过任务完成的示范来微调共同演进的防御者。在七个领域、三个随机种子上，CoER 将自适应攻击成功率从 41.3% 降至 0.2%，并将安全完成率从 39.6% 提高到 76.2%。外部基准上也表现出更强的抗攻击能力，消融实验进一步验证了历史对手混合与基于种群的精炼的有效性。
- 论文arXiv：Agent 与 MCP 安全
CapScope：面向编码 Agent 的抗提示注入能力范围授权机制
研究者提出 CapScope，一种在 harness 层限制工具调用的授权机制，无需模型自行识别恶意文本。它先从可信输入推导任务级权限上限，再为每个 Agent 分配独立的能力集合，存放在模型上下文之外，每次工具调用都按发起该调用的 Agent 的能力进行检查，因此某个子 Agent 获得的权限不会自动传给另一个。作者在 Pi 编码 Agent 上实现该机制，并在一个由编排者向子 Agent 分派子任务的修复流程中评测，覆盖 5 个 Python 任务、5 个注入面、4 种授权条件和每格 3 次试验共 300 次运行。
- 论文arXiv：Agent 与 MCP 安全
面向 AI-SOC 的神经符号防御框架：用 SIEM 解码器与 NeMo Guardrails 阻断日志投毒提示注入
论文提出一种神经符号纵深防御架构，用于保障 LLM 接入安全运营中心（SOC）后的管道完整性，应对通过日志投毒实施的间接提示注入。作者指出，攻击者可在系统日志中嵌入恶意载荷，形成多步 promptware 攻击链，劫持 LLM 的操作逻辑；而确定性防御语义盲、纯神经评估延迟高且存在概率性缺陷。该框架第一层用定制 SIEM 解码器作为确定性预过滤，在数据摄入边缘做结构化清洗，消除体量填充和基于签名的注入；第二层用 NeMo Guardrails 在 LLM 处理前对结构化 SIEM 告警做自检式语义边界校验；同时集成闭环遥测系统，在 SOC 仪表盘中为人工介入提供被拦截攻击的可见性。
- 论文arXiv：可解释性
RISA：面向大语言模型拒答校准的响应检查与选择性干预
RISA 是一个推理时框架，通过检查 LLM 的初始响应并选择性纠正拒答错误，在不更新基座模型参数的前提下提升拒答可靠性。它先用固定上下文规则为明确案例打拒答分数，未匹配案例则由末层提示词隐藏状态经校准线性探针得出分数，并分别校准探针分数、表征支持边界与动作阈值以适配不同基座模型。运行时结合提示词分数与初始拒答状态，仅在必要时干预，实验显示其在提升拒答可靠性的同时基本保持模型效用。
- 论文arXiv：可解释性
GAPS：面向条件激活引导的维度级门控
GAPS（Gated Activation steering via Posterior and Separability）通过维度级条件选择决定对哪些神经元施加激活引导，由两个免训练门控组成：静态可分性门控用 AUROC 筛选携带可靠概念信息的神经元，动态后验门控仅当神经元当前激活更符合目标概念时才干预。
- 论文arXiv：可解释性
EraseSAE：用稀疏自编码器在文生视频扩散模型中实现精准概念擦除
EraseSAE 通过稀疏自编码器在 DiT 架构的文生视频扩散模型中实现精准概念擦除，先以 Partitioned Convolutional Sparse Autoencoder 将稠密时空激活分解为可解释稀疏特征，再用对比归因机制定位概念专属特征核，推理时按时间步生成时空掩码限制擦除范围。实验显示该方法在多种扩散模型和概念擦除任务上实现精确稳健的移除，生成质量损失极小，显著优于现有方法。该工作已被 ECCV 2026 接收，代码已公开。
- 论文arXiv：可解释性
研究揭示细粒度危害信号在 LLM 安全中的作用
研究通过从各风险类别的危害表征中移除共享的通用危害表征，得到与通用危害性在每一层都正交的类别残差，并用激活引导在 3 个指令微调 LLM 的 11 个风险类别上测试。结果显示，类别残差是否编码危害性因类别而异，且这一类别模式在不同模型间相似；类别残差是否引发拒答同样因类别而异，但这一模式更依赖具体模型。研究还发现类别残差会增强 LLM 下游内部与共享通用危害表征的对齐。作者据此认为，理解 LLM 安全不能只看共享的通用危害表征，还需考虑更细粒度的类别残差；即使某一层上与某概念正交的方向，也可能促进该概念在下游的放大。
- 论文arXiv：对齐、欺骗与监督
现代图像后置水印信道的优化与安全：SNW 方案
针对现代多比特后置图像水印方案，研究提出其编码器-解码器对隐含定义了并行 AWGN 信道、以 BPSK 调制传输消息，因而受限于二进制字母表、容量被严重压缩，且因缺少密钥而本质不安全。为此提出 SNW 后置水印系统，不依赖固定码本或二进制字母表，借助可达容量的纠错码使速率接近香农容量，在容量上显著优于现有 SOTA 基线并提供强安全保证。
- 论文arXiv：对齐、欺骗与监督
SURE：构建可信 AI 的安全框架
研究提出 SURE（A Safe and Unified AI Framework foR Everyone）框架，用于按国家、文化和企业政策定制 AI 安全属性并加以保障。该框架建立对抗性提示词分类体系并据此构造提示词，定义理想 AI 回复模板与绝对安全评分方案，再通过数据集进行 AI 对齐。在多种基座模型上的实验验证了 SURE 的有效性，论文已被 KDD 2025 EAI Workshop 接收。
- 动态Help Net Security AI
Google DeepMind 推出 SynthID Bio，为 AI 设计的蛋白质加水印且不破坏功能
Google DeepMind 发布 SynthID Bio，一种面向 AI 设计蛋白质的水印方法，并在湿实验中验证其不损害蛋白质功能。该方法把签名隐藏在设计的氨基酸序列和预测三维结构的原子坐标中，DeepMind 称合成后的实体蛋白质也能检出该签名。团队将 AlphaProteo 设计方法与带 SynthID Bio 的 ProteinMPNN 序列生成器配对，在 VEGF-A、SARS-CoV-2 刺突蛋白受体结合域和 PD-L1 三个靶点上做湿实验，水印设计在命中率、结合亲和力和天然序列多样性上与未加水印版本持平。
- 论文arXiv
MiniRep：面向多智能体辩论的鲁棒声誉聚合方法
MiniRep 是一种面向多智能体辩论（MAD）的声誉聚合系统，用于在存在恶意智能体时提升最终答案的可靠性。它基于声誉系统攻击与软件测试变异算子构建攻击分类体系，同时依据智能体在当前任务上的行为和长期声誉进行评估，并抑制高度相似回答的智能体群体主导决策。在 MATH 等任务上，MiniRep 无论是否遭受攻击都优于传统 MAD 聚合与常规声誉方法；在 10 个异构智能体的 MATH 设置下，于全部 28 种攻击条件下均优于所有基线。