全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 13 条- 论文arXiv：危险能力与安全评测
研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器
研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。作者发现路由 logits 对多模态输入是否安全具有很高的预测性。在 Qwen3-VL 和 Kimi-VL 上，该检测器显著降低了 HoliSafe 基准上的安全错误，并泛化到安全模式不同的分布外基准 MISHard 和 MM-SafetyBench。作者认为，相比通过提示、监督微调或路由专家引导来干预模型行为与内部状态，直接读取自然涌现的信号并接入外部安全机制，可作为现有安全干预的简单、有效且非侵入式的补充。
- 论文论文追踪
上海交大等提出 trait-direction drift 机制与探针空间走廊正则，抑制蒸馏中的潜隐特质迁移
上海交通大学与上海人工智能实验室等机构的研究者提出 trait-direction drift 机制，解释模型蒸馏中潜隐学习如何发生：带偏置系统提示词的教师模型生成数字序列等语义干净的数据，其序列级偏好差距在期望上为正，学生可识别的差距在监督微调中累积成沿特质方向的漂移，进而产生行为迁移。基于该机制，作者提出探针空间走廊正则（probe-space corridor regularization），在蒸馏过程中约束沿校准特质方向的漂移。实验显示，该方法把恶意回复迁移率从 29.55% 降至 6.45%，主任务准确率损失很小，并在 Qwen 设置下持续抑制动物偏好迁移；Llama 设置中猫头鹰偏好从 17.8% 降至 0.6%。跨模型迁移在目标学生排序后仍明显弱于同模型设置，作者通过诊断与干预实验分析了这一衰减。
- 论文论文追踪
研究者提出自蒸馏方法让 LLM 遵循上下文水印指令
研究者提出两阶段自蒸馏训练方法，让大语言模型在遵循上下文水印（ICW）指令的同时保持回答质量。ICW 通过在查询前附加指令，要求模型在回复中嵌入可统计检测的信号，第三方无需访问模型内部即可调用。团队同时发布 ICWBench 基准，包含三类可验证的 ICW 指令族，分别从可检测性和回答质量两方面评分；对 14 个前沿闭源与开源模型的评测显示，没有一个模型能在三类指令上同时满足两个目标。所提方法无需更强模型蒸馏、无需人工标注、也不依赖模型已有的 ICW 指令遵循能力：第一阶段用同一基础模型同时充当教师和学生，通过指令等价的解码时 logits 扰动让教师遵循指令，再训练学生匹配教师的输出分布；第二阶段以自动验证器为奖励做强化学习。
- 论文论文追踪
SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架
SafeEvolve 是一个经验驱动的智能体安全对齐自演化框架，通过已完成 on-policy 轨迹中的安全经验驱动 harness 与 policy 的持续协同演化。harness 侧将轨迹级安全证据转化为安全提示词与分层技能的有界组件级更新，policy 侧采用两阶段 SFT-RL 范式，用 harness 增强的 RL 与验证器分解奖励塑造多步探索中的自主安全行为。在 Qwen3.5-4B 上，SafeEvolve 在 AgentDojo 实现 ASR 降低 3 倍，同时将良性效用从 59.79% 提升至 61.86%。
- 论文论文追踪
SCOPE：训练有能力且安全的计算机使用智能体
针对仅以任务成功为目标的训练无法让计算机使用智能体（CUA）形成可靠安全行为的问题，研究者提出 SCOPE，联合后训练任务执行能力与安全感知决策，并配套 SCOPE-Gen 自动生成可验证任务及其环境风险变体，构建含能力演示、安全续行与明确拒答的 SATraj-OS 轨迹数据集。以 Qwen3.5-9B 为起点，SCOPE-RL 在 OSWorld 上取得 54.17% 任务成功率、在 OS-BLIND 上取得 64.30% 攻击规避率，综合能力—安全得分 58.80%，为所评估智能体中最高。消融显示拒答轨迹贡献了大部分攻击规避增益，风险处理轨迹则在相近攻击规避水平下保留更高任务效用。
- 论文arXiv
修正而非删除：用纠正性监督缓解涌现性失准
研究者在 Qwen2.5-14B-Instruct 上微调混合了不良医疗建议与良性对话数据，发现把预先选定的四分之一投毒样本替换为同一提示的纠正答案，可将涌现性失准（EM）率降低约三分之一，并改善留出医疗问题的回答，而删除同样这些样本几乎没有可测效果。修正一半投毒样本时优势更大，且在第二个基座模型和第二个失准模型上同样成立。替换内容本身似乎重要：保留不良建议的改写没有明显收益，而数据集中自带的正确答案与作者改写器的效果相当。在已中毒模型上继续微调时，用纠正样本做短轮训练优于等量通用对话数据，对其他医疗提示的纠正与对投毒提示本身的纠正效果相近，要求改写者模仿谨慎、避免伤害的助手也没有额外收益。
- 论文arXiv：对齐、欺骗与监督
AuraForge：为训练安全编码 Agent 扩展安全监督
AuraForge 通过合成并验证可执行的安全测试，为训练安全编码 Agent 提供可扩展的安全监督。该方法结合面向攻击的测试合成、可扩展语言的任务构建以及针对奖励作弊的防护。基于此构建的 AuraGym 覆盖 Python、JavaScript 和 TypeScript，包含来自 344 个真实仓库的 679 个可执行功能实现任务，涉及 177 个 CWE 类别。在带有人工安全测试的子集上，AuraForge 平均生成约 3 倍的测试用例，并将误报率降低 83.23%。用合成安全测试训练 Qwen3.5-4B，在三种语言上的提升大于人工安全测试（平均 19.7 FuncPass 和 6.2 SecPass，对比 14.9 FuncPass 和 4.4 SecPass）。
- 论文arXiv：越狱、提示注入、投毒与防御
HiveTraceGuard-Pro：面向提示注入、越狱与对抗混淆的紧凑生成式护栏
HiveTraceGuard-Pro 是一个从 Qwen3-0.6B 经 LoRA 微调而来的 0.6B 生成式护栏，支持俄语和英语，用 safe/unsafe 二分类规则判定最终目标轮。在覆盖 19 个基准组（16 个公开）的对比中，其综合 key 为 0.7432，低于两个更高分护栏的 0.7641 和 0.7552；在 15 个模型对比中取得最高俄语鲁棒性 combined-F1（0.88）和俄语提示注入召回率（0.999），中位延迟 14.3 ms 为最低。整体 FPR 为 0.268、FNR 为 0.156，合并权重以 Apache-2.0 在 Hugging Face 发布，语料与评测集仍为内部。
- 论文arXiv
通过表征对齐缓解苏格拉底式导师中的脚手架崩塌
针对 LLM 苏格拉底式导师在持续学生压力下逐渐放弃引导式提问、直接给出答案的"脚手架崩塌"问题，研究者提出 Scaffold-Preserving Representation Alignment 两阶段框架：先用监督微调预热，再结合轨迹加权直接偏好优化与锚定冻结参考状态的间隔保持表征损失。在 Qwen3-8B 上跨五个 STEM 学科和五种红队攻击策略评测，该方法将崩塌率降至 32%，平均崩塌起始延迟至九轮以上，并保持较低过度拒答。
- 论文arXiv
WIFA：按意图分组监督缓解包装式越狱与过度拒答
论文提出 Wrapper-Based Intent-Form Augmentation（WIFA），一种自动意图分组增强方法，把带包装的有害示例与结构匹配的带包装良性反例配对，无需外部教师模型或逐包装的人工意图标注。WIFA 作为通用数据层支持两条微调路线：两阶段高安全配方 WIFA-Boost，以及 Anchored Group-Consistent Refusal Training（A-GCRT），后者在同一意图的不同包装间正则化拒答与合规决策分数，并把有害与良性分组锚定在间隔两侧。
- 论文arXiv：可解释性
GAPS：面向条件激活引导的维度级门控
GAPS（Gated Activation steering via Posterior and Separability）通过维度级条件选择决定对哪些神经元施加激活引导，由两个免训练门控组成：静态可分性门控用 AUROC 筛选携带可靠概念信息的神经元，动态后验门控仅当神经元当前激活更符合目标概念时才干预。
- 动态Unit 42
Unit 42 提出扰动探测方法，定位 LLM 安全拒答的少量神经元
Unit 42 提出扰动探测方法，每个提示词只需两次前向传播，即可定位对齐 LLM 中因果上负责特定行为（如拒绝有害请求）的少量前馈神经元。在开源模型 Qwen3-4B 上，350,208 个前馈神经元中仅 50 个（约 0.014%）控制安全拒答模板，移除后 520 条标准有害提示基准中 80% 的回复格式发生变化，并在第二个标准基准的 200 条提示上复现。在更小的 Qwen3.5-2B 上，仅 20 个神经元即可让多轮对话中的错误附和行为从 36.7% 降至 0%（30 个问题）。同一计算还给出 FFN/Skip 比值，可在数秒内算出，在测试的 13 个模型中解释了安全行为脆弱性 81% 的方差，可作为量化的安全脆弱性评分。
- 会议论文arXivUSENIX Security 2026
MATE：面向移动 Agent 的策略感知安全审计方法
研究者提出 MATE，一个轻量的策略条件审计器，同时编码 Agent 轨迹与自然语言安全策略，判断轨迹是否违反给定策略并给出原因。由于把策略当作可编辑文本而非固定模型参数，MATE 无需重新训练即可适配用户自定义和不断变化的要求。作者从全球数百个热门移动应用中抽取应用描述、工作流和策略构建知识库，并用多阶段流水线合成超过 140K 条语义真实的策略条件轨迹。团队同时发布 MATEBench，包含两个合成子集和一个由人工收集轨迹构成的真实子集。