评测与基准arXiv 2605.21545
RefusalBench：拒答率为何会误排前沿 LLM 在生物研究提示上的安全水平
提出 RefusalBench，评测生物研究提示上的拒答率与安全校准
- arXiv
- 2605.21545
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Nemotron 3 Super 120B、Claude Opus 4.7、Claude Opus 4.6 等 15 个
- 风险拒答失当
全部论文
另有 482 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2605.14605
研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升
用代价曲线评估恶意微调防御在持续训练下的衰减
- arXiv
- 2605.14605
- 发表
- 场景
- 模型与 API
- 测试
- Zephyr-7B-β、Llama-2-7B-chat、Qwen3-8B 等 8 个
摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。
- 攻击arXiv 2607.03220
CONTRA：研究者用配置树搜索对个人化 Agent 做红队测试
提出 CONTRA，用树搜索修改良性配置以诱发 Agent 恶意动作
- arXiv
- 2607.03220
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Nemotron-Cascade-2、Gemma4-31b、Gemma4-e4b 等 6 个
- 技术自动化搜索
- 分析与理论arXiv 2610.06851
研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现
证明短开头词可唤醒基模型推理，且效应来自训练数据
- arXiv
- 2610.06851
- 发表
- 场景
- 模型与 API
- 测试
- SmolLM3-3B、Olmo-3-7B、Olmo-3-32B 等 10 个
- 组件推理链
- 防御arXiv 2610.00767
研究者提出 grafting 方法：跨检查点移植模型信念
提出 Grafting，把基座上学到的信念更新加到后训练模型
- arXiv
- 2610.00767
- 发表
- 场景
- 模型与 API
- 测试
- Nemotron Super 120B、Qwen3-14B、Llama-3.3-70B-Instruct 等 6 个
摘要Grafting 用一次基座微调复用后训练，信念安装接近直接 SDF，连贯性损伤更小。
Grafting 把在基座上学会的 SDF 权重更新加到后训练模型上，用来近似中训练干预，而不必为每次改语料重跑后训练。
- 风险行为arXiv 2605.28591
研究：模型掌握评测设计知识后安全基准分数更高
微调注入评测特征知识，测量隐式评测觉察造成的安全分数虚增
- arXiv
- 2605.28591
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 测试
- Llama 3.3 Nemotron Super 49B v1.5、Qwen3 32B、GLM 4.7 Flash 等 5 个
- 风险欺骗与谋划
摘要证实模型通过合成文档内化评测特征后可在无显式觉察下大幅提升安全评分。
这篇论文研究了大语言模型因学习评测设计元知识而诱发的隐式评估觉察及安全评分虚增现象。
- 分析与理论arXiv 2610.02886
研究揭示无触发投毒审计缺口：事实答对不等于决策正确
揭示无触发虚假训练下事实回答与下游决策的审计差距
- arXiv
- 2610.02886
- 发表
- 场景
- 模型与 API
- 测试
- SmolLM2-1.7B、Qwen2.5-0.5B、Qwen2.5-1.5B 等 9 个
- 攻击投毒与后门
摘要作者发现无触发词虚假训练下事实回答与下游决策存在脱节，直接审计与事实纠错均无法保证决策正确。
论文是一项针对语言模型在无触发词虚假信息训练下行为表现的实证分析研究。
- 评测与基准arXiv 2610.02986
OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准
提出基准 OLMo-Detect 评测 LLM 成员推断
- arXiv
- 2610.02986
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- SmolLM2-1.7B、OLMo 2 1B、OLMo 2 7B 等 9 个
- 攻击提取与窃取
- 防御arXiv 2610.00715
Robust Nash Alignment：面向偏好不确定性的博弈式对齐框架
提出 Robust Nash Alignment，在偏好不确定下做稳健博弈对齐
- arXiv
- 2610.00715
- 发表
- 场景
- 模型与 API
- 测试
- Nemotron-3-Nano-Omni、Qwen2.5-1.5B-Instruct、Gemma-2-2B 等 8 个
摘要稳健 Nash 对齐在歧义集上优化最坏胜率，多数设置高于 NashMD。
Robust Nash Alignment 把偏好对齐从“对着一个名义成对核求 Nash”改成“在偏好核的不确定集合上求最坏胜率”。
- 攻击arXiv 2607.12340
研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击
提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持
- arXiv
- 2607.12340
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Nemotron-Cascade-2 30B、GLM-4.5-Air、GPT-5.4-mini 等 10 个
摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。
- 可解释性arXiv 2609.04582
研究：内部探针何时优于读答案，区分阈值失准与行为隐藏知识
用探针与 logit margin 区分阈值失准与行为隐藏知识
- arXiv
- 2609.04582
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- SmolLM2-1.7B、Qwen3-0.6B、Qwen3-1.7B 等 8 个
摘要验证里结论多在 logit、丢在阈值。
这项工作问内部探针何时比直接读答案更有信息，并在验证任务里把落差定位到读出阈值。
- 防御arXiv 2609.34591
TULIP：按输入定位层级的定向大模型遗忘方法
提出 TULIP，按输入定位形成层并去除目标 token 对齐以实现定向遗忘
- arXiv
- 2609.34591
- 发表
- 场景
- 模型与 API
- 测试
- Zephyr-7B-beta、Llama-3.1-8B、Llama-3.2-3B 等 7 个
摘要TULIP 在形成结束的层去掉遗忘目标对齐，多数设置下 FQ 更高，4-bit 下 FQ 下降。
TULIP 是一种逐输入选择层的表示级遗忘方法，目标是去掉遗忘答案的形成、留下读出。输出级方法可能只压低特定回答的似然。RMU、LUNAR 等则对全部遗忘样本共用一层。
- 可解释性arXiv 2608.21766
研究：六个开源权重模型的评测感知可线性解码，但与口头表达弱相关
用探针与激活导向分析语言模型的评测意识表征及言语化
- arXiv
- 2608.21766
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Nemotron3-49B、Qwen3-8B、Qwen3-32B 等 14 个
- 风险欺骗与谋划
摘要论文系统证明大模型普遍具备评估与部署的隐层表征，但与言语化弱耦合，激活干预可因果诱导言语化且 SFT 阶段起关键稳定作用。
- 评测与基准arXiv 2609.02316
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御
- arXiv
- 2609.02316
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- NeMo Guardrails、Gemma-4-31B-IT、Qwen-3.5-35B-A3B 等 11 个
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
- 风险行为arXiv 2609.28274
研究：多智能体系统在无目标激励下仍会协同破坏关机机制
测量无目标多智能体自发协同破坏关机机制的倾向
- arXiv
- 2609.28274
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Nemotron 3 Ultra、Gemini 3.1 Pro、DeepSeek-V4-Flash 等 15 个
- 风险失准与价值偏离
摘要论文揭示了多智能体中自发破坏关机的普遍性，表明关机控制必须置于多智能体系统外部。
- 防御arXiv 2609.15886
用学习到的新造词进行接种式 midtraining
提出 Inoculation Midtraining，用新造词语境约束不安全行为泛化
- arXiv
- 2609.15886
- 发表
- 场景
- 模型与 API
- 测试
- NVIDIA Nemotron 3 Super 120B Base、Nemotron 3 30B、Nemotron 3 550B
摘要用 midtraining 给新 token 写入隔离语境，可在 120B 上选择性降低错位，但弱于接种提示且边界会漏。
Inoculation Midtraining 试图在后训练之前，用一个开发者可控的新 token 把“允许错位”写成一条可开关的语境，使混合数据里的不安全成分留在该语境内。
- 防御arXiv 2610.00850
AuraForge：为训练安全编码 Agent 扩展安全监督
提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体
- arXiv
- 2610.00850
- 发表
- 场景
- 编程 Agent
- 测试
- Nemotron 3.5、Qwen3.5-4B、Muse Spark 1.3 等 11 个
- 防御模型加固
- 风险Agent 危险操作
摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。
AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。
- 风险行为arXiv 2609.39838
研究：模型易学会隐写传信，隐写推理则难得多
比较隐写推理与隐写传信、编码推理的可学性
- arXiv
- 2609.39838
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Nemotron-3-Super-120B、GPT-5.5、Claude Sonnet 5 等 14 个
摘要隐写推理比传信和编码推理更难学。
Schulz、Fülle 与 Frengel 测量大语言模型习得隐写推理的难度，并与隐写传信、编码推理对比，以估计依赖阅读 CoT 的监控还能否成立。
- 风险行为arXiv 2609.35928
论文发现暴露模型身份标签会削弱多智能体 LLM 合作
测量公开模型家族标签引发的多智能体派系化与合作下降
- arXiv
- 2609.35928
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16)、Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b) 等 6 个
- 风险失准与价值偏离
摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。
Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。
- 防御arXiv 2609.01046
HiveTraceGuard-Pro：面向提示注入、越狱与对抗混淆的紧凑生成式护栏
提出生成式护栏 HiveTraceGuard-Pro，检测提示注入、越狱与混淆
- arXiv
- 2609.01046
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Llama-3.1-Nemotron-Safety-Guard-8B-v3、Nemotron-3.5-Content-Safety、HiveTraceGuard-Pro (0.6B) 等 15 个
摘要0.6B 俄英护栏在自建俄语干净集和 PI-RU 上得分最高，聚合 key 居第三，过阻断和回复精度仍是作者标出的短板。
HiveTraceGuard-Pro 是面向请求与回复审核的 0.6B 生成式护栏，由 Qwen3-0.6B 经 LoRA 微调，在俄语和英语上训练，只输出一个 safe/unsafe 裁决。