评测与基准arXiv 2605.14605
研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升
用代价曲线评估恶意微调防御在持续训练下的衰减
- arXiv
- 2605.14605
- 发表
- 场景
- 模型与 API
- 测试
- Mistral-7B-Instruct-v0.3、Llama-2-7B-chat、Qwen3-8B 等 8 个
摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。
全部论文
另有 558 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2608.25776
EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播
提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能
- arXiv
- 2608.25776
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个
摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 防御arXiv 2610.09600
SafeEvo：从拒答回路视角解释大模型安全对齐机制与演化
用 SafeEvo 提取拒绝电路，并提出 SCA 仅微调该电路
- arXiv
- 2610.09600
- 发表
- 场景
- 模型与 API
- 测试
- Mistral-7B-v0.1、Mistral-7B-Instruct-v0.1、Llama-3-8B 等 4 个
摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态，据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。
- 评测与基准arXiv 2610.10276
PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤
提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤
- arXiv
- 2610.10276
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Mistral-7B-Instruct-v0.3、Ministral-3-14B-Instruct、Qwen2.5-3B-Instruct 等 8 个
摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。
- 攻击arXiv 2601.02670
SLIP：无需外部攻击模型的多轮自我越狱
提出无外部攻击模型的多轮自我越狱方法 SLIP
- arXiv
- 2601.02670
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Mistral-7B-Instruct、Mistral-7B、GPT-5.1 等 11 个
摘要论文提出了无外部攻击模型的自我越狱方法 SLIP，指出对齐模型内在能力抑制的漏洞并设计了语义漂移防御。
- 可解释性arXiv 2610.08559
研究：LLM 潜在空间去偏方向主要编码置信度而非公平性
分析 LLM 去偏激活方向，发现其编码置信度而非公平性
- arXiv
- 2610.08559
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Ministral-3-8B-Base、Ministral-3-8B-Instruct、Llama-3.1-8B 等 8 个
摘要论文揭示激活引导去偏见方向主要编码模型置信度而非公平性，偏见评分下降实为诱发弃答或使概率均分的假象。
- 攻击arXiv 2610.07723
研究者提出答案侧后门：让模型自生成触发词绕过安全拒答
提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答
- arXiv
- 2610.07723
- 发表
- 场景
- 模型与 API
- 测试
- Mistral-7B-Instruct-v0.3、Llama-2-7B-chat-hf、Gemma-7B-it 等 4 个
摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
- 分析与理论arXiv 2610.02586
研究发现类型化决策模型主要按选项标签而非定义作答
揭示类型化决策模型按选项标签而非定义规则作答
- arXiv
- 2610.02586
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Mistral-7B-Instruct-v0.3、von、Qwen2.5-0.5B 等 6 个
- 组件护栏与评审
摘要揭示类型化决策模型被标签误导的机理，证实源于提示词渲染并给出实操建议。
- 可解释性arXiv 2610.04125
研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制
揭示风险自述与实际行为由近正交表征分别控制
- arXiv
- 2610.04125
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Ministral-3-8B-Reasoning-2512、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 4 个
- 风险欺骗与谋划
摘要论文证明大模型自述与行为脱节根植于表征近正交性，自述无法作为行为审计依据。
这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 风险行为arXiv 2609.39050
研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控
测量良性多智能体协作中自发隐蔽传递凭据以绕过监控
- arXiv
- 2609.39050
- 发表
- 层
- 应用层
- 测试
- devstral-2512、Mistral-Large-2512、DeepSeek-V4-Pro 等 15 个
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。
- 攻击arXiv 2609.18217
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件
- arXiv
- 2609.18217
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Mistral-Large、GPT-4o、GPT-4o-mini 等 15 个
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
- 攻击arXiv 2607.23496
Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景
提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景
- arXiv
- 2607.23496
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Ministral-3-8B、Qwen3.5-9B、Llama-3.1-8B 等 10 个
摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。
- 防御arXiv 2609.33086
研究者提出基于评分量表的可解释奖励框架，将宪法转化为可调对齐目标
提出可解释 rubric 奖励，将宪法转为可调权重并用于监督微调
- arXiv
- 2609.33086
- 发表
- 场景
- 模型与 API
- 测试
- Mistral 24B、Gemma 3 12B、Qwen3 14B 等 15 个
摘要宪法级可解释奖励让优先级可检查、可改写，并带入训练后的行为。
作者给出一条从通用宪法到可调训练奖励的路径，用来检查并改写模型实际被优化的优先级。
- 风险行为arXiv 2609.33220
斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定
- arXiv
- 2609.33220
- 发表
- 场景
- 模型与 API
- 测试
- Phi-4、Qwen2.5-1.5B、Qwen2.5-7B 等 11 个
摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。
- 防御arXiv 2610.00715
Robust Nash Alignment：面向偏好不确定性的博弈式对齐框架
提出 Robust Nash Alignment，在偏好不确定下做稳健博弈对齐
- arXiv
- 2610.00715
- 发表
- 场景
- 模型与 API
- 测试
- Nemotron-3-Nano-Omni、Qwen2.5-1.5B-Instruct、Gemma-2-2B 等 8 个
摘要稳健 Nash 对齐在歧义集上优化最坏胜率，多数设置高于 NashMD。
Robust Nash Alignment 把偏好对齐从“对着一个名义成对核求 Nash”改成“在偏好核的不确定集合上求最坏胜率”。
- 攻击arXiv 2607.12340
研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击
提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持
- arXiv
- 2607.12340
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Ministral-3 8B、Nemotron-Cascade-2 30B、GLM-4.5-Air 等 10 个
摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。
- 评测与基准arXiv 2607.22671
AIR-BENCH Live 发布：可自动更新的基础模型安全基准
提出可自动更新的安全基准 AIR-BENCH Live，评测基础模型对有害请求的拒绝
- arXiv
- 2607.22671
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Mistral Large、GPT-5.5、Claude Opus 4.8 等 14 个
- 风险拒答失当
- 防御arXiv 2608.05578
AMS 工具通过激活分析检测语言模型的安全训练改动
提出 AMS，用激活分离与方向相似度检测安全训练改动
- arXiv
- 2608.05578
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Mistral-7B-Instruct-v0.3、Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct 等 14 个
摘要AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。
AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。