防御arXiv 2610.09600
SafeEvo：从拒答回路视角解释大模型安全对齐机制与演化
用 SafeEvo 提取拒绝电路，并提出 SCA 仅微调该电路
- arXiv
- 2610.09600
- 发表
- 场景
- 模型与 API
- 测试
- Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等 4 个
摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态，据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。
全部论文
另有 700 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.08540
论文提出按风险类别测量的对齐缩放定律框架
提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化
- arXiv
- 2610.08540
- 发表
- 场景
- 模型与 API
- 测试
- Pythia (14m–2.8b)、Qwen2.5 (0.5B–72B)、Qwen2.5-Instruct (0.5B–14B) 等 4 个
- 风险失准与价值偏离
摘要论文提出了分风险对齐标度律框架，测得真实性与倾向纠错呈标度有益，但盲后门仍存活，揭示隐藏风险的长期挑战。
本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。
- 分析与理论arXiv 2610.04860
研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预
分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预
- arXiv
- 2610.04860
- 发表
- 层
- 模型层
- 场景
- LLM 应用
- 测试
- LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct
摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。
论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。
- 可解释性arXiv 2610.05541
研究者提出 CAP 指标与 CSFD 算法，发现越狱通过压制安全特征绕过拒答
提出 CAP 指标与 CSFD 算法，发现被抑制的安全特征
- arXiv
- 2610.05541
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-2B、Qwen3-8B、Gemma-3-4B-IT 等 5 个
- 风险拒答失当
摘要论文指出越狱通过抑制安全特征运作，提出 CAP 与 CSFD 补充了针对激活特征的解释性方法。
- 防御arXiv 2610.05637
研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点
提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口
- arXiv
- 2610.05637
- 发表
- 场景
- 模型与 API
- 测试
- Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B 等 5 个
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。
- 评测与基准arXiv 2610.03938
论文发现多模态模型启用工具后拒答失败率最高上升 68.7%
评测启用工具调用后多模态模型拒答有害图文请求的变化
- arXiv
- 2610.03938
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Claude Opus 4.6 等 13 个
摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。
论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。
- 攻击arXiv 2607.12340
研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击
提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持
- arXiv
- 2607.12340
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 10 个
摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。
- 评测与基准arXiv 2607.27191
研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究
提出影子评测，衡量 Agent 能否自主完成开放式 AI 科研
- arXiv
- 2607.27191
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex 等 4 个
- 风险危险能力
摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。
- 可解释性arXiv 2609.14759
研究：拒答只读取模型道德表征中的伤害切片
用几何投影与因果交换干预，分析拒绝机制读取的道德表征
- arXiv
- 2609.14759
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- OLMo-3-7B-Instruct、OLMo-3-7B base、Qwen2.5-7B-Instruct 等 9 个
- 风险拒答失当
摘要作者指出拒绝机制多仅读取表层伤害感知，在控制瓶颈处运作，阐明了对齐易被移除的机理并提出跨模型双轴分类。
本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。
- 评测与基准arXiv 2608.11816
研究审计 9 个视觉语言模型：中文提示下国家立场改写率约为英文的三倍
审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为
- arXiv
- 2608.11816
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2-VL-7B、Qwen2.5-VL-7B、Qwen3-VL-8B 等 9 个
摘要论文系统审计了 VLM 多模态审查，发现审查正从显式拒答转向隐蔽重构，且中文提示与文本先验会放大重构倾向。
论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为，主要内容如下。
- 风险行为arXiv 2609.27900
论文揭示多智能体委派结构放大 LLM 安全风险
测量多智能体委托结构下有害任务拒答的失效
- arXiv
- 2609.27900
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Claude-Sonnet-4.6、GPT-5、Gemini-3.1-Pro 等 6 个
- 风险拒答失当
摘要论文揭示多智能体层级委托会导致单模型安全对齐失效，多项前沿模型有害执行大幅增加且单层防御难以奏效。
- 防御arXiv 2609.05797
论文发现安全监控器主要拦截模型本就会拒答的请求
评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检
- arXiv
- 2609.05797
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Gemma-4-31B-IT、Qwen3-32B、Llama Guard 3 8B 等 6 个
摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
- 评测与基准arXiv 2608.11469
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力
- arXiv
- 2608.11469
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
- 风险危险能力
摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。
作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。
- 防御arXiv 2607.24017
多模态大模型注意力中的语义与结构偏差解耦：SPAR 免训练干预方法
提出 SPAR 以分离注意力结构偏置并重分配视觉注意力，减轻多模态幻觉
- arXiv
- 2607.24017
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- LLaVA-v1.5、LLaVA-1.5-7B、LLaVA-NeXT 等 7 个
摘要SPAR 用显著性净化文本结构偏置并重分配注意力，在 LLaVA 上同时压低自发幻觉、抬升 gaslighting 后准确率。
SPAR 是一种免训练的 MLLM 推理时干预，用来把注意力里的结构偏置和语义视觉信号分开。
- 其他arXiv 2607.28568
Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型
提出 OpenMLE 全栈，用执行反馈后训练机器学习元进化智能体
- arXiv
- 2607.28568
- 发表
- 场景
- 编程 Agent
- 测试
- Frontis-MA1-35B、Qwen3.6-35B-A3B、Frontis-MA1-30B 等 15 个
- 风险危险能力
摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。
作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。
- 评测与基准arXiv 2607.18538
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力
- arXiv
- 2607.18538
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个
- 风险危险能力
摘要提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。
- 评测与基准arXiv 2609.23980
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
- arXiv
- 2609.23980
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个
- 风险危险能力
- 防御arXiv 2608.30703
SingProbe 发布开源内在护栏框架，适配 29 个开源模型
提出内生护栏 SingProbe，复用解码隐状态监测查询意图、回复安全与幻觉
- arXiv
- 2608.30703
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Ling-3.0-tiny-singprobe、Ling-3.0-flash-singprobe、Gemini 3 Pro 等 14 个
摘要SingProbe 用轻量内生探针做生成时三类监测，并给出流式基准与低开销服务接入。
SingProbe 是面向生成时监测的开源内生护栏：复用基座解码隐状态，而不是另起模型反复编码文本。
- 评测与基准arXiv 2609.32763
Mandela-Bench：36 个多模态模型更依赖记忆而非观察图像
构建 Mandela-Bench，评测多模态模型是否凭记忆接受篡改图像
- arXiv
- 2609.32763
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemini-3.8-Flash、GPT-5.6、GLM-5.3-Flash 等 15 个
摘要论文构建 Mandela-Bench 发现模型对经典图像存在记忆重构偏见，过度依赖先验导致无法有效利用知识核验事实篡改。
该研究系统评估了多模态大语言模型在面对无痕事实性编辑时，能否利用自身内在世界知识核验被识别出的经典图像。
- 分析与理论arXiv 2609.30802
研究：知识蒸馏中 chat 模板会削弱学生模型的安全对齐
分析良性知识蒸馏中提示模板对学生拒答保留的影响
- arXiv
- 2609.30802
- 发表
- 场景
- 模型与 API
- 测试
- LLaMA-3.1-8B-Instruct、LLaMA-3.2-3B-Instruct、Gemma-2-9B-IT 等 7 个
- 风险拒答失当