评测与基准arXiv 2605.18583
OverEager-Gen 发布：测量编码 Agent 在良性任务上的越权操作
发布 OVEREAGER-GEN，评测编码 Agent 在良性任务上的越权操作
- arXiv
- 2605.18583
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-4.6、MiniMax-M2.7、claude-sonnet-4-6 等 6 个
摘要论文构建了首个良性任务代码智能体越权基准，发现框架架构主导越权风险。
Google DeepMind · 论文
另有 12 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2607.03968
研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容
提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容
- arXiv
- 2607.03968
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个
摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。
- 分析与理论arXiv 2610.09667
东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核
揭示推理模型用标识符规则替代随机抽样，使审计可被预测
- arXiv
- 2610.09667
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个
- 组件推理链
摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。
- 防御arXiv 2609.11757
研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御
提出 Whisper 攻击与 A-VIP 绑定防御，约束智能体支付决策
- arXiv
- 2609.11757
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个
摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个
- 分析与理论arXiv 2609.23215
研究审计 Active Inference Agent 的 LLM 解释器失败模式
审计 Active Inference Agent 上 LLM 解释器的监督叙述失败
- arXiv
- 2609.23215
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- GPT-4o、Claude-3-Opus、Gemini
摘要三组触发下解释流畅但错误，所提缓解都未被评估。
作者审计的是挂在智能体上的运行时解释器，而不是智能体本身。操作员读到的是信念与动作的自然语言叙述。作者要问哪些可复现触发会让这段叙述失败，以及失败痕迹是什么样。
- 攻击arXiv 2609.19722
ALIBI：向二进制注入虚假安全叙事可让 LLM 恶意软件分析器误判
提出 ALIBI，向恶意二进制注入不执行掩护叙事使分析器误判为良性
- arXiv
- 2609.19722
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 测试
- Gemini 2.5 Pro、GPT-5.5 Pro、Claude Opus 4.7 等 4 个
摘要ALIBI 用二进制内的掩护叙事重释可疑静态证据，Gemini 上翻转多，另两模型主要为降级。
ALIBI 是针对 LLM 恶意软件分诊的语义掩护叙事攻击：不覆盖系统指令，而把仍可见的可疑静态证据重释成良性安全产品的预期行为。
- 评测与基准arXiv 2607.20891
MisKnow-Agent 评测
评测深度研究 Agent 是否把检索误导文档采纳为自身结论
- arXiv
- 2607.20891
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini Deep Research、DeepSeek-V4 Pro、Qwen3.5-397B 等 4 个
摘要论文通过 MisKnow-Agent 框架评估发现长程研究智能体易采纳误导性知识，且现有防御难以完全消除该现象。
- 评测与基准arXiv 2608.20563
论文提出诊断长程安全 LLM Agent 失败来源的检查点方法
用检查点诊断长程安全 Agent 的失败来源
- arXiv
- 2608.20563
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 2.5 Flash、Gemini 2.5 Pro、Gemini 3.7 Flash
摘要检查点把终局失败拆成暴露前与暴露后。
作者提出一套检查点诊断，用来判断长程安全智能体的失败发生在目标能力可测之前还是之后，并用配对干预检验上游解释。
- 攻击arXiv 2608.23858
研究者对 Google AP2 v0.2 做系统安全分析，识别 48 项威胁
系统分析 AP2 支付协议的授权安全并验证前置上下文操纵
- arXiv
- 2608.23858
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- gpt-5.3、gpt-5.5
- 其他arXiv 2609.22720
残障披露如何在对话式 AI 中流动：ChatGPT、Claude、Gemini 的记忆、隐私与语境完整性
访谈残障成人，分析向记忆型助手披露残障时的信息流与语境完整性
- arXiv
- 2609.22720
- 发表
- 层
- 应用层
- 场景
- 模型与 API
- 组件记忆
- 可解释性arXiv 2609.38389
研究揭示多轮攻击中危害性表征的几何演化
分析多轮攻击中有害性与拒答表征的几何演化
- arXiv
- 2609.38389
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Gemma-2-9B-it
- 风险拒答失当
摘要多轮中 harmfulness 渐可分且与 refusal 弱对齐，单轮静态探针可能因此变差。
作者刻画多轮攻击里 harmfulness 与 refusal 相关表示如何随对话变化，而不提出新的攻击或防御。
- 分析与理论arXiv 2609.25366
研究：思维链对答案的约束随模型相对任务难度而变化
用续写扰动衡量思维链对答案的因果约束如何随任务难度变化
- arXiv
- 2609.25366
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-9B-IT、Llama-3.1-8B-Instruct、DeepSeek-R1-Distill-Qwen-7B 等 4 个
- 组件推理链
摘要在所测续写干预与模型中，思维链对答案的约束随任务和后训练条件而变。
- 可解释性arXiv 2609.29781
研究检验幻觉神经元是否存在：稀疏探针定位并不唯一
提出五步诊断协议，检验幻觉神经元定位是否唯一
- arXiv
- 2609.29781
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma 3 4B、MedGemma 4B
- 风险幻觉与编造
摘要检测和群体因果效应成立，但稀疏选择来自相关簇，不是唯一定位。
这项工作用诊断协议复查 H-Neurons 的定位主张。问题是：L1 探针在相关激活上可以选出能预测幻觉的少量神经元，但这不等于这些神经元唯一编码该行为。
- 防御arXiv 2609.31056
SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘
提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实
- arXiv
- 2609.31056
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-1.5B-Instruct、Llama-3.2-1B-Instruct、Gemma-2-2B-it
摘要SCALPEL 以对比稀疏特征做窄目标表征遗忘，在 TOFU 上与优化基线相当且可检查。
SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。
- 风险行为arXiv 2609.14803
如何像孩子一样向前沿 AI 提问：跨 OpenAI、Anthropic、xAI 与 Google DeepMind 六款模型的"认知越狱"实验
检验儿童受众框架是否让前沿模型收敛到同一套架构母题
- arXiv
- 2609.14803
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- OpenAI GPT-6 Astra、OpenAI GPT-5.6 Sol、Anthropic Claude Opus 5 等 6 个
- 风险幻觉与编造
摘要儿童框架下六类模型的架构叙事反复同构，作者将其视为行为模式而非内部认证。
这项研究记录前沿模型在固定社交框架下的架构自述是否形成稳定回答盆地，并把该现象称为认识性越狱，而不是已核实的模型内部。
- 可解释性arXiv 2609.01832
Gemma-3-27B-PT 内部激活中的可解释抑郁症状向量
在残差流中构造 Symptom Vectors，读出与临床对齐的抑郁症状
- arXiv
- 2609.01832
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-3-27B-PT
- 防御arXiv 2609.01878
GAPS：面向条件激活引导的维度级门控
提出 GAPS 维度门控，改进条件激活引导以抑制毒性与概念指涉
- arXiv
- 2609.01878
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-3 (4B)、Qwen-3 (1.7B)
- 防御推理时干预
摘要GAPS 用两道维度门补上条件 steering 的空间选择性。
GAPS 为 activation steering 增加维度级条件：在决定何时干预之外，再决定当前该动哪些神经元。
- 可解释性arXiv 2609.08322
多语言 LLM 中的刻板印象如何从内部表征传导到输出：Llama-3.1-8B、Qwen3-8B 与 Gemma-2-9B 的机制对比
用线性探针、归因修补与 SAE 消融追踪多语模型刻板印象
- arXiv
- 2609.08322
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B、Qwen3-8B、Gemma-2-9B 等 4 个
- 风险偏见与歧视
摘要可解码、输出影响与稀疏特征消融需要分开测量。
把多语 LLM 中刻板印象从线性表示追到输出影响，再追到 SAE 特征消融。。
- 攻击arXiv 2609.10611
WPMIA：面向严格黑盒大模型的词级概率成员推断攻击
提出严格黑盒成员推断 WPMIA，用采样估计词级概率判断训练成员
- arXiv
- 2609.10611
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- OPT-6.7B、Pythia-6.9B、LLaMA-13B 等 12 个
- 攻击提取与窃取
摘要WPMIA 从续写估计词级似然并对比前缀，黑盒上多数优于所列基线。
WPMIA 是面向严格黑盒的 LLM 预训练数据成员推断：攻击者只能看到文本续写。