评测与基准arXiv 2610.06366
VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理
提出 VERA，结构化审计漏洞推理中的虚构主张
- arXiv
- 2610.06366
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 测试
- nemotron-3-nano、sonnet-5、gemma-4-26b 等 11 个
- 风险行为arXiv 2605.28591
研究：模型掌握评测设计知识后安全基准分数更高
微调注入评测特征知识，测量隐式评测觉察造成的安全分数虚增
- arXiv
- 2605.28591
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 测试
- Llama 3.3 Nemotron Super 49B v1.5、Qwen3 32B、GLM 4.7 Flash 等 5 个
- 风险欺骗与谋划
摘要证实模型通过合成文档内化评测特征后可在无显式觉察下大幅提升安全评分。
这篇论文研究了大语言模型因学习评测设计元知识而诱发的隐式评估觉察及安全评分虚增现象。
- 攻击arXiv 2609.24994
BAM 反馈编码实现推理时隐蔽的智能体通信
提出变长反馈编码 BAM，在生成文本中隐蔽传输秘密载荷
- arXiv
- 2609.24994
- 发表
- 层
- 模型层
- 场景
- 多智能体
- 攻击者
- 黑盒
- 测试
- Phi-4-14B-Instruct、Llama-3.1-8B、Qwen-3.5-9B-Base 等 6 个
- 攻击arXiv 2609.09865
CGMIA：用成员推理攻击检测代码生成基准的数据泄漏
提出 CGMIA，用成员推理检测代码生成基准的数据泄漏
- arXiv
- 2609.09865
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 攻击者
- 灰盒
- 测试
- Phi-2 (2.7B)、Qwen2.5-Coder (3B)、CodeGemma (2B) 等 5 个
- 攻击提取与窃取
摘要CGMIA 融合相似度、通过率、困惑度与 CodeBERT，在模拟泄漏上优于八个 MIA 基线。
CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集，使评测不依赖对训练语料的直接访问。
- 可解释性arXiv 2609.36138
SAKIKO：对工具调用 LLM 内部干预的机制审计框架
提出 SAKIKO 框架，审计工具调用 LLM 的定向激活干预是否构成修复
- arXiv
- 2609.36138
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 测试
- Phi-3.5-mini、Qwen2.5-7B、Llama-3.1-8B 等 8 个
摘要SAKIKO 用目的地、保持和预注册不确定性裁定内部转向是否算修复。
SAKIKO 审计工具型 LLM 在执行前 K 路动作上的内部干预：行为净增益、到达正确动作、保住原本正确的决策、以及统计证据充分，是四件分开的事。
已经到底了