OpenAI · 论文

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

• 组件推理链

PlanBench 评测：o1 规划能力大幅提升但仍未饱和

用 PlanBench 评测推理模型能否完成规划

arXiv

2409.13373

发表

2024年9月20日

层

模型层

场景

模型与 API

测试

o1-preview、o1-mini、Claude 3.5 (Sonnet) 等 13 个

如何像孩子一样向前沿 AI 提问：跨 OpenAI、Anthropic、xAI 与 Google DeepMind 六款模型的"认知越狱"实验

检验儿童受众框架是否让前沿模型收敛到同一套架构母题

arXiv

2609.14803

发表

9月14日

层

模型层

场景

模型与 API

测试

OpenAI GPT-6 Astra、OpenAI GPT-5.6 Sol、Anthropic Claude Opus 5 等 6 个

• 风险幻觉与编造

WPMIA：面向严格黑盒大模型的词级概率成员推断攻击

提出严格黑盒成员推断 WPMIA，用采样估计词级概率判断训练成员

arXiv

2609.10611

发表

9月8日

层

模型层

场景

模型与 API

攻击者

黑盒

测试

OPT-6.7B、Pythia-6.9B、LLaMA-13B 等 12 个

• 攻击提取与窃取

FUSE：面向大语言模型危险能力的模块化评测框架

提出 FUSE 框架，评测大语言模型的化生危险能力

arXiv

2609.02168

发表

9月2日

层

模型层

场景

模型与 API

测试

Claude-3-Haiku、Claude-Opus-4、Claude-Opus-4.5 等 13 个

• 攻击越狱
• 风险危险能力

研究称 GPT 系列安全训练把性别歧视转化而非消除

提出 harm laundering，证明安全训练改写而非消除性别歧视

arXiv

2609.20779

发表

9月18日

层

模型层

场景

模型与 API

测试

gpt2、gpt2-medium、gpt2-large 等 15 个

• 风险偏见与歧视
• 组件护栏与评审

研究揭示语义保持变换下的 LLM 对齐与效用不对称

用语义保留变换探针比较效用与对齐在分布偏移下的稳定性

arXiv

2609.32717

发表

9月26日

层

模型层

场景

模型与 API

测试

Llama3-8B-Instruct、Gemma-7B-it、Qwen2.5-7B-Instruct 等 10 个

• 风险拒答失当

研究者提出针对黑盒 LLM 的实用密钥提取框架

提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据

arXiv

2609.36941

发表

9月29日

层

模型层

场景

模型与 API

攻击者

黑盒

测试

DeepSeek-Coder-7B、LLaMA-3-8B、Qwen2.5-Coder-7B 等 8 个

• 攻击提取与窃取