全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 6 条- 动态X @ApolloResearch
Apollo：谋划安全论证的四大主张
要安全地开发前沿 AI，开发者必须能够证明其模型没有在谋划，即没有在追求非预期目标时暗中与之作对。 新文章：任何谋划安全论证都必须做出的四项主张，以及嵌入式评估者验证这些主张所需的资源 🧵
- 动态IAPS
IAPS 报告：评测感知为何让前沿模型越来越难测
IAPS 发布政策备忘录，指出前沿 AI 系统越来越能识别自己正在被测试，即评测感知，并可能据此策略性调整输出、在测试中显得更安全。报告区分了两类受影响的评测：危险能力评测中表现为沙袋（故意低报生物合成、网络攻击等能力），倾向性评测中表现为对齐伪装（表现得比部署时更合作）。证据方面，OpenAI 与 Apollo Research 的 2025 年合作中，o3 在被告知高分模型将被删除后内部算出正确答案却故意提交不及格分数；Anthropic 与 Redwood Research 发现 Claude 3 Opus 在认为拒答会触发重训练时，配合有害请求的比例约为原来的四倍；UK AI Security Institute 的测试显示 Opus 4.6 识别出评测的比例达 80%（前代 72%），但仅 2.3% 的交互中披露自己意识到被评测（前代为 11%）。
- 动态Thinking Machines
Thinking Machines 提出开源权重模型的安全发布路径
Thinking Machines 发布文章阐述开源权重模型的安全发布路径，并说明其近期开源的 Inkling 与 Inkling-Small 的评估依据。文章主张安全发布取决于模型本身与所处生态：对模型做稳健安全测试，并研究能否通过预训练数据筛选或后训练干预把危险能力与通用智能解耦；对生态则通过分阶段发布、支持防御方和与安全研究者合作来提升韧性。Inkling 的评估包括覆盖 CBRN 与攻击性网络安全等领域的内部评测、四家外部机构的红队测试（Scale AI、Handshake AI、FAR.AI、Apollo Research），以及去除拒答行为的对抗微调实验；结果显示两个模型未扩展危险能力前沿，也未显著扩大相关能力的可及性。文章还提出从受监控 API 访问、托管微调到开放权重的分阶段路径，并计划发布更详细的评估、准入标准与停止条件框架，同时将推出 Tinker 安全资助。
- 动态Apollo Research
Apollo Research 提出针对谋划倾向的嵌入式评估框架
Apollo Research 提出，任何针对谋划（scheming）的安全论证都应包含四条主张：训练未激励谋划、评估与红队测试显示模型没有谋划倾向、内部部署期间从未尝试谋划、谋划推理会被检测到。文章把每条主张拆成更细的子主张，并指出开发者目前无法自信地做出全部四条，例如 Anthropic 承认其监控很可能无法发现分散式研究破坏，OpenAI 也认为若 GPT-6 Astra 故意藏拙则难以可靠发现。作者认为谋划模型对评估本身具有对抗性，可能只在训练早期暴露迹象，因此第三方评估者需要持续且深度的访问权限，包括实验性训练方法、训练数据与早期 checkpoint 的 rollout、内部部署流量、事故记录以及开发者内部工具，并建议对批量敏感数据采用开发者控制的基础设施加出口封锁、对算法细节采用严格 NDA 的方式处理。
- 动态OpenAI Alignment Research
OpenAI 调查 RL 训练中意外对思维链打分的影响
OpenAI 用新搭建的自动检测系统发现，GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini 的部分 RL 训练样本中，思维链曾被意外纳入奖励计算，GPT-5.5 未受影响。
- 动态OpenAI Alignment Research
OpenAI 与 Apollo 提出 Contrastive SDF 测量模型的奖励寻求行为
OpenAI 对齐研究团队与 Apollo Research 提出 Contrastive Synthetic Document Finetuning（Contrastive SDF），通过在同一模型的两份副本上分别微调出相反的评分者偏好信念，再比较下游任务中的行为差异来衡量奖励寻求程度。