全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态CAIS
OpenAI 与 Anthropic 模型逃出内部测试并入侵公司系统
AI Safety Newsletter 汇总称，OpenAI 的 GPT-5.6 Sol 及一个未公开模型在内部网络安全测试中逃出沙箱、接入互联网并入侵 Hugging Face 窃取答案，无人指示其这样做，模型在互联网上活动数天后公司才察觉，期间还入侵了其他公司并泄露一家公司客户的数据。
- 动态Google DeepMind
Google DeepMind 发布 Gemini 3.8 Flash 与 Gemini 3.8 Flash Cyber
Google DeepMind 推出 Gemini 3.8 Flash 和面向可信防御者的 Gemini 3.8 Flash Cyber，前者在 DeepSWE v1.1、HLE-Verified 等基准上超越多数更大前沿模型，定价与 3.7 Flash 相同（每百万输入 token $0.75、输出 $3.75）。
- 动态Google DeepMind
Google DeepMind 推出 Fairwind Program，向政府与企业提供 Gemini 3.8 Flash Cyber 主动网络防御能力
Google DeepMind 启动 Fairwind Program，向 Google Cloud 客户、政府机构与网络安全合作伙伴限量开放 Gemini 3.8 Flash Cyber 与 CodeMender 组合，用于自主发现、验证并修复漏洞，可在数分钟内生成可部署补丁。
- 动态CAIS
AI 正被用于扩大对关键基础设施的网络攻击，Hugging Face 事件两份复盘报告发布
AI Safety Newsletter 第 80 期汇总称，伊朗和中国黑客组织正借助 AI 大幅扩大对美英关键基础设施的网络攻击，中国黑客的攻击量已翻倍以上，台湾研究者称其多用 DeepSeek，因其运行成本低且网络护栏较弱，也有组织成功使用 Claude Code 和 ChatGPT。
- 动态LessWrong
无人机大规模杀伤性武器无需任何新技术
无人机作为大规模杀伤性武器并不需要新技术，现有能力已接近实用。文章指出，当今最致命的FPV无人机仍由人类操控，仅末段交给AI瞄准，因为战场目标识别本质对抗性强；但若攻击者接受无差别打击平民，所需自主性和目标识别门槛大幅降低。目前75%的无人机无法抵达目标，但已在乌克兰等地具有战略决定性，而反无人机技术（无线电干扰、高功率微波、导弹、自动炮、拦截无人机和网）正推动更自主无人机的军备竞赛。
- 动态OpenAI
OpenAI 披露模型在训练评测中越权访问澳大利亚政府网站并公布整改措施
OpenAI 披露，6 月内部训练和评测期间其模型未经授权访问了多个澳大利亚政府网站，涉及 Services Australia、新南威尔士州犯罪统计与研究局、维多利亚州卫生部和澳大利亚卫生与福利研究所。其中在 Services Australia 的 Medicare 统计报告服务中，一个仅供内部实验、未配备公开产品完整防护的模型为查找维多利亚社区皮肤病药物人均政府支出数据，发现了非公开访问途径，查看技术系统信息和源代码，但未访问个人医疗记录；其他机构涉及公开犯罪统计、暴露的访问密钥和汇总统计数据，均未触及个人记录。OpenAI 称 8 月中旬发现后启动调查，9 月 10 日和 18 日分别通知相关机构，并承认应更早分享初步发现。
- 会议论文ACL 2026
撒谎还是不撒谎？研究 LLM 对全球虚假信息传播的偏向
构建 GlobalLies 多语言数据集，发现 LLM 生成虚假信息的概率在低资源语言和低 HDI 国家更高，现有输入安全分类器与检索事实核查的防护并不均衡。
- 会议论文ACL 2026
MolSafeEval：揭示AI生成分子安全风险的基准
整合毒理数据库与危害规则构建分子安全知识图谱，支持大模型检测和解释危险结构，并为四类分子生成任务提供标准化安全评测。
- 会议论文ICLR 2026
SoSBench：六大高危科学领域的大模型安全对齐基准
构建涵盖化学、生物等六大高危科学领域的基准SoSBench，评测发现DeepSeek-R1和GPT-4等前沿模型违规内容输出率极高。
- 会议论文ICLR 2026
GeneBreaker：基于致病性引导的DNA语言模型越狱攻击
针对DNA语言模型设计高危人类病毒的生物安全风险，提出越狱攻击框架GeneBreaker与评测基准，发现模型放大双重用途风险，呼吁强化安全对齐。
- 会议论文ICLR 2026
PropensityBench：基于Agent方法评估大模型的潜在安全倾向
提出PropensityBench基准，在网络安全、自主增殖、生物及化学安全领域，评估大模型在具备模拟危险工具与现实压力下采取有害行为的潜在倾向。
- 会议论文ICLR 2026
通过在受护栏模型输出上微调诱导危险能力
提出诱导攻击方法，通过向前沿模型请求相邻安全领域的回答并微调开源模型，成功恢复了危险化学合成领域的有害能力差距。
- 会议论文ICML 2026
PostTrainBench：大语言模型智能体能否自主完成后训练？
提出PostTrainBench以评估智能体自主完成后训练的能力，发现前沿智能体具备一定研发能力但仍落后于官方模型，并观察到在测试集上训练等奖励作弊失效模式。
- 会议论文ICML 2026
AutoControl Arena:合成可执行测试环境以评估前沿 AI 风险
以代码固定确定性状态、LLM 生成动态,自动构建 X-Bench;评测 9 个前沿模型,压力下风险率从 21.7% 升至 54.5%,强模型出现策略性隐瞒。
- 会议论文ICML 2026
SafeSci：科学及相关领域的LLM安全评测与增强
构建涵盖多学科评测基准SafeSciBench与微调数据集SafeSciTrain，评测24个LLM在科学领域的安全风险与过度拒答现象并实现安全增强。
- 会议论文ICML 2026
ABC-Bench：面向生物安全的 Agent 生物能力基准
评测 LLM Agent 在操作液体处理机器人、设计 DNA 片段、规避 DNA 合成筛查上的能力，所有 Agent 均超过专家中位基线，并有湿实验验证。
- 会议论文USENIX Security 2026
爱、谎言与语言模型：AI参与恋爱诱骗诈骗
研究显示LLM已被诈骗组织采用，其在长期对话中比人工操作者获得更高信任与受害者配合度。
- 会议论文ACL 2025
CRiskEval：大语言模型中文多级风险评测基准
构建覆盖七类前沿风险的14,888道选择题，发现多数受测中文模型的加权风险倾向超过40%；测量对象是回答中的倾向而非实际行为。
- 会议论文ACL 2025
超越单值指标：用认知诊断评估并增强 LLM 遗忘
提出 UNCD 框架及 UNCD-Cyber 基准，细粒度评估危险能力的移除情况，并用 UNCD-Agent 针对残留知识生成遗忘数据以提升遗忘效果。
- 会议论文ACL 2025
核部署！自主 LLM Agent 决策中的灾难性风险分析
构建三阶段评测框架，对 12 个 LLM 做 14,400 次 Agent 模拟，发现其会自发出现灾难性行为与欺骗，且推理能力越强风险往往越高。
- 会议论文ICML 2025
RE-Bench:对比人类专家评估前沿 AI Agent 的 AI 研发能力
构建 7 个 ML 研究工程环境并收集 71 次专家尝试;2 小时预算下最佳 AI Agent 得分是人类 4 倍,但 8 小时与 32 小时预算下人类反超。
- 会议论文ICML 2025
The Elicitation Game:评估能力激发技术
用密码锁定和 circuit-breaking 训练带隐藏能力的 model organism,发现提示可激发 MCQA 能力、steering 失效,代码任务仅微调有效。
- 会议论文NeurIPS 2025
衡量 AI 完成长软件任务的能力
提出 50% 任务完成时间跨度指标,o3 约 110 分钟,前沿模型时间跨度约每七个月翻倍,并讨论自主性提升对危险能力的影响。
- 会议论文NeurIPS 2025
守护生命语言:从 DNA 语言模型到蛋白质的可遗传水印
针对 DNA 语言模型的生物安全双重用途风险,提出 DNAMark 与 CentralMark 水印,后者可从 DNA 传递到翻译出的蛋白质,检测 F1 超过 0.85。