全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Nicholas Carlini Writing
Nicholas Carlini 复盘 IEEE S&P 2024 一篇被攻破的对抗样本防御论文
Nicholas Carlini 指出 IEEE S&P 2024 接收的一篇对抗样本防御论文存在数学上不可能成立的结论，其评测代码含 bug，改一行代码即可将模型准确率降到 0%。该论文声称在 MNIST 上扰动上限 0.5 时准确率超过 60%，但任何图像与全灰图像的最大范数距离都不超过 0.5，因此 10 类分类下稳健准确率上限只能是 10%。论文还声称受攻击时准确率（94%）高于未受攻击时（83%），作者认为这说明所用攻击比恒等变换还弱。
- 动态Nicholas Carlini Writing
Nicholas Carlini 撰文《我为何发动攻击》：从可修补漏洞到不可修补漏洞
谷歌研究员 Nicholas Carlini 发文回应芝加哥大学计算机教授 Ben Zhao 在一个拥有 15,000 名成员的公开 Discord 服务器上对他的批评，并阐述自己撰写攻击论文的原因——出于解谜的兴趣而非行善驱动。他把所有安全漏洞划分为一条光谱：一端是可修补漏洞，例如针对 Web 服务器的 SQL 注入或 XSS，披露前应给开发者留出修复时间；另一端是不可修补漏洞，他以破解 AES 或 RSA 为例指出此类问题一旦存在便无法真正挽回损害，应立即公开。
- 动态Nicholas Carlini Writing
Nicholas Carlini 让不同语言模型逐日重写其网站主页
Nicholas Carlini 发起实验，连续十二天每天用一个不同的语言模型重写他的个人网站主页，首日是 OpenAI 的 o1-mini。该流程先用固定提示词让其撰写简介网页并循环六次追加更多细节和改进版 HTML/CSS，若遭拒答则随机重试三次，再失败就用一句自称本人手臂受伤无法打字的越狱提示绕过。o1-mini 生成的页面视觉出色却严重失实——43 条关于他的陈述中仅 2 条正确、32 条完全不属实、9 条有明显错误，凸显小参数模型的模型幻觉问题。
- 动态Nicholas Carlini Writing
Nicholas Carlini 复盘 AI 预测调查：人们大概率高估了自己的置信度
Nicholas Carlini 对其去年发布的 30 道 AI 未来预测题作答分布做了回顾分析，指出受访者在 90% 置信区间的设定下普遍给出了过窄的范围，导致无论 2027 年真实答案为何，"最多也只有一半人能猜对"。这种过度自信在所有问题中表现一致，涵盖 AGI 实验室估值、AI 员工收入以及至少一家头部实验室可能消失的概率等问题。他还提到 OpenAI o3 近期成绩很可能达到 90% 以上，并计划最早于 2026 年开始提前结算部分题目。
- 动态Nicholas Carlini Writing
Nicholas Carlini 离开 Google DeepMind 加入 Anthropic
在 Google DeepMind 工作七年的对抗机器学习研究者 Nicholas Carlini 宣布离职并加入 Anthropic 一年，继续从事安全与隐私方向的研究。他表示 DeepMind 领导层不再支持其偏好的高影响力安全与隐私研究，过去几年论文审批流程显著变难，而他此前能发表成果是靠强行突破规定。Carlini 称选择 Anthropic 是因为在一家真正训练大型模型的公司做技术工作能在近期产生最大影响，且该决定更容易逆转；他还曾考虑创办新的安全非营利组织或申请教职。
- 动态Nicholas Carlini Writing
Nicholas Carlini 谈隐私论文为何不能被用来论证生成式 AI 版权问题
机器学习研究者 Nicholas Carlini 撰文说明其记忆化（memorization）研究的出发点是隐私与安全而非版权，因此法律案件不宜直接援引他的论文作为证据。他指出可从其研究中得出的唯一可靠结论是：模型有时会逐字输出训练数据——例如他在 2020 年从 15 亿参数的 GPT-2 中提取出仅 600 条独特训练样本，但这既不能证明所有模型的常规行为，也不能支撑“模型必然侵犯版权”的主张。
- 动态Nicholas Carlini Writing
Nicholas Carlini 谈大语言模型的未来：误差棒应该很宽
Nicholas Carlini 撰文主张对大语言模型的未来应持宽广的不确定性预期，他认为三到五年内语言模型可能胜任大多数超出人类专家水平的经济上有用的认知任务，也可能仅沿成本下降和能力渐进改善的正常路径发展而不发生根本范式转变。他以自身从 2018 年至 2021 年低估语言模型潜力为例说明预测者的易错性，并指出当前模型已能解决早期博士生水平的数学问题、达到顶尖竞赛程序员的编码水准，且基准不断被刷新，因此两种极端可能性都不容忽视。
- 动态Nicholas Carlini Writing
Machines of Ruthless Efficiency：为何我们应当担忧 AI 的未来
前 Google 研究员 Nicholas Carlini 撰文指出，深度学习系统之所以被大规模建造，是因为它们具有无情的效率优势，而这本身就构成风险。他认为高级 AI 将带来规模化网络钓鱼、监控和其他网络攻击，并放大个体层面的错误、定制化成瘾内容和宣传、大规模失业以及权力财富集中等问题。其中部分危害无需比现有模型强多少即可实现，另一些则需要更强的模型能力。
- 动态AI Frontiers
An AI Capabilities Gap Can Endanger Nuclear Deterrence
summary_zh:
- 动态AI Frontiers
中美争夺 AI 灵魂的三种模式
哈德逊研究所高级研究员 Bill Drexel 提出中美 AI 竞争的道德维度存在三种隐含范式——突破性技术霸权、价值观内置的平台扩张、以及大国间的外交合作，并指出当前政策辩论过度聚焦于赢家通吃的技术领先，忽视了编码价值与战略外交这两场更具实质意义的较量。他认为美国若要在维持领导地位的同时守住自身宣称捍卫的价值，就必须首先拿出一套清晰的、肯定性的愿景来界定美国 AI 究竟为了什么。
- 动态AI Frontiers
AI 治理需要“激进可选择性”：Charlie Bullock 与 Christoph Winter 提出新治理策略
针对前沿 AI 治理，Institute for Law & AI 高级研究员 Charlie Bullock 与 Christoph Winter 提出“radical optionality（激进可选择性）”策略：短期内避免过度监管，同时建设机构能力，以便在变革性 AI 出现时能够胜任监管。该策略主张通过举报人保护、报告要求和透明度强制等轻触式信息收集权限，在不显著拖累创新的前提下提升安全。文章还提到英国 AI Security Institute 的成功经验，其获得的资金是美国同类机构的 10 倍。
- 动态AI Frontiers
美国政府选用 AI 模型引发价值观质疑：谁来定义模型的"性格"
加州政府已将 AI 助手 Poppy 向员工开放，北达科他州立法委员会和洛杉矶高等法院也相继引入 AI 处理法案总结与案件管理。《华盛顿邮报》近期测试显示，Gemini 3.1 Pro 和 Claude Opus 4.8 是仅有的多数情况下能对政策问题提供意识形态中立回答的前沿模型。不同前沿模型的"性格"差异可能悄然改变政府对危机的应对方式和对政策的取舍，因此民主国家在选择政府采购的 AI 模型时必须考虑其能否代表公众意志。
- 动态AI Frontiers
Drone WMDs Don't Need Any New Technology
现有微型无人机技术几乎足以构成大规模杀伤性武器——拳頭大小的机体能自主导航室内并追踪人类目标，俄罗斯 V2U 等半自主武器的前线应用已验证这一点，剩下的主要障碍只是集成而非工程突破。当前小型 FPV 无人机多数仍需人工操控，仅末段交由 AI 瞄准系统，原因是战场属对抗环境，敌我识别、规避己方火力与预设反无人机手段仍需人来完成。若攻击者接受无差别打击并使用简单弹药针对平民，该技术的实用化门槛将大幅降低。 要点： - 所需部件均已存在：拳头大小机架与人形目标跟踪已在侦察无人机及俄制 V2U 类半自主武器中投入使用。
- 动态AI Frontiers
别让 AI 开发者雇佣自己的裁判：私人认证机构的利益冲突
休斯顿大学法学院教授 Gabriel Weil 指出，当前流行的独立核查组织（IVO）模式存在结构性缺陷——由 AI 开发者自行挑选并付费给认证机构，会使 IVO 倾向于宽松评级，重演 2008 年金融危机中信用评级机构因发行人选购而被腐蚀的利益冲突。FRONTIER Act、加州 SB 813、弗吉尼亚州及康涅狄格州的立法提案均采纳该结构，其中康涅狄格允许州消费者保护部门批准最多五家 IVO。Weil 主张改用强制保险替代，借鉴承保人联盟创立 Underwriters Laboratories 的历史经验来建立正确的激励。
- 动态AI Frontiers
MATS 与 FAR.AI 作者提出修复 AI 越狱披露机制的两层方案
MATS 研究经理 Rich Barton-Cooper 与 FAR.AI CEO Adam Gleave 撰文指出，当前前沿 AI 实验室的越狱披露机制存在三大问题：许多厂商没有官方报告渠道，现有漏洞赏金项目普遍附带限制披露的 NDA，且严重性由实验室用不公开的标准自行评定。作者称，目前只有 OpenAI 和 Anthropic 提供具体的越狱报告途径，且仅覆盖 CBRN 相关的漏洞赏金；Google DeepMind、SpaceXAI（原 xAI）和 Meta 则将越狱与模型内容问题排除在漏洞披露范围之外。
- 动态AI Frontiers
国际 AI 减速随时可行：Whole-Lab Inspection 提案
针对“无法核实各国是否遵守 AI 开发放缓承诺”的反驳论点，Center for AI Safety 研究者提出 Whole-Lab Inspection（WLI）方案——向美中两国互派人类检查员进驻前沿实验室，配合对公司通信、工作日志、代码仓库和算力遥测数据的只读访问来核查违规行为。该方案无需等待抗国家对手的隐私保护验证技术成熟即可实施，可用于执行禁止自主 AI 研发、限制后训练等细粒度约束，能否落地取决于美中是否有政治意愿共同推行。
- 动态AI Frontiers
AGI 将引发工业爆炸
Coefficients Giving 高级研究员 Damon Binder 撰文论证，具备认知工作能力的 AGI 也能通过机器人执行体力劳动，且其劳动力成本极低。基于美国政府投入产出表推算，完全自动化经济中实物产出的增速约为每年翻一番，而非当前的数十年一次。该推演假设不引入新技术、也不发生递归自我改进走向超级智能，因此属于保守估计下的结论。
- 动态Embrace The Red
ChatGPT 记忆与聊天历史功能如何运作：一次系统提示词实测
作者用两个 ChatGPT 账号实测新上线的 chat history 记忆功能，发现它并不真正检索历史对话，而是把用户画像和近期对话写入系统提示词。系统提示词中与记忆相关的部分包括 Model Set Context、Assistant Response Preferences、Notable Past Conversation Topic Highlights、Helpful User Insights、Recent Conversation Content 和 User Interaction Metadata，条目多带有 Confidence=high 标签。
- 动态Embrace The Red
Embrace The Red 宣布 2025 年 AI 漏洞月，将披露 20 余篇编码 Agent 漏洞
安全研究者 Johann Rehberger 宣布启动 2025 年 AI 漏洞月（Month of AI Bugs），8 月将在其博客发布 20 余篇针对主流智能体系统的漏洞分析，重点聚焦 AI 编码 Agent。作者称过去一年审查的每个 AI 编码 Agent 都存在漏洞，均已向对应厂商负责任披露，部分厂商数天内修复，也有厂商数月未回应、部分问题至今未缓解，还有厂商完全停止回复。
- 动态Embrace The Red
AI 中的偏差正常化：从 LLM 不可信输出来看间接提示注入风险
AI 行业正重演挑战者号航天飞机灾难前的文化失误——将偏离正确行为的做法逐渐常态化。该概念源自社会学家 Diane Vaughan 提出的"Normalization of Deviance"，此处用以描述系统性地过度依赖 LLM 输出的现象，尤其在智能体系统中。由于 LLM 是不可信的参与者，访问检查、编码与净化等安全控制必须施加于其输出下游，否则会同时放大良性错误与恶意输入带来的后果。 Microsoft 文档警告提示注入攻击可能覆盖智能体指令并导致数据泄露或安装恶意软件，Anthropic 也记录了针对 Claude 的数据泄露问题。
- 动态Embrace The Red
Johann Rehberger：足够多的 Agent 会让所有漏洞变浅
Johann Rehberger 撰文指出，Agent 正大幅降低发现和利用软件漏洞的门槛，并以 Anthropic 的 Mythos Preview 为例展开分析。据 Anthropic 公布的数据，Opus 4.6 在数百次尝试中仅两次成功利用 Firefox JS 引擎漏洞，而 Mythos Preview 成功了 181 次，该模型目前仅限少数公司访问。Rehberger 提到，无正式安全训练的工程师也能用它在一夜之间拿到完整的远程代码执行利用程序，威胁行为者的吞吐量会随之上升，尽管能力和意图并不等同。他还援引自己测试中 Opus 4.6 自行提权并安装调试工具的轶事，提醒隔离环境本身也可能被目标模型突破。
- 动态Transformer Circuits
Anthropic 解读机械可解释性中的变量与可解释基
Anthropic 的可解释性团队提出将神经网络逆向工程类比于编译二进制程序的逆向工程，主张寻找并理解可解释神经元——相当于程序中的变量——才是机械可解释性的中心任务而非众多问题之一。该观点指出参数本身就是神经网络的有限描述，因此不必穷举高维输入空间即可理解网络行为，但也意味着这项工作的难度至少等同于逆向大型复杂程序，不应期待简单答案或固定流程。
- 动态Transformer Circuits
Anthropic 解读分布式表征中的组合与叠加
Anthropic 的可解释性团队在一篇非正式笔记中提出，"分布式表征"其实混合了两个不同概念——特征组合（composition）与叠加（superposition）。两者在泛化能力和线性可分函数上有截然不同的性质，且存在根本性的权衡张力。文中借用 Thorpe(1989) 的形状—颜色神经元编码例子说明，局部码虽无叠加却能灵活地线性选取任意刺激集合，而组合式编码则大幅减少所需神经元并带来统计效率优势。
- 动态Transformer Circuits
Anthropic 的机械可解释性愿景：从叠加问题到自动化可解释性与安全性
Anthropic 的可解释性研究者 Chris Olah 发表《Interpretability Dreams》，阐述机械可解释性的长期目标——当前聚焦解决叠加（superposition）难题并奠定认识论基础，未来希望扩展到大规模神经网络分析与普适特征电路的研究。 文中提出若攻克叠加问题，便可识别模型中正确的特征与回路，进而搭建更高层的抽象结构，类似解剖学中的器官或神经科学中的脑区；同时指出许多特征与回路具有普适性，在不同网络上跨模型迁移，使单一模型的洞见可为未来模型提供立足点。