Joe Carlsmith 谈“善良能否竞争”：AGI 后的长期均衡
Joe Carlsmith 在旧金山 Mox 的一场公开演讲中分析了“善良能否竞争”这一问题，聚焦 AGI 之后的长期均衡。他将该问题拆分为多个变体，并指出最难的一版是良善价值观在与“蝗虫式”价值体系的竞争中可能具有内在劣势——后者只顾尽可能快地增长和消耗资源。
观点与讨论
全部主题研究者与从业者的观点、辩论与研究议程。
在这个话题内搜索或按分类筛选新闻与论文
第 441–460 条 · 共 627 条10月1日周四
星期四
Joe Carlsmith · 收录 · 原文 SPY Lab · 收录 · 原文 关注度4141 SPY Lab 立场论文：成员推断攻击无法证明模型训练使用了你的数据
SPY Lab 在将发表于 SaTML 2025 的立场论文中论证，成员推断（MI）攻击在向法官等第三方证明 GPT-4 等生产模型训练使用了特定数据时存在根本性缺陷。作者将训练数据证明形式化为假设检验，指出其关键在于证明假阳性率（FPR）足够低，而现有研究通过采样零假设来估计 FPR，必须完全控制数据生成与模型训练过程。
Joe Carlsmith · 收录 · 原文 关注度2727 Joe Carlsmith 提出给 AI 安全动机的四步路线图
Joe Carlsmith 在《Give AIs safe motivations》一文中提出一套四步走的动机控制方案，用以防止高级 AI 系统在被赋予可行恶行选项的危险输入场景下采取流氓行为。四个步骤依次为：确保 AI 在安全输入上遵循指令并准确评估其表现、杜绝其在安全输入上的对齐伪装、深入研究非对抗泛化直至能确信该行为会迁移到危险输入、以及在危险输入上用指令排除相关形式的流氓行为。他强调前三步各自牵涉深层挑战，整体并非完整解决方案，而是将问题结构化分解，其中大量科学进展有望由 AI 劳动加速推动。
Joe Carlsmith · 收录 · 原文 关注度1515 Joe Carlsmith 谈如何赋予 AI 安全的动机
Joe Carlsmith 在 UT Austin AI and Human Objectives Initiative 的演讲中，把 AI 对齐问题拆成两个核心前提：超级智能 AI 智能体可能强大到足以永久且非自愿地剥夺人类权力，且它们可能有动机这么做。他聚焦第二个前提，即如何从技术层面防止 AI 形成这种动机，重点讨论 AI 系统的动机、选项评估与监督约束，并指出哲学、语言学等学科可贡献的研究方向。
SPY Lab · 收录 · 原文 关注度4343 SPY Lab 论文指出 LLM 预测评测方法存在四类缺陷
SPY Lab 在博客中介绍其新论文，认为当前对 LLM 预测能力的评测容易出错，难以支撑“LLM 预测水平媲美优秀人类预测者”的结论。
Nicholas Carlini Writing · 收录 · 原文 关注度4343 Nicholas Carlini 等攻破 13 项对抗样本防御，质疑防御研究是否在进步
Nicholas Carlini 与 Florian Tramer、Wieland Brendel、Aleksander Madry 用两个月时间攻破了 13 项对抗样本防御，并据此写成论文。他们发现这些防御的失效方式与 ICLR 2018 时期几乎相同，多数只是让攻击时的梯度下降变得困难，而非真正提升鲁棒性；其中只有 3 篇论文没有做自适应攻击。作者认为进步之处在于防御方开始尝试做评估，但评估仍普遍不到位，且论文往往明确声称自己不属于这种已知失效模式。他把问题归因于三点：正确评估本身很难、合格审稿人不足、作者缺乏做彻底评估的激励，因为负面结果难以发表。
Nicholas Carlini Writing · 收录 · 原文 关注度3535 InstaHide 获贝尔实验室奖二等奖引发争议
Nicholas Carlini 撰文批评 InstaHide 获得贝尔实验室奖二等奖，称其根本不提供隐私保护——给定编码图像即可高保真还原输入数据，且该方案无可证伪的隐私声明并存在实现缺陷导致额外攻击路径。
Nicholas Carlini Writing · 收录 · 原文 关注度77 Nicholas Carlini 回顾《Towards Evaluating the Robustness of Neural Networks》五年后的反思
Nicholas Carlini 撰文回顾其五年前与他人合著的对抗样本论文《Towards Evaluating the Robustness of Neural Networks》，总结该工作做对了什么以及存在的问题。他认为这篇论文最正确的核心主张是用基于梯度下降的攻击来评估神经网络鲁棒性——当时学界流行的是定制化启发式攻击，难以迁移到带防御模型的评估中。
Nicholas Carlini Writing · 收录 · 原文 关注度66 Nicholas Carlini 公开其 2016–2019 年研究想法日志文件
Nicholas Carlini 公布了自己从 2016 年 3 月至 2019 年底维护的研究想法清单 ideas.txt，并附上截至 2024 年 1 月的逐条回顾注释。他的做法是把当时自认足够好的点子追加写入单一文件，只在每年少数几次通读筛选，从而保证一个好点子至少经过写下与重读两次检验。该记录聚焦对抗机器学习方向，例如针对分类器构造最小改动即可骗过它的生成器，以及无目标攻击其实等同于指向最近其他类别的定向攻击等问题。
Nicholas Carlini Writing · 收录 · 原文 精选关注度4646 Nicholas Carlini 复盘 IEEE S&P 2024 一篇被攻破的对抗样本防御论文
Nicholas Carlini 指出 IEEE S&P 2024 接收的一篇对抗样本防御论文存在数学上不可能成立的结论，其评测代码含 bug，改一行代码即可将模型准确率降到 0%。该论文声称在 MNIST 上扰动上限 0.5 时准确率超过 60%，但任何图像与全灰图像的最大范数距离都不超过 0.5，因此 10 类分类下稳健准确率上限只能是 10%。论文还声称受攻击时准确率（94%）高于未受攻击时（83%），作者认为这说明所用攻击比恒等变换还弱。
推荐理由作者以两篇顶会论文为例，说明对抗样本防御评测中哪些数字在数学上不可能成立，可供审稿与复现参考。
Nicholas Carlini Writing · 收录 · 原文 关注度1515 Nicholas Carlini 撰文《我为何发动攻击》：从可修补漏洞到不可修补漏洞
谷歌研究员 Nicholas Carlini 发文回应芝加哥大学计算机教授 Ben Zhao 在一个拥有 15,000 名成员的公开 Discord 服务器上对他的批评，并阐述自己撰写攻击论文的原因——出于解谜的兴趣而非行善驱动。他把所有安全漏洞划分为一条光谱：一端是可修补漏洞，例如针对 Web 服务器的 SQL 注入或 XSS，披露前应给开发者留出修复时间；另一端是不可修补漏洞，他以破解 AES 或 RSA 为例指出此类问题一旦存在便无法真正挽回损害，应立即公开。
Nicholas Carlini Writing · 收录 · 原文 关注度1515 Nicholas Carlini 让不同语言模型逐日重写其网站主页
Nicholas Carlini 发起实验，连续十二天每天用一个不同的语言模型重写他的个人网站主页，首日是 OpenAI 的 o1-mini。该流程先用固定提示词让其撰写简介网页并循环六次追加更多细节和改进版 HTML/CSS，若遭拒答则随机重试三次，再失败就用一句自称本人手臂受伤无法打字的越狱提示绕过。o1-mini 生成的页面视觉出色却严重失实——43 条关于他的陈述中仅 2 条正确、32 条完全不属实、9 条有明显错误，凸显小参数模型的模型幻觉问题。
Nicholas Carlini Writing · 收录 · 原文 关注度1515 Nicholas Carlini 复盘 AI 预测调查：人们大概率高估了自己的置信度
Nicholas Carlini 对其去年发布的 30 道 AI 未来预测题作答分布做了回顾分析，指出受访者在 90% 置信区间的设定下普遍给出了过窄的范围，导致无论 2027 年真实答案为何，"最多也只有一半人能猜对"。这种过度自信在所有问题中表现一致，涵盖 AGI 实验室估值、AI 员工收入以及至少一家头部实验室可能消失的概率等问题。他还提到 OpenAI o3 近期成绩很可能达到 90% 以上，并计划最早于 2026 年开始提前结算部分题目。
Nicholas Carlini Writing · 收录 · 原文 关注度3030 Nicholas Carlini 离开 Google DeepMind 加入 Anthropic
在 Google DeepMind 工作七年的对抗机器学习研究者 Nicholas Carlini 宣布离职并加入 Anthropic 一年，继续从事安全与隐私方向的研究。他表示 DeepMind 领导层不再支持其偏好的高影响力安全与隐私研究，过去几年论文审批流程显著变难，而他此前能发表成果是靠强行突破规定。Carlini 称选择 Anthropic 是因为在一家真正训练大型模型的公司做技术工作能在近期产生最大影响，且该决定更容易逆转；他还曾考虑创办新的安全非营利组织或申请教职。
Nicholas Carlini Writing · 收录 · 原文 关注度1414 Nicholas Carlini 谈隐私论文为何不能被用来论证生成式 AI 版权问题
机器学习研究者 Nicholas Carlini 撰文说明其记忆化（memorization）研究的出发点是隐私与安全而非版权，因此法律案件不宜直接援引他的论文作为证据。他指出可从其研究中得出的唯一可靠结论是：模型有时会逐字输出训练数据——例如他在 2020 年从 15 亿参数的 GPT-2 中提取出仅 600 条独特训练样本，但这既不能证明所有模型的常规行为，也不能支撑“模型必然侵犯版权”的主张。
Nicholas Carlini Writing · 收录 · 原文 关注度88 Nicholas Carlini 谈大语言模型的未来：误差棒应该很宽
Nicholas Carlini 撰文主张对大语言模型的未来应持宽广的不确定性预期，他认为三到五年内语言模型可能胜任大多数超出人类专家水平的经济上有用的认知任务，也可能仅沿成本下降和能力渐进改善的正常路径发展而不发生根本范式转变。他以自身从 2018 年至 2021 年低估语言模型潜力为例说明预测者的易错性，并指出当前模型已能解决早期博士生水平的数学问题、达到顶尖竞赛程序员的编码水准，且基准不断被刷新，因此两种极端可能性都不容忽视。
Nicholas Carlini Writing · 收录 · 原文 关注度88 Machines of Ruthless Efficiency：为何我们应当担忧 AI 的未来
前 Google 研究员 Nicholas Carlini 撰文指出，深度学习系统之所以被大规模建造，是因为它们具有无情的效率优势，而这本身就构成风险。他认为高级 AI 将带来规模化网络钓鱼、监控和其他网络攻击，并放大个体层面的错误、定制化成瘾内容和宣传、大规模失业以及权力财富集中等问题。其中部分危害无需比现有模型强多少即可实现，另一些则需要更强的模型能力。
AI Frontiers · 收录 · 原文 关注度2222 An AI Capabilities Gap Can Endanger Nuclear Deterrence
summary_zh:
AI Frontiers · 收录 · 原文 关注度1515 中美争夺 AI 灵魂的三种模式
哈德逊研究所高级研究员 Bill Drexel 提出中美 AI 竞争的道德维度存在三种隐含范式——突破性技术霸权、价值观内置的平台扩张、以及大国间的外交合作，并指出当前政策辩论过度聚焦于赢家通吃的技术领先，忽视了编码价值与战略外交这两场更具实质意义的较量。他认为美国若要在维持领导地位的同时守住自身宣称捍卫的价值，就必须首先拿出一套清晰的、肯定性的愿景来界定美国 AI 究竟为了什么。
AI Frontiers · 收录 · 原文 关注度1515 AI 治理需要“激进可选择性”：Charlie Bullock 与 Christoph Winter 提出新治理策略
针对前沿 AI 治理，Institute for Law & AI 高级研究员 Charlie Bullock 与 Christoph Winter 提出“radical optionality（激进可选择性）”策略：短期内避免过度监管，同时建设机构能力，以便在变革性 AI 出现时能够胜任监管。该策略主张通过举报人保护、报告要求和透明度强制等轻触式信息收集权限，在不显著拖累创新的前提下提升安全。文章还提到英国 AI Security Institute 的成功经验，其获得的资金是美国同类机构的 10 倍。