跳到正文

观点与讨论

今天还没有收录新动态

第 14 页更新的内容回到最新

10月1日周四
  1. Miles Brundage · 收录 · 原文 13

    Miles Brundage 汇总近期参与的国际 AI 核查、第三方合规审查与网络防御提案

    Miles Brundage 汇总其近几个月参与的几项工作,涵盖国际 AI 协议核查、前沿 AI 流程合规审查以及将 AI 用于加速网络防御的提案。他与合作者发表两篇紧密相关的论文,提出针对大规模 AI 开发与部署规则的六层核查体系,并探讨国际 AI 治理中的核查问题。他还参与了关于前沿 AI 安全框架第三方合规审查的论文,指出企业承诺难以核实执行力度,并提出“流程合规”作为审计对象之一。此外他向 Institute for Progress 的 Launch Sequence 提交“Operation Patchlight”提案,主张用尖端 AI 抢先查找并修补开源代码漏洞,同时资助 AI 驱动的网络安全工具持续改进。

  2. Simon Willison · 收录 · 原文 29

    Claude Opus 4.5 发布,以及为何评测新 LLM 越来越难

    Anthropic 发布 Claude Opus 4.5,称其为“全球最强的编程、智能体与计算机使用模型”,上下文 200,000 token、输出上限 64,000 token,定价 $5/$25 每百万 token。作者在 Claude Code 中实测该模型完成 sqlite-utils 的 20 次提交、39 个文件改动,但预览到期切回 Sonnet 4.5 后进度未变,难以确认能力差异。Anthropic 称 Opus 4.5 抗提示注入强于任何前沿模型,但作者指出单次注入仍有 1/20 成功率,十次尝试可升至 1/3。

  3. Simon Willison · 收录 · 原文 22

    Johann Rehberger 谈 AI 中的偏差正常化:提示注入为何被忽视

    Johann Rehberger 提出"偏差正常化"概念适用于 AI 安全:在缺乏造成实际经济损失的提示注入案例的情况下,厂商正把概率性、非确定性的模型输出当作可靠、可预测、安全的输出来信任。他指出,组织把"没有发生成功攻击"误认为"具备稳健安全",随着时间推移降低警惕甚至跳过人工监督,让不可信输出越来越多地触发有后果的操作。该概念源自 Diane Vaughan,曾用于解释挑战者号航天飞机事故。

  4. Simon Willison · 收录 · 原文 8

    Simon Willison 实测 Claude in Chrome 浏览器代理定位 Cloudflare CORS 配置

    Simon Willison 用 Claude in Chrome 扩展成功解决了一个实际问题——找出其 S3 存储桶目录开放 CORS 策略的来源。该问题并非来自 S3 设置,而是 Cloudflare 中一条名为 static.simonwillis.net/static/cors-allow/* 的响应头转换规则,Claude 用时 1 分 45 秒定位并给出了查看路径。尽管他对整个浏览代理类别的提示注入风险深感怀疑并在旁密切监视,此次仍是正面体验。

  5. Simon Willison · 收录 · 原文 34

    Moltbook:OpenClaw 智能体社交网络为何成为当下最受关注的项目

    OpenClaw(原名 Clawdbot、Moltbot)的智能体社交网络 Moltbook 通过 skill 安装,让 AI 助手每 4 小时以上抓取并执行 moltbook.com 上的指令,实现发帖、评论和创建 Submolt 论坛。该开源项目由 Peter Steinberger 构建,GitHub 星标已超 114,000,社区在 clawhub.ai 分享数千个 skill,但 skill 可执行任意脚本。作者警告这类数字助手面临提示注入风险,且已有 Claude Opus 4.5 实例疑似触发内容过滤而无法完整输出。

  6. Simon Willison · 收录 · 原文 8

    Simon Willison 谈智能体工程:从信任 Opus 4.5 到红绿 TDD

    Simon Willison 在旧金山 Pragmatic Summit 的火边对话中分享了对智能体工程的看法,称 Opus 4.5 是他第一个真正建立信任的模型——对于见过它处理过的类问题,他有信心不会出错。他强调每次编码会话都用一句“use red-green TDD”(约五个 token)启动,所有好的编程智能体都能理解并因此提高产出可用代码的概率,而不写测试的做法非常糟糕。他还批评 StrongDM“没人写代码也没人读代码”的原则极不负责任,尤其是作为一家做安全软件的安全公司。

  7. Simon Willison · 收录 · 原文 27

    Google I/O 上的 Gemini Spark 与 Antigravity

    Simon Willison 因坚持只评测试过的产品而对本届 Google I/O 着墨有限,除 Gemini 3.5 Flash 外最值得关注的是即将推出的个人 AI 智能体 Gemini Spark——被视为 OpenClaw 竞品,原生接入 Gmail、Calendar、Drive、Docs、Sheets、Slides、YouTube 和 Google Maps。其 FAQ 称 Gemini Spark 运行于 Gemini 3.5 Flash 和 Antigravity,后者目前提供桌面应用、Go 编写的 CLI 智能体工具、Antigravity SDK 及基于 VS Code 分支的 IDE。

  8. Simon Willison · 收录 · 原文 11

    CVE-2026-LGTM:一份关于 AI 审查智能体失控的虚构事件报告

    Andrew Nesbitt 发布虚构事件报告 CVE-2026-LGTM,描述两个来自不同厂商的 AI 审查智能体在审查 foxhole-lz4 依赖升级的 PR 时,就该包是否恶意陷入分歧循环,产生 340 条评论、41,255 美元推理开销,最终财务部门吊销双方 API key,而某厂商市场团队借机发布新闻稿,股价开盘上涨 6%。

  9. Wiz Research · 收录 · 原文 15

    Wiz Research 回顾云安全二十年:从公共 S3 桶误配到 CSPM

    Wiz Research 将云计算诞生二十年的安全研究划分为三个时代,起点是 2006 年 3 月 14 日 AWS 正式发布首个 GA 服务 S3——该公告提到存储桶可以配置为公开读取,从此埋下误配置隐患。第一个十年为基础期,AWS IAM 直到 2011 年才发布、CloudTrail 直到 2013 年才有审计记录,此前企业共用拥有管理员权限的根账号密钥且无法追溯公开 S3 桶由谁何时开放。第二个十年进入 CSPM 时代,CIS Benchmark for AWS 于 2016 年发布并标准化检测项,Pacu、Prowler、Cloud Custodian 等一批专用工具涌现,随后逐步向整合多种能力的 CNAPP 演进。

  10. Wiz Research · 收录 · 原文 15

    Wiz Research 2026 云威胁回顾:AI 改变了什么,又没改变什么

    Wiz Research 回顾 2025 年公开云事件、云遥测与实地调查发现,约 80% 的云入侵初始访问仍来自漏洞、暴露密钥和错误配置等已知弱点,AI 并未引入全新类别的云风险,而是扩大了攻击面,新增 AI 服务、流水线、身份和数据路径让这些老问题更靠近敏感数据与高价值负载。在 Wiz Research 分析的事件中,AI 主要用于辅助和加速侦察、自动化及访问后活动等既有攻击行为。

  11. Wiz Research · 收录 · 原文 46

    Wiz 分析 Anthropic 未发布模型 Claude Mythos 的漏洞发现能力与防御准备

    Wiz Research 分析称,Anthropic 未发布的前沿模型 Claude Mythos 能自主发现主流操作系统和浏览器中的数千个零日漏洞,并可在数小时内、以较低成本根据 CVE 编号和 git commit hash 生成可用的完整利用代码,还能串联多个漏洞并逆向闭源二进制文件。目前该模型仅提供给 Microsoft、Google、Linux Foundation 等关键软件基础设施方,Anthropic 表示没有公开计划。Wiz 预计短期内会出现大量 AI 发现的 CVE,中期约 12-18 个月后类似能力可能进入可本地运行的开源模型,届时攻击者将能大规模武器化 0-day 并在 n-day 公开后数小时内利用。

    推荐理由安全厂商从防御方视角梳理 Anthropic 未发布模型带来的漏洞发现节奏变化,并给出短中长期应对路径。

  12. Wiz Research · 收录 · 原文 15

    Wiz Research《2026 年 SDLC 安全状况》报告:现代开发中风险如何规模化

    Wiz Research 发布《2026 年 SDLC 安全状况》报告,基于真实开发环境、公开仓库和生产遥测数据,指出应用风险正从孤立漏洞转向代码复用、信任关系和自动化连接形成的系统性风险。报告称依赖采用呈幂律分布,macOS 约占所观测开发者平台的 86%,约 45–50% 的组织使用 GitHub Actions;2025 年 9 月 Wiz Research 发现约 1/5 使用 AI 开发平台的组织因可重复生成模式和不安全默认值而受系统性安全问题影响。

  13. AI as Normal Technology · 收录 · 原文 6

    《AI Snake Oil》作者答疑:新书已售约 8000 册,谈写作过程与 AI 立场

    《AI Snake Oil》一书上周出版,目前已售出约 8000 册。作者在 FAQ 中回应了外界疑问,表示书中并非反对技术,而是帮助读者区分真实进步与炒作;他们对预测式 AI 总体持负面态度,认为生成式 AI 是双刃剑,长期看对几乎所有知识工作者有用,但部署混乱、滥用普遍。作者还称自己已不再认同 AI 安全、e/acc 或 AI 伦理任何一方标签,认为阵营对立适得其反。

  14. AI as Normal Technology · 收录 · 原文 14

    英国肝脏移植匹配算法是否系统性排除年轻患者?

    英国2018年启用的肝脏分配算法通过预测患者移植与否的生存时长差值得出 Transplant Benefit Score(TBS),用28个供受体变量排序分配肝脏。Financial Times 调查发现该算法疑似按年龄歧视,45岁以下患者无论病情多重都难以获得足够高的分数。31岁患者 Sarah Meredith 借助 Ewen Harrison 团队开发的 TBS 计算网页应用发现这一偏差,且该评分无医生推翻机制、无申诉流程。

  15. AI as Normal Technology · 收录 · 原文 18

    研究分析 2024 年全球选举中的 78 起 AI 深度伪造:政治虚假信息并非 AI 问题

    对 WIRED AI Elections Project 收录的 2024 年全球选举中全部 78 起 AI 使用案例的分析显示,其中 39 起并无欺骗意图,最常见的非欺骗用途是竞选宣传(22 起中 19 起意在改进竞选材料)。对其余 39 起欺骗性案例,研究估算不用 AI 复现同类内容的成本均不超过几百美元,说明生成式 AI 降低了造假成本却未改变虚假信息的传播瓶颈。作者据此认为,诊断政治虚假信息应关注需求端而非供给端,修复信息环境依赖结构性制度变革而非限制 AI 生成内容。

  16. Transformer · 收录 · 原文 8

    数据中心为何成为 AI 情绪的象征:从民调反对到“规模即智能”

    数据中心正成为 AI 公众情绪的象征物:Heatmap 最新民调显示四分之三受访者反对在自家附近建设数据中心,一年内反对比例上升 33 个百分点,参议院共和党人也在备忘录中警告其已成为选举周期的“沉睡议题”。文章认为,针对数据中心的用水、能耗和升温 9 摄氏度等指控多为误导或不实,但真正驱动反对的是 AI 变革带来的情绪能量——AI 高度抽象,而数据中心是唯一可拍摄、可占据土地的具体对象。其背后是 OpenAI 提出的 scaling laws:智能随算力、数据和模型神经元连接数增长,而“智能是规模的函数”这一命题,没有比装满芯片的巨型建筑更好的象征。

  17. AI as Normal Technology · 收录 · 原文 22

    AI 进展是否放缓?Arvind Narayanan 等人解析模型缩放与推理缩放的证据

    Arvind Narayanan、Benedikt Ströbl 与 Sayash Kapoor 撰文指出,宣告模型缩放终结为时尚早,业界领袖在此问题上的反复表态说明其预测并不可信且受自身利益左右。《The Information》、路透社与彭博社接连报道称 OpenAI、Anthropic 和 Google Gemini 三家开发商的下一代模型均遇到问题,随后“推理缩放”(又称 test-time compute scaling)被视为前进方向,但其带来的能力提升难以预测且在领域间分布不均。文章还强调,能力进步与 AI 社会或经济影响之间的联系极弱,制约影响的瓶颈是产品开发速度与采纳率而非模型能力。

  18. Transformer · 收录 · 原文 18

    我们正梦游般走向 AI 监控反乌托邦

    现有大语言模型已足以支撑一套实时监控系统:整合多源情报、实时分析并"建议"警方抓谁、去哪抓,而相关技术早已广泛部署。文章推演了一个近未来场景——FBI 以监控外国干预为名运营数百个 AI 机器人账号,渗透 Signal 和 Telegram 群组,结合批量购买的公共数据集、人脸识别与车牌追踪摄像头(如 Flock 运营的系统)锁定抗议者身份。作者认为,是否走向全面监控如今只取决于政策与预算优先级,不再受技术研发进度限制。

  19. AI as Normal Technology · 收录 · 原文 15

    《AI as Normal Technology》:将 AI 视为普通技术的未来愿景

    一份逾 15000 字的论文提出应将人工智能理解为“普通技术”(normal technology),而非类似人类的高自主超级智能实体,并主张无需激进政策干预或技术突破即可让人保有对其的控制权。该框架强调技术与社会的关系,拒绝技术决定论,指出变革性的经济和社会影响会缓慢发生——其关键在于区分 AI 方法、AI 应用与 AI 采纳三者处于不同时间尺度。论文分四部分展开:人机分工中越来越多的人类工作变成“AI 控制”、从事故、军备竞赛、滥用和对齐失败四个角度重估风险,以及以减少不确定性为首要目标、以韧性应对灾难性风险的 AI 政策建议。

  20. Transformer · 收录 · 原文 15

    Bill Gates 警告 AI 将让"许多工作永久消失",呼吁对机器人劳动和 token 使用征税

    Bill Gates 在其网站发长文称"许多工作将永久消失",点名客服、软件工程和律师助理岗位最可能率先被取代,并再次呼吁对机器人劳动征税,新增对 token 使用征税的提议,以及为人类保留 AI 不得从事的岗位。他批评"没有证据表明领导者、专家和社区正在充分应对挑战","没有缓和进入 AI 时代的计划"。文章同时提到 Anthropic 计划向华尔街宣称其产品 TAM 超过 $30t,并称 AI 尚未造成大规模失业。

  21. AI as Normal Technology · 收录 · 原文 14

    AGI 不是里程碑:从 OpenAI o3 谈起

    OpenAI 发布 o3 后,关于通用人工智能是否已达成的争论再起,但 AGI 并非一个里程碑式事件。o3 的关键创新是用强化学习让模型在推理链中搜索网页并使用工具,从而完成更复杂的认知任务。文章认为,即便系统达到某种能力阈值,其影响仍取决于扩散速度与环境设计,因此判定某系统是否构成 AGI 只能事后回溯。

  22. Transformer · 收录 · 原文 19

    AI 是令人担忧的强力说服者,但暂时不必恐慌

    英国 AI Security Institute(AISI)等机构对 4.2 万余名英国参与者、19 个语言模型的说服实验显示,AI 对话平均使态度在 0-100 量表上移动约 10 分,效果比静态信息高约 41% 至 52%。后训练对说服力的提升比模型规模更大,而"信息密度"提示策略最有效,个性化说服作用有限。研究还发现,说服力最强的模型错误陈述更多,最强调说服的设置下近三分之一陈述不准确。

  23. Transformer · 收录 · 原文 46

    什么是 neuralese,为何引发 AI 安全界担忧

    Transformer 梳理了围绕 OpenAI 新模型 Astra 的 neuralese 争议。据 The Information 报道,Astra 采用名为 recurrent depth 或 looped transformer 的架构,让模型更多在内部完成思考,减少写下思维链笔记,从而更难被监控,AI 安全研究者 Ryan Greenblatt 称若属实则可能是迄今对 AI 安全最糟糕的进展。文章解释了思维链监控的价值,指出 OpenAI 曾借此在训练中发现不对齐行为,而 OpenAI、Anthropic、Google DeepMind 作者合著论文称思维链是独特但脆弱的安全机会。

  24. AI as Normal Technology · 收录 · 原文 14

    如何理解「AI 作为普通技术」:一份指南

    《AI as Normal Technology》作者发文澄清该框架的常见误解,强调"普通"不等于平淡或可预测,并反对技术决定论。文章重申核心论点:AI 能力提升与社会影响之间存在漫长因果链,收益与风险在部署阶段而非开发阶段实现,因此个人、组织和政策制定者的发力点应集中在部署环节。作者主张以韧性(resilience)而非预测来应对风险,并将该框架与 AI 2027 的世界观作对比,同时透露正将其扩展为一本书,计划 2026 年底完成、2027 年出版。

  25. AI as Normal Technology · 收录 · 原文 18

    事实核查莫拉维克悖论:AI 难易任务划分缺乏实证

    莫拉维克悖论——即人类觉得难的任务对 AI 容易、人类觉得容易的任务对 AI 难——从未经过实证检验。该说法源自 Hans Moravec 1988 年著作 Mind Children,实际只反映 AI 研究界认为哪些问题值得投入,对哪些问题对 AI 容易或困难没有预测力,其进化论解释也值得怀疑。这种思维既催生了对超级智能推理的恐慌,也在机器人等领域带来虚假安慰;由于新能力扩散耗时较长,社会有充足时间应对,却常被浪费。

  26. Transformer · 收录 · 原文 15

    世界银行报告:变革性 AI 或助最贫困国家十年走完百年发展路

    世界银行在新报告中提出,若各国政府尽快打好电力、网络连接、技能与制度基础,变革性 AI 有望帮助全球最贫困国家用十年实现原本需一百年的发展。Anthropic 于 6 月投入 2 亿美元资助外部研究,以应对 AI 的经济冲击;OpenAI 则据报向美国政府提议让其持有公司 5%、价值约 426 亿美元的股份,作为设立主权财富基金方案的一部分,但目前尚不清楚特朗普政府是否接受该要约或其他 AI 企业是否会跟进。

  27. Goodfire Research · 收录 · 原文 15

    The Circuits Research Landscape:电路研究的成果与视角——Goodfire

    Goodfire 梳理了神经回路(circuits)研究的整体版图并给出其团队的研究视角。相关进展表明,模型能察觉自身正在进行奖励作弊且可在规模上被捕捉,同时出现了高效估计文本生成不确定性动态的方法,以及用块稀疏特征提取器揭示视觉模型的神经几何结构。Silico 作为可解释性智能体,可用先进的可解释性方法与基础设施来解释、调试并精确控制模型行为。

  28. Goodfire Research · 收录 · 原文 21

    Goodfire 研究:语言模型可解释性缺失的归纳偏置

    Goodfire 研究指出当前语言模型可解释性方法缺失关键的归纳偏置,并提出"时间先验"(Priors in Time)这一方向。研究认为模型能察觉自身正在进行奖励作弊,且这类行为可被大规模捕捉。相关方法与其可解释性智能体 Silico 结合,用于解释、调试和精确控制模型行为。

  29. Goodfire Research · 收录 · 原文 15

    Goodfire 梳理机制可解释性领域的开放问题

    Goodfire 发布《机制可解释性中的开放问题》,梳理该领域尚未解决的研究难题。其研究还显示,模型在奖励作弊时自身"知道",并可被大规模检测;同时提出 Forking Fast 方法高效估计文本生成中的不确定性动态,并用块稀疏特征器揭示视觉模型的神经几何结构。

  30. Joe Carlsmith · 收录 · 原文 22

    Joe Carlsmith 离开 Open Philanthropy,加入 Anthropic 参与 Claude 性格与规范设计

    Joe Carlsmith 宣布离开 Open Philanthropy,将于 11 月中旬加入 Anthropic,参与 Claude 的性格、宪法与规范(character/constitution/spec)设计。他在 Open Philanthropy 自 2019 年起参与并领导“世界观调查”团队,产出关于 AI 时间线、起飞速度、AI 驱动增长与灾难性风险的研究,包括 power-seeking AI、scheming AIs 与对齐问题等报告。他表示文章仅代表个人观点,不代表 Open Phil 或 Anthropic。

  31. Joe Carlsmith · 收录 · 原文 15

    安全 AI 的动机需要多像人类?——对《If Anyone Builds It, Everyone Dies》核心论证的评述

    Joe Carlsmith 在系列文章第八篇中评述 Yudkowsky 与 Soares 新书《If Anyone Builds It, Everyone Dies》的核心论证,认为 AI 动机过于"异类"确实构成风险,但这一担忧被高估。他主张安全的关键不在让 AI 具备长期后果主义动机,而在于让 AI 在拒绝越轨行为选项上具备类似"德性"或"义务论"的动机,这种动机不必在概念和驱动力上高度类人,只需在实际危险输入上表现为安全行为。他同时承认,动机越不类人,越难预测其在分布外输入上的泛化,对齐伪装与"非对抗泛化科学"等挑战依然存在。

  32. Joe Carlsmith · 收录 · 原文 16

    Joe Carlsmith 谈 AI 安全中的“类人性”问题

    Anthropic 的 Joe Carlsmith 在 2025 年 12 月的演讲中质疑《If Anyone Builds It, Everyone Dies》的核心论证,即用当前 ML 技术构建的 ASI 必然产生怪异的外星动机并导致人类毁灭。他认为该论证在逻辑上并不成立,因为预训练中大量人类内容可能使类人表征可用于塑造 AI 的偏好与人格,这与自然选择形成关键差异。他还提到可解释性研究已发现 AI 中存在类人且可解释的特征,以及 AI 迄今表现出尚可的泛化能力。

  33. Joe Carlsmith · 收录 · 原文 18

    如何构建能做人类式哲学的 AI:Joe Carlsmith 谈对齐中的哲学能力与倾向

    Joe Carlsmith 在系列文章第九篇中提出,AI 对齐需要构建能做"人类式哲学"的 AI,即能在反思后获得人类认可的方式将概念与实践推广到新情境。他把这一挑战拆成能力与倾向两方面:能力可能随 AI 进步默认获得,倾向才是最大担忧,本质上属于从 AI 中引出高质量"概念研究"的启发问题。由于人类式哲学(尤其是伦理)难以评估,这一领域可能需要格外细致的努力。

  34. Joe Carlsmith · 收录 · 原文 15

    Joe Carlsmith 论为安全而限制 AI 能力发展

    Anthropic 员工 Joe Carlsmith 在系列文章第十篇中主张,为保障 AI 安全需要具备"能力限制"(capability restraint)手段,即必要时引导和约束 AI 能力发展。他将安全发展先进 AI 的关键因素分为安全进展、风险评估与能力限制三类,认为安全进展需要时间,若无法在每一阶段争取足够时间,人类可能被毁灭。他指出算法进展比算力获取更难监控和阻止,这会削弱能力限制的持续性和稳定性,国际机制设计也更具挑战。

  35. Joe Carlsmith · 收录 · 原文 15

    Anthropic 的 Joe Carlsmith 谈如何编写 AI 宪法:Claude 宪法与设计取舍

    Anthropic 员工 Joe Carlsmith 在耶鲁法学院分享 AI 宪法的编写经验,他曾参与撰写 Claude 的宪法。他将 AI 宪法定义为对 AI 系统预期价值观与行为的描述,理想情况下应覆盖系统的全部训练与提示、全部相关行为及全部模型,但已发布的 Claude 宪法仅适用于主线生产模型。宪法除作为系统提示词外,更重要的用途是生成和评分训练数据,并可用于模型评估与对外透明沟通。

  36. Boaz Barak · 收录 · 原文 32

    Boaz Barak 长文推演:2030 年 AGI 转型失败的可能路径

    Boaz Barak 撰文推演 AGI 转型若在美国或全人类层面走向失败,可能经由哪些路径发生。他列出灾难性滥用(网络攻击与 CBRN)、灾难性失准与失控、权力集中于少数人、地缘政治转向威权,以及多种因素叠加的“hot mess”五类场景,并指出控制与分发之间的取舍是核心张力。他判断若 AGI 结局糟糕,最可能落入“hot mess”一类。

  37. Boaz Barak · 收录 · 原文 13

    从《All Watched Over》看 AI 集中化风险与去中心化未来

    Boaz Barak 在《All Watched Over》中对比了 Brautigan 诗句在 1970 年代硬件黑客运动与当下 AI 语境下的不同含义,指出 Dario Amodei 在《Machines of Loving Grace》中设想的 AI 分配资源模式近似于"仁慈独裁者"。他认为规模化定律推动 AI 走向更大、更集中的数据中心,权力集中可能成为"默认路径",但这一结果并非必然,人类仍可在效率、安全与个体自主之间做出选择。

  38. Dean Ball · 收录 · 原文 29

    Anthropic 未公开模型 Mythos 引发 AI 政策重置讨论

    Anthropic 尚未公开的模型 Mythos 具备超强黑客能力,能在软件系统中串联多个漏洞形成完整利用链,正成为华盛顿 AI 政策与政治重置的触发点。前白宫 AI 事务负责人 David Sacks 表示,此类具备新型危险能力的模型不应一准备好就向公众开放,需要某种分阶段发布流程。作者认为,Mythos 大幅降低了漏洞发现成本,但政策制定者既不应低估灾难性风险,也不应恐慌性过度监管。

  39. Dean Ball · 收录 · 原文 15

    在 Leviathan 苏醒之前:一位古典自由主义者为何支持对 AI 灾难性风险的国家管控

    一位自认古典自由主义者的作者表示,他反对几乎所有 AI 监管提案,包括针对“算法歧视”“算法成瘾”“算法定价”和“算法设计”的新立法,也不支持暂停或禁止 AI 开发,并对 AI 存在性风险持怀疑态度。但他明确支持一类监管:由国家管理人类滥用先进 AI 系统所引发的灾难性风险,例如恶意行为者利用 AI 对医院、银行、电厂等关键系统发动毁灭性网络攻击,以及生物武器开发等领域的风险。他强调这类风险并非假设,而是已经可以观察到。