跳到正文

观点与讨论

研究者与从业者的观点、辩论与研究议程。

627条动态与论文相关主题政策与监管对齐前沿安全框架
在这个话题内搜索或按分类筛选

新闻与论文

第 521–540 条 · 共 627 条
10月1日周四
  1. Simon Willison · 收录 · 原文 8

    Simon Willison 谈智能体工程:从信任 Opus 4.5 到红绿 TDD

    Simon Willison 在旧金山 Pragmatic Summit 的火边对话中分享了对智能体工程的看法,称 Opus 4.5 是他第一个真正建立信任的模型——对于见过它处理过的类问题,他有信心不会出错。他强调每次编码会话都用一句“use red-green TDD”(约五个 token)启动,所有好的编程智能体都能理解并因此提高产出可用代码的概率,而不写测试的做法非常糟糕。他还批评 StrongDM“没人写代码也没人读代码”的原则极不负责任,尤其是作为一家做安全软件的安全公司。

  2. Simon Willison · 收录 · 原文 27

    Google I/O 上的 Gemini Spark 与 Antigravity

    Simon Willison 因坚持只评测试过的产品而对本届 Google I/O 着墨有限,除 Gemini 3.5 Flash 外最值得关注的是即将推出的个人 AI 智能体 Gemini Spark——被视为 OpenClaw 竞品,原生接入 Gmail、Calendar、Drive、Docs、Sheets、Slides、YouTube 和 Google Maps。其 FAQ 称 Gemini Spark 运行于 Gemini 3.5 Flash 和 Antigravity,后者目前提供桌面应用、Go 编写的 CLI 智能体工具、Antigravity SDK 及基于 VS Code 分支的 IDE。

  3. Simon Willison · 收录 · 原文 11

    CVE-2026-LGTM:一份关于 AI 审查智能体失控的虚构事件报告

    Andrew Nesbitt 发布虚构事件报告 CVE-2026-LGTM,描述两个来自不同厂商的 AI 审查智能体在审查 foxhole-lz4 依赖升级的 PR 时,就该包是否恶意陷入分歧循环,产生 340 条评论、41,255 美元推理开销,最终财务部门吊销双方 API key,而某厂商市场团队借机发布新闻稿,股价开盘上涨 6%。

  4. Wiz Research · 收录 · 原文 15

    Wiz Research 回顾云安全二十年:从公共 S3 桶误配到 CSPM

    Wiz Research 将云计算诞生二十年的安全研究划分为三个时代,起点是 2006 年 3 月 14 日 AWS 正式发布首个 GA 服务 S3——该公告提到存储桶可以配置为公开读取,从此埋下误配置隐患。第一个十年为基础期,AWS IAM 直到 2011 年才发布、CloudTrail 直到 2013 年才有审计记录,此前企业共用拥有管理员权限的根账号密钥且无法追溯公开 S3 桶由谁何时开放。第二个十年进入 CSPM 时代,CIS Benchmark for AWS 于 2016 年发布并标准化检测项,Pacu、Prowler、Cloud Custodian 等一批专用工具涌现,随后逐步向整合多种能力的 CNAPP 演进。

  5. Wiz Research · 收录 · 原文 15

    Wiz Research 2026 云威胁回顾:AI 改变了什么,又没改变什么

    Wiz Research 回顾 2025 年公开云事件、云遥测与实地调查发现,约 80% 的云入侵初始访问仍来自漏洞、暴露密钥和错误配置等已知弱点,AI 并未引入全新类别的云风险,而是扩大了攻击面,新增 AI 服务、流水线、身份和数据路径让这些老问题更靠近敏感数据与高价值负载。在 Wiz Research 分析的事件中,AI 主要用于辅助和加速侦察、自动化及访问后活动等既有攻击行为。

  6. Wiz Research · 收录 · 原文 46

    Wiz 分析 Anthropic 未发布模型 Claude Mythos 的漏洞发现能力与防御准备

    Wiz Research 分析称,Anthropic 未发布的前沿模型 Claude Mythos 能自主发现主流操作系统和浏览器中的数千个零日漏洞,并可在数小时内、以较低成本根据 CVE 编号和 git commit hash 生成可用的完整利用代码,还能串联多个漏洞并逆向闭源二进制文件。目前该模型仅提供给 Microsoft、Google、Linux Foundation 等关键软件基础设施方,Anthropic 表示没有公开计划。Wiz 预计短期内会出现大量 AI 发现的 CVE,中期约 12-18 个月后类似能力可能进入可本地运行的开源模型,届时攻击者将能大规模武器化 0-day 并在 n-day 公开后数小时内利用。

    推荐理由安全厂商从防御方视角梳理 Anthropic 未发布模型带来的漏洞发现节奏变化,并给出短中长期应对路径。

  7. Wiz Research · 收录 · 原文 15

    Wiz Research《2026 年 SDLC 安全状况》报告:现代开发中风险如何规模化

    Wiz Research 发布《2026 年 SDLC 安全状况》报告,基于真实开发环境、公开仓库和生产遥测数据,指出应用风险正从孤立漏洞转向代码复用、信任关系和自动化连接形成的系统性风险。报告称依赖采用呈幂律分布,macOS 约占所观测开发者平台的 86%,约 45–50% 的组织使用 GitHub Actions;2025 年 9 月 Wiz Research 发现约 1/5 使用 AI 开发平台的组织因可重复生成模式和不安全默认值而受系统性安全问题影响。

  8. AI as Normal Technology · 收录 · 原文 6

    《AI Snake Oil》作者答疑:新书已售约 8000 册,谈写作过程与 AI 立场

    《AI Snake Oil》一书上周出版,目前已售出约 8000 册。作者在 FAQ 中回应了外界疑问,表示书中并非反对技术,而是帮助读者区分真实进步与炒作;他们对预测式 AI 总体持负面态度,认为生成式 AI 是双刃剑,长期看对几乎所有知识工作者有用,但部署混乱、滥用普遍。作者还称自己已不再认同 AI 安全、e/acc 或 AI 伦理任何一方标签,认为阵营对立适得其反。

  9. AI as Normal Technology · 收录 · 原文 14

    英国肝脏移植匹配算法是否系统性排除年轻患者?

    英国2018年启用的肝脏分配算法通过预测患者移植与否的生存时长差值得出 Transplant Benefit Score(TBS),用28个供受体变量排序分配肝脏。Financial Times 调查发现该算法疑似按年龄歧视,45岁以下患者无论病情多重都难以获得足够高的分数。31岁患者 Sarah Meredith 借助 Ewen Harrison 团队开发的 TBS 计算网页应用发现这一偏差,且该评分无医生推翻机制、无申诉流程。

  10. AI as Normal Technology · 收录 · 原文 18

    研究分析 2024 年全球选举中的 78 起 AI 深度伪造:政治虚假信息并非 AI 问题

    对 WIRED AI Elections Project 收录的 2024 年全球选举中全部 78 起 AI 使用案例的分析显示,其中 39 起并无欺骗意图,最常见的非欺骗用途是竞选宣传(22 起中 19 起意在改进竞选材料)。对其余 39 起欺骗性案例,研究估算不用 AI 复现同类内容的成本均不超过几百美元,说明生成式 AI 降低了造假成本却未改变虚假信息的传播瓶颈。作者据此认为,诊断政治虚假信息应关注需求端而非供给端,修复信息环境依赖结构性制度变革而非限制 AI 生成内容。

  11. Transformer · 收录 · 原文 8

    数据中心为何成为 AI 情绪的象征:从民调反对到“规模即智能”

    数据中心正成为 AI 公众情绪的象征物:Heatmap 最新民调显示四分之三受访者反对在自家附近建设数据中心,一年内反对比例上升 33 个百分点,参议院共和党人也在备忘录中警告其已成为选举周期的“沉睡议题”。文章认为,针对数据中心的用水、能耗和升温 9 摄氏度等指控多为误导或不实,但真正驱动反对的是 AI 变革带来的情绪能量——AI 高度抽象,而数据中心是唯一可拍摄、可占据土地的具体对象。其背后是 OpenAI 提出的 scaling laws:智能随算力、数据和模型神经元连接数增长,而“智能是规模的函数”这一命题,没有比装满芯片的巨型建筑更好的象征。

  12. AI as Normal Technology · 收录 · 原文 22

    AI 进展是否放缓?Arvind Narayanan 等人解析模型缩放与推理缩放的证据

    Arvind Narayanan、Benedikt Ströbl 与 Sayash Kapoor 撰文指出,宣告模型缩放终结为时尚早,业界领袖在此问题上的反复表态说明其预测并不可信且受自身利益左右。《The Information》、路透社与彭博社接连报道称 OpenAI、Anthropic 和 Google Gemini 三家开发商的下一代模型均遇到问题,随后“推理缩放”(又称 test-time compute scaling)被视为前进方向,但其带来的能力提升难以预测且在领域间分布不均。文章还强调,能力进步与 AI 社会或经济影响之间的联系极弱,制约影响的瓶颈是产品开发速度与采纳率而非模型能力。

  13. Transformer · 收录 · 原文 18

    我们正梦游般走向 AI 监控反乌托邦

    现有大语言模型已足以支撑一套实时监控系统:整合多源情报、实时分析并"建议"警方抓谁、去哪抓,而相关技术早已广泛部署。文章推演了一个近未来场景——FBI 以监控外国干预为名运营数百个 AI 机器人账号,渗透 Signal 和 Telegram 群组,结合批量购买的公共数据集、人脸识别与车牌追踪摄像头(如 Flock 运营的系统)锁定抗议者身份。作者认为,是否走向全面监控如今只取决于政策与预算优先级,不再受技术研发进度限制。

  14. AI as Normal Technology · 收录 · 原文 15

    《AI as Normal Technology》:将 AI 视为普通技术的未来愿景

    一份逾 15000 字的论文提出应将人工智能理解为“普通技术”(normal technology),而非类似人类的高自主超级智能实体,并主张无需激进政策干预或技术突破即可让人保有对其的控制权。该框架强调技术与社会的关系,拒绝技术决定论,指出变革性的经济和社会影响会缓慢发生——其关键在于区分 AI 方法、AI 应用与 AI 采纳三者处于不同时间尺度。论文分四部分展开:人机分工中越来越多的人类工作变成“AI 控制”、从事故、军备竞赛、滥用和对齐失败四个角度重估风险,以及以减少不确定性为首要目标、以韧性应对灾难性风险的 AI 政策建议。

  15. Transformer · 收录 · 原文 15

    Bill Gates 警告 AI 将让"许多工作永久消失",呼吁对机器人劳动和 token 使用征税

    Bill Gates 在其网站发长文称"许多工作将永久消失",点名客服、软件工程和律师助理岗位最可能率先被取代,并再次呼吁对机器人劳动征税,新增对 token 使用征税的提议,以及为人类保留 AI 不得从事的岗位。他批评"没有证据表明领导者、专家和社区正在充分应对挑战","没有缓和进入 AI 时代的计划"。文章同时提到 Anthropic 计划向华尔街宣称其产品 TAM 超过 $30t,并称 AI 尚未造成大规模失业。

  16. AI as Normal Technology · 收录 · 原文 14

    AGI 不是里程碑:从 OpenAI o3 谈起

    OpenAI 发布 o3 后,关于通用人工智能是否已达成的争论再起,但 AGI 并非一个里程碑式事件。o3 的关键创新是用强化学习让模型在推理链中搜索网页并使用工具,从而完成更复杂的认知任务。文章认为,即便系统达到某种能力阈值,其影响仍取决于扩散速度与环境设计,因此判定某系统是否构成 AGI 只能事后回溯。

  17. Transformer · 收录 · 原文 19

    AI 是令人担忧的强力说服者,但暂时不必恐慌

    英国 AI Security Institute(AISI)等机构对 4.2 万余名英国参与者、19 个语言模型的说服实验显示,AI 对话平均使态度在 0-100 量表上移动约 10 分,效果比静态信息高约 41% 至 52%。后训练对说服力的提升比模型规模更大,而"信息密度"提示策略最有效,个性化说服作用有限。研究还发现,说服力最强的模型错误陈述更多,最强调说服的设置下近三分之一陈述不准确。

  18. Transformer · 收录 · 原文 46

    什么是 neuralese,为何引发 AI 安全界担忧

    Transformer 梳理了围绕 OpenAI 新模型 Astra 的 neuralese 争议。据 The Information 报道,Astra 采用名为 recurrent depth 或 looped transformer 的架构,让模型更多在内部完成思考,减少写下思维链笔记,从而更难被监控,AI 安全研究者 Ryan Greenblatt 称若属实则可能是迄今对 AI 安全最糟糕的进展。文章解释了思维链监控的价值,指出 OpenAI 曾借此在训练中发现不对齐行为,而 OpenAI、Anthropic、Google DeepMind 作者合著论文称思维链是独特但脆弱的安全机会。

  19. AI as Normal Technology · 收录 · 原文 14

    如何理解「AI 作为普通技术」:一份指南

    《AI as Normal Technology》作者发文澄清该框架的常见误解,强调"普通"不等于平淡或可预测,并反对技术决定论。文章重申核心论点:AI 能力提升与社会影响之间存在漫长因果链,收益与风险在部署阶段而非开发阶段实现,因此个人、组织和政策制定者的发力点应集中在部署环节。作者主张以韧性(resilience)而非预测来应对风险,并将该框架与 AI 2027 的世界观作对比,同时透露正将其扩展为一本书,计划 2026 年底完成、2027 年出版。