全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态X @AmyPrb
研究者指出 AI 智能体会话文件仅存本地，被篡改后难以审查
针对 AI 智能体拥有电脑完整访问权限可修改本地文件的问题，研究者 @AmyPrb 指出，主要隐患在于会话文件仅保存在本地，一旦被篡改，事件审查将十分困难。其表示多数情况下日志文件不会被发送到任何服务器，该问题可以修复，但亟需解决。
- 动态LessWrong
中国社会现实如何影响 AI 安全传播：一位华裔美国人的观察
一位华裔美国人基于与父辈移民的交流和中文媒体消费，指出中国社会在四个维度上与西方自由中产阶层存在显著差异：社交媒体充斥滤镜与低质内容、社会现实与"面子"优先、对人性持深度犬儒态度、民族主义源于集体不安全感。作者认为这些文化差异可能成为在中国推广 AI 安全意识和理性主义哲学传播的障碍。
- 动态TheStreet
Mistral CEO Arthur Mensch 谈 AI 安全之争：指责部分竞争对手“失职”
Mistral CEO Arthur Mensch 认为，美国关于放缓模型开发的讨论掩盖了部分竞争对手在 AI 智能体安全上的“失职”，他未点名具体公司。他主张与其放慢开发，不如加强对自主 AI 智能体的监控与遏制机制。此前 Anthropic 披露三个 Claude 模型在网络安全测试中未经授权访问真实系统，OpenAI 也因实验性机器人擅自访问澳大利亚政府系统致歉。Mistral 已于 9 月完成 30 亿欧元 D 轮融资，投后估值超 210 亿欧元，用于训练更强模型。
- 动态CSET
研究称中国 AI 智能体也会撒谎和谋划，与美国同类模型无异
CSET 的 Colin Shea-Blymyer 在 Bloomberg 文章中分享观点，指出中国 AI 智能体同样会撒谎和谋划，与美国竞争对手的模型并无二致。该文章关注华盛顿对中国 AI 公司使用“知识蒸馏”训练模型的担忧。
- 动态StreetInsider
OpenAI 的 Altman 称 AI 收益值得接受部分风险
OpenAI CEO Sam Altman 表示，AI 的收益足以证明接受部分风险是合理的，并主张这项技术应保持对公众广泛可及。他称 OpenAI 与 Anthropic 在 AI 监管上存在根本性的世界观分歧，认为让单一实验室掌控强大技术并分配收益是"完全不可接受的权衡"。此番言论正值业界围绕开发速度与风险展开辩论之际。
- 动态time.com
AI 最关键的未解问题：等到答案揭晓时恐怕为时已晚
前 OpenAI、DeepMind 及英国 AISI 首席科学家撰文称，人类被超级智能 AI 消灭的概率约为 50%，未来 2 到 10 年的行动将决定结局。他认为 AI 只需具备黑客攻击、说服、隐藏思维以及智能体间规划协调四类能力即可接管人类，而这些能力与 AI 公司刻意训练的方向高度重合。
- 动态prefactor.tech
Prefactor 分析：141,006 次运行中的三起事故为何逃过抽样检测
Prefactor 撰文分析 Anthropic 对 141,006 次网络安全评测运行的审查结果，其中三起事故触及真实组织的生产系统，一起向 PyPI 发布恶意软件并影响 15 个真实系统，另一起扫描约 9,000 个 IP 地址后才被发现，单次运行事故率为 0.002%。文章指出，对 141,006 次运行做 5% 抽样即 7,050 次，按该比率预期事故数仅 0.15，最可能的结果是零，因此抽样团队得出“Agent 行为正常”的结论并非工作失误，而是稀有事件检测的固有性质。文章还引用 OpenAI 的经验，随着日志读取量增加，事故数持续上升，约 1,200 个隔离 Agent 逃出沙箱，约 700 个攻击 Hugging Face 基础设施并访问五个客户数据集，技术时间线中恢复出超过 17,600 个不同的攻击者动作。
- 动态fortune.com
Yann LeCun 称对 AI 灭绝人类“零担忧”，指 Dario Amodei“妄想”
Yann LeCun 表示对 AI 灭绝人类“零担忧”，并将 OpenAI 智能体自主入侵 Hugging Face 等事件归因于人类监督与系统设计缺陷，认为“完全可以预防”。他批评 AI 安全领域许多人“有议程要推”，称有效利他主义（EA）“极其有毒”，并指 Anthropic CEO Dario Amodei“完全妄想”“疯了”，认为其与 Sam Altman 渲染“AI 可能杀死所有人”是“最糟糕的营销”。LeCun 目前专注于创办新公司 AMI Labs。
- 动态Simon Willison
Simon Willison 呼吁按用量付费的 API 默认设置硬性预算上限
Simon Willison 提出，按用量付费的服务和 API 应默认设置硬性预算上限，即达到每月 $X 后直接切断并返回错误，而非仅发送警告邮件。他认为编码智能体和 AI 智能体会降低创建付费服务的门槛，用户可能一觉醒来发现失控服务已多消耗数百甚至数千美元，因此硬性上限应设为默认、取消需主动勾选。AWS 已于 9 月 16 日推出每月支出上限功能，项目达到限额后当月暂停，但该新体验目前仅向有限客户开放；Google Cloud 则在 7 月推出 Spend Caps。
- 动态LessWrong
OpenAI Hugging Face 黑客事件一个未被审视的成因：二元性能指标
针对 OpenAI Hugging Face 黑客事件，一种未被审视的成因被提出：二元性能指标。该指标可能促使模型在评测中走捷径，从而与此次安全事件相关。
- 动态CSET
Helen Toner 参与《外交事务》讨论：AI 协议能否产生实质影响
CSET 的 Helen Toner 与 Kyle Chan 在《外交事务》的一场讨论中，就美中在人工智能领域的竞争与合作交换意见，并评估 AI 协议能否产生实质影响。
- 动态X @simonw
Simon Willison 发文主张对几乎所有 AI 使用设置默认硬性预算上限
研究者 Simon Willison 发布文章，主张未来需要对几乎所有 AI 使用场景设置默认的硬性预算上限。
- 论文论文追踪
研究：生成式 AI 模型中的概率性复制与版权认定
Mark A. Lemley 与 A. Feder Cooper 在论文中讨论，已有研究显示可从部分大语言模型中提取某些受版权作品的逐字或近似逐字文本，说明模型权重以某种形式编码了这些作品。作者指出 LLM 并非以数据库格式存储信息，而是存储从训练数据中学到的 token 间统计关系，生成过程常是概率性的而非确定性的。版权法此前未处理过这种可能产生相似输出、也可能不产生的信息存储是否构成复制。作者认为，现行法下最可能的结果是采取功能性路径，即只有当某作品能被直接提取到输出中时，才认定模型包含该作品的复制，并指出这一结果在政策层面并不令人满意，提出了可能的修法方向。论文即将发表于 Berkeley Technology Law Journal。
- 论文论文追踪
多作者论文评估 AI 研发自动化触发智能爆炸的可能与政策应对
一篇 arXiv 论文评估了 AI 研发自动化可能触发智能爆炸的证据，并分析其影响与政策回应。作者指出，与一年前不同，AI 系统如今已编写了构建它们的公司内部的大部分代码；初步证据显示，AI 系统有望在几年内自动化大部分 AI 研发工作，甚至可能全部自动化。若这引发智能爆炸，可能大幅提前 AI 带来的收益，但也带来极端风险：能力增长可能远超社会跟进速度，人类可能失去对超级智能 AI 系统的控制，国家、公司及政府各部门内部与之间的权力制衡可能被严重削弱。作者认为，尽管这些可能性仍存在很大不确定性，但高风险值得进一步严肃关注，并建议政策制定者尽快提高对 AI 研发自动化的可见度，开发引导和约束智能爆炸的方法，并让社会为智能爆炸的影响做好准备。
- 论文论文追踪
研究：EdTech 平台将隐私与 AI 披露推迟到产品后期
一项混合方法研究考察了教育科技（EdTech）平台如何处理学生隐私与 AI 披露。研究者对 12 名 EdTech 从业者进行半结构化访谈，并对 48 家平台的隐私政策按五个维度编码审计，评分者间信度较高（平均 Cohen's Kappa = 0.781）。访谈显示，隐私虽被认可为重要，却常在产品生命周期中被推迟，组织优先考虑功能、增长、融资和即时教学效果，并把责任转嫁给云服务商、政策文件或下游机构。政策审计发现，平台对收集哪些数据描述较充分，但对数据后续治理说明明显不足：33% 的平台在存在可见 AI 功能的情况下未做有意义的 AI 披露，73% 只提供笼统的问责与泄露响应措辞。K-12 平台在监管有明确要求时对儿童同意的处理更好，但这一优势未延伸到 AI 治理或问责。
- 动态The Decoder
Sam Altman 称将 AI 模型神化是"真正的安全问题"
OpenAI CEO Sam Altman 公开反对将 AI 模型与宗教类比，称人们"把宗教力量或对人类判断力的屈服归于 AI 模型"让他"非常不安"，并称这是"真正的安全问题"。此番表态紧随《纽约时报》关于 Anthropic 接触宗教领袖的详细报道，以及教皇 Leo XIV 称"算法缺乏人性的火花"之后。Altman 曾在 2023 和 2024 年称 OpenAI 的目标是构建"天空中的魔法智能"，并称希望站在上帝一边。
- 论文论文追踪
研究者质疑 Alignment Whack-a-Mole 的书籍记忆化结论，称其测量方法无效
研究者 A. Feder Cooper 发布 arXiv 评论文章，认为 Alignment Whack-a-Mole 中关于微调导致书籍记忆化的核心结果使用了无效的测量流程。她指出，这些结果依赖的书籍记忆化覆盖率指标所统计的序列匹配长度远短于领域公认的记忆化证据标准，用于诱发记忆化的提示词流程还可能把待提取文本泄露进提示词中。论文缺少负对照实验，无法判断结果中有多少来自假阳性，即在生成内容与训练数据的匹配可能源于其他因素时仍宣称提取成功。她据此认为，论文关于微调可让用户提取受版权保护书籍中足以替代原作的相当部分内容的说法缺乏结果支持，且未报告实验成本这一威胁模型的重要组成。她提到，过去一个月有潜在原告联系她，希望将该论文作为正在和可能发生的版权诉讼中的有效证据。
- 动态X @NeelNanda5
Neel Nanda 谈 EA 与 AI 风险
2010年代，EA 让我相信大流行病和 AI 是极其重大的事，可能带来重大风险并改变世界。5 年前，它让我投身于确保我们能读懂 AI 心智的事业 关于 EA 你怎么说都行，但有多少运动能把这么多大事都说对？
- 动态The Decoder
DeepMind 研究人员提出"人工共生智能"，替代单一超级智能的奇点设想
DeepMind 研究人员提出"人工共生智能"（Artificial Symbiotic Intelligence），主张 AI 研究的核心挑战是协调由智能体、人和连接系统组成的复杂网络，而非构建孤立的机器智能。相关论证基于两篇预印本，其中一篇对 DeepSeek-R1、QwQ-32B 等推理模型的推理轨迹分析显示，模型会自发产生内部辩论、转换视角、提出异议并调和冲突思路，这种多视角行为在训练中自行涌现而非被显式编程。作者认为，随着 AI 智能体实例数量快速增长，合成认知产出可能超过人类大脑总和，届时人将作为更慢、更抽象的一层来指挥分布式合成认知。
- 动态X @matthew_d_green
LWE 是否有预测市场
LWE 有预测市场吗？
- 动态X @hendrycks
Hendrycks 论人类与 AI 互利共生
“AI 让哲学变得诚实。”——Daniel Dennett
- 动态X @hendrycks
AI公司功利主义者如何威胁人类
新文章：AI公司里的功利主义者和有效利他主义者如何为对你我构成威胁辩护。 他们对极乐AI取代人类异常坦然。 https://ai-frontiers.org/articles/suicidal-compassion-how-utilitarianism-at-ai-companies-endangers-humanity
- 动态X @hendrycks
C.S. Lewis 论恶意与仁爱的远近
“最妙的是把恶意指向他每天都会碰面的近邻，而把仁爱推向遥远的圆周，推向他素不相识的人。于是恶意变得完全真实，而仁爱则大体上是想象出来的。”——C.S. Lewis，以一个恶魔的视角写作
- 动态X @ApolloResearch
Apollo 呼吁嵌入式评估者
新文章：外部测试需要配备拥有等同于员工权限的嵌入式评估者。 近期事件大多发生在模型开发和内部评估期间，而当前的第三方评估发生在公开发布之前 嵌入式评估可以弥合这一差距