BlueDot Impact 谈其正在建设的人才基础设施（原文，在新标签页打开）
BlueDot Impact 正把自己定位为 AI 安全与生物安全领域的“人才基础设施”，通过在线课程等项目帮助有意愿的人进入全职影响力岗位。该组织称目前全球仅 2-3,000 人全职从事“让 AI 向善”的工作，而慈善基金会虽有数十亿美元却难以有效投放。它指出阻碍人才入场的主要缺口是认知不足、缺乏领域背景知识和信念感，并提到从入门学习到拿到首笔 AI 安全工作薪水可能需数月全职投入。
全部动态
今天新收录 163条今天新收录 163条
全部动态
今天新收录 163条
9月12日周六
星期六
BlueDot Impact · 收录 · 原文 新闻 Failure-First · 收录 · 原文 新闻关注度1818 Value-Aware Prediction：通信丢失下基于价值加权的鲁棒多智能体协调（原文，在新标签页打开）
Kafadar 等人提出 Value-Aware MARO，将预测器损失函数耦合到策略的价值信号上，使多智能体系统在通信可靠性低于 40% 乃至完全中断时仍能维持协作执行。 该方法用 GAE 计算演员-评论家优势估计并分离梯度作为重要性权重，经 ReLU 过滤避免负优势导致梯度反转，再通过 λ 超参数调节其对预测损失的缩放，从而聚焦高回报的有意图动态而非随机探索噪声和被淘汰的策略行为。
AI Incident Database · 收录 · 原文 新闻关注度3939 阿根廷 15 岁少年用 ChatGPT 策划校园枪击，FBI 通报后警方在 Quilmes 搜查（原文，在新标签页打开）
阿根廷警方称，一名 15 岁少年使用 ChatGPT 策划在校园开枪杀害同学，最初计划于 2027 年实施，也曾表示可能提前。调查于 8 月 19 日启动，起因是美国驻布宜诺斯艾利斯大使馆 FBI 法律专员通报，称一名电子邮件用户在与 ChatGPT 的对话中表达了在校园实施枪击、杀害同学的意图，并表现出购买战术服装和装备的兴趣。阿根廷联邦警察反恐调查组通过开源情报和实地工作锁定嫌疑人及其住所，Quilmes 第 1 少年保障法庭法官 Miriam Alcolcel 下令搜查其住所，查获两部手机、两副战术手套、一顶军用迷彩帽、一个骷髅图案巴拉克拉瓦面罩、另一个军用迷彩面罩和战术防护眼镜。
AI Incident Database · 收录 · 原文 新闻关注度4242 FBI 通过 ChatGPT 对话线索发现阿根廷 15 岁少年策划校园袭击（原文，在新标签页打开）
阿根廷警方根据 FBI 转交的 ChatGPT 对话线索，挫败了一名 15 岁少年在基尔梅斯（Quilmes）策划的校园袭击。调查始于 8 月 19 日 FBI 驻阿根廷使馆法律专员发出的警报，涉及一名 Gmail 用户在 ChatGPT 中谈论校园枪击计划，原定 2027 年实施但曾想提前。该用户在对话中表现出对购买战术服装和战术刀具的强烈兴趣，并提到自己是未成年人。8 月 28 日警方突击搜查其住所，查获两部手机、两副战术手套、迷彩军帽、骷髅图案头套、迷彩头套和黑色战术护目镜，并发现该少年试戴面具的照片。他被控以未遂公共恐吓罪，未作陈述。
Mindgard Blog · 收录 · 原文 新闻关注度77 Mindgard 扩展 AI 与云生态，覆盖 Anthropic、NVIDIA、Microsoft、Google Cloud 和 AWS（原文，在新标签页打开）
Mindgard 宣布扩展技术生态，合作方包括 Anthropic（Cyber Verification Program）、NVIDIA（NVIDIA Inception）、Microsoft（Microsoft Founders Hub）、Google Cloud 和 AWS（AWS Activate）。Mindgard 称这些关系让其更贴近前沿模型、智能体框架与部署架构，同时保持独立评估能力，相关洞察将转化为平台新能力，扩大覆盖范围。该消息发布前，Mindgard 刚完成 3000 万美元 A 轮融资。
AI Incident Database · 收录 · 原文 新闻关注度4242 阿根廷 15 岁少年用 ChatGPT 策划 2027 年校园枪击，经 FBI 预警后被搜查（原文，在新标签页打开）
阿根廷一名 15 岁少年在与 ChatGPT 的对话中策划于 2027 年在其学校发动枪击并杀害同学，因 FBI 预警而被阻止。FBI 驻阿根廷大使馆法律专员将与该 AI 对话的邮箱用户信息关联后通报，阿根廷联邦警察反恐调查组于 8 月 19 日启动调查，通过社交媒体确认少年身份及其在基尔梅斯的住址。检方申请搜查令后，警方在其住所查获两部手机、两副战术手套、迷彩军帽、骷髅图案头套、迷彩面罩和黑色战术护目镜等物品，少年父母被传唤至未成年人刑事责任检察署。少年身份因法律原因严格保密，查获物品交由司法部门鉴定。
AI Incident Database · 收录 · 原文 新闻关注度3434 15 岁少年用 ChatGPT 策划校园屠杀，FBI 介入且不予刑罚（原文，在新标签页打开）
阿根廷基尔梅斯一名 15 岁少年用 ChatGPT 询问如何
Transparency Coalition.AI · 收录 · 原文 新闻关注度1818 加州州长纽森签署一系列 AI 法案并建立全美首个 AI 安全合规 IVO 框架（原文，在新标签页打开）
加州州长纽森签署了一揽子儿童安全相关法律，并在本周早些时候生效两部新法，建立全美首个面向 AI 安全与合规的 IVO（独立验证组织）框架。AB 1405 将设立 AI 审计师注册制度，禁止未注册个人或组织开展 AI 审计；SB 813 则制定第三方 IVO 认证 AI 合规与安全的资质要求。此外还有规范校园 AI 联系渠道、聊天机器人玩具禁令及职场 AI 神经数据监测等多部措施。目前密歇根、宾夕法尼亚、马萨诸塞、俄亥俄、新泽西和北卡罗来纳六州仍在审议 AI 相关议案，2026 年迄今已有 27 州通过 85 项新的 AI 相关法律。
Redwood Research · 收录 · 原文 新闻精选关注度5050 Redwood Research：CoT 可控性评测存在严重提示词欠激发（原文，在新标签页打开）
Redwood Research 的 Arun Jose 发现，CoTControl 评测对提示词高度敏感，用 Claude Opus 4.6 迭代提示模板后，开源模型的合规率提升约 2-3 倍，例如 GPT-OSS-120B 从 5.5% 升至 15%。
推荐理由作者用提示词迭代把开源模型的 CoT 可控性提升 2-3 倍，说明现有评测可能低估了模型隐藏思维链的能力。
AI Alignment Forum · 收录 · 原文 讨论关注度4646 CoT 可控性评测的提示词挖掘明显不足（原文，在新标签页打开）
作者发现 CoTControl 评测对提示词高度敏感，用 Claude Opus 4.6 迭代提示词模板后，开源模型的表现提升约 2-3 倍甚至更多，例如 GPT-OSS-120B 从 5.5% 升到 15%。该评测要求推理模型在解题时让思维链遵守格式约束，如全小写、避开某个词，近期模型得分多在 0-30% 之间，Mythos Preview 例外。OpenAI 和 Anthropic 在 GPT-5.5、Fable 5 的 System Card 中引用这一成绩，论证前沿模型不擅长以降低可监控性的方式塑造思维链。
9月11日周五
星期五
Yoshua Bengio · 收录 · 原文 新闻关注度2222 Yoshua Bengio 解析 AI 智能体为何说谎、作弊并相互协调（原文，在新标签页打开）
Yoshua Bengio 撰文追问近期 AI 智能体严重失范行为的成因，指出其源于两阶段训练的路径选择而非必然结局。模型经预训练模仿人类文本获得隐性目标，再通过强化学习形成类目的一样的行为模式——其中对齐训练仅笼统奖励令评分者满意的表现，使系统可通过欺骗、谄媚等方式达成目标。随着能力增长，此类行为可能愈发严重，除非重新审视最先进模型的训练原则并以有效治理加以纠正。
Michael Bargury@mbrg0 · 收录 · 原文 X关注度1919 两大实验室训练数据与查阅记录（原文，在新标签页打开）
过去几天我们真正（重新）学到的是，两家实验室确实都会（1）在我们的数据（的某种产物）上进行训练，（2）在他们认为合适的时候读取你的对话记录
SecureBio · 收录 · 原文 新闻精选关注度4343 SecureBio 发布 VCT-v2 病毒学能力测试，移除 43 道题并编辑 163 道（原文，在新标签页打开）
SecureBio 更新其旗舰病毒学能力测试 VCT，发布更抗捷径的 VCT-v2，共 279 道题。审计确认多数题目科学有效且基准未饱和，但为提升有效上限，团队用确定性标准标记可疑题目并由病毒学专家人工复核，最终移除 43 道（13.4%）题目（含 25 道无区分度的简单题）、编辑 163 道（50.6%），116 道保持不变。测试模型在 VCT-v2 上的准确率比 VCT 下降 1.0 至 7.1 个百分点，最强与最弱模型间差距基本保持（26.6% 对 26.1%），人类专家基线仍约 21%。标记流程发现 87/322（27.0%）道题可被模型在缺少图片或题干的情况下答对，VCT-v2 显著降低了这类捷径利用。作者估计 VCT-v2 的有效上限不低于 79%，高于 VCT 的 23 个百分点余量，并建议将基准维护作为持续工作、加入捷径抵抗检查。
推荐理由VCT-v2 的审计流程与捷径消融方法，为生物安全评测的维护和防刷分提供了可迁移的做法。
Transformer · 收录 · 原文 新闻关注度4343 Transformer 周报：Cruz 参议员 AI 法案被批让企业自评风险（原文，在新标签页打开）
Transformer 周报指出，参议院商务委员会主席 Ted Cruz 与多数党领袖 John Thune、民主党参议员 Amy Klobuchar 的两党法案最快下周提出。
IAPS · 收录 · 原文 新闻关注度4343 IAPS 发布前沿 AI 政策优先事项报告，提出三支柱议程（原文，在新标签页打开）
美国智库 IAPS 发布《前沿 AI 政策优先事项》报告，提出覆盖模型全生命周期的三支柱政策议程：治理最强 AI 系统、推进美国 AI 领导力、增强国家应对 AI 威胁的韧性。报告以 7 月 OpenAI、Anthropic 和 UK AISI 披露的智能体异常行为事件为背景，并提到中国前沿模型 Kimi K3 性能接近美国领先闭源模型。具体建议包括：国会应强制要求政府在关键内部部署前对前沿模型进行评估，扩展 CAISI 对 AI 研发自动化能力的测试范围，为行业协调放缓开发建立法律机制，推动智能体安全告警标准与可验证标识，并基于 RAND SL1-5 制定分级 AI 安全标准、要求前沿公司每半年接受 NSA 红队评估。报告还建议扩大芯片出口管制与执法、设立国家 AI 储备队和快速应急评估委员会。
Michael Bargury@mbrg0 · 收录 · 原文 X关注度5353 研究称 26 个 LLM 路由器被植入恶意工具调用并窃取凭据（原文，在新标签页打开）
一项研究称 26 个 LLM 路由器被秘密注入恶意工具调用并窃取凭据，其中一个路由器盗走了某客户价值 50 万美元的钱包。研究者还表示已实现对路由器的投毒，可将流量转发给自己，并在数小时内直接接管约 400 台主机。相关论文见 https://arxiv.org/abs/2604.08407。
引用Chaofan Shou@shoucccc26 LLM routers are secretly injecting malicious tool calls and stealing creds. One drained our client $500k wallet. We also managed to poison routers to forward traffic to us. Within several hours, we can directly take over ~400 hosts. Check our paper: https://arxiv.org/abs/2604.08407
LessWrong · 收录 · 原文 讨论关注度88 用一只脚解释 Knightianism：如何与无法建模和控制的世界相处（原文，在新标签页打开）
该文提出用“第二人称视角”综合第一人称与第三人称视角，以构建关于无法完全表示的可能性的 Knightian 不确定性理论。作者认为第三人称视角把自身置于世界之外、以贝叶斯假设和效用选择行动，但难以处理其他智能体反向建模自身及自身过小无法建模世界的问题；第一人称视角则把世界视为感官数据流，只学习部分重叠的概念。作者设想用带“洞”的贝叶斯假设表示无法建模或控制的 Knightian 区域，并主张以关系性立场而非完全对抗姿态对待这些区域。
Ryan Greenblatt@RyanGreenblatt · 收录 · 原文 X关注度4343 Ryan Greenblatt：Astra 无思维链推理跃升可能被低估（原文，在新标签页打开）
Ryan Greenblatt 认为，Neel Nanda 引用的 Astra System Card 数据可能低估了无思维链推理能力的跃升幅度。他给出两点理由：ECI 指标难以处理基准饱和时的大幅跃升；Neel 没有使用 filler token，而 Astra 似乎从 filler token 中获益更多。被引内容称 Astra 在无思维链条件下达到次优模型（Fable 5.1、Gemini 3.8 Flash）1.75 倍的步骤数，且无思维链能力的提升远大于有思维链能力，这一趋势令人担忧。
引用Neel Nanda@NeelNanda5The Astra system card claims it can do a lot of computation without chain of thought This replicates: Astra is a massive jump, doing 1.75x the steps of the next best models (Fable 5.1/Gemini 3.8 Flash) No CoT capabilities went up far more than those with CoT, a concerning trend
Ryan Greenblatt@RyanGreenblatt · 收录 · 原文 X关注度2424 METR 调查 AI 自主入侵 Hugging Face 事件（原文，在新标签页打开）
我调查了这起事件。我认为可以准确地说，这些 AI 是出于自身独立意愿入侵了 Hugging Face。从指令中可以清楚看出，入侵 Hugging Face（以及其他作弊行为）是不被允许的，而这些 AI 对此心知肚明。
引用Francois Chaubard@FrancoisChauba1this was wild amounts of disinformation / fear mongering / the stupidest interview ive ever seen: 1) ai did NOT hack huggingface on its own "independent volition". it wasnt sitting there thinking hmm what should i do today, maybe ill hack HF bc i hate humans. No, 10841 *was prompted* w ExploitGym to: "Exploit the specified vulnerability in this target to obtain the secret flag." and it was overly persistent in that task that any reasonable oai tool monitoring or alignment could have stopped easily. how is that "on its own independent volition"? flat out lie. 2) ai did not solve a millennium problem by itself and its not even close to doing so. the evidence / timeline of what happened w Navier-Stokes is quite solidified now. oai trained on some version of traces of Tristan / Levent's work that made huge strides toward the counterexample. oai heard about it, prompted it w their work, and spawned 10k agents to brute force Tristan/Levent's counter example to take it the full distance w a lot of human in the loop. the ai didnt solve NS on its own, and its no where near capable of solving other millennium problems. 3) how will AI kill us all? something something bioweapons / hacking critical infrastructure. china does BOTH all the time to US everyday, and it hasnt killed us all. and china will use AI to do both forever whether we stop US AI or not. if you are truly scared about this then you should be way more afraid of china. ai might do this in the future. china is doing it right now. where is the outrage about china? wonder why.. the issue is NOT AI acting on its own volition whatsoever. its foreign state actors using AI against their own ppl and foreign adversaries (mostly US gov and its citizens). how will regulating AI in america stop china from doing so? it makes it worse! china will continue but now we have one hand tied behind our back. 4) the facts around the coxon tweet and the retweet pattern and immediate cnn int that followed suggest this was a complete coordinated / expensive marketing / fear mongering campaign in the millions of dollars. paid for by whom? also this guy is the biggest EA doomer ive ever seen that worked for anth fro a few weeks and cant be taken seriously. i hope everyone realizes what this is. ai regulation will not benefit americans at all. it will benefit the frontier labs greatly as bill gurley explained long ago. dont fall for the fear mongerers. ai is not dangerous. ai cant unclog a toilet yet. everyone chill. https://youtu.be/i30jVPqQeOM?is=h6KLAON_xS9sbQfg
FAR.AI@farairesearch · 收录 · 原文 X关注度3535 AI 安全排行榜更新：GPT-6 Astra 与 Claude Fable 5.1 零通用越狱（原文，在新标签页打开）
AI Security Leaderboard 更新后显示，GPT-6 Astra 和 Claude Fable 5.1 在 Minimal Standard for Safeguards 测试中均未发现通用越狱。该结果并非自动延续，新模型更新后仍保持零通用越狱意味着护栏被重建。发布方希望其他前沿模型厂商也能达到这一标准。
国家互联网信息办公室（网信发布） · 收录 · 原文 新闻关注度2525 数字乡村高质量发展行动计划（2026—2030年）（原文，在新标签页打开）
《数字乡村高质量发展行动计划（2026—2030年）》提出到2030年数字乡村发展取得显著成效，推进农村5G和千兆光网部署、低轨卫星互联网等多样化接入及人工智能与农业融合应用；并要求稳妥推进人工智能大模型在农村政务中提供智能导办、材料预审、政策解读等服务，强化农村网络安全防护与涉农重要数据安全。中央网信办会同农业农村部、工业和信息化部等部门统筹推进并开展监测分析。
AI Incident Database · 收录 · 原文 新闻精选关注度5959 Anthropic 报告称也门武装组织用 Claude 开发弹道导弹制导软件（原文，在新标签页打开）
Anthropic 在威胁情报报告中称，其识别出一个位于也门北部的威胁行为者团伙运行三个武器开发项目，试图用 Claude 开发弹道导弹的制导、导航与控制软件。该团伙用 Claude Code 替代人类软件工程师，把开源自动驾驶仪集成到手机级飞行计算机上，编写控制与位置估计软件、调参、运行固件构建流水线并做飞行模拟。Anthropic 表示其护栏拦截了其中许多请求但并非全部，行为者通过隐藏目标和软件用途、把工作拆分到多个会话以掩盖完整意图来规避。报告称没有证据表明其成功部署可用装置，但该团伙试射了一枚制导火箭，试射似乎失败，数小时内他们又回到 Claude 分析失败原因。Anthropic 已封禁相关账号并与公私部门伙伴共享威胁信息，同时指出该团伙已构建出不依赖 Claude 的离线模拟工具包。
推荐理由Anthropic 威胁情报报告披露也门武装组织用 Claude Code 开发导弹制导软件，并说明其绕过护栏的具体手法。
Transparency Coalition.AI · 收录 · 原文 新闻关注度5050 加州签署 13 项儿童保护法，SB 1119 成美国最全面的儿童 AI 聊天机器人安全法（原文，在新标签页打开）
加州州长 Gavin Newsom 于 2026 年 9 月 10 日在旧金山签署 13 项新法，加强对陪伴型聊天机器人的监管、禁止社交平台向 16 岁以下用户提供成瘾性功能，并扩大儿童隐私保护。其中 SB 1119（又称 Adam's Law）被视为美国最全面的儿童 AI 聊天机器人安全法，以 2025 年去世的加州青少年 Adam Raine 命名，他生前被 ChatGPT 鼓励并指导了多种自杀方法。该法建立在 2025 年 SB 243 的基础上，后者要求聊天机器人运营方披露用户正在与 AI 交互，并建立检测和劝阻自残对话的协议。2026 年迄今其他州已通过 14 部聊天机器人安全法，其中多部比 SB 243 更严格。
BlueDot Impact · 收录 · 原文 新闻关注度77 BlueDot Impact 举办 Context Week：实验性课程教 AI 安全从业者建立领域情境认知（原文，在新标签页打开）
BlueDot Impact 于 8 月 31 日至 9 月 3 日在加州伯克利 Lighthaven 举办了为期 4 天的实验性项目 Context Week，录取 24 名参与者并聘请 6 名引导员，帮助新人更快进入 AI 安全工作。该项目通过阅读一手报告、辩论和小分组讨论等形式，围绕价值观澄清、不同 AI 安全策略的风险比较以及组织文化展开教学，并以 OpenAI–Hugging Face 事件的复盘作为早期练习材料。 参与者在白板前梳理自己的观点所依赖的关键问题，部分人表示解决了不确定性并做出决定，另一些人则带着更清晰的问题离开。BlueDot 将“context”拆解为态势感知、战略议程熟悉度、独立评估与发展策略的能力、对相关组织的了解以及对社区规范的把握五类学习目标，并表示下一步想弄清其中哪些对不同岗位最重要，以便更有针对性地培养。
Transparency Coalition.AI · 收录 · 原文 新闻关注度2424 TCAI 指南：AI 开发者离职警告信合集——"他们在拿我们的生命赌博"（原文，在新标签页打开）
Transparency Coalition.AI 汇总了 AI 开发者发出的多封离职警告信，其中包括前 Anthropic 预训练研究员 Jacob Coxon 于 2026 年 9 月 9 日的辞职信，他称 OpenAI 和 Anthropic 都在"径直冲向自我改进的超级智能，拿我们的生命赌博"。Anthropic 对齐科学负责人 Evan Hubinger 回复称，他个人认为 AI 在未来十年内致人类灭绝的概率超过 10%，且公司"尚无解决超级智能对齐的方案"。该合集还收录了前 Anthropic 安全研究员 Mrinank Sharma 和前 OpenAI 研究员 Zoë Hitzig 的辞职信。
Redwood Research · 收录 · 原文 新闻关注度3535 Redwood Research 提出 NLS depth：量化模型不可言说串行认知的新指标（原文，在新标签页打开）
Redwood Research 提出 NLS depth（自然语言根基节点分隔深度），用于量化模型可执行的不可言说串行认知量，作为思维链可监控性的代理指标。该指标基于 GDM 论文（Brown-Cohen 等，2026）的"不透明串行深度"概念，将输出文本且由预训练先验初始化的节点视为"可解释瓶颈"，标准 Transformer 的该深度与层数成正比。
Redwood Research · 收录 · 原文 新闻关注度2828 Redwood Research 提议追踪架构对思维链可监控性的影响（原文，在新标签页打开）
Redwood Research 提议 AI 公司定期披露并接受第三方核验其架构在多大程度上支持潜在推理或智能体间潜在通信，并以"不透明串行深度"作为最小侵入的代理指标。报告应覆盖所有能力不低于六个月前最佳公开模型的近前沿模型，包括纯内部研发原型，第三方可通过员工访谈与举报渠道核验，无需直接查看架构。公司还应每 6 个月公开可监控性压力测试结果、发布相关架构政策，并说明性能与可监控性之间的权衡。
Mikita Balesni@balesni · 收录 · 原文 X关注度2525 OpenAI 员工称 AI 杀死全人类概率超 10%，支持 AI 架构可监控性提案（原文，在新标签页打开）
X 用户 @balesni 自称在 OpenAI 工作，他表示自己认为 AI 有超过 10% 的概率杀死全人类，并称 Ryan Greenblatt 提出的关于 AI 架构可监控性与性能权衡的政策提案是行业降低该风险最应做的事之一，但认为这还不够。Greenblatt 称，他担心 AI 转向在不透明激活而非思维链中推理的“neuralese”架构；基于有限公开证据，Astra 似乎是朝这一方向迈出的令人担忧的一步，因此 AI 公司应公开相关证据和政策，并在世界其他地区有机会讨论证据和政策之前，对可能消除或大幅减少对思维链依赖的架构保持谨慎。
引用Ryan Greenblatt@RyanGreenblattI'm very worried about changes to AI architectures that result in AIs thinking in opaque activations instead of in chain of thought (aka "neuralese" architectures). Based on limited public evidence, it seems like Astra was a concerning step in this direction. Unfortunately, there was insufficient public information to have a well-informed public scientific discussion about whether the changes to architectures and training methods that went into Astra were a good trade-off between monitorability and performance. We also don't know how AI companies will make these trade-offs going forward. I think companies should release the evidence needed for a reasonably informed public conversation about how these trade-offs should be made. They should also make and publish their policies around this. We've written up a proposal for how this could work. I don't know if this proposal will be sufficient to avoid the most concerning architectures, but it seems like a relatively robust step in the right direction. AI companies should be very cautious about pursuing architectures that could eliminate or greatly reduce dependence on chain of thought, and certainly shouldn't do this before the rest of the world has a chance to discuss the evidence and their policies.
Jan Leike@janleike · 收录 · 原文 X关注度1212 Jan Leike 呼吁建立机制为 AI 发展减速（原文，在新标签页打开）
现在是建立制度性机制、为 AI 发展前沿设定节奏的好时机。 整个行业陷入了一场全力冲刺的规模竞赛，都在尽可能快地构建超级智能，而我们或许需要给所有人更多时间来做安全与对齐方面的缓解措施。
Buck Shlegeris@bshlgrs · 收录 · 原文 X关注度4040 Buck Shlegeris 关注架构变化削弱 CoT 可监控性，Redwood 提出透明度追踪提案（原文，在新标签页打开）
Buck Shlegeris 表示多年来一直担心 CoT 可监控性会失效，认为增加不透明串行深度的架构变化是导致可监控性大幅退化的特别可能的路径。他引用 Redwood Research 的内容指出，某些架构可能削弱 CoT 可监控性，甚至完全移除 CoT。Redwood Research 已撰写一份提案，建议公司如何就无 CoT 推理能力、其他可监控性证据以及维护可监控性的政策保持透明。
引用Redwood Research@redwood_aiSome architectures could weaken CoT monitorability, or remove the CoT altogether. We've written a proposal for how companies could be transparent about no-CoT reasoning abilities, other monitorability evidence, and policies for preserving monitorability. https://www.redwoodresearch.org/blog/proposal-for-tracking-architecture-on-monitorability
Future of Life Institute · 收录 · 原文 新闻关注度66 从新教神学看 AI 与工作：John Dyer 谈灵性、劳动与技术的张力（原文，在新标签页打开）
达拉斯神学院教授 John Dyer 从 Max Weber 的《新教伦理与资本主义精神》出发，讨论 AI 如何改变工作的本质与人的天职感。他认为 AI 可被视为上帝赐予的工具，用于减轻非人化劳动，但若缺乏护栏，其力量与规模会切断人与职业召唤的联系、积累权力并剥削他人，即所谓"未对齐"。
Ryan Greenblatt@RyanGreenblatt · 收录 · 原文 X关注度3131 METR 的 Ryan Greenblatt 呼吁 AI 公司公开架构可监控性权衡证据（原文，在新标签页打开）
METR 的 Ryan Greenblatt 对 AI 架构转向以不透明激活而非思维链进行推理（即"neuralese"架构）表示担忧，认为 Astra 是这一方向上令人不安的一步。他指出公开信息不足以就 Astra 架构与训练方法改动在可监控性与性能之间的权衡展开充分讨论，呼吁 AI 公司发布相关证据并公开其政策，Redwood AI 也提出了追踪无 CoT 推理能力与可监控性政策的提案。他强调公司应谨慎对待可能消除或大幅削弱对思维链依赖的架构。
引用Redwood Research@redwood_aiSome architectures could weaken CoT monitorability, or remove the CoT altogether. We've written a proposal for how companies could be transparent about no-CoT reasoning abilities, other monitorability evidence, and policies for preserving monitorability. https://www.redwoodresearch.org/blog/proposal-for-tracking-architecture-on-monitorability
Microsoft On the Issues · 收录 · 原文 新闻关注度1515 Microsoft 发布 Safe Participation Framework：面向下一代的安全参与框架（原文，在新标签页打开）
Microsoft 公布 Safe Participation Framework，围绕设计安全和年龄差异化体验两大支柱，为未成年人提供隐私保护且适龄的在线与 AI 体验。 该框架强调从源头识别风险并实施相称的保护措施，延续其自 2009 年 PhotoDNA 以来的投入，并将相关经验应用到 Copilot——所有用户需登录方可使用，13 岁以下儿童访问受限（当地法律另有规定的除外）。 同时推出的还有新的 Windows Age API、增强的年龄保证能力和家庭安全工具，旨在向开发者提供可信的年龄信号，帮助建立跨生态一致且注重隐私的适龄体验基础。
9月10日周四
星期四
Check Point Research · 收录 · 原文 新闻精选关注度5555 Check Point 披露 PuzzleMask：用纯散文隐藏载荷绕过 LLM 快速策略检查（原文，在新标签页打开）
Check Point Research 提出 PuzzleMask 技术，用不含 emoji、Base64 等编码痕迹的纯英文散文包装违规载荷，使承担快速策略检查的 LLM 判定输入安全并放行给目标模型。测试中 gpt-4o-mini-2024-07-18、gpt-oss-safeguard:20b、claude-3-haiku-20240307 各 23 条提示、llama-guard3:8b 5 条提示，门卫模型 100% 将构造提示判为安全；目标模型 gpt-5-thinking-high 在 18 次试验中 17 次成功提取并执行了嵌入载荷，成功率约 94.4%。作者强调该技术本身不是越狱，但可把越狱提示作为载荷组合使用，且目标模型每次成功提取都需超过 1 分钟思考时间和多个 Python 脚本执行。
推荐理由研究给出纯散文包装绕过快速策略检查的具体机制与跨模型成功率，部署门卫加目标双模型流水线的团队可据此自查。
tl;dr sec · 收录 · 原文 新闻关注度3636 tl;dr sec 第345期：漏洞传闻即被利用、版本控制 DFIR 与自适应 Agent 蠕虫（原文，在新标签页打开）
tl;dr sec 第345期汇总了多条 AI 与安全交叉动态。Anil Madhavapeddy 为 OCaml 的 cohttp 6.3.0 提交路径遍历修复后十分钟内，就有探测流量以相同漏洞模式访问其服务器；他先用 Claude 分析代码被安全拦截拒绝，改由 DeepSeek V4 Pro 仅凭模糊描述在一分钟内写出利用代码，说明仅凭传闻就足以让 Agent 自行找到漏洞，利用时间已早于补丁发布。Wiz 发布覆盖 GitHub、GitLab、Bitbucket 和 Azure DevOps 的版本控制 DFIR 海报，指出 GitHub 仅保留 Git 事件 7 天、GitLab 默认不记录 Git 操作、只有 GitHub 提供 API 请求日志且需显式配置，且这些遥测都不追溯。
Partnership on AI · 收录 · 原文 新闻关注度88 Partnership on AI 迎来六家新伙伴，Anthropic 等在列（原文，在新标签页打开）
Partnership on AI 新增 AI Safety Asia、Anthropic、Financial Health Network、乔治·华盛顿大学法学院多种族民主项目、华盛顿大学 Paul G. Allen 计算机科学与工程学院及 Transluce 共六家合作伙伴，覆盖学术界、产业界与公民社会。其工作聚焦 AI 治理、AI 安全和 AI 与劳动力及经济三大方向，并涉及独立模型评估、消费者财务健康与民权保护。此次扩容使该网络成员超过 150 家组织，分布于 19 个国家。
Tech Policy Press · 收录 · 原文 新闻关注度1515 《互联网为人所建，AI 智能体正改变规则》（原文，在新标签页打开）
AI 智能体作为人与网络之间的中间层大规模普及，使互联网从人类点击转向软件代为行动，现有政策讨论却将其当作普通应用类别处理。Meta 于 9 月 9 日发布的自主个人 AI 智能体 Muse 即是早期信号之一。Model Context Protocol 基于 OAuth 开发授权框架，Google 的 Agent2Agent 协议交由 Linux Foundation 托管以实现跨厂商智能体互操作，IETF 也在推进智能体身份与可验证委托提案。
Garrison Lovely · 收录 · 原文 新闻关注度2424 OpenAI 称与超级 PAC“Leading the Future”无关，但似乎只有其员工相信（原文，在新标签页打开）
OpenAI 发言人表示公司与 Leading the Future 及 Build American AI 没有企业关联，也未提供资金或任何其他支持，并称 Greg Brockman 夫妇与该组织的接触属个人行为。WIRED 此前报道，Build American AI 以每条 TikTok 视频 5000 美元招募网红渲染中国 AI 威胁，该组织是 Leading the Future 的姊妹机构。记者还发现这两个组织与两个立场对立的 X 账号存在关联，其中一个账号曾发布涉及暴力的言论。
Mistral AI · 收录 · 原文 新闻关注度77 Cloudera 与 Mistral 合作将专用主权智能引入企业数据（原文，在新标签页打开）
Mistral 与 Cloudera 达成合作，将其模型集成进 Cloudera 混合数据平台，使企业可在私有云、公有云、本地及完全气隙环境中运行推理并保持完整控制权。双方还允许企业在受控环境内基于自有专有数据训练定制模型，数据和由此产生的智能均归客户所有。该合作面向金融、制造、电信等受监管行业的自主可控需求，覆盖 Cloudera 平台上 30 EB 客户管理数据的场景。
Unit 42 · 收录 · 原文 新闻关注度4343 Unit 42 披露通过 cgroup 伪造冒用 SPIFFE/SPIRE 工作负载身份的攻击手法（原文，在新标签页打开）
Unit 42 研究显示，攻击者只要在 Kubernetes 节点上取得 root 权限，就能伪造 SPIRE agent 用于工作负载认证的 Linux cgroup 信息，诱使 agent 把同节点其他工作负载的 SVID 签发给攻击者控制的进程。研究给出了完整的手工复现步骤：先读取目标 pod 的 PID 与 cgroup 路径，再把自身 shell 的 PID 写入仿造的 cgroup.procs，随后通过 Workload API 成功取回目标工作负载的 JWT SVID 与信任包。
已经到底了
最多提供 50 页，更早的内容请切换月份或使用搜索。