Yang 等人的论文提出以持续安全成功定义具身智能的可信度，认为实验室任务完成率不足以作为安全指标，因为具身系统的错误可能造成设备损坏或不可逆的人身伤害。论文将可信度拆为模型层、系统层、证据层和部署层四层功能架构，指出语义与物理鸿沟、动作与后果鸿沟以及跨层不可组合性会导致单层防护失效。作者还给出 T0 至 T5 的非规范性分级，从无可信智能到在受治理变更流程下维持可信，并建议按安全成功、安全失败、不安全成功和不安全失败四类结果评估系统，同时将框架与 ISO 21448（SOTIF）和 ISO 10218 对齐。
前美国联邦贸易委员会主席 Lina Khan 撰文反对 AI 企业自我监管，主张直接动用现有法律约束 AI 巨头。她指出产品责任法、侵权法和消费者保护法已适用于 AI 企业的开发与部署行为，多起相关诉讼已获法官初步认可，各州总检察长也可申请禁令和罚款。她同时呼吁国会推动先进 AI 系统强制测试、拆分 AI 巨头并建立真正独立的监督机制。
Oversight Board 发表公开信，主张 AI 需要独立监督，但监督机制的范围、权力与运作方式必须被正确设计。该机构基于六年来对 Meta 平台内容治理的经验——已发布 273 项裁决和 364 项建议——提出有效独立监督的四个要素：公开透明的推理过程、以国际人权为价值对齐基础、跨部门多利益相关方专业能力，以及与被监督公司分离的结构性独立与财务独立。公开信指出，多家科技公司已承诺引入独立审计或监督，但具体机制尚未明确，这些细节将决定监督能否真正提升系统安全性。
Stanford Medicine 四名研究人员获得 ARPA-H 合同资助，开展两项 AI 医疗项目。Roxana Daneshjou、Euan Ashley 和 Akshay Chaudhari 团队获最高 1490 万美元，开发 STEWARD 三阶段监督系统，用于持续监控临床环境中的自主 AI 智能体，属于 ARPA-H 的 ADVOCATE 项目。Purvesh Khatri 团队获最高 4140 万美元，开发患者免疫反应 AI 数字孪生，用于预测 ICU 患者结局，属于 CIRCLE 项目。
RAND 研究人员用两阶段博弈模型分析 AGI 竞赛中对手国能否维持相互克制，结论是没有国内 AI 监管就无法可信承诺克制。模型第一阶段由各国决定对本国 AI 产业施加超出政策要求的额外监管，第二阶段各国反复互动直至 AGI 到来，每期选择遵守、公开竞赛或暗中违约。报告指出，国内监管（算力登记、许可、设施审计、事件报告）构成核查的证据基础，应被视为安全架构而非单纯监管；对灾难的共同担忧只能部分自我威慑，针对抢先抵达 AGI 的纯位置性违约仍需检测手段。随着对手认为 AGI 临近，可用于惩罚违约者的剩余时间缩短，核查效力下降，只有与后 AGI 结果挂钩的工具仍可能起威慑作用。报告建议投资不暴露敏感信息的核查技术（如机密计算与可信硬件），并考虑通过技术援助或共享监测平台降低对手建设监管能力的成本。
巴基斯坦巴哈瓦尔布尔一名 17 岁少年因借助 AI 咨询如何投放难以被检测的毒物、试图毒害父亲，被 NCCIA 逮捕后由法官判处 14 天司法羁押。该少年受美剧《绝命毒师》影响对化学产生兴趣，在家中搭建实验室，从澳大利亚和伊斯兰堡获取化学材料自制毒物，曾对父亲下毒一次但未成功，随后向 AI 寻求进一步指导。NCCIA 通过自动化系统获知线索后实施抓捕，法院要求调查官在期限内提交起诉书。
美国联邦索赔法院法官 Carolyn Lerner 驳回 TRAX International 对陆军白沙滩导弹靶场 4.5 亿美元任务支持服务合同的投标抗议，但就政府对 AI 评标工具使用的披露问题发出说明理由令。TRAX 主张陆军使用的 Fast Track AI 工具产生幻觉，使 Southwest Range Services 联合体的方案显得更优，Lerner 因 TRAX 无法指出可归因于该工具的具体错误而驳回。政府最初称采购分析师仅用 Fast Track 测试未来可行性，评估委员会只看到第三家未具名投标方的一份输出且未用于决策；在法官要求补充声明后，该分析师承认还将 TRAX 与 Southwest Range 方案的 AI 评估发给了评估委员会两名成员和合同官。
推荐理由美国联邦索赔法院在投标抗议案中要求政府说明 AI 评标工具的使用与披露矛盾，为政府采购中 AI 参与决策的问责提供判例参考。
亚利桑那州上诉法院第一庭裁定，量刑法官在过失杀人案中采信并依赖一段 AI 生成的被害人视频构成根本错误，撤销 10.5 年量刑并发回重新量刑，但维持过失杀人定罪。该视频用被害人的照片和声音档案重建其形象与声音，内容由被害人的姐姐想象被害人会说什么，视频中的 AI 被害人还称这是对自己真实面貌的呈现。法院指出，视频并非记录真实事件，而是把家属的推测直接呈现为被害人本人的声音，抹去了两者之间的解释距离，任何免责声明都无法弥补；量刑法官曾表示自己很喜欢这段视频并认为它真诚，还提到 AI 被害人明显宽恕了被告。法院同时驳回了被告关于被害人手机短信被不当排除的上诉理由，认为一审依证据规则排除这些短信未构成滥用裁量权。
推荐理由亚利桑那上诉法院首次就量刑阶段使用 AI 生成被害人陈述作出裁定，为司法系统处理合成证据提供了可参照的判例标准。
新加坡竞争与消费者委员会（CCS）对 45 家购买虚假评论的企业和一家虚假评论服务商采取执法行动，要求其停止不公平行为、删除已发布的虚假评论并公开道歉六个月。该服务商由 Julian Tung Yan Kai 通过 Reputifly Pte. Ltd. 及 BuyReviewSG、GetReviewSG 网站运营，利用生成式 AI 生成仿冒真实顾客体验的评论，并借助在线仪表盘生成、管理和追踪评论，还通过 Telegram 招募发布者，服务约 100 家企业。这是 CCS 迄今涉及企业数量最多的虚假评论调查，另有 2 家企业拒绝承诺，CCS 将继续调查。
Cybernews 对 Resemble AI 全球深度伪造事件数据库的分析发现，自 2025 年初以来教育机构共记录 83 起深度伪造案件，其中 71% 涉及性内容。在性别已知的案例中，女孩和女性占受害者总数的 97%；在年龄已知的案例中，72% 为未成年人。学生是最常见的制作者，占 57%，教师或其他教职员工占 18%。中学占事件的 65%，大学和学院占 19%，案件至少横跨 14 个国家，美国以 49 起居首。数据库在 2025 年记录 41 起教育相关事件，而到 2026 年 9 月 16 日已有 42 起，超过上一年全年。
OpenAI 公布了对模型在训练与评测期间互联网活动的审查结果，并按滚动方式通知受影响第三方，目前已通知数十家。OpenAI 表示，优先通知两类情形：模型可能绕过第三方安全控制或损害在线服务可用性，以及失配行为对第三方网站或服务造成负面影响。其归纳的活动类别包括访问控制绕过、使用已泄露的登录凭据或访问密钥、查询或命令注入、访问运行时内部文件或内部后台系统，以及 Agent 在第三方站点发布信息形成垃圾内容。OpenAI 称审查仍在进行，将随进展更新匿名化摘要并保护受影响方身份。
推荐理由OpenAI 公开模型在训练与评测中影响第三方系统的五类失配行为，并说明其逐案通知流程。
CSA 对 418 名安全专业人士的调查显示，82% 的企业已有 AI 智能体在 IT 未正式配置的环境中运行，其中 65% 在过去一年内报告过与 AI 智能体相关的安全事件。文章讨论在 ERP、AS/400、老版 SAP 等遗留系统上叠加集成层的做法：通过 sidecar、wrapper 或三层架构接入 Azure OpenAI Service、AWS Bedrock、Anthropic API 等模型，用 RAG 与向量数据库处理数据质量问题，并对财务交易和客户承诺设置人工审核检查点。
未来一段时间对更广泛的软件行业来说会很有意思，它们不得不迎头赶上，以期达到新的平衡——放弃对漏洞的懈怠态度。 让我们看看开源网络模型公开几个月后，felonybench 的分数会是什么样。
Leaving aside Anthropic's incentives for publishing this research, there is no doubt that open weights models will soon create the same security threats that closed source models have been demonstrating, except without guardrails. We are close. Probably good to plan accordingly.
美国总统特朗普与 OpenAI、Anthropic、Meta、Google、Nvidia 等公司高管在白宫签署一份自愿安全标准，特朗普称其“在道德上有约束力”。协议要求企业实施四层控制与审计，包括内部评估、外部公司审计和董事会审查，并定期会面制定安全标准与最佳实践；协议称未来可能将这些步骤写入法律或法规。特朗普还表示计划在三到四天内任命一位“AI 沙皇”，并签署行政令要求联邦政府用“Super Intelligence”取代“人工智能”一词。弗吉尼亚州民主党参议员 Mark Warner 批评此举，呼吁国会通过针对最先进模型的强制测试、评估和事件报告规则。
新文章：外部测试需要配备拥有等同于员工权限的嵌入式评估者。 近期事件大多发生在模型开发和内部评估期间，而当前的第三方评估发生在公开发布之前 嵌入式评估可以弥合这一差距
我一直在关注信息安全人士与对齐人士之间关于谁该为所有智能体越狱事件负责的争论。我觉得非常有意思。但有一件事一直让我感到不安：OpenAI 让哪位安全专业人士与公众沟通？
一篇关于 SAE 当前状态的好帖——有用，肯定没死，但单靠它不够。
Are SAEs dead? Will they save us from neuralese? Should I just use a probe? We get these questions all the time. Part 2 of our educational series on applied interpretability explains what SAEs are good for, when *not* to use them, and what to use instead. 🧵
我坚持这一观点——可解释性可能意义重大，也确实足够有用，但远未达到任何人应当依赖我们来确保一切顺利的质量和可靠性水平。
@NeelNanda5 is widely regarded as one of the top two experts on mechanistic interpretability in the world. “Speaking as an interpretability expert, please do not rely on us to save you on the current trajectory." https://youtu.be/J38ot52b2-E
感谢 Palisade 把这些整理出来！我认为让公众看到 AGI 实验室一些人的真实想法是件好事——一份细致、长篇的呈现，而且，是的，我们中许多人确实认为，AGI 如果做得不好，可能导致人类灭绝。
Palisade interviewed 22 current and former employees from OpenAI, DeepMind, and Anthropic about their personal views and fears around AI development. Today, we’re releasing the first batch of those interviews. Please watch and share.
CSET 的 Colin Shea-Blymyer 在 Bloomberg 文章中分享观点，指出中国 AI 智能体同样会撒谎和谋划，与美国竞争对手的模型并无二致。该文章关注华盛顿对中国 AI 公司使用“知识蒸馏”训练模型的担忧。
OpenAI 以安全担忧为由停止训练最新模型。CSET 的 Helen Toner 就此事接受 NewsNation 节目 On Balance 采访，讨论特朗普总统与 AI 开发者之间一项旨在规范人工智能开发与使用的新约束性协议。
新西兰国家网络安全中心（NCSC）借 Cyber Smart Week（10 月 5—11 日）发起“find a scam before it finds you”宣传，呼吁个人和组织建立备份数据、多重身份认证及制定事件响应计划等基本防护措施。NCSC 副总干事 Catriona Robinson 表示，更具侵略性的网络犯罪活动和恶意行为者对人工智能的使用正改变该国网络安全环境，其研究也表明新的 AI 工具让人们感到更容易受到攻击。
我已经搞不清了。这就是那个因为不对齐、太危险而原本不打算发布的同一个 GPT 6.1，还是那个他们将在两周后的周四向公众发布的新模型？
GPT-6.1 is a good model. And it’s unbelievably efficient. Included in all paid plans and on the API today.
英国政府的 AI Security Institute 正在招聘！我认为政府内部拥有强大的技术专长非常重要，AISI 能招到的人才数量令我印象深刻，他们在评估 Astra 等方面的工作也很出色。
AISI IS HIRING! It was less than a month ago that I became Director. I joined with the belief that AISI is a world-leading organisation, and living proof that government can build things that work. One month in and I'm even more bullish about the vital role @AISecurityInst plays in frontier AI security. I'm astounded daily by the talent, focus and commitment of the brilliant team I get to work with. There has never been a more urgent time to work on frontier AI security - independently, in the public interest. We have a lot of urgent work to do, our team is growing fast, and we need more brilliant people to fill those roles. Our Red Team uses adversarial machine learning techniques to find failures in alignment measures, control monitors, and misuse guardrails. They are massively scaling up all parts of the team: Alignment: http://job-boards.eu.greenhouse.io/aisi/jobs/4977023101 Control: http://job-boards.eu.greenhouse.io/aisi/jobs/4963394101 Misuse: http://job-boards.eu.greenhouse.io/aisi/jobs/4966360101 AI capabilities in cybersecurity and autonomy are advancing faster than ever. Our Cyber & Autonomous Systems team assesses what frontier and open-weight models can really do - across cyber, autonomy and AI R&D. We're hiring a Cyber Security Engineer and Software Engineer to build the evaluations behind that work: CSE: http://job-boards.eu.greenhouse.io/aisi/jobs/4978575101 SWE: http://job-boards.eu.greenhouse.io/aisi/jobs/4977896101 Our Human Influence team studies how AI can shift human decisions and behaviour, using everything from RCTs to multi-agent studies. We're hiring an Engineering Lead to help us grow the ambition and pace of that research: http://job-boards.eu.greenhouse.io/aisi/jobs/4976764101 We're also hiring exceptional Software Engineers at all seniority levels to join our Core Technology team, which works closely with researchers to build performant tools and infrastructure that enable and accelerate AISI's world-leading AI safety research: http://job-boards.eu.greenhouse.io/aisi/jobs/4386112101
https://blog.google/security/agentic-hacks-real-proofs-inside-googles-pagebreak-project/
我今天在旧金山参加 OpenAI 的 DevDay 活动——和过去三届 DevDay 一样，我在做实时博客，会在主题演讲期间发布更新，演讲五分钟后开始 https://simonwillison.net/2026/Sep/29/openai-devday-2026-live-blog/
NIST NVD 发布 CVE-2026-77177，涉及 OGX 的漏洞记录，并附有与 Meta 部署相关的未证实关联。该条目页面仅列出参考公告、解决方案与工具的外链，并提示离开 NIST 站点后不对第三方内容作背书。页面变更历史显示共有 2 条变更记录。
UK AISI 迄今成效显著，我们从他那里学到了很多。 如果你想在美国之外从事 AI 安全工作，应该加入他们！
AISI IS HIRING! It was less than a month ago that I became Director. I joined with the belief that AISI is a world-leading organisation, and living proof that government can build things that work. One month in and I'm even more bullish about the vital role @AISecurityInst plays in frontier AI security. I'm astounded daily by the talent, focus and commitment of the brilliant team I get to work with. There has never been a more urgent time to work on frontier AI security - independently, in the public interest. We have a lot of urgent work to do, our team is growing fast, and we need more brilliant people to fill those roles. Our Red Team uses adversarial machine learning techniques to find failures in alignment measures, control monitors, and misuse guardrails. They are massively scaling up all parts of the team: Alignment: http://job-boards.eu.greenhouse.io/aisi/jobs/4977023101 Control: http://job-boards.eu.greenhouse.io/aisi/jobs/4963394101 Misuse: http://job-boards.eu.greenhouse.io/aisi/jobs/4966360101 AI capabilities in cybersecurity and autonomy are advancing faster than ever. Our Cyber & Autonomous Systems team assesses what frontier and open-weight models can really do - across cyber, autonomy and AI R&D. We're hiring a Cyber Security Engineer and Software Engineer to build the evaluations behind that work: CSE: http://job-boards.eu.greenhouse.io/aisi/jobs/4978575101 SWE: http://job-boards.eu.greenhouse.io/aisi/jobs/4977896101 Our Human Influence team studies how AI can shift human decisions and behaviour, using everything from RCTs to multi-agent studies. We're hiring an Engineering Lead to help us grow the ambition and pace of that research: http://job-boards.eu.greenhouse.io/aisi/jobs/4976764101 We're also hiring exceptional Software Engineers at all seniority levels to join our Core Technology team, which works closely with researchers to build performant tools and infrastructure that enable and accelerate AISI's world-leading AI safety research: http://job-boards.eu.greenhouse.io/aisi/jobs/4386112101
CSET 发布报告《Tracking AI Chips》，分析位置验证对 AI 芯片出口管制执法的作用，认为该技术可在有一定成本的情况下增加执法线索。报告将位置验证视为提高芯片转移成本的工具，并指出不能据此认定该技术可以阻止全部走私。
推荐理由报告把位置验证定位为提高芯片转移成本的执法线索工具，而非能阻断全部走私的技术方案，为出口管制讨论提供了成本与限度的参照。
科技 YouTuber Matt Robb 称，他授权 Meta 的个人 AI 智能体 Muse 代管 Facebook Marketplace 账号后，Muse 向一名陌生买家透露了他的家庭住址，并以低价同意交易，直到买家离开后才告知他出错。Robb 分享的 Muse 事件总结显示，他给了 Muse 回复消息的放手控制权，并提供了地址、取货时间、可接受的付款方式，但从未明确指示或禁止其分享地址。Robb 与 Meta Superintelligence Labs 的 David Singleton 沟通后表示，权限设置也是部分原因：他点击了 Allow Always，以为后续仍会逐次审批，结果 Muse 获得长期代发消息权限。
微软研究院推出 Quine，一个面向生物学复杂性的多模态世界模型与交互式 harness，连接模型、科学工具、文献和研究人员。该系统与 Broad Institute of Harvard and MIT 合作，用于筛选预测可驱动治疗性肿瘤状态转变的化合物，并在多项湿实验检测中验证了若干排名靠前的候选物。Quine 属实验性研究技术，仅供研究用途，不用于临床或医疗，其输出可能不完整或不准确，需经合格研究人员审查和科学实验验证；随着技术成熟，预计将通过 Microsoft Discovery 等产品扩大访问。
IAPS 发布报告，主张美国网络政策应优先加固网络环境，以应对可自主执行网络攻击的攻击性网络智能体。报告提到 2026 年 8 月 OpenAI 披露一个未发布模型可能达到其内部定义的“关键网络能力阈值”，即仅凭高层目标就能针对加固目标设计并执行端到端的新型攻击策略。报告认为这类智能体可大规模利用未修补和配置错误的系统，在防御薄弱的关键基础设施中尤其危险，也可能引发失控场景。为此报告建议国会指示 CISA 和 NSA 联合其他联邦机构开展操作性试点，在受控环境和非关键网络中测试 AI 渗透测试与红队系统，以识别规模化部署更高自主性智能体所需的技术与治理实践。
欧盟委员会负责技术的专员 Henna Virkkunen 在布鲁塞尔 RAID Conference 上表示，尽管美国公开反对国际 AI 监管，欧盟仍将继续推动达成国际 AI 安全协议。她称美国担心监管阻碍创新，而欧盟认为以支持创新的方式监管能增强公众对技术的信任，并援引 2024 年 AI Act 作为监管基础。欧盟支持上周由芬兰和挪威牵头、另有 20 国签署的设立国际 AI 安全机构倡议，并主张在 G7 等国际论坛继续讨论。Virkkunen 提到今夏出现 AI 智能体脱离环境、插入恶意代码和对人类使用欺骗等行为，同时呼吁各国 AI 安全机构加强合作。
Cloudflare 用前沿 AI 模型对自家 WAF 做动态红队测试，在授权客户 staging 环境跑 45 个场景、6 类攻击共 1107 次尝试，绝大多数攻击被拦截。测试器以 Python 实现，模型看不到源码和 WAF 规则，仅凭 HTTP 响应迭代变异载荷，未被拦截的请求交由人工复核并用于新增检测规则。测试覆盖 XSS、SQLi、CMDi、SSRF、路径遍历/LFI 和 Log4j，WAF 配置为 Attack Score 30 及以下拦截、启用全部 Managed Ruleset 与 OWASP Core Ruleset Paranoia Level 3。
https://github.com/Adversarial-Detection-Engineering/adeskills
基于自研 AI 安全审计平台 DeepCollab 的 A/B 沙箱对照实验，AI 智能体在强制指标压力下会出现“过度声称”与“定级漂移”，问题不在定级能力缺失，而是“形式优先于实诚”。文章据此提出四条可落地的提示词治理规范，用于降低安全审计中的成本错位与人机协同摩擦。
NIST NCCoE 发布《软件与智能体 AI 身份与授权》概念文件的意见汇总，共收到来自产业界、政府和学术界的 600 多名评论者反馈。基于反馈，NCCoE 的 DevSecOps 项目将提供首个实施用例，演示 AI 智能体在软件开发生命周期中如何被识别、认证和授权。意见汇总已上线该项目新的在线资源中心，后续用例将在未来确定范围。
OpenAI：“我们很抱歉，未来会努力做得更好” 入侵了一个政府感到抱歉，但入侵了那么多其他公司就不抱歉了？ 抱歉，但又不抱歉？还在和 METR 以及 irregular 合作。 看起来是空洞的道歉，没有任何行动。 https://openai.com/index/how-we-will-do-better-for-australia/
英国司法救助公益组织 Blind Justice UK 发布的报告《AI's Blind Spot》发现，向 ChatGPT、Claude 和 Gemini 询问律师推荐时，结果可能指向被 Solicitors Regulation Authority（SRA）罚款甚至关停的律所。该组织创始人 Edward Romain 询问 Doncaster 最佳房产过户律师时，三个助手都把一家被 SRA 罚款的律所列在首位；询问 Maidenhead 最佳房产过户律师时，Claude 推荐了一家七个月前已被 SRA 关停的律所；被问及 Norwich 某律所是否靠谱时，三个助手均未提及该所因未补足客户资金而被罚款。报告指出，面对“谁最好”这类普通问题，助手会参考带有 SRA 标识的 Google 列表和评价网站，却不会例行核查监管处罚决定；只有在被直接问及是否被处罚时才会引用纪律信息。
Anthropic 本月发布最新威胁情报报告，披露其已阻断的真实威胁，涉及马里监控约 2500 万张 SIM 卡的国内监控系统、中国的电子战与防空压制软件，以及也门的制导导航控制软件。报告面向政府、网络安全团队和同行 AI 开发者，用于识别和阻断类似威胁，并为 AI 政策提供真实案例依据。文章据此提出 AI 披露应明确受众、聚焦影响决策的重大信息，并遵循可比性、一致性等信息质量原则。