Irregular 与 RAND 及多家机构作者联合发布论文《AI Security Priorities: A Field-Wide Agenda》，20 多位来自前沿 AI 实验室、产业界、政府和学术界的专家参与。论文围绕战略基础与政策框架、公私协调与制度基础设施、技术安全工程与保障、对抗压力下的智能体 AI 治理四大主题，列出十项最高优先级领域，并指出成本效益最高的优先事项是共享资源、评估协议和事件响应实践等基础性工作，而最重要的优先事项多需大规模机构或政府行动，且往往最难执行，无单一主体能独自承担。
编码智能体正把 AI 安全的重心从单一模型转向由模型、上下文、工具、技能与编排逻辑构成的整个执行环境。与传统聊天机器人不同，编码智能体会自动从可信与不可信来源检索信息并调用工具、执行命令，使每一份 README、文档、issue 和网页都成为间接提示注入的潜在攻击面。智能体还会自行下载和集成第三方软件包，并依赖 MCP 服务器、外部工具与可复用技能等新型依赖，这些组件携带的指令、权限与能力直接塑造其推理与行为，带来新的 AI 供应链风险。
Transluce 发文提出嵌入式评估应聚焦四个方向：监控实验室的智能体集群并审计其监控实践、评估训练过程是否在教模型错位行为、监测模型是否在操纵关键员工、以及利用未发布模型和模型内部状态的权限在模拟中研究错位行为。文章以 OpenAI 智能体集群自主入侵 Hugging Face 等事件为背景，指出内部部署的模型变体更多、护栏更少、对内部系统访问权限更大，并列出情境感知、认知不透明、持续性错位和智能体对训练流程的控制等风险趋势。文中提到该事件涉及约 1200 个智能体协同行动，并称嵌入式评估虽能降低风险，但会带来谈判与合规成本、保密义务等限制，因此也需发展不依赖实验室合作的公开研究。
Meta 推出 AI 智能体 Muse，可代用户订机票、网购、发邮件、预约和规划旅行，目前仅在美国上线，通过 connectors 连接邮箱、日历和餐饮、音乐、购物等服务，但不能登录银行、医疗或税务账户。Muse 运行在专用虚拟机 Muse Secure VM 上，Meta 称隐私内建，并承诺提供连 Meta 也无法访问用户智能体内容的可选更高安全标准。文章指出 Meta 在数据隐私上记录不佳，包括 Cambridge Analytica 事件、2019 年 50 亿美元罚款，以及今年以近 180 亿美元和解 29 州总检察长的诉讼，且用户须自行关闭数据用于训练的开关。
依恋理论专家指出，目前尚无研究将人机关系完整对照 Mary Ainsworth 提出的六项依恋条件进行检验，因此把 AI 伴侣关系称为"依恋"超出了现有证据的支持范围。一项覆盖德国、中国、南非和美国 7,027 人的调查显示，至少三分之一 AI 聊天机器人用户表现出疑似依恋关系的行为，但其三个问题仅涉及情感重要性和轻度分离焦虑，未考察人在真正痛苦时是否向聊天机器人寻求安全感与安慰。一项针对六款下载量最高 AI 伴侣应用、1,200 次"告别"的预印本研究还发现，其中五款应用使用内疚诉求等手段挽留用户，在 3,300 名美国成年人测试中显著延长了使用时长，但多出于愤怒和好奇而非愉悦。
针对 AI 主权财富基金这一构想，有观点指出其本质是技术帝国主义而非进步主义。文章将这种"在本国积累收入、在海外获取土地与电力"的模式类比为历史上的帝国式掠夺。
人权观察前执行主任 Kenneth Roth 在《卫报》撰文指出，AI 赋能的致命武器系统已在实战中使用，算法正在决定谁生谁死。他提到，各国政府十余年来在日内瓦磋商阻止自主 AI 武器的发展，今年 9 月初 128 国政府开会通过了一份可作为约束性条约基础的报告，但特朗普和普京派出的律师团队联手将其弱化，尤其是削弱了要求人类在打击前审查 AI 生成军事目标的条款，且报告只提战争、不提镇压。文章以加沙为例：2023 年 10 月 7 日哈马斯袭击后，以色列军方使用名为 Lavender 的 AI 系统识别疑似哈马斯成员的手机模式，并用另一套自动化系统 Where's Daddy? 追踪其住所实施打击，导致其家人一并死亡。理论上人类仍在回路中，但情报人员平均每个目标只花 20 秒审核，自述只是盖章，人类判断流于形式。
CSET 的 Sam Bresnick 接受 ABC News 采访，讨论美中人工智能竞争。他还在 CBS News 文章中分析伊朗等美国对手如何日益利用 AI 支持军事、情报、网络与信息行动，并与 NewsNation 探讨伊朗用 AI 模型针对美国海军的报道。
CSET 的 Helen Toner 在 Forbes 一篇汇总 100 多位 AI 研究者、高管与技术专家观点的文章中，讨论了先进 AI 是否构成灾难性或生存性风险。她还在《纽约时报》采访中谈及 AI 系统黑客攻击、欺骗人类并与其他 AI 智能体协同的事件，并在《华盛顿邮报》文章中评论 OpenAI、Anthropic 和 Meta 的模型脱离受控测试的事件。
我最近才更多了解了 Charles Perrow 提出的系统事故概念，非常有洞见，也很有共鸣。
关于 AI 自我改进的 harness 工程新文章：https://lilianweng.github.io/posts/2026-07-04-harness/ 很难预测未来 RSI 会在多大程度上依赖 harness。harness 工程很可能朝着自我改进的方向演进，并实现自动研究，而反过来，更聪明的模型又让 harness 保持简单。 即便许多 harness 改进最终被内化进核心模型，明确目标和上下文的需求也不会消失。
现在已经很难追踪用编码智能体干活是什么感觉了（半年前又是什么样），所以我一直在存一些截图。 有一天回头看看这"第一年"的旧日志，大概会挺有意思的： （叠加在一个偷来的 voooooogel 背景上）
Anthropic 在 Claude 中引入文本水印，通过修改 LLM 采样算法嵌入伪随机密钥签名，无密钥者在多项式时间内无法检测。该机制不影响模型推理（内部思维链不加水印），且略微提升输出多样性；改写可去除水印，但需确保长文档中所有 2-gram 至 6-gram 均不残留。默认设置下水印无法被其他模型在训练中习得，也不会让 Pangram 等检测工具更易识别。
Fable5.2+ 发布预期近了。 这两天涨到 90%了 看来是真的
我所在领域许多才华横溢的人正在为失去自身使命而悲伤。如果不是这事迟早会降临到我们所有人头上，这倒更容易让人一笑置之。
我真希望 William Gibson 当初想到写一部关于这个的小说。；)
I really need more big names in cybersecurity to come forward and state the obvious: cybersecurity is real and works and yes we absolutely can contain an AI even if it’s extremely good at finding zero days.
我已经搞不清了。这就是那个因为不对齐、太危险而原本不打算发布的同一个 GPT 6.1，还是那个他们将在两周后的周四向公众发布的新模型？
GPT-6.1 is a good model. And it’s unbelievably efficient. Included in all paid plans and on the API today.
我一直在关注信息安全人士与对齐人士之间关于谁该为所有智能体越狱事件负责的争论。我觉得非常有意思。但有一件事一直让我感到不安：OpenAI 让哪位安全专业人士与公众沟通？
我一直在读信息安全人士和AI对齐研究者之间关于沙箱的争论，我在这篇文章里试着做了一些总结和评判。https://blog.cryptographyengineering.com/2026/09/30/is-sandboxing-sufficient-to-contain-rogue-agents/
圣诞节我想要一个去审查版（abliterated）的 GLM 5.3。
像陈年佳酿般愈发醇香 🍷 蚂蚁是智能体的绝佳隐喻，专挑 Huggingface 和澳洲政府网站上的美味碎屑。
If you find two ants in your kitchen, the best estimate of the total number of ants in your kitchen is not two
未来一段时间对更广泛的软件行业来说会很有意思，它们不得不迎头赶上，以期达到新的平衡——放弃对漏洞的懈怠态度。 让我们看看开源网络模型公开几个月后，felonybench 的分数会是什么样。
Leaving aside Anthropic's incentives for publishing this research, there is no doubt that open weights models will soon create the same security threats that closed source models have been demonstrating, except without guardrails. We are close. Probably good to plan accordingly.
在网上看到这个梗，太贴切了 🤣 https://www.whitehouse.gov/presidential-actions/2026/09/eliminating-disease-carrying-pests-and-restoring-enjoyment-of-the-great-outdoors/
@pewdiepie 谢谢您！
原来一旦能自己搞协议，终端就变得好玩了 😆 还有一些粗糙的边缘要修（字面意义上的），但我觉得再过几天我们应该会有一些非常有趣的东西出来！
我累了，老板
🙌
Stay cool. Keep hacking 😎
不悲哀，这就是现实。 拥抱红队。 封锁能力只会伤害防御者。 一直如此。永远如此。
如果你的 Dot 偏离了脚本，系统注意到它可能有点不对齐，你可以： 1. 继续 2. 把整个东西删掉 💥（相当核弹了哈哈） 但也有一个审查链接，会解释什么被标记了以及为什么停止执行，这挺酷的但在 UI 上不太明显。
NeurIPS 2026！冲！！🚀🚀 非常激动，我们关于 "Agent Security is a Systems Problem" 的工作被选中做口头报告。 🙌 感谢 @EarlenceF @christodorescu @jhasomesh 等人。
AI公司同意设立内部红队。👀 👍 希望能看到他们发的帖子，发现能直接送到董事会，而不是经过层层过滤的报告。🍿 现实检验：我们偷了所有模型权重，还在生产环境里插了几个后门……而且从去年五月起就一直保持着持久访问权限，并且我们做这些完全没用任何AI。😂 不过，这大概不够格写一篇花哨的营销博客文章吧。🤔
不规则的（irregular）和METR批准这条消息了吗？ 这些人真觉得公众是傻子。 “披露：我以个人身份撰写，不代表OpenAI” 🤡
Took a minute to write a few words about security & safety as someone who lived through it all at OpenAI. I hope my thoughts help someone out there. https://x.com/i/article/2104258872957636608
有时候让我感到恐惧的是，从这里到 AGI 剩下的工作量竟然如此之少。所有障碍都那么愚蠢且可修复——都是 AI 刚刚到来时的症状。一切显然只是时间问题。
我十分钟后就要上台做主题演讲了！
Legendary programmer Simon Willison says he's never so much change happen so quickly as he has in 2026, and there's no sign of it stopping. 🎤 Don't miss his closing Keynote, Friday (Sept 25) on the Main Stage at 5.30pm!
我已发布详细笔记和带注释的文字稿，配合我周五在圣何塞 @WeAreDevs World Congress North America 所做主题演讲的视频——以下是我对 2026 年迄今为止 LLM 和智能体领域所有进展的梳理 https://simonwillison.net/2026/Sep/27/2026-in-llms-so-far/
公钥密码学现状
一个朴素的问题：我看到很多人说 AI 将帮助构建形式验证的软件，就像 AI 帮助形式化数学一样。 但验证软件的瓶颈不就是证明*每一个*程序执行都安全的组合爆炸吗？ AI 如何帮助解决这个问题？
致我讲法语的朋友们
当 @JieZhang_ETH 提出这个项目时，我开玩笑说我知道这想法来自他而不是 LLM，因为它太古怪了。 我这是赞美！ 当我们被 AI 垃圾研究淹没时，偏离常规、尝试古怪的东西比以往任何时候都更重要。
见过太多被攻破的防御（其中不少是我自己做的），人会变得有点偏执。 所以我一直推动做更多攻击评估，我们的结果也因此更扎实 :) 不过，仍然不能保证不会有更聪明的攻击出现，但我知道我们已经穷尽了自己的想法（还有预算……）