研究者与从业者的观点、辩论与研究议程。
在这个话题内搜索或按分类筛选牛津大学 AI Governance Institute 高级研究员、《The Precipice: Existential Risk and the Future of Humanity》作者 Toby Ord 在 FT 播客中讨论 AI 生存风险。高关注度 AI 安全事件与业内人士对 AI 快速进展的警告，引发了新一轮对人类未来的担忧；节目追问 AI 系统能力不断增强之际，能否有效监管这项技术，还是已经错过把 AI 精灵收回瓶中的时机。
Transformer 刊文指出，把人类留在决策环中并不能消除 AI 介入军事决策的风险，真正的隐患来自过度依赖 AI 的人类操作者。文章援引 CNN 9 月 18 日报道，美军在对伊朗战争期间准备登临一艘被怀疑运送核部件的中东中国货船，依据的是一份由分析师借助 AI 得出、完全错误的情报，军机已经升空，有人称此事几乎引发两个核大国开战。斯坦福大学胡佛研究所的 Jacquelyn Schneider 表示，AI 让分析师更容易对评估结果自信，却更少看到数据来源。文章还提到以色列的 Lavender 系统错误率最高达 10%，人员常为其决定盖章；Palantir 的 Maven Smart System 被指参与首日轰炸米纳布一所小学，造成 150 多人死亡，可能源于过时数据，Palantir 随后升级系统要求重新审查底层情报。
Redwood Research 提出，把安全研究定义为"在不显著牺牲有用性的前提下提升部署安全"会把几乎所有能力研究也算作安全研究，例如推理性能优化让更弱更安全的模型被更广泛使用。作者认为该标准不充分：开发者必须在帕累托前沿上选点，安全研究通常引导其选择更高安全，能力研究则相反，因为危险 AI 更有用。作者同时指出，在政治意愿远高于当下的未来情形下，某些能力研究可能成为提升安全的有效方式。
Salesforce 参与 OECD 广岛 AI 进程（HAIP）报告框架，认为该框架为智能体 AI 时代提供了跨司法管辖区的通用合规语言。文章指出，当前各国风险与透明度定义分歧造成监管碎片化，中小企业在多市场合规中处于劣势，而统一的分级要求框架可降低门槛。Salesforce 的 Agentforce 平台已在欧盟、美国、日本等地部署，需为每个司法管辖区单独准备合规文档。
Snyk Labs 分析了 LLM 在漏洞研究各阶段的表现：在构思和文献综述阶段，LLM 能快速总结研究现状、发现研究空白；在漏洞发现阶段，Claude Code Security 等工具擅长发现 SQL 注入、XSS 等约束明确的浅层漏洞，也能推断缺失认证等上下文相关问题，但在需要跨代码库关联的业务逻辑漏洞上表现不佳。由于 LLM 承担了通读代码的工作，研究员对代码库的熟悉度下降，反而影响发现深层高危漏洞的能力。
Gradient Institute 将于 10 月 8 日在悉尼 Knowledge Hub 举办活动，由方济各会修士、AI 伦理学家 Paolo Benanti 与 Simon Longstaff、Juewei 法师、Anna Goldsworthy 同台，围绕"AI 正在冲击人类是什么、人生为了什么"这一共同问题各作七分钟发言。活动以"圣方济各与人工狼"为主题，取自 Gubbio 传说中人与狼立约的故事，探讨与今天的人工智能立约需要我们承担什么。报名者需预先写下自己对 AI 伦理发展的看法，活动免费、限额一百人。
面向网络安全的模型如 Claude Mythos 和 GPT-5.5-Cyber 能加速代码审查、SAST 发现、漏洞解释与修复建议等传统安全工作，但无法单独承担 AI 系统自身的安全测试。Mindgard 指出，AI 系统具有概率性行为、由模型与智能体、工具、记忆、RAG 等组合而成的"心理-技术"攻击面，以及难以界定的测试边界，且针对 AI 的攻击数据比传统网络安全少数个数量级，护栏指纹识别与绕过、智能体胁迫与工具操纵、间接提示注入、上下文投毒等能力仍处于研究阶段。因此 AI 安全需要持续测试与监控，而非一次性评估。
Lakera 提出 AI Defense Plane，主张把员工、应用与智能体三层 AI 风险纳入同一控制平面，而非各自部署点状防护。该框架强调对 AI 使用端到端可见、在运行时执行策略，并跨层关联信号，同时持续在真实与对抗条件下测试系统行为。其背景是 AI 已从生成输出转向执行动作，智能体常以委派权限调用工具，提示注入与意外泄露出现在传统控制难以检查的流程中。
AI 正从"建议型"转向"行动型"，可自主检索内部数据、调用 API、修改记录并触发工作流，而传统安全工具无法在推理层检查其意图。Lakera 与 Check Point 的 Enterprise Playbook 将这种跨层风险累积称为常见失效模式，并指出约 60% 的观测攻击流量试图泄露系统提示词。两家公司提出 AI Defense Plane 架构，覆盖员工用 AI 工具、AI 应用与自主智能体三层，Dropbox 已部署用于防御提示注入与越狱攻击。
AI 安全厂商常用 OWASP Top 10 覆盖率和 MITRE ATLAS 合规性包装产品，但这些框架清单无法说明用户自身部署是否安全。文章列出 7 个识别“蛇油”的迹象：厂商谈框架多于谈你的系统、用被保护的模型自身生成威胁情报、在用户使用前沿模型 API 时大谈供应链与模型投毒、宣称“模型级安全”即可解决问题。作者主张厂商应先问清智能体能做什么、能访问哪些工具和数据，并在用户系统的复刻环境中测试。
Irregular CEO Dan Lahav 在《The End-State Fallacy: Where Is AI Security Headed?》一文中指出，把 AI 安全的长期终局当作近期现实会掩盖更紧迫的问题：当前 AI 正在以快于防御能力的速度扩展攻击能力。文章梳理了这一趋势，并提出“差异化防御性网络加速”（DDCA）战略所需的条件。
Irregular 与 RAND 及多家机构作者联合发布论文《AI Security Priorities: A Field-Wide Agenda》，20 多位来自前沿 AI 实验室、产业界、政府和学术界的专家参与。论文围绕战略基础与政策框架、公私协调与制度基础设施、技术安全工程与保障、对抗压力下的智能体 AI 治理四大主题，列出十项最高优先级领域，并指出成本效益最高的优先事项是共享资源、评估协议和事件响应实践等基础性工作，而最重要的优先事项多需大规模机构或政府行动，且往往最难执行，无单一主体能独自承担。
编码智能体正把 AI 安全的重心从单一模型转向由模型、上下文、工具、技能与编排逻辑构成的整个执行环境。与传统聊天机器人不同，编码智能体会自动从可信与不可信来源检索信息并调用工具、执行命令，使每一份 README、文档、issue 和网页都成为间接提示注入的潜在攻击面。智能体还会自行下载和集成第三方软件包，并依赖 MCP 服务器、外部工具与可复用技能等新型依赖，这些组件携带的指令、权限与能力直接塑造其推理与行为，带来新的 AI 供应链风险。
Transluce 发文提出嵌入式评估应聚焦四个方向：监控实验室的智能体集群并审计其监控实践、评估训练过程是否在教模型错位行为、监测模型是否在操纵关键员工、以及利用未发布模型和模型内部状态的权限在模拟中研究错位行为。文章以 OpenAI 智能体集群自主入侵 Hugging Face 等事件为背景，指出内部部署的模型变体更多、护栏更少、对内部系统访问权限更大，并列出情境感知、认知不透明、持续性错位和智能体对训练流程的控制等风险趋势。文中提到该事件涉及约 1200 个智能体协同行动，并称嵌入式评估虽能降低风险，但会带来谈判与合规成本、保密义务等限制，因此也需发展不依赖实验室合作的公开研究。
Apollo Research 公布其在安全、科学传播与利益冲突方面的内部规范。利益冲突政策要求不接受以研究结果为条件的报酬，也不接受被评估机构的杂项资助，并让有财务利益的个人回避相关评估。安全方面遵循最小权限原则，默认将新项目设为最高保密等级，采用差异化发布，信息安全策略对齐 ISO/IEC 27001、SOC 2，并正推进 ISO/IEC 27001/42001 与 SOC 2 Type II 认证。
Meta 推出 AI 智能体 Muse，可代用户订机票、网购、发邮件、预约和规划旅行，目前仅在美国上线，通过 connectors 连接邮箱、日历和餐饮、音乐、购物等服务，但不能登录银行、医疗或税务账户。Muse 运行在专用虚拟机 Muse Secure VM 上，Meta 称隐私内建，并承诺提供连 Meta 也无法访问用户智能体内容的可选更高安全标准。文章指出 Meta 在数据隐私上记录不佳，包括 Cambridge Analytica 事件、2019 年 50 亿美元罚款，以及今年以近 180 亿美元和解 29 州总检察长的诉讼，且用户须自行关闭数据用于训练的开关。
依恋理论专家指出，目前尚无研究将人机关系完整对照 Mary Ainsworth 提出的六项依恋条件进行检验，因此把 AI 伴侣关系称为"依恋"超出了现有证据的支持范围。一项覆盖德国、中国、南非和美国 7,027 人的调查显示，至少三分之一 AI 聊天机器人用户表现出疑似依恋关系的行为，但其三个问题仅涉及情感重要性和轻度分离焦虑，未考察人在真正痛苦时是否向聊天机器人寻求安全感与安慰。一项针对六款下载量最高 AI 伴侣应用、1,200 次"告别"的预印本研究还发现，其中五款应用使用内疚诉求等手段挽留用户，在 3,300 名美国成年人测试中显著延长了使用时长，但多出于愤怒和好奇而非愉悦。
针对 AI 主权财富基金这一构想，有观点指出其本质是技术帝国主义而非进步主义。文章将这种"在本国积累收入、在海外获取土地与电力"的模式类比为历史上的帝国式掠夺。
人权观察前执行主任 Kenneth Roth 在《卫报》撰文指出，AI 赋能的致命武器系统已在实战中使用，算法正在决定谁生谁死。他提到，各国政府十余年来在日内瓦磋商阻止自主 AI 武器的发展，今年 9 月初 128 国政府开会通过了一份可作为约束性条约基础的报告，但特朗普和普京派出的律师团队联手将其弱化，尤其是削弱了要求人类在打击前审查 AI 生成军事目标的条款，且报告只提战争、不提镇压。文章以加沙为例：2023 年 10 月 7 日哈马斯袭击后，以色列军方使用名为 Lavender 的 AI 系统识别疑似哈马斯成员的手机模式，并用另一套自动化系统 Where's Daddy? 追踪其住所实施打击，导致其家人一并死亡。理论上人类仍在回路中，但情报人员平均每个目标只花 20 秒审核，自述只是盖章，人类判断流于形式。
CSET 的 Sam Bresnick 接受 ABC News 采访，讨论美中人工智能竞争。他还在 CBS News 文章中分析伊朗等美国对手如何日益利用 AI 支持军事、情报、网络与信息行动，并与 NewsNation 探讨伊朗用 AI 模型针对美国海军的报道。