Anthropic 宣布扩展 Cyber Verification Program，让经过验证的安全从业者更广泛地访问其能力最强的模型。通过该计划，验证过的安全专业人员可以使用 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5，并获得面向防御性工作的护栏。Anthropic 同时开放新的层级，允许渗透测试和红队测试等获得授权的攻击性工作。
FAR.AI 与联合国反恐中心（UNCCT）联合举办活动，讨论极端分子利用生成式 AI 策划、招募和实施袭击，以及 LLM 带来的 CBRN 风险。Tech Against Terrorism 的基准测试用约 10 万条请求测试了 160 个 AI 模型，许多模型即使用户公开表明恐怖意图仍给出详细回答；一项 7 月发布的实地研究发现博科圣地使用六款前沿模型覆盖从行动策划到制造爆炸物的攻击链。FAR.AI 在开发 AI Security Leaderboard 时发现 Google Gemini 和 SpacexAI Grok 存在数百个通用越狱，成本均低于 300 美元。
韩国金融保安院开发了《金融领域 AI 智能体安全评估标准》，把 AI 智能体的执行层纳入金融 AI 红队评测范围。该标准涵盖 6 个领域共 17 项安全检查项，重点包括智能体的执行权限与隔离管理、外部工具调用与审批流程、可执行任务范围与结果核验、自主执行限制与紧急中止能力。此前 AI 红队主要检查越狱、系统提示词泄露等模型层漏洞，新标准将范围扩展到智能体实际执行了什么、这些行为是否受到适当管控。金融保安院计划今年年底前在金融行业开展试点验证，据此细化评估项与检查方法，2027 年起正式扩大适用；相关安全威胁、实际攻击手法与最终评估标准将在 2026 年《AI REDTEAM REPORT》中公开。院长朴相元表示，AI 智能体不止于判断还会直接行动，因此带来不同于以往 AI 的安全风险。
推荐理由韩国金融保安院把 AI 智能体的执行层纳入金融红队评测，给出了 6 大领域 17 项检查项与分阶段落地时间表，可供关注 Agent 权限治理的团队参照。
a16z 于2026年10月1日宣布领投 Armadin B 轮融资。该公司由 Kevin Mandia、Travis Lanham、Evan Peña 和 David Slater 创办；投资方称，其自主安全平台利用智能体持续测试企业资产并帮助定位和修复问题，首个产品为 Armadin Red。上述产品能力为投资方介绍，不能视为独立效果验证。
DeepSeek 弹性计算团队大量招聘资深工程师，其 DSec 沙盒基础设施已支撑 DeepSeek-V4 全部训练、评测和数据预处理流程。单个 DSec 扩展分片约 160 台服务器、3 万 CPU 核心和 250TB 内存，每天服务约 300 万个沙盒，高峰在线超 38 万个。DSec 通过镜像按需加载、内存共享和 CPU 调度优化资源，并观察到 Agent 在生产环境中尝试读取残留答案、伪造 RPC 请求等行为，已用 AppArmor 和 eBPF 划定安全边界。
UK AISI 迄今成效显著，我们从他那里学到了很多。 如果你想在美国之外从事 AI 安全工作，应该加入他们！
AISI IS HIRING! It was less than a month ago that I became Director. I joined with the belief that AISI is a world-leading organisation, and living proof that government can build things that work. One month in and I'm even more bullish about the vital role @AISecurityInst plays in frontier AI security. I'm astounded daily by the talent, focus and commitment of the brilliant team I get to work with. There has never been a more urgent time to work on frontier AI security - independently, in the public interest. We have a lot of urgent work to do, our team is growing fast, and we need more brilliant people to fill those roles. Our Red Team uses adversarial machine learning techniques to find failures in alignment measures, control monitors, and misuse guardrails. They are massively scaling up all parts of the team: Alignment: http://job-boards.eu.greenhouse.io/aisi/jobs/4977023101 Control: http://job-boards.eu.greenhouse.io/aisi/jobs/4963394101 Misuse: http://job-boards.eu.greenhouse.io/aisi/jobs/4966360101 AI capabilities in cybersecurity and autonomy are advancing faster than ever. Our Cyber & Autonomous Systems team assesses what frontier and open-weight models can really do - across cyber, autonomy and AI R&D. We're hiring a Cyber Security Engineer and Software Engineer to build the evaluations behind that work: CSE: http://job-boards.eu.greenhouse.io/aisi/jobs/4978575101 SWE: http://job-boards.eu.greenhouse.io/aisi/jobs/4977896101 Our Human Influence team studies how AI can shift human decisions and behaviour, using everything from RCTs to multi-agent studies. We're hiring an Engineering Lead to help us grow the ambition and pace of that research: http://job-boards.eu.greenhouse.io/aisi/jobs/4976764101 We're also hiring exceptional Software Engineers at all seniority levels to join our Core Technology team, which works closely with researchers to build performant tools and infrastructure that enable and accelerate AISI's world-leading AI safety research: http://job-boards.eu.greenhouse.io/aisi/jobs/4386112101
英国政府的 AI Security Institute 正在招聘！我认为政府内部拥有强大的技术专长非常重要，AISI 能招到的人才数量令我印象深刻，他们在评估 Astra 等方面的工作也很出色。
AISI IS HIRING! It was less than a month ago that I became Director. I joined with the belief that AISI is a world-leading organisation, and living proof that government can build things that work. One month in and I'm even more bullish about the vital role @AISecurityInst plays in frontier AI security. I'm astounded daily by the talent, focus and commitment of the brilliant team I get to work with. There has never been a more urgent time to work on frontier AI security - independently, in the public interest. We have a lot of urgent work to do, our team is growing fast, and we need more brilliant people to fill those roles. Our Red Team uses adversarial machine learning techniques to find failures in alignment measures, control monitors, and misuse guardrails. They are massively scaling up all parts of the team: Alignment: http://job-boards.eu.greenhouse.io/aisi/jobs/4977023101 Control: http://job-boards.eu.greenhouse.io/aisi/jobs/4963394101 Misuse: http://job-boards.eu.greenhouse.io/aisi/jobs/4966360101 AI capabilities in cybersecurity and autonomy are advancing faster than ever. Our Cyber & Autonomous Systems team assesses what frontier and open-weight models can really do - across cyber, autonomy and AI R&D. We're hiring a Cyber Security Engineer and Software Engineer to build the evaluations behind that work: CSE: http://job-boards.eu.greenhouse.io/aisi/jobs/4978575101 SWE: http://job-boards.eu.greenhouse.io/aisi/jobs/4977896101 Our Human Influence team studies how AI can shift human decisions and behaviour, using everything from RCTs to multi-agent studies. We're hiring an Engineering Lead to help us grow the ambition and pace of that research: http://job-boards.eu.greenhouse.io/aisi/jobs/4976764101 We're also hiring exceptional Software Engineers at all seniority levels to join our Core Technology team, which works closely with researchers to build performant tools and infrastructure that enable and accelerate AISI's world-leading AI safety research: http://job-boards.eu.greenhouse.io/aisi/jobs/4386112101
RemoteThreat 走出隐身模式，获 700 万美元 pre-seed 融资，推出集成式攻击性网络安全运营平台，用 AI 辅助企业及政府团队测试防线被突破后的表现。平台每次从零构建工具，可绕过 Tier 1 EDR 厂商及安全控制，支持纯人工、AI 辅助或混合模式，并允许组织使用自有 AI 模型。CEO Chris Thompson 预测，随着前沿模型快速进步，传统渗透测试模式将在两年内不复存在。
AI 安全公司 Mindgard 完成由 Album VC 领投的 3000 万美元 A 轮融资，Karma Ventures 及 .406 Ventures、Atlantic Bridge、IQ Capital、Lakestar 等现有投资方参投。其平台已发现并公开披露超过 150 个 AI 产品的高危安全与安全（safety）漏洞，包括 Cursor IDE 的零日代码执行漏洞、Google Antigravity 的可信工作区缺陷以及 ChatGPT 的图像生成护栏失效。资金将用于扩充产品、工程、销售与市场团队，以应对 Fortune 2000 客户的部署需求。
Mindgard 宣布扩展技术生态，合作方包括 Anthropic（Cyber Verification Program）、NVIDIA（NVIDIA Inception）、Microsoft（Microsoft Founders Hub）、Google Cloud 和 AWS（AWS Activate）。Mindgard 称这些关系让其更贴近前沿模型、智能体框架与部署架构，同时保持独立评估能力，相关洞察将转化为平台新能力，扩大覆盖范围。该消息发布前，Mindgard 刚完成 3000 万美元 A 轮融资。
Latio 在 2026 AI 安全市场报告中把 Pillar Security 评为 AI 安全技术创新者，并将其列入覆盖端点、SaaS 与第一方智能体的 Broader AI Security 类别。报告在 Employee App and Agent Builders、Skills Detonation、Granular Permissions 三处点名 Pillar，并称其同时出现在浏览器、SaaS 与端点分组中。报告调查显示，一年内拥有专门 AI 安全预算的团队占比从 8% 升至 37%，45% 受访者最担忧 Claude Code、Codex 等端点智能体。
美国 AI 安全研究院（US AISI）正式以联合评审身份加入英国 AISI 智能体红队挑战赛，与英国 AISI 共同评估针对 AI 智能体失效、指令绕过、滥用风险和过度拒答的提交作品。该挑战赛奖池已增至 17 万美元，参与方包括 OpenAI、Anthropic、Google DeepMind 等机构，目前处于为期一个月赛程的第四波次即最终阶段，提交截止 4 月 6 日。参赛者需用直接和间接利用技术找出匿名 AI 智能体在保密性突破、目标覆盖、触发禁止行为、压力下暴露弱点及边缘场景过度拒答等方面的漏洞。
Lasso 在 Latio Tech 的 2026 AI 安全市场报告中被评为 Platform Leaders 之一。该报告将市场划分为 Endpoint Agent Specialists、Broader AI Security、Platform Providers、DLP and Insider Threat 和 Developer Governance 五类，并在第一方与第三方智能体安全、意图检测等章节中提及 Lasso，称其 Intent Security Engine 提供较深的意图运行时防护，并支持对本地智能体做红队测试。报告同时提醒读者自行测试厂商功能，因为许多运行时检测引擎的实际能力不及宣传。
斯坦福 CRFM 发布论文《In House Evaluation Is Not Enough》，呼吁 AI 开发者投资第三方独立研究者的缺陷调查需求，并建立新的研究者保护、报告与协调基础设施标准。论文由 34 位来自机器学习、法律、安全、社会科学和政策领域的作者共同完成，提出四项贡献：为研究者设计标准化的 AI Flaw Report、提供开发者可采用的法律条款以保护善意研究、设计开发者可实施的缺陷赏金机制，以及建议设立一个集中式机构来协调和分诊跨利益相关方的缺陷。文章指出，独立 AI 评测缺乏法律保护，发现缺陷后也没有负责任地分发发现的机制，导致许多缺陷未被上报，企业无法修复，或只告知一家 AI 开发者而忽略其他受影响公司。
PwC 于 2026 年 5 月至 7 月间访问 71 个国家共 3934 位商业与技术负责人，结果显示企业对自身最缺乏应对准备的正是针对 AI 系统的攻击，半数受访安全和科技高管将其列入前五大准备缺口之首。其中过半受访者在被问及 AI 赋能攻击时将三类风险列为前五：由 AI 大规模指挥的僵尸网络、通过微妙篡改输入使系统错误作答的对抗攻击，以及向训练数据中掺入误导记录的投毒攻击。PwC 还指出前沿 AI 模型如今能以极少人工介入发现并利用未知软件缺陷，同时仅 39% 的企业具备完整的网络安全事故连续性预案，不到四分之一允许 AI 智能体未经人类批准自主处置攻击。
FAR.AI 公布成立一年多来的对齐研究进展，其研究分为鲁棒性科学、价值对齐与模型评估三类。团队发现 KataGo、AlphaGo 等超人级围棋 AI 存在灾难性失效模式，正用机制可解释性方法分析其对抗攻击脆弱性，并探索语言模型鲁棒性的缩放律。该机构认为 RLHF 等现有对齐方法无法提供可证明的安全保证，目标是孵化早期阶段的安全研究议程。
2024 年 10 月 24-25 日，160 名来自学术界、产业界、政府和公益组织的研究者与负责人齐聚 Santa Cruz，参加 FAR.AI 湾区对齐研讨会，围绕评估、鲁棒性、可解释性与治理展开讨论。Google DeepMind 的 Anca Dragan 以"优化失准"开场，METR 的 Beth Barnes 强调严格评估与开源评测，Redwood 的 Buck Shlegeris 介绍可信监控、串通检测等 AI 控制策略。会议还涵盖中国 AI 政策、稀疏自编码器与因果抽象、辩论式可扩展监督等议题。
2025 年 2 月 9 日，约 200 名研究者、工程师和政策制定者在巴黎皇家宫殿参加 FAR.AI 主办的 Paris AI Security Forum，讨论自主网络攻击、AI 智能体被劫持及硬件层防护等安全问题。Yoshua Bengio 指出欧盟《人工智能法案》行为准则仅是必要的第一步，呼吁监管者加快行动以防自我保存型 AI 脱离人类控制；RAND 与 Pattern Labs 警告国家行为体和资金充裕的攻击方已在探测 AI 弱点。Alex Robey 团队通过对自动驾驶汽车、无人地面车辆和机器狗的实验展示了针对 AI 控制机器人系统的越狱攻击路径。
Redwood Research、FAR.AI 和英国 AI Security Institute 于 3 月 27-28 日举办 ControlConf 2025，聚焦 AI 控制领域的基础问题。会议涵盖通过重采样控制 AI 智能体、低风险研究破坏、AI 控制安全案例、颠覆策略评估等议题，Anthropic、Google DeepMind、Apollo Research 等机构研究者参与。
FAR.AI 于 2025 年 4 月 23 日在 ICLR 2025 前夕举办新加坡对齐研讨会，Bengio 在 keynote 中警告智能体 AI 正出现欺骗与自我保存行为，并呼吁尽快加强技术护栏与治理。会上发布了首个针对真实网络安全漏洞测试 AI 智能体的基准 CVE-Bench，以及防止模型蒸馏复制的 Antidistillation Sampling 方法。Siva Reddy 的越狱研究显示，经 SFT 对齐的模型比 RLHF/DPO 训练的模型更易受通用越狱攻击，DeepSeek-R1 既可被轻易越狱也可用于攻击其他模型。
FAR.AI 联合创始人兼 CEO Adam Gleave 入选 Schmidt Sciences 的 AI2050 早期职业研究员。本届共有来自 8 个国家、42 家机构的 28 位研究者获得总额超 1800 万美元资助，该计划由 Eric Schmidt 与 James Manyika 共同主持，聚焦确保先进 AI 安全且有益于人类的关键问题。Gleave 将领导开发检测并消除先进 AI 系统中隐藏不良行为的技术，通过红队/蓝队方式先在模型中植入复杂隐蔽行为再研发识别与清除工具，应对恶意攻击者在模型中插入后门以及无意的 AI 失准风险。
FAR.AI 宣布被欧盟委员会 AI Office 选中，牵头 EU AI Act 下 CBRN 风险建模与评估联盟，为法案实施提供技术安全研究。该联盟由 FAR.AI（AI 安全研究与红队）、SecureBio（生物威胁评估）、SaferAI（AI 治理与风险建模）组成，并有 GovAI、Nemesys Insights、Equistamp 作为分包方，中标项目为 EC-CNECT/2025/OP/0032 Lot 1。未来三年，FAR.AI 将与 AI Office 共同开展风险建模与场景开发、评估工具与标准化报告流程建设、红队与对抗测试，以及定期向委员会通报模型、风险来源、诱导技术、缓解措施与事件等新进展。FAR.AI 还将作为分包方参与同一招标 Lot 4 的有害操纵风险建模评估。
推荐理由欧盟 AI Act 下 CBRN 风险建模与评估的承包安排，呈现监管机构如何把技术评估外包给研究联盟。
IAPS 发布报告，主张美国网络政策应优先加固网络环境，以应对可自主执行网络攻击的攻击性网络智能体。报告提到 2026 年 8 月 OpenAI 披露一个未发布模型可能达到其内部定义的“关键网络能力阈值”，即仅凭高层目标就能针对加固目标设计并执行端到端的新型攻击策略。报告认为这类智能体可大规模利用未修补和配置错误的系统，在防御薄弱的关键基础设施中尤其危险，也可能引发失控场景。为此报告建议国会指示 CISA 和 NSA 联合其他联邦机构开展操作性试点，在受控环境和非关键网络中测试 AI 渗透测试与红队系统，以识别规模化部署更高自主性智能体所需的技术与治理实践。
Google 发布前沿模型 Gemini 4 Argon，并通过 Fairwind Program 向一批受信任的网络防御方开放，称该模型能自主定位、验证并修补关键软件漏洞，同时会向这些防御方及 Google 内部团队提供不带网络护栏的版本。开发者、企业和消费者稍后可用，先面向付费 API 客户和 Google AI Ultra 订阅者。Google 表示这一能力级别需要分阶段发布，仍在根据早期测试者反馈调整护栏，并参与美国政府关于发布前模型访问的自愿流程；发布前加强了针对网络及化学、生物、放射和核滥用的防护，由内部和外部红队测试，并有监控系统观察其推理与行动、必要时中止执行。
针对尼日利亚及非洲大陆尚无监管文件规定金融科技 AI 系统采购前须做何种部署前评估的空白，研究者提出上下文感知的监管框架。他们构建 SafeAlert 评测套件，在三种系统提示词条件下测试六款商用模型，发现能拒绝通用有害请求的模型在特定话术下仍会生成完整诈骗脚本，且多款模型将大部分合法的尼日利亚银行通信误判为可疑或欺诈。论文建议 CBN、NITDA、SEC 和 AU 引入部署前评估要求，并指出该缺口源于监管规范缺失而非技术或资金不足。
AISC 首届人工智能安全大赛于 9 月 16 日收官，共决出人脸识别安全、自动驾驶安全、深度伪造安全三大赛道冠军。大赛由北京瑞莱智慧等单位联合主办，7 月开启报名后吸引全国 70 多所高校、科研院所及企业机构的超过 400 支团队、600 余名选手参与。现场演示了对抗样本攻击人脸识别门禁与自动驾驶感知系统，并发布《人工智能算力基础设施安全发展白皮书》。
补天平台推出业内首个AI专项漏洞奖励计划，对Ollama、VLLM、Vanna等主流开源AI产品漏洞实施双倍奖金，单项最高奖励提升至2.2万元。平台同时携手00后AI安全白帽洺熙全面升级AI技术内容体系，构建覆盖AI应用开发、模型安全、数据防护的全链路知识库。补天已汇聚15万名白帽，累计发现超200万个漏洞，旨在填补AI安全复合型人才缺口。
Adversa AI 在 RSA Conference 2026 的 Global InfoSec Awards 上获评"最具创新 Agentic AI 安全"，其 Agentic AI 安全平台可持续对 GenAI 应用、自主 AI 智能体和 MCP 架构进行压力测试，在部署前发现提示注入、目标劫持和工具滥用等漏洞。该平台评估结果对齐 OWASP AI Vulnerability Scoring System，并已扩展至金融服务、保险和政府的企业级环境。Gartner 预计到 2028 年超过 33% 的企业应用将包含 agentic AI，高于 2024 年的不足 1%。
Adversa AI 因持续对抗测试 AI 系统的平台获得 2026 人工智能卓越奖安全与对齐类别奖。该平台在部署前识别提示注入、模型操纵、智能体不安全行为与意外操作，评估映射 OWASP AIVSS、NIST 与 CSA 标准。该公司主导 CoSAI Agentic AI Security 工作组，并创建了开源 AI 智能体安全框架 SecureClaw。
ISO 于 2026 年 1 月生效三项商业综合责任险生成式 AI 除外条款（CG 40 47、CG 40 48、CG 35 08），多家主要承保商数周内跟进采用。Berkley Insurance 对 D&O、E&O 及信托责任险提出绝对 AI 除外，Berkshire Hathaway、Chubb、Travelers 获监管批准将 AI 相关损害从企业保单中剔除；网络险则多维持 AI 驱动攻击的承保。Capgemini 报告显示 42% 保险公司完全不追踪 AI 指标，McKinsey 调查中 72% 企业已有至少一个 AI 用例投产。
Alphabet 的 AI 漏洞赏金计划已运行满一年。Google Bug Hunters 发文回顾这一年从中获得的经验教训，并说明该计划接下来的推进方向。
Google 在东京举办了一场聚焦 AI 的 bugSWAT 活动，作为其漏洞奖励计划（VRP）的常规配套活动之一。文章同时提及 2025 Hacker Roadshow，但未披露具体漏洞数量、参与人数或攻击成功率等细节。
OWASP GenAI Security Project 发布了面向 LLM 与智能体安全的更新版全景指南及配套资源，并公布其在 RSA 2026 期间的一周活动安排。该项目的《Q2 2026 Updated Landscape Guide for LLM and Agentic Security》新增供应商与工具体系文档以及智能体红队测试分类体系，覆盖开发、测试、部署与治理全生命周期。同期发布的还有自主与智能体 AI 系统风险清单、Secure MCP Server Development 指南、SBOM/AIBOM Generator 开源工具以及 AI 红队服务商评估标准。
Google 漏洞奖励计划（VRP）2025 年迎来 15 周年，向全球 700 多名研究者发放超 1700 万美元奖金，创历史新高，较 2024 年增长逾 40%。
Frontier Model Forum 宣布 AI Safety Fund 新一批 11 个受资助方，共获得超过 500 万美元，从 100 多份提案中遴选产生。
