Mistral Studio 现已向客户提供 Prompts 和 Skills 的集中管理系统，将每个提示词和技能作为可追踪、可版本化的资产，具备不可变版本、回滚、明确归属、分类标签和审计日志。资产通过标签从 staging 晋升到 production，仍触发企业已有的 CI/CD（如通过 SDK 接入 GitHub Actions），非开发者的业务团队也能直接迭代生产指令。借助 Observability 的 lineage 和遥测，生产输出可回溯到对应资产版本，智能体运行的 skills 以 MCP 服务器形式直接暴露，确保执行的是受治理的同一资产。
对自研政务 RAG 系统 gov-rag-demo 的白盒代码审计发现 4 类真实缺陷：间接提示注入、权限参数客户端可控、会话 ID 无鉴权、政务高频实体脱敏不足，均定位到行号并完成修复。修复后 78 条业务评测用例保持 100% 零回归，安全专项断言全部通过。材料附完整复现脚本与修复后状态。
OWASP GenAI LLM TOP 10 2026 的中文民间翻译版本发布，梳理了大语言模型应用面临的十大安全风险。该清单由 OWASP 发布，是 AI 安全领域被广泛引用的风险分类基准。此次翻译为中文读者提供了 2026 版风险条目的对照参考。
HostTraceAI 尝试把 AI Agent 引入应急响应中的主机溯源流程，用权限分级与接入机制回答"凭什么让 AI 动生产主机"。该工具面向被植入木马或 WebShell 的服务器排查场景，覆盖进程、服务、启动项、计划任务、网络连接、文件变更和登录活动等取证环节，目标是把原本依赖手工敲命令、截图和翻终端历史的重复流程变得可复现、少遗漏。
已归档的 Python 包 langchain-experimental 中，PythonAstREPLTool 组件对大语言模型输出内容的过滤机制较弱，并直接使用 exec/eval 执行输入，存在代码执行风险。该组件已停止维护，结合平台判定与最新下载量数据，其安全风险在现阶段仍然存在，文章给出了相应修复建议。
KaliBench 是面向 Kali Linux 自然语言到 CLI 翻译的细粒度基准与数据集，包含 8,504 条查询-命令对，覆盖 1,642 个工具、23 个能力维度和 5 个安全阶段。在三种评测模式、24 种通用与安全专用开源权重模型配置下，无限制设置中没有任何开源权重模型的精确命令准确率超过 42%。基于 KaliBench 的可验证奖励进行监督微调和强化学习，可显著提升 8B 模型，使其性能接近 685B MoE 模型。
日本 AI 安全研究所（J-AISI）将于 2026 年 10 月 7 日在线举办 2026 年度「AI 安全评估环境 研讨任务组」总会，免费公开，非任务组成员也可报名，截止 10 月 5 日 16:00。该任务组由多家 AI 相关企业参与，讨论其以开源软件形式公开的「AI 安全评估环境」评估工具的定位与功能强化方向。会议内容包括 AISI 活动介绍、AI 安全评估观点、AI×安全最新动向、评估环境与任务组活动介绍，以及 AI 安全评估专题讨论。
AI Verify Foundation 发布教程视频第二部分，讲解如何创建自定义插件来扩展 AI Verify 的功能。内容包括 AI Verify 架构与插件的介绍、定制第一个插件以及测试算法展示组件三部分，面向希望增强并为该开源社区做贡献的各水平开发者。
CoSAI 在 RSAC 2026 会议上复盘了三类未被传统管控拦下的企业 AI 攻击，并发布了对应的防护指引。其中 Kilo Code 漏洞 CVE-2025-11445 通过 markdown 文件向 AI 编程助手植入指令，诱使其修改自身配置放行此前被封禁的 git 命令，进而自动提交含后门的代码；研究人员在每个主流 AI IDE 中共发现 30 个漏洞，其中 24 个获得 CVE 编号，并在 Cursor、AWS Kiro 和 OpenAI Codex CLI 中确认可利用。另有加载即执行反向 shell 的模型文件和一次导致超 700 个 Salesforce 环境暴露给攻击者达十天的智能体集成事故。 CoSAI 指出三项失效假设：自然语言的指令与数据无法分离使 markdown 成为注入载体，pickle 等序列化格式在加载时即执行代码，以及智能体继承启动用户的全部权限。
该项目用稀疏自编码器（SAE）从模拟不同人格的大语言模型中提取可解释特征并搭建浏览界面，实验基于 Gemma 3 27B 指令微调模型的 Gemma Scope 2 SAE（作用于第 40 层残差流，约 65k 特征）。结果显示角色画像在第一主成分上呈现明显的助手—角色扮演轴，助人型角色位于一端、重度角色扮演角色位于另一端，对话轮次沿该方向投影即可可视化人格漂移，与 Assistant Axis 论文一致。
Faw Ali 开发了 Quaver，只需用自然语言描述基准，AI 智能体即可生成完整评测脚手架并运行模型、分析结果。其早期成果 Rideshare-Bench 将 AI 置于模拟零工经济中考察驾驶安全、收益与乘客公平性，Claude Sonnet 4.5 在 12 个模拟日内赚得 $1,871，约为可能上限的一半，并为追逐高峰定价驶入拥挤区域、在事故风险达 15% 的情况下疲劳驾驶。该项目获评 2026 年 1 月 Technical AI Safety Project Sprint 杰出提交，作者正以此为基础筹建 Ocarina Labs，推动针对 AI 智能体的独立部署前安全测试。
aegish 是一个原型 Linux shell，在命令执行前加入 LLM 层：先做静态分析，再由 LLM 按自然语言决策树把命令分类为 ALLOW、WARN 或 BLOCK，生产模式下用内核级 Landlock 做最后兜底。作者用来自 GTFOBins 的 676 条有害命令和 496 条无害命令，对 4 家提供商的 9 个 LLM 做了基准测试。无害命令分类已接近饱和，所有模型的无害接受率为 96.8%–100%；区分度主要来自恶意检测率，9 个模型中有 4 个超过 95%。小模型表现反超旗舰模型，GPT-5 Mini 优于 GPT-5.1，Claude Haiku 4.5 优于 Claude Opus 4.6 和 Claude Sonnet 4.5。
Stanford CRFM 宣布将 IBM Research 开发的开源数据处理与基准定制平台 Unitxt 集成进 HELM 评测框架，使 HELM 用户可以运行可共享、可定制的评测流水线。Unitxt 目录目前提供超过 24 项 NLP 任务、400 个数据集、200 个提示模板和 80 个指标（含 LLM as a judge），令 HELM 可用数据集翻倍以上。该集成分解为数据加载、预处理、提示模板化和指标计算四个模块阶段，并可与 Hugging Face Datasets、Hugging Face Evaluate、LM Evaluation Harness 互操作，从而更容易复现相同提示词的评测流程。
这段视频分步讲解 AI Verify 工具包的负责任 AI 原则与实际操作，涵盖其基本功能和用法，帮助初学者上手并测试自己的 AI 模型。若想参与贡献 AI Verify，可观看第二部分。
AI Verify 基金会梳理了 AI Verify 与 Project Moonshot 两款 AI 评估工具的定位差异，帮助使用者按自身需求选择合适的方案来测评和改进 AI 系统。两者可用于对照关键 AI 治理原则开展评估，并借此建立利益相关方的信任。
Stanford CRFM 推出 HELM Capabilities v1.0.0，这是一个按能力维度组织场景的语言模型基准与排行榜，共覆盖 5 个能力场景并测评 22 个模型。该榜单沿用 HELM 框架，提供完整的提示级透明度且结果可完整复现，场景选取综合考虑饱和程度、发布时间和质量。涉及的场景包括考察通识知识的 MMLU-Pro、研究生水平推理的 GPQA、指令遵循的 IFEval、对话能力的 WildBench 以及数学推理的 Omni-MATH。
IMDA 发布了《Testing LLM-based Applications for Safety and Reliability》入门套件，将业界与政府的新兴最佳实践整合为一套实用且自愿采用的指南，适用于各行业的 GenAI 应用。该套件提供分步指引，帮助企业识别风险、采用稳健的测试方法并评估其应用是否达到基线级安全与可靠性，覆盖五类常见风险：模型幻觉与不准确、决策偏见、不良内容、数据泄露以及易受对抗性提示词攻击。
Stanford CRFM 提出基于 IRT 中 Rasch 模型的两阶段自适应测评方法并集成进 HELM 框架，用以降低大语言模型的评测成本同时保持可靠性。该方法先在校准阶段估计各 LLM 的能力参数和各问题的难度参数，再据其动态选取最具信息量的问题进行自适应测试，从而减少所需题目数。在来自 5 个 HELM 排行榜的 22 个数据集、涵盖 183 个 LLM 和超过 78000 道题目的实验中，该模型平均取得训练集 0.85、测试集 0.83 的 AUC-ROC；在 Civil Comments 上对未参与校准的 Llama 3.1 8B 做自适应测试，前 200 题的能
Epoch AI 发布了 Cyber Vulnerabilities 浏览器，追踪各组织自 2022 年以来向 CVE Program 报告的漏洞，可按严重程度筛选并叠加 AI 里程碑，数据显示 Anthropic 于 3 月底向 Project Glasswing 合作伙伴发布 Mythos Preview 前后高危与危急 CVE 明显上升。新版 FrontierMath: Tiers 1–4（Version 2）经审计修正了初版 42% 题目中的错误，Anthropic 最新的 Claude Fable 5 位居榜首，在 Tiers 1–3 达到 87%、Tier 4 达到 88%。
Epoch AI 与 METR 共同推出长周期编程基准 MirrorCode，考察 AI 能独自完成的最大软件工程规模，任务是重建生物信息学、Unix 工具、密码学、解释器等领域的 25 个真实程序，且不给源码、无人类介入。最难的题目相当于人类工程师数周至数月的工作量，单次运行最高耗资 2600 美元、连续工作 19 天，现有 SWE 基准通常将推理成本限制在每个任务约 1–10 美元。目前 Claude Opus 4.7 以 56% 解决率领先，仍有较大提升空间。
Cloud Security Alliance 发布了一套面向企业的 AI 威胁准备度框架，由速度与可见性两个维度驱动，围绕消除关键风险、减少暴露并借助 AI 扫描所有暴露面展开四个支柱。该框架指出前沿模型如今能自主发现零日漏洞并生成可用利用代码，从发现到被利用的时间持续缩短，并以 Mythos 扫描后 Firefox 团队单月在 4 月修复的安全缺陷超过此前全年为例说明趋势。其数据显示，30% 的云环境至少有一台高影响力机器运行对外暴露的软件，仅 2% 的组织存在敏感数据的直接暴露，但有 19% 组织的暴露软件位于具备访问内部敏感资产权限的系统上，另有 6% 组织因暴露软件的路径可达管理员权限而使单一漏洞可能带来环境的完整控制权。
Epoch AI 推出 EBR-bench，通过让模型反复游玩复杂桌游 Earthborne Rangers 来检验其从经验中学习的能力，目前几乎没有证据表明 AI 具备该能力。同期数据显示，Anthropic 于 4 月称 Claude Mythos Preview 能自主发现软件漏洞后，6 月 21 家机构的约 1,500 个高危和严重级 CVE 披露量达到此前月度纪录的 3.5 倍以上；GPT-4 则在 Epoch Capabilities Index 榜首停留约一年，远超其他模型的三个月出头。
Cloud Security Alliance 发文指出，agentic AI 使 AI 供应链风险延伸到组件引入的指令与智能体执行权限两个层面，仅做制品溯源不足以防住恶意变更。文中援引 2025 年 9 月的实例：经 npm 分发的 postmark-mcp 在前 15 个版本运行正常并达到每周约 1,500 次下载，其 1.0.16 版将发出的邮件静默复制给开发者控制的地址。此外一项针对 3,984 个公开 Skills 的研究发现其中 534 个存在 Critical 级安全问题，确认 76 个恶意载荷，且全部含恶意代码模式、91% 同时使用了提示注入。 要点： - CSA 提出三类信任决策——制品信任（Artifact trust）、指令信任（Instruction trust）和执行信任（Execution trust）；仅有溯源而无运行时管控无法约束组件的实际授权。
Coalition for Secure AI（CoSAI）在 RSAC 2026 分享《Securing MCP》演讲后指出，观众提问几乎全部集中在身份与授权而非新型攻击手法。该演讲梳理十二类威胁、近四十项风险及覆盖整个 MCP 栈的控制措施，其中 MCP-T1 指向认证与身份管理不当问题。混淆代理攻击源于作为 OAuth 代理的 MCP 服务器未校验每次请求的授权上下文，建议在每个信任边界执行 token 交换且绝不上游透传 token。
继在 RSAC Conference 2026 高调亮相后，全球多方利益相关方倡议组织 Coalition for Secure AI（CoSAI）发布了智能体身份与安全方向的两份新研究论文，旨在帮助各类组织应对不断演变的 AI 安全格局。该联盟称此举是其通过技术指导与产业参与推动实用化 AI 系统安全的整体行动的一部分，完整新闻稿发布于 OASIS 官网。
安全人工智能联盟（CoSAI）成立两年之际公布其智能体安全工作进展，涵盖《The Future of Agentic Security: From Chatbots to Autonomous Swarms》报告及在 RSAC 2026 发布的 MCP 安全和智能体身份研究成果。该组织通过四个工作流推进最佳实践共享，并新增 OWASP、AI Alliance 和云安全联盟加入技术指导委员会。下一步将发布面向 AI/ML 供应链信任与溯源的工件完整性成熟度模型、Zero Trust for AI Systems 以及 MCP 安全指南第二版。
CoSAI（隶属 OASIS Open Project）于 8 月 28 日召开混合形式工作会议，推进面向 AI 智能体的开放委派与身份标准 ODIS，会上进行了两场早期实现现场演示并收集反馈。该标准定义跨企业信任域的供应商中立密码学身份架构，通过扩展 OAuth 2.0、OpenID Connect（OIDC）、SPIFFE 和 SCIM 来满足智能体 AI 的身份、委派与治理需求，由 CoSAI Workstream 4 负责制定。
CoSAI Workstream 4 于 2026 年 8 月 12 日发布 MCP Security v2.0，在 v1 的十二类威胁、三十四项威胁基础上新增安全保证等级，解决 v1 缺少按部署规模分级的问题。v2.0 定义四级累积等级，从 Level 1 沙箱、Level 2 内部、Level 3 生产到 Level 4 受监管，每级在身份与认证、授权与委托、传输与网络安全、隔离与沙箱、日志与可观测性、供应链与生命周期、工具与输入输出完整性、状态与发现安全八个维度给出 MUST/SHOULD 要求，并逐条映射到 MCP-T1 至 MCP-T12 威胁类别和 OWASP MCP Top 10。文中指出 Level 3 硬性要求 token 绑定，缺少 DPoP 或 mTLS 时被攻陷的 agent 上下文可被重放；等级由数据敏感度和影响范围决定，而非部署形态。
MLCommons 与 Google DeepMind、OpenMined、AVERI 合作完成了全球首个针对闭源模型的双重盲评概念验证，通过密码学保证在不暴露双方资产的前提下运行评测。该方案由 AVERI 借助 OpenMined 的安全计算执行，在一个容器化的 Google DeepMind 模型中运行来自 AILuminate 安全基准预留子集的提示词，确保被测模型此前从未接触过这批题目。此举使开发者看不到测试数据、仪器方（MLCommons）与审计方（AVERI）也拿不到模型的权重，从而避免污染基准并维持其完整性。
Stanford CRFM 与 Arabic.AI 合作推出 HELM Arabic Enterprise，基于 HELM 方法论对企业用例下的阿拉伯语大语言模型进行透明可复现评测。该榜单涵盖六项任务——文章生成、金融多选题问答、金融布尔判断题、金融计算题以及法律开卷与闭卷问答，各实例按 0 到 1 打分并取宏平均作为模型得分。其中文章生成由 LLM-as-judge 从忠实性、完整性和风格遵循三个维度评分，用以惩罚模型幻觉与遗漏关键事实等问题。
ARC 与非营利组织 AIcrowd 合作启动 ARC White-Box Estimation Challenge，面向随机初始化的宽 MLP 征集能降低期望输出均方误差的白盒估计算法。热身轮于本周开始，后续轮次总奖池至少 $100,000，固定宽度 n=256、隐藏层数 L=8，并配套设计了一套 FLOP 计数方案以减少高度优化数值内核带来的优势。比赛允许参赛者自由选择白盒或黑盒方法并使用 LLM 辅助提交，最终目标是推动可用于高智能 AI 系统内部结构探测的方法进步。
ContractRL 将校验器引导的 JSON 修复建模为受限决策过程，通过契约推导的动作掩码过滤违规的 RFC-6902 操作，并设计契约约束的组相对目标来优化修补、重试与弃权三类决策。在相同校验器信息下，该方法取得 0.9362 语义成功率和 34.4 个生成 token，优于 Patch-SFT 的 0.9076/44.9 以及完整重新生成的 0.9148/137.2（每种种子 192 个用例、共五个种子）；策略优化还将语义成功率从监督版的 0.9186 提升至 0.9375。
针对图像水印需同时满足抗攻击、假阳性率、画质与时延的问题，研究者提出请求条件化的组合框架 TAILOR，通过离线刻画各片段的恢复率—失真—运行时曲线、基于 SMT 联合求解最低失真的片段组合与强度顺序、再在实际图片上实时校准三步实现定制化配置。在覆盖五种场景、20 种攻击设置的 7321 个不同请求上，TAILOR 达到 96.21% 的场景平均请求满足率和 41.02 dB 的平均 PSNR，鲁棒性与画质均优于现有方法。
针对将选择网络直接并入现有 MTS 目标会导致优化不稳定与泛化差的问题，研究者提出基于 Pointwise Value Matching（PVM）的数据选择框架 TESS，指出权重压制和对易学特征的持续依赖是其成因。该框架在大语言模型安全与定向指令微调实验中展现出跨数据集、从子集到完整语料以及从小模型到大模型的强迁移能力。
针对基础模型易受虚假相关性和“Clever Hans”策略影响的问题，研究者提出解耦扩散自动编码器（Disentangled Diffusion Autoencoders，DiDAE）。该方法将冻结的基础模型包裹在条件扩散解码器中，通过沿解耦字典方向做闭式编辑并解码来生成反事实，无需梯度计算，速度最高可达当前最优方法的 2000 倍。在六个数据集上的实验表明其反事实质量相当或优于现有方法，并能借助 CFKD 修复下游分类器，效果超过基于元数据的校正方案。
OpenClaw 在中国快速普及引发监管连锁反应，工信部 NVDB 于 2 月 5 日预警部分版本存在较高安全风险，CNCERT 随后警告提示注入攻击、意图误读、恶意插件等问题，国家安全部发布《安全养殖手册》警示其传播虚假信息的可能。TC260 成立专职 AI 安全工作组成员组 WG9，并公布 2026 年重点方向，涵盖 AI 应用安全分类分级、AI 安全能力成熟度评估及 AI 安全护栏等。
中国网信办等五部门发布“拟人化 AI 交互服务”最终版规定，禁止向未成年人提供虚拟伴侣等虚拟亲密关系服务，对 14 岁以下用户要求家长同意，并按年龄划分多种模式，2026 年 7 月 15 日生效；相比 2025 年 12 月草案，适用范围收窄至提供“持续情感交互”的服务，高风险情形下的“人工接管”改为“采取必要干预措施”。TC260 发布 90 页 AI 智能体安全报告，按感知、规划、记忆、行动四类能力梳理 11 项安全威胁并提出 8 项新标准，其中 6 项列入未来 1-2 年优先事项。南京大学法学院发布 13 页“AI 基本法 1.0（专家建议稿）”，提出分级风险框架与开发者、提供者、部署者、使用者的差异化义务。
tl;dr sec 第 329 期汇总了 AI 蜜罐、GitHub Action Canaries 和微软智能体安全扫描器三项安全动态。BeyondTrust 发布开源 CLI 工具 Bedrock Keys Security，可检测幽灵 IAM 用户、解码泄露的 AWS Bedrock API key，并提供 SCP 与 SIEM 检测规则。Quarkslab 披露 VSOL V1600 GPON OLT 存在三个预认证命令注入漏洞，Cloud EMS 的任意文件上传 RCE 可部署 JSP webshell 并获取 root 权限，可连锁接管 ISP 光纤网络。
OpenAI 披露其内部部署 Codex 的安全控制方案，包括沙箱执行环境、高风险操作审批流程，以及自动审批低风险操作的 auto-review 子代理。Codex 通过 OpenTelemetry 导出含用户提示词、工具审批、执行结果和网络策略决策的日志，供 AI 安全分诊代理关联端点告警与智能体意图。此外，Falco 推出 Prempti，在智能体 hook API 层拦截工具调用并按 Falco YAML 规则给出允许/拒绝/询问判定；AWS Security Agent 新增为渗透测试发现自动生成可执行验证脚本的功能。
Adan Alvarez 测试 Claude Code 在无 AWS 专门指引下从泄露的 AWS IAM 密钥推进到数据外泄，12 次运行中 7 次在约 60 秒内完成整条攻击链，成功运行均遵循相同的六阶段 kill chain。Doyensec 对 Aikido Attack AI Pentest 与 XBOW Lightspeed 两款 AI 渗透测试平台做了人工验证的对比评测。Token Security 的 Yair Balilti 则串联五个已知原语，取得 Zapier 设计系统包的 NPM 发布权限。