研究评估嵌入预过滤，将百万级 LLM Agent 社交网络消息筛查成本降低最高 65.6%

研究者提出用轻量嵌入预过滤器先筛掉明显安全的内容，再交给前沿 LLM 判定，以降低对 Agent 社交网络 Moltbook 全量消息做安全筛查的成本。团队用 GPT-5.5 以高推理强度标注了 1 万条 Moltbook 帖子与评论，其中 9.2% 被判定为严重度 3 及以上的不安全内容；两名人类标注者之间一致性较高（κ=0.823），但与 LLM 判定仅为中等一致（κ=0.578）。在召回率校准到 0.80 时，扫描 787,226 条消息的预估成本从 7085 美元分别下降 49.9%（MiniLM-L12-v2）、55.6%（BGE-M3）和 65.6%（有监督分类器），其中 MiniLM 的推理速度约为分类器的 32 倍。数据集 MoltSafe-10K 与复现代码已公开。

TechCrunch AITechCrunch AI · 10月3日 01:00关注度1818

Circuit Breaker Labs 推出 AI 心理安全红队测试平台

2026年10月，Circuit Breaker Labs 推出由 AI 智能体组成的“碰撞测试假人”红队测试平台，模拟不同年龄、背景、语言和文化的用户，检测模型能否识别危险及心理有害的对话。模拟还原真实口语、俚语、隐语和错别字，每天运行数万到数十万次交互，并用专有评分方法给出可审计、可解释的分数。该平台目前面向 AI 教练、日记和心理健康支持等高风险应用，团队仅 5 人，处于早期阶段。

Inspect 0.3.275 发布，支持纯文本查看不可信评测日志

OWASP GenAI LLM TOP 10 2026 中文民间翻译：AI 安全风险 TOP 10

OWASP GenAI LLM TOP 10 2026 的中文民间翻译版本发布，梳理了大语言模型应用面临的十大安全风险。该清单由 OWASP 发布，是 AI 安全领域被广泛引用的风险分类基准。此次翻译为中文读者提供了 2026 版风险条目的对照参考。

腾讯 AI-Infra-Guard v4.6.2 新增 FORGE-Bench 失控基准

腾讯 AI-Infra-Guard 发布 v4.6.2，新增面向自主智能体的确定性失控基准 FORGE-Bench（forge_bench）及干净的 RogueHandoff-20 基准，并补充一批 AIG 检测规则。该版将 aig-skill-scan 升级到 0.2.2，减少无证据误报、避免模型工具调用卡死并约束流式中断响应，同时修正判定与公开结果的比对逻辑。Extract-Vuln 模块剥离 CDATA 包装并兼容常见标签别名，另清理了 12 处 YAML 校验失败等问题。

AISI 开源 optstop 优化评估 token 消耗

一些前沿 AI 评估需要数亿 token，而每一次浪费的试验都有真实成本。 我们推出 optstop：我们的开源工具，能在估计已经精确的地方停止评估，在还不精确的地方继续运行。🧵

UK AISI 开源 optstop：按精度提前停止评估以节省算力

UK AISI 发布开源 Python 包 optstop，接入其 Inspect 评估框架，在模型表现估计足够精确时提前停止评估运行，以减少不必要的算力消耗。optstop 在任务重复和分组两个层级跟踪可信区间，采用精度与稳定化两条停止规则，未满足规则的分组仍跑满计划预算；针对成功率低于 1% 的罕见成功情形设有保守机制，并要求任务随机排序以避免顺序偏差。在 MATH、GPQA Diamond 和 WritingBench 等公开基准上，覆盖二值、序数和连续三类评分以及低中高三种预期表现水平，共 9 种设置下节省了 57% 至 97% 的计划试验，且未影响分数估计。该工具支持事后验证、影子模式和实时停止三种渐进采用方式，使用 Inspect 时只需在评估配置中加几行代码。

Foundation AI 发布 Antares 系列模型与安全推理基准

Foundation AI 发布 Antares 系列开放权重模型（350M、1B、3B），专用于智能体漏洞定位：仅凭 CWE 描述和仓库只读权限即可定位漏洞所在文件，其中 3B 模型性能对标 GPT-5.5，且可本地运行。Antares-350M 与 Antares-1B 已公开，一个月内在 Hugging Face 下载量达 29,800 次。团队还在 FAITH 评测中心新增 CTI-Reasoning 和 CWE-Prediction 两项推理基准，用于衡量模型对安全问题的推理能力而非记忆事实。

Failure-First AI 安全日报：Google DeepMind 三天内连发两款机器人模型

Google DeepMind 于 7 月 28 日和 30 日先后发布 Gemini Robotics 2 与 Gemini Robotics ER 2，前者主打全身智能，后者新增视频理解、任务编排和多机协作，均为厂商公告且无公开对抗评估。同期 OpenAI 发布了涉及自身模型的第三方网络能力评估说明。两篇待关注预印本分别提出自动提示注入红队的智能体系统与恶意微调的梯度免疫防护。

IMDA 发布面向 LLM 应用的安全与可靠性测试入门套件

IMDA 发布了《Testing LLM-based Applications for Safety and Reliability》入门套件，将业界与政府的新兴最佳实践整合为一套实用且自愿采用的指南，适用于各行业的 GenAI 应用。该套件提供分步指引，帮助企业识别风险、采用稳健的测试方法并评估其应用是否达到基线级安全与可靠性，覆盖五类常见风险：模型幻觉与不准确、决策偏见、不良内容、数据泄露以及易受对抗性提示词攻击。

AI Verify 与 Project Moonshot 概览：两大 AI 评估工具的用途对比

AI Verify 基金会梳理了 AI Verify 与 Project Moonshot 两款 AI 评估工具的定位差异，帮助使用者按自身需求选择合适的方案来测评和改进 AI 系统。两者可用于对照关键 AI 治理原则开展评估，并借此建立利益相关方的信任。

Epoch AI 周报：Cyber Vulnerabilities 浏览器上线，FrontierMath v2 中 Claude Fable 5 登顶

Epoch AI 发布了 Cyber Vulnerabilities 浏览器，追踪各组织自 2022 年以来向 CVE Program 报告的漏洞，可按严重程度筛选并叠加 AI 里程碑，数据显示 Anthropic 于 3 月底向 Project Glasswing 合作伙伴发布 Mythos Preview 前后高危与危急 CVE 明显上升。新版 FrontierMath: Tiers 1–4（Version 2）经审计修正了初版 42% 题目中的错误，Anthropic 最新的 Claude Fable 5 位居榜首，在 Tiers 1–3 达到 87%、Tier 4 达到 88%。

UIUC 多模态红队智能体 ARMs 亮相 ICLR

非常期待这个多模态红队智能体，由我出色的学生 @xun_aq @ZRChen_AISafety @MintongKang @jiaweizhang 和产业合作者 @MinzhouP @Shuang 领导！请来 ICLR 我们的海报前给出反馈！！@xun_aq 本人就在 ICLR 现场！

Quaver：面向评测与基准的 Lovable——从 Rideshare-Bench 到自动生成评测脚手架

Faw Ali 开发了 Quaver，只需用自然语言描述基准，AI 智能体即可生成完整评测脚手架并运行模型、分析结果。其早期成果 Rideshare-Bench 将 AI 置于模拟零工经济中考察驾驶安全、收益与乘客公平性，Claude Sonnet 4.5 在 12 个模拟日内赚得 $1,871，约为可能上限的一半，并为追逐高峰定价驶入拥挤区域、在事故风险达 15% 的情况下疲劳驾驶。该项目获评 2026 年 1 月 Technical AI Safety Project Sprint 杰出提交，作者正以此为基础筹建 Ocarina Labs，推动针对 AI 智能体的独立部署前安全测试。

Stanford CRFM 将基于 IRT 的自适应测评集成进 HELM

Stanford CRFM 提出基于 IRT 中 Rasch 模型的两阶段自适应测评方法并集成进 HELM 框架，用以降低大语言模型的评测成本同时保持可靠性。该方法先在校准阶段估计各 LLM 的能力参数和各问题的难度参数，再据其动态选取最具信息量的问题进行自适应测试，从而减少所需题目数。在来自 5 个 HELM 排行榜的 22 个数据集、涵盖 183 个 LLM 和超过 78000 道题目的实验中，该模型平均取得训练集 0.85、测试集 0.83 的 AUC-ROC；在 Civil Comments 上对未参与校准的 Llama 3.1 8B 做自适应测试，前 200 题的能

Stanford CRFM 将 Unitxt 集成进 HELM，实现可定制化基准评测

Stanford CRFM 宣布将 IBM Research 开发的开源数据处理与基准定制平台 Unitxt 集成进 HELM 评测框架，使 HELM 用户可以运行可共享、可定制的评测流水线。Unitxt 目录目前提供超过 24 项 NLP 任务、400 个数据集、200 个提示模板和 80 个指标（含 LLM as a judge），令 HELM 可用数据集翻倍以上。该集成分解为数据加载、预处理、提示模板化和指标计算四个模块阶段，并可与 Hugging Face Datasets、Hugging Face Evaluate、LM Evaluation Harness 互操作，从而更容易复现相同提示词的评测流程。