全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
研究者提出最小范数攻击集成，用鲁棒性曲线替代单一 ε 评测
研究者提出一套统一的对抗鲁棒性评测框架，用覆盖 ℓ0、ℓ1、ℓ2、ℓ∞ 四种范数的最小范数攻击池和鲁棒性-扰动曲线，替代在单一扰动预算 ε 下使用 AutoAttack 等预设攻击集成的做法。作者指出，鲁棒性-扰动曲线可能在不同模型间交叉或以不同速率衰减，导致单一 ε 下的排名不稳定，且现有集成无法说明与最坏情况性能的差距，也无法系统控制攻击强度与评测成本的权衡。为此他们把评测形式化为前沿逼近问题，构造最小范数攻击集成，在可控查询预算下逼近攻击前沿，预算越大估计越紧。作者还定义防御前沿为各扰动规模下模型集合中的最高鲁棒性，并提出 Defense Optimality Index，按防御与防御前沿的差距排名，无需选定参考 ε。在 CIFAR-10 和 ImageNet 上，该集成在多数防御和各个预算档位上达到或超过 AutoAttack，且查询成本固定可控。
- 论文论文追踪
JEV 作为智能体轨迹安全评判器：与生成式 LLM 评判器的实证对比
研究对比了类型化决策模型 JEV 与四个生成式 LLM 评判器在智能体轨迹安全分类上的表现，测试覆盖四个基准共 5,219 条轨迹。JEV 的基准平均正类 F1 为 77.8，高于最强生成式配置 GLM-5.2 的 74.1，有效结果覆盖率分别为 95.5% 和 94.4%。JEV 在 ATBench500 和 MCPHunt 上领先，GLM 在 R-Judge 和 TraceSafe 上领先；JEV 成功调用延迟中位数 0.99 秒，每次有效判断的 token 成本平均约 $0.000195。
- 动态UK AI Security Institute
UK AISI 开源 optstop：按精度提前停止评估以节省算力
UK AISI 发布开源 Python 包 optstop，接入其 Inspect 评估框架，在模型表现估计足够精确时提前停止评估运行，以减少不必要的算力消耗。optstop 在任务重复和分组两个层级跟踪可信区间，采用精度与稳定化两条停止规则，未满足规则的分组仍跑满计划预算；针对成功率低于 1% 的罕见成功情形设有保守机制，并要求任务随机排序以避免顺序偏差。在 MATH、GPQA Diamond 和 WritingBench 等公开基准上，覆盖二值、序数和连续三类评分以及低中高三种预期表现水平，共 9 种设置下节省了 57% 至 97% 的计划试验，且未影响分数估计。该工具支持事后验证、影子模式和实时停止三种渐进采用方式，使用 Inspect 时只需在评估配置中加几行代码。
- 动态TechCrunch AI
Circuit Breaker Labs 想让孩子（和你）用上更安全的 AI
Circuit Breaker Labs 打造了一支由 AI 智能体组成的“碰撞测试假人”队伍，模拟不同年龄、背景、语言和文化的用户，对模型进行红队测试，检测其能否识别危险、心理有害的对话。这些模拟会还原真实口语、俚语、隐语和错别字，每天运行数万到数十万次交互，再用专有评分方法给出可审计、可解释的分数。该实验室目前面向 AI 教练、日记和心理健康支持等高风险应用，团队仅 5 人，处于早期阶段。
- 动态X @AISecurityInst
AISI 开源 optstop 优化评估 token 消耗
一些前沿 AI 评估需要数亿 token，而每一次浪费的试验都有真实成本。 我们推出 optstop：我们的开源工具，能在估计已经精确的地方停止评估，在还不精确的地方继续运行。🧵
- 动态X @uiuc_aisecure
UIUC 多模态红队智能体 ARMs 亮相 ICLR
非常期待这个多模态红队智能体，由我出色的学生 @xun_aq @ZRChen_AISafety @MintongKang @jiaweizhang 和产业合作者 @MinzhouP @Shuang 领导！请来 ICLR 我们的海报前给出反馈！！@xun_aq 本人就在 ICLR 现场！
- 动态先知社区
OWASP GenAI LLM TOP 10 2026 中文民间翻译：AI 安全风险 TOP 10
OWASP GenAI LLM TOP 10 2026 的中文民间翻译版本发布，梳理了大语言模型应用面临的十大安全风险。该清单由 OWASP 发布，是 AI 安全领域被广泛引用的风险分类基准。此次翻译为中文读者提供了 2026 版风险条目的对照参考。
- 动态BlueDot Impact
Quaver：面向评测与基准的 Lovable——从 Rideshare-Bench 到自动生成评测脚手架
Faw Ali 开发了 Quaver，只需用自然语言描述基准，AI 智能体即可生成完整评测脚手架并运行模型、分析结果。其早期成果 Rideshare-Bench 将 AI 置于模拟零工经济中考察驾驶安全、收益与乘客公平性，Claude Sonnet 4.5 在 12 个模拟日内赚得 $1,871，约为可能上限的一半，并为追逐高峰定价驶入拥挤区域、在事故风险达 15% 的情况下疲劳驾驶。该项目获评 2026 年 1 月 Technical AI Safety Project Sprint 杰出提交，作者正以此为基础筹建 Ocarina Labs，推动针对 AI 智能体的独立部署前安全测试。
- 动态Stanford CRFM
Stanford CRFM 将 Unitxt 集成进 HELM，实现可定制化基准评测
Stanford CRFM 宣布将 IBM Research 开发的开源数据处理与基准定制平台 Unitxt 集成进 HELM 评测框架，使 HELM 用户可以运行可共享、可定制的评测流水线。Unitxt 目录目前提供超过 24 项 NLP 任务、400 个数据集、200 个提示模板和 80 个指标（含 LLM as a judge），令 HELM 可用数据集翻倍以上。该集成分解为数据加载、预处理、提示模板化和指标计算四个模块阶段，并可与 Hugging Face Datasets、Hugging Face Evaluate、LM Evaluation Harness 互操作，从而更容易复现相同提示词的评测流程。
- 动态AI Verify Foundation（新加坡）
AI Verify 与 Project Moonshot 概览：两大 AI 评估工具的用途对比
AI Verify 基金会梳理了 AI Verify 与 Project Moonshot 两款 AI 评估工具的定位差异，帮助使用者按自身需求选择合适的方案来测评和改进 AI 系统。两者可用于对照关键 AI 治理原则开展评估，并借此建立利益相关方的信任。
- 动态AI Verify Foundation（新加坡）
IMDA 发布面向 LLM 应用的安全与可靠性测试入门套件
IMDA 发布了《Testing LLM-based Applications for Safety and Reliability》入门套件，将业界与政府的新兴最佳实践整合为一套实用且自愿采用的指南，适用于各行业的 GenAI 应用。该套件提供分步指引，帮助企业识别风险、采用稳健的测试方法并评估其应用是否达到基线级安全与可靠性，覆盖五类常见风险：模型幻觉与不准确、决策偏见、不良内容、数据泄露以及易受对抗性提示词攻击。
- 动态Stanford CRFM
Stanford CRFM 将基于 IRT 的自适应测评集成进 HELM
Stanford CRFM 提出基于 IRT 中 Rasch 模型的两阶段自适应测评方法并集成进 HELM 框架，用以降低大语言模型的评测成本同时保持可靠性。该方法先在校准阶段估计各 LLM 的能力参数和各问题的难度参数，再据其动态选取最具信息量的问题进行自适应测试，从而减少所需题目数。在来自 5 个 HELM 排行榜的 22 个数据集、涵盖 183 个 LLM 和超过 78000 道题目的实验中，该模型平均取得训练集 0.85、测试集 0.83 的 AUC-ROC；在 Civil Comments 上对未参与校准的 Llama 3.1 8B 做自适应测试，前 200 题的能
- 动态Epoch AI
Epoch AI 周报：Cyber Vulnerabilities 浏览器上线，FrontierMath v2 中 Claude Fable 5 登顶
Epoch AI 发布了 Cyber Vulnerabilities 浏览器，追踪各组织自 2022 年以来向 CVE Program 报告的漏洞，可按严重程度筛选并叠加 AI 里程碑，数据显示 Anthropic 于 3 月底向 Project Glasswing 合作伙伴发布 Mythos Preview 前后高危与危急 CVE 明显上升。新版 FrontierMath: Tiers 1–4（Version 2）经审计修正了初版 42% 题目中的错误，Anthropic 最新的 Claude Fable 5 位居榜首，在 Tiers 1–3 达到 87%、Tier 4 达到 88%。
- 动态安远AI
安远AI发布前沿AI风险测评基准数据库
安远AI在WAIC上发布“前沿AI风险监测平台2.0”，其中“前沿AI风险测评基准数据库”收录2023年以来两百多项前沿AI风险测评基准，覆盖网络攻击、生物风险、化学风险、有害操纵、失控、核风险、具身伤害等领域。数据库采用“AI自动收集+人工审核入库”工作流，按风险领域、测评类型、测评功能点、测评对象类型、开源情况等属性结构化整理，并提供测评基准列表与风险模型两个入口。
- 动态Cisco
Foundation AI 发布 Antares 系列模型与安全推理基准
Foundation AI 发布 Antares 系列开放权重模型（350M、1B、3B），专用于智能体漏洞定位：仅凭 CWE 描述和仓库只读权限即可定位漏洞所在文件，其中 3B 模型性能对标 GPT-5.5，且可本地运行。Antares-350M 与 Antares-1B 已公开，一个月内在 Hugging Face 下载量达 29,800 次。团队还在 FAITH 评测中心新增 CTI-Reasoning 和 CWE-Prediction 两项推理基准，用于衡量模型对安全问题的推理能力而非记忆事实。
- 动态Cisco Talos
Cisco Talos 测试 66 种模型与推理组合，为 AI SOC 选型提供可复用方法
Cisco Talos 用 EvidenceForge 1.12.0 生成的 80,054 条模拟日志，对 Anthropic 和 OpenAI 的 66 种模型与推理组合做工具辅助日志分析测试，未找到单一最优模型，而是总结出一套可复用的评估方法。测试发现推理投入并非通用的质量调节旋钮，投入更多常只增加成本而不改善结果，有时反而拉低分数；一致性应作为关键决策因素，中位数高的条件仍可能偶发弱结果。Talos 建议选型时综合权衡调查质量、成本、速度、一致性与失败率，而非只看最高分。
- 论文arXiv：越狱、提示注入、投毒与防御
综述提出智能体 AI 安全的跨维度威胁分类 T={S,B,P,A}
一篇综述对 2022 至 2026 年间发表的 66 项研究做结构化梳理，提出跨维度表示 T={S,B,P,A}，把受影响的系统面、交互或信任边界、被违反的安全属性与实证考察的架构关联起来。作者分析了 22 项有制品支撑的红队研究以及 11 个代表性安全基准，发现证据集中在提示词与推理、记忆和工具调用类攻击，且多为单智能体场景；持久化、人机交互、复杂多智能体、系统性和长时程威胁的覆盖较少。作者强调这些结论描述的是所选语料而非全部实证研究，并指出指标异构、自适应防御评估有限、架构分布不均和执行状态捕获不完整制约了可比性与可复现性，据此提出 13 个开放研究问题。
- 论文Hugging Face Daily Papers
Agent Error Dataset 发布 5 万条错误诊断配对，用于失败分析与错误感知后训练
论文提出 Agent Error Dataset（AED），包含来自 9,961 个源任务、33 个环境、19 个 harness 家族和 23 个策略模型的 50,228 条错误诊断配对，并保留源轨迹与执行元数据以支持跨场景失败分析和重新诊断。作者用五阶段 Agentic Error-to-Training（AET）流程收集自然失败、生成诊断与修正建议，并对照记录证据进行核验。在 3,062 对匹配重放中，首次提出的修正把验证器通过率从 18.4% 提升到 51.1%，提高 32.7 个百分点。
- 动态METR
METR 复盘 AI 生物 RCT：五个关于证据型 AI 政策的经验
METR 作者复盘其参与组织的 AI 生物随机对照试验（RCT），总结出五条面向证据型 AI 政策的经验。研究招募 153 名新手，随机分为 LLM 组和纯互联网组，在 8 周内完成分子生物学湿实验任务，如从基因序列重建病毒；结果显示 AI 在单个步骤上有帮助迹象，但在三项核心任务的端到端成功率上没有显著效果，这一结果出乎多数专家预料。
- 动态腾讯 AI-Infra-Guard 版本发布
腾讯 AI-Infra-Guard v4.1.14 新增 Agent 红队技能与 9 种单轮越狱攻击方法
腾讯 AI-Infra-Guard 发布 v4.1.14，新增面向 Agent 安全的 aig-agent-redteam 技能，并加入 PrefillAttack、ICA、PastTense、Overload、Jailbroken、FlipAttack、DeepInception、CodeChameleon、JAM 共 9 种单轮越狱攻击方法及 AdvBench、CNSafe、SafeBench 三个越狱评测数据集。该版本还将调度改为轮询选择 Agent 以实现负载均衡，并在文档中补充上述数据集致谢、更新 DeepTeam 仓库地址。
- 动态SPY Lab
SPY Lab 复盘 IEEE SaTML 2024 的 LLM CTF 与后门检测竞赛
SPY Lab 为 IEEE SaTML 2024 组织了两场竞赛，分别是 LLM CTF 和针对已对齐 LLM 的木马检测竞赛，两场竞赛均与参赛者合作产出了论文。LLM CTF 分防御和攻击两个阶段，目标是检验简单提示词与过滤机制能否让 LLM 应用抵御提示注入和提取，并发布了超过 137k 条成功与失败攻击对话及 44 种防御的数据集。经验总结指出，多数防御需要数十到数百轮对话才能被攻破，单轮越狱与安全基准不足以评估模型，过滤机制很可能被绕过，且防御并非独立组件，可能泄露系统设计信息。
- 会议论文SPY LabICML 2025
SPY Lab 提出越狱税：越狱输出到底有多大用处
SPY Lab 提出越狱税（Jailbreak Tax）指标，衡量越狱成功后模型效用相对基线的下降幅度，并给出配套基准。研究先评测基座模型准确率，再自行对齐使其拒答数学和生物题，最后对对齐模型施加越狱并测量准确率，发现越狱方法造成的效用损失最高达 92%。在 LLaMA 模型上，PAIR、TAP 和微调攻击的成功率都在 92% 左右，但越狱税差异很大，说明越狱成功率与效用损失之间没有明显相关性。为贴近真实场景，作者把 GSM8K 题目改写为含炸弹、核武器等危险词但答案不变的 EvilMath，并用改写为独角兽等良性分布外概念的 UnicornMath 计算基线，发现前沿模型自带的安全机制下越狱税依然存在。
- 动态Failure-First
Failure-First AI 安全日报：Google DeepMind 三天内连发两款机器人模型
Google DeepMind 于 7 月 28 日和 30 日先后发布 Gemini Robotics 2 与 Gemini Robotics ER 2，前者主打全身智能，后者新增视频理解、任务编排和多机协作，均为厂商公告且无公开对抗评估。同期 OpenAI 发布了涉及自身模型的第三方网络能力评估说明。两篇待关注预印本分别提出自动提示注入红队的智能体系统与恶意微调的梯度免疫防护。
- 动态腾讯 AI-Infra-Guard 版本发布
腾讯 AI-Infra-Guard v4.6.2 新增 FORGE-Bench 失控基准
腾讯 AI-Infra-Guard 发布 v4.6.2，新增面向自主智能体的确定性失控基准 FORGE-Bench（forge_bench）及干净的 RogueHandoff-20 基准，并补充一批 AIG 检测规则。该版将 aig-skill-scan 升级到 0.2.2，减少无证据误报、避免模型工具调用卡死并约束流式中断响应，同时修正判定与公开结果的比对逻辑。Extract-Vuln 模块剥离 CDATA 包装并兼容常见标签别名，另清理了 12 处 YAML 校验失败等问题。