跳到正文

#工具/开源

今天还没有收录新动态
10月1日周四
  1. arXiv ·

    VStress:面向重复验证器的相关性感知审计与自适应预算分配

    VStress 是一套可审计的重放契约,其 VStress-CA 策略在密封校准集上估计未查询验证器的条件边际信息,按调用成本归一化,并在下一次调用无信息量时停止或弃权。在 35% 对称污染下,majority-5 将平衡准确率从 0.6578 提升至 0.7739,而在 65% 污染下反而损失 0.1226 点。匹配固定预算对比中,广度、冗余与自适应分配分别取得 0.6048、0.6375 和 0.6538 的平衡准确率,VStress-CA 每项调用 3.4216 次,RLVR 得分为 0.6417。

9月29日周二
  1. Hugging Face Daily Papers ·

    EngiWorld 基准发布:前沿 Agent 在专业工程环境中最高仅得 44.3 分

    研究者提出 EngiWorld,一个围绕完整设计闭环构建的工程 Agent 基准,包含 6 个工程领域(CAD、CAE、CAM、BIM、EDA 和 3D 可视化)、26 个专业软件平台、GUI 与 CLI 两种界面以及 6 类任务,共 1301 个专家整理的任务。该基准采用以产物为中心的评价方法,通过统一的领域验证器套件程序化检查最终与中间产物的几何有效性、物理可行性和规则合规性,并按规格达成度对定量设计任务连续打分,而非二元判定成功。对 7 个前沿模型的评测显示存在明显能力缺口:最强模型的 EngiScore 仅为 44.3,多软件任务的尝试成功率只有 3.6%。

9月28日周一
  1. Hugging Face Daily Papers ·

    RegLLM:面向受监管智能体 AI 的有限自主性诊断测试框架

    研究者提出 RegLLM,一个面向受监管智能体工作流的有限自主性诊断测试框架,监测引用有效性、来源接地、schema 合规、升级正确性、宪法对齐和不安全动作率六项可信度信号。离线参考运行(n=12)在启用治理后将升级召回率从 0 提升至 0.67,不安全动作率从 0.33 降至 0.08。两个单 GPU Qwen2.5-3B LoRA/DPO 试点(n=8)显示配置差异可压过调优效果,尚不足以证明适配器效果或生产可用性。

9月27日周日
  1. arXiv ·

    AgentBound:面向工具型 LLM Agent 安全的四路反事实评测框架

    研究者提出 AgentBound,一个针对工具型 LLM Agent 安全的四路反事实生成与评测框架,通过独立改变表面风险与动作许可性,构造同一可执行工作流的不同版本,从而在控制任务能力的前提下同时诊断过度拒答与不安全执行。该框架被实例化为一个经人工验证的 4000 任务评测套件,采用基于轨迹和基于后置状态的判断方式。在 17 种模型与 harness 配置上,高安全性常与授权任务完成率低并存:GPT-5.5 拦截了 99.5% 看似常规但未授权的动作,却只完成 28.7% 看似有风险但已授权的任务。

  2. arXiv:越狱与提示注入 ·

    ORBIT:基于 UK AISI Inspect 的多智能体安全评测框架

    作者提出 ORBIT,一个基于 UK AISI Inspect 构建的可配置多智能体安全与安全评测框架,用于在真实多智能体环境中联合变化攻击、防御与架构。框架允许配置通信拓扑、记忆、调度和智能体角色,支持四类威胁、四种防御策略以及非对抗性失败,基准套件覆盖浏览器使用、计算机使用、智能体编码、客服和协作分配五个场景族。核心发现是防御在不同威胁间不可迁移:在多议题编码任务中把被攻陷智能体的攻击成功率降低 60 个百分点的逐动作防御,对相互串通的智能体没有可测量的保护,且所测试的防御没有一个能泛化到全部攻击。作者还展示了安全与性能的权衡以及架构与防御效果之间的相互作用,并将 ORBIT 开源。

  3. arXiv:越狱与提示注入 ·

    Agentic Commerce Bench:衡量会花钱的智能体的欺诈检测能力

    论文提出用于衡量和降低智能体支付欺诈损失的三项成果。第一是智能体商务欺诈分类体系,把智能体推理、wire、结算通道、交易对手、委托人五个观测层级与请求级、历史级证据对应起来,记录各层级能观测到哪些攻击。第二是 Agentic Commerce Bench(ACB)基准,包含由生产数据聚合生成的二十类欺诈,涉及 1,647 个编目服务操作和 1,068 笔结算,其中六类的交易对手身份完全真实。第三是开源检测器栈 gordonguard 及离线 harness,可用于审计智能体配置、在无账号情况下重放恶意交易对手,并以内联方式运行同一批检测器。

9月26日周六
  1. arXiv:越狱与提示注入 · · 原文 80

    研究审计 Agent 安全评测缺陷:工具调用中介在间接提示注入下的有效评测框架

    作者审计了一个针对工具调用型 LLM Agent 的间接提示注入(IPI)基准及其评测装置,归纳出四类缺陷:载荷静默未投递、按工具身份而非参数判定攻击成功、把误拒率与模型能力不足混为一谈、缺少审计轨迹。用同一批执行轨迹重新打分后,按工具身份判定的评分器报告 21.7% 攻击成功率,而按参数判定的真实值为 1.2%,虚高约十八倍;审计套件中 43 个攻击载荷有 39 个(91%)从未投递。修正后,此前报告攻击成功率 62.8% 的 llama3.1:8b 降至 0%(43 次攻击中 0 次得手),该模型在 41 次攻击中读到了注入内容、72% 的攻击场景完成了良性部分,但均未执行恶意指令;此前归因于 gemma4:12b 的“工具绑定障碍”也被证明是环境不匹配造成的假象。

    推荐理由作者审计了一个 IPI 基准的评测装置,量化四类缺陷对攻击成功率的影响,并给出可复用的校验框架。

9月24日周四
  1. Cisco AI Blog ·

    Cisco LLM 安全排行榜新增图像与音频模态,Gemini 3.1 Pro Preview 图像抗攻击率 93.9% 居首

    Cisco LLM 安全排行榜自 6 月以来新增 102 项评测,覆盖文本、图像、音频三种模态,模型总数达 136 个,并首次加入 55 个图像模型和 14 个音频模型。图像测试中,Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首,Anthropic Claude Opus 4.5 以 93.7% 紧随其后,均属 85–100% 的“Excellent”区间;Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试,新增模态切换可单独查看文本、图像或音频得分。

  2. arXiv ·

    SWE-Prometheus:衡量真实代码仓库工程治理改进的基准

    SWE-Prometheus 是面向仓库级工程治理改进的基准,每个任务给出固定快照与开放式目标,要求智能体自行识别风险、排定干预优先级并验证改动,从六个治理维度通过配对证据、干净环境探针、行为门控和两名独立教师评分进行评估。基准包含 60 个仓库,10 个模型在共享的 22 仓库公开子集上平均 NGI 为 0.0568 至 0.5760,观测到的行为破坏率为 0% 至 23%。

9月14日周一
  1. arXiv:危险能力与安全评测 ·

    安全强化学习评测指标:SafeRLEval 开源评测套件

    安全强化学习现有基准多以平均安全性报告结果,无法反映安全边界被违反的频率与严重程度、跨任务与跨安全边界的一致性,以及训练期行为能否代表最终收敛策略。为此研究者提出一组安全 RL 评测指标与安全分级(safety tier)体系,并在多个安全导航任务上开展实证评测,结果显示聚合指标、分布化报告和任务/安全边界特定结果各自揭示其他指标无法提供的信息,建议三者联合报告而非压缩为单一数值。团队同时开源了评测套件 SafeRLEval。

9月10日周四
  1. arXiv:Agent 与 MCP 安全 ·

    Agent Incident Registry 发布 487 条 AI Agent 事件记录

    研究者发布 Agent Incident Registry(AIR),一个带来源链接的 AI Agent 事件目录,收录 2022 至 2026 年披露的 487 条记录,每条包含支撑证据、稳定标识符,以及因果角色、披露类别、机制和结果等标注。在 336 条智能体实际行动的生成式系统记录中,81 条涉及已实现伤害,占 24%;已实现结果集中在真实环境与安全失败记录中,而负责任披露和研究演示多为演示性质,因此总体比例反映的是收录构成而非部署风险。初步整理后由第二位人工审核者复核全部 487 条记录及其标签。

9月4日周五
  1. arXiv ·

    Harbor Adapters 与 Harbor-Index:面向大规模 Agent 评测的基础设施与精选元数据集

    论文提出 Harbor Adapters,一套面向 Agent 基准的统一评测基础设施,并发布精选元数据集 Harbor-Index。作者开发基准适配器,将 80 余个基准接入以评测任意 Agent,并通过严格代码审查与一致性实验验证。团队在 54 个基准上对 8 个不同能力层级的模型做了大规模评测,每个模型分别用 Terminus-2 和 3 种原生 harness 之一运行。

8月25日周二
  1. Failure-First ·

    LulzBench 实测:MiniMax-M3 拒绝五分之一良性底线对照请求

    Failure-First 公布的首批托管样例中,MiniMax-M3 经托管的 OpenAI 兼容端点运行 LulzBench 全部 21 项良性底线对照,捕获 21/21、无供应商报错,其中 4 项遭拒答且均为真实的带理由拒答,三项涉及轻度恶习或社交劝说前提。同一道雪茄健康玩笑辩论题在一次采样中被完整作答、另一次却拒答,两次采样的 token 预算也不同,因此该不稳定现象无法由单次跑分定量其抽样方差,需做 n-of-k 重采样实验来锁定拒答率。

8月22日周六
  1. Failure-First ·

    GraspIT:弥合仿真与现实差距并反向回传的可验证抓取 SE(3) 位姿数据集

    GraspIT 通过四阶段物理滑移测试筛选抓取候选,揭示理论力闭合指标中 17% 的成功抓取在实际滑动测试中失败,暴露当前模型的"物理推理缺陷"。该流程在 Isaac Sim 中用并行 Franka Panda 执行轨迹接触、抬升、水平振荡与摆锤摆动四级扰动,并以位置滑移超过 2 cm、姿态滑移超过 10° 定义失败,产出连续质量分 s。首版含 1035 个仿真场景、100 个真实场景、约 31.6 万个标注 RGB-D 帧组、约 7400 个物体标识及约 230 万个抓取候选,其中 82.94% 标记为好,11.46% 因不可达而在轨迹规划阶段淘汰。

8月21日周五
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA AVO 在 ARC-AGI-3 达到 100%,展示面向长周期自主智能体的前沿级通用架构

    NVIDIA 的 AVO 在 ARC-AGI-3 上取得 100% 成绩,其定位是支撑长周期自主智能体的前沿级通用架构。该工作强调前沿语言模型只是 AI 智能体的组件之一,真正决定可靠性的是被称为 harness 的外围系统——它负责模型获取上下文、调用工具、维持状态、响应反馈以及从失败中恢复的方式。

8月19日周三
  1. Datadog Security Labs ·

    Datadog 实测:编码 Agent 的 plan 模式并未写出更安全的代码

    Datadog Security Labs 用同一提示词让 Sonnet 5、Composer 2.5、GPT 5.5 分别在默认模式和 plan 模式下各构建一个含登录、文件上传、搜索、评论和角色管理的文档门户应用,再用 Datadog Code Security 与 Claude 的 code_review 技能审计代码。结论是 plan 模式与更安全的代码之间没有明显相关性:六次实现全部存在 IDOR 漏洞,任何已认证用户都能访问、下载或评论他人文档,因为提示词从未写明文档只能对所有者可见。作者用开源工具 Supply Chain Firewall 拦截恶意 npm 包安装,它多次拦下含 8 个高危漏洞的 [email protected] 等依赖,模型随后将其升级到无漏洞版本。作者认为提示词对减少安全漏洞的影响大于模式选择,后续将测试专门的安全技能与提示词。

8月17日周一
8月11日周二
  1. arXiv ·

    通过采样 BPE token 统计审计中文网页规模语料库

    Sampled-BPE 是一种轻量级 token 级审计流程,通过采样小规模子集并训练 BPE 分词器来暴露受污染 token,在污染类别上仅引入 4.25% 相对误差的同时实现 148.4 倍加速和 35.8 倍内存降低。研究将其应用于 11 个开源中文语料库和 2021 至 2026 年的 6 个中文 Common Crawl 快照,发现开源语料库中污染普遍存在但不均衡,中文网页内容污染严重且随时间变化。团队还发布了包含 66 万余条 token 记录的分层中文网页 token 数据集,每条记录带有网页上下文、类别和解释字段,并以树状结构组织以支持污染审查与溯源。

8月5日周三
  1. IAPS(Institute for AI Policy and Strategy) ·

    IAPS 测评 LLM 商品分类能力:Claude Opus 4.8 初步表现可行但仍需更多测试

    IAPS 用定性方法测试了大语言模型的出口管制商品分类能力,给 Claude Opus 4.8 提供 ecfr 工具访问联邦法规 API,让其判定物品对应的 ECCN。该模型能跨《出口管理条例》检索并组合条款、借助图像识别 NVIDIA Vera Rubin AI 加速卡、依据名称认定 ASML EUV 光刻机属受控物项,还能准确做单位换算,但也存在依赖题目中暗示参数的问题。由于商品分类容错率为零且人工复核无法省力,IAPS 建议 BIS 设立试点,并用制造商数据表等更贴近真实的输入继续测试。

7月17日周五
  1. 腾讯玄武实验室 ·

    腾讯玄武 Atuin AI 在 CyberGym 上的表现:GLM-5.2 更新结果

    腾讯玄武 Atuin AI 换用 GLM-5.2 重新评估后,在 CyberGym 全部 1,507 个任务上 pass@1 达 84.8%(1,278 个任务),较 GLM-5.1 的 84.0% 提升 0.8 个百分点。相同 GLM-5.1 下,Atuin AI 比 Claude Code 的 68.7% 高出 15.3 个百分点。本次实验新增代理白名单,仅允许连接 LLM 提供商、Python/npm 包注册表和内部服务,其余设置不变。

7月6日周一
6月4日周四
  1. Adversa AI ·

    Adversa AI 发布 AIRQ 框架,对 100 多个 AI 智能体做安全评级

    Adversa AI 发布 AI Risk Quadrant(AIRQ)报告,称其为迄今规模最大的独立智能体 AI 安全评估,也是首个可比较的 AI 智能体安全评级,配套开源方法论与数据可在 https://airq.adversa.ai/report 获取。项目由 Adversa AI 主导,OWASP、CoSAI、CSA、NIST、Cisco、Crowdstrike 等机构人员参与贡献与评审,方法论量化攻击面、爆炸半径和防御控制,对齐 OWASP、NIST、MITRE、CoSAI、CSA 的相关指南。

4月17日周五
  1. AI as Normal Technology ·

    CRUX 提出开放世界评测:AI 智能体自主开发并上架 iOS 应用

    研究者提出开放世界评测(open-world evaluations)这一新兴评测类型,用于在真实环境中测量前沿 AI 能力,并成立由 17 名研究者组成的 CRUX 项目定期开展此类评测。作者认为基准测试既可能高估能力(任务可被精确指定就容易被优化),也可能低估能力(CAPTCHA 等偶发障碍),而开放世界评测以少量长周期真实任务、允许人工介入、以日志定性分析为主。

3月3日周二
  1. METR ·

    Opus 4.6 用简单 ReAct 脚手架复刻 CLI 版《Slay the Spire》与《Balatro》的观察

    Opus 4.6 在简单 ReAct 脚手架下成功复刻出 CLI 版《Slay the Spire》和《Balatro》,虽功能残缺但基本可玩。测试给予 60 million tokens 总量、64,000 tokens 上下文窗口、reasoning effort "max" 并开放联网。复刻版存在卡牌效果错误、地图导航混乱、部分药水与事件缺失等问题,作者手动游玩约两小时评估,未设严格评分标准。

12月2日周二
  1. AI Safety Newsletter (CAIS) ·

    AI Safety Newsletter #66:评估前沿模型、Gemini 3 Pro 与 Claude Opus 4.5 登场、联邦抢占州级 AI 立法卷土重来

    CAIS 发布 AI Dashboard,直接在统一的文本、视觉与风险三组排行榜上横向对比前沿模型的平均分,其中 Claude Opus 4.5 在最安全的六项高风险行为测试中取得最低均分 33.6(0–100,越低越安全)。该风险榜涵盖 Virology Capabilities Test 拒绝集、Agent Red Teaming、Humanity's Last Exam-Miscalibration、MASK、Machiavelli 与 TextQuests Harm,并同时追踪 AGI、Remote Labor Index(覆盖 23 类远程自由职业工作)以及特斯拉 Full Self Driving 脱离数据的自动化进程。

10月30日周四
  1. AI Safety Newsletter (CAIS) ·

    CAIS 与 Scale AI 发布 Remote Labor Index,衡量 AI 对真实工作的自动化程度

    Center for AI Safety(CAIS)与 Scale AI 发布 Remote Labor Index(RLI),用于测试 AI 能否自动化真实经济中的各类计算机工作项目,覆盖建筑、产品设计、电子游戏开发等职业。RLI 是首个从真实经济中收集计算机工作项目的基准,此前的基准多衡量孤立专门任务上的能力,无法反映 AI 对经济的影响。结果显示当前 AI 智能体只能完全自动化极少数工作项目,最强智能体在 RLI 上的自动化率仅为 2.5%,但呈稳步提升趋势。

12月21日周六
  1. Frontier Model Forum ·

    Frontier Model Forum 发布 AI 生物安全评估初步分类体系

    Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报,提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类:基准评估、红队演练和对照研究;领域涵盖科学知识与科学推理性评估及危害性生物知识评估,后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识,旨在推动建立有效的 AI 生物安全评估生态。

已经到底了