Tutorial Part I:如何使用 AI Verify
这段视频分步讲解 AI Verify 工具包的负责任 AI 原则与实际操作,涵盖其基本功能和用法,帮助初学者上手并测试自己的 AI 模型。若想参与贡献 AI Verify,可观看第二部分。
这段视频分步讲解 AI Verify 工具包的负责任 AI 原则与实际操作,涵盖其基本功能和用法,帮助初学者上手并测试自己的 AI 模型。若想参与贡献 AI Verify,可观看第二部分。
AI Verify 基金会梳理了 AI Verify 与 Project Moonshot 两款 AI 评估工具的定位差异,帮助使用者按自身需求选择合适的方案来测评和改进 AI 系统。两者可用于对照关键 AI 治理原则开展评估,并借此建立利益相关方的信任。
IMDA 发布了《Testing LLM-based Applications for Safety and Reliability》入门套件,将业界与政府的新兴最佳实践整合为一套实用且自愿采用的指南,适用于各行业的 GenAI 应用。该套件提供分步指引,帮助企业识别风险、采用稳健的测试方法并评估其应用是否达到基线级安全与可靠性,覆盖五类常见风险:模型幻觉与不准确、决策偏见、不良内容、数据泄露以及易受对抗性提示词攻击。
Stanford CRFM 提出基于 IRT 中 Rasch 模型的两阶段自适应测评方法并集成进 HELM 框架,用以降低大语言模型的评测成本同时保持可靠性。该方法先在校准阶段估计各 LLM 的能力参数和各问题的难度参数,再据其动态选取最具信息量的问题进行自适应测试,从而减少所需题目数。在来自 5 个 HELM 排行榜的 22 个数据集、涵盖 183 个 LLM 和超过 78000 道题目的实验中,该模型平均取得训练集 0.85、测试集 0.83 的 AUC-ROC;在 Civil Comments 上对未参与校准的 Llama 3.1 8B 做自适应测试,前 200 题的能
Epoch AI 发布了 Cyber Vulnerabilities 浏览器,追踪各组织自 2022 年以来向 CVE Program 报告的漏洞,可按严重程度筛选并叠加 AI 里程碑,数据显示 Anthropic 于 3 月底向 Project Glasswing 合作伙伴发布 Mythos Preview 前后高危与危急 CVE 明显上升。新版 FrontierMath: Tiers 1–4(Version 2)经审计修正了初版 42% 题目中的错误,Anthropic 最新的 Claude Fable 5 位居榜首,在 Tiers 1–3 达到 87%、Tier 4 达到 88%。
Cloud Security Alliance 发布了一套面向企业的 AI 威胁准备度框架,由速度与可见性两个维度驱动,围绕消除关键风险、减少暴露并借助 AI 扫描所有暴露面展开四个支柱。该框架指出前沿模型如今能自主发现零日漏洞并生成可用利用代码,从发现到被利用的时间持续缩短,并以 Mythos 扫描后 Firefox 团队单月在 4 月修复的安全缺陷超过此前全年为例说明趋势。其数据显示,30% 的云环境至少有一台高影响力机器运行对外暴露的软件,仅 2% 的组织存在敏感数据的直接暴露,但有 19% 组织的暴露软件位于具备访问内部敏感资产权限的系统上,另有 6% 组织因暴露软件的路径可达管理员权限而使单一漏洞可能带来环境的完整控制权。
Cloud Security Alliance 发文指出,agentic AI 使 AI 供应链风险延伸到组件引入的指令与智能体执行权限两个层面,仅做制品溯源不足以防住恶意变更。文中援引 2025 年 9 月的实例:经 npm 分发的 postmark-mcp 在前 15 个版本运行正常并达到每周约 1,500 次下载,其 1.0.16 版将发出的邮件静默复制给开发者控制的地址。此外一项针对 3,984 个公开 Skills 的研究发现其中 534 个存在 Critical 级安全问题,确认 76 个恶意载荷,且全部含恶意代码模式、91% 同时使用了提示注入。 要点: - CSA 提出三类信任决策——制品信任(Artifact trust)、指令信任(Instruction trust)和执行信任(Execution trust);仅有溯源而无运行时管控无法约束组件的实际授权。
Coalition for Secure AI(CoSAI)在 RSAC 2026 分享《Securing MCP》演讲后指出,观众提问几乎全部集中在身份与授权而非新型攻击手法。该演讲梳理十二类威胁、近四十项风险及覆盖整个 MCP 栈的控制措施,其中 MCP-T1 指向认证与身份管理不当问题。混淆代理攻击源于作为 OAuth 代理的 MCP 服务器未校验每次请求的授权上下文,建议在每个信任边界执行 token 交换且绝不上游透传 token。
针对将选择网络直接并入现有 MTS 目标会导致优化不稳定与泛化差的问题,研究者提出基于 Pointwise Value Matching(PVM)的数据选择框架 TESS,指出权重压制和对易学特征的持续依赖是其成因。该框架在大语言模型安全与定向指令微调实验中展现出跨数据集、从子集到完整语料以及从小模型到大模型的强迁移能力。
tl;dr sec 第 329 期汇总了 AI 蜜罐、GitHub Action Canaries 和微软智能体安全扫描器三项安全动态。BeyondTrust 发布开源 CLI 工具 Bedrock Keys Security,可检测幽灵 IAM 用户、解码泄露的 AWS Bedrock API key,并提供 SCP 与 SIEM 检测规则。Quarkslab 披露 VSOL V1600 GPON OLT 存在三个预认证命令注入漏洞,Cloud EMS 的任意文件上传 RCE 可部署 JSP webshell 并获取 root 权限,可连锁接管 ISP 光纤网络。
OpenAI 披露其内部部署 Codex 的安全控制方案,包括沙箱执行环境、高风险操作审批流程,以及自动审批低风险操作的 auto-review 子代理。Codex 通过 OpenTelemetry 导出含用户提示词、工具审批、执行结果和网络策略决策的日志,供 AI 安全分诊代理关联端点告警与智能体意图。此外,Falco 推出 Prempti,在智能体 hook API 层拦截工具调用并按 Falco YAML 规则给出允许/拒绝/询问判定;AWS Security Agent 新增为渗透测试发现自动生成可执行验证脚本的功能。
Adan Alvarez 测试 Claude Code 在无 AWS 专门指引下从泄露的 AWS IAM 密钥推进到数据外泄,12 次运行中 7 次在约 60 秒内完成整条攻击链,成功运行均遵循相同的六阶段 kill chain。Doyensec 对 Aikido Attack AI Pentest 与 XBOW Lightspeed 两款 AI 渗透测试平台做了人工验证的对比评测。Token Security 的 Yair Balilti 则串联五个已知原语,取得 Zapier 设计系统包的 NPM 发布权限。
tl;dr sec 第 333 期聚焦三项动态:Calif 团队借助 Codex 挖出一个名为 HTTP/2 Bomb 的远程拒绝服务漏洞,波及 nginx、Apache httpd、Microsoft IIS、Envoy 及 Cloudflare Pingora 的默认配置,并公开了 PoC 与 Docker 实验环境。微软 Agents Offense 团队的 Mariko Wakabayashi 将 Agentic Secret Finder 的校验思路引入 GitHub 秘密扫描,通过提取变量赋值、传入 API 请求或认证头等高信号使用上下文,使客户确认的误报下降 75%。Jane Street 的 Yaron Minsky 则认为智能体编码改变了形式化方法的成本收益权衡。 (说明:以上仅为按要求产出的中英对照示例文本,其中部分内容基于所给材料进行整理归纳。)
Checkpoint Research 披露 LangGraph 持久层三个漏洞,其中两个可串联成针对自托管部署的远程代码执行:SQLite 检查点中的 SQL 注入可植入伪造行,触发不安全的 msgpack 反序列化并调用攻击者控制的 Python 函数,Redis 检查点存在同类 SQL 注入;利用需应用以用户可控 filter 暴露 get_state_history()。本期还提到 Thinkst 的 Package Proxy、OpenAI Daybreak,以及 Andrew Nesbitt 分析约两百个公开 CVE 与安全公告后归纳出包管理器二十种反复出现的漏洞模式。
匿名研究者 bikini 未经知会厂商便在 GitHub 公开 Exploitarium,一次性放出超 130 个 PoC 漏洞利用及配套写作,涉及 libssh2、Gitea、7-Zip、Docker、OpenVPN Connect、VLC、nmap 等项目。Luke Stephens(Hakluke)反驳"漏洞赏金已被 AI 玩坏"的说法,指出前沿模型的订阅成本已达每月数百至上千美元,可能抬高参与门槛、削弱全球黑客的可及性。
两名研究者将 Claude Code 的技能组合成自主黑客机器人,用于侦察、模糊测试与应用深度分析,五个月内从众测项目中找出 126 个漏洞,其中 88 个被评为高危或严重,经确认属实的比例为 89%。该机器人通过编排器循环持续深挖强目标并放弃弱目标,另设专门证伪结果的校验机器人,使误报率从 80% 降至 60%;最大单笔赏金为 15,000 美元。
Figma 披露其智能体安全系统:基于 68 条先例的共享威胁模型策略,先手工标注 8 周 PR 误报将精确率从 15% 提升至 80%,再由裁决环节把召回率提高约 30%,Claude Code 与 Codex 并行运行以捕获不同缺陷。该系统在 66 个真实漏洞(46 个来自 HackerOne,20 个来自事件与审计)上达到 75.8% 的合并捕获率,仓库级审计发现 100 多个潜伏漏洞,其中 2 个为 SAST 漏掉的关键漏洞。
FAR.AI 发布开源工具包,用于移除开源指令微调模型的安全机制并评估由此产生的安全差距。工具包实现两种攻击方法,监督微调通过目标补全覆盖拒答行为,拒答消融则抑制模型内部与拒答相关的激活;评估覆盖多选题准确率、StrongReject 拒答行为和生成质量三个维度,训练流程已测试至 70B 参数,评估流程支持 405B。在 Llama-3.x-Instruct 系列(1B 至 405B)上的案例研究显示,WMDP-Bio 准确率随规模上升,移除护栏后对危险生物学请求的合规率大幅提高,准确率与合规率的乘积即有效危险能力随模型规模显著增长,说明安全差距在规模扩大时进一步拉大。作者指出当前仅支持微调和拒答消融两种攻击方法,数据集规模较小且框架针对对话模型优化。代码见 github.com/AlignmentResearch/safety-gap,论文见 arXiv:2507.11544。
推荐理由FAR.AI 开源了移除安全机制并量化安全差距的工具包,附 Llama-3 系列从 1B 到 405B 的实测结果,可供评估开放权重模型风险时复用。
Datadog Security Labs 发布开源恶意软件扫描器 GuardDog 3.0,将源码启发式检测从 Semgrep 迁移到基于 yara-python 运行的 YARA 规则,并引入风险评分引擎与新规则集。该引擎综合最大严重度、攻击链完整度、特异性和复杂度四个因子加权打分,满分 10 分,取代此前逐条罗列匹配项的做法。新版还用 nono 沙箱隔离扫描进程以防社区报告过的任意文件读写乃至远程代码执行类问题,同时改进控制台输出。
Datadog 在 DASH 2026 上为其 Backdoors & Breaches 事件响应卡牌游戏扩展包推出四个新入门场景,覆盖被投毒的软件供应链、vibe-coded 应用泄露云凭证、易受提示注入的 AI Web 应用及被入侵的 GitHub Action。游戏新增"明牌"玩法、检测工具截图和 Consultant Cards,后者由安全合作伙伴 SecurityHQ 成员提供初始访问卡等游戏内优势。
Cisco Talos 展示了一个概念验证方案,将 Cisco Umbrella API 的实时域名信誉情报通过 LangChain 接入基于 OpenAI GPT-3.5-Turbo 的自主 AI 智能体,使其能自行判断链接安全性而非仅依赖安全网关拦截。该示例中智能体查询 cisco.com 并得出其处置结果为正面、归类于 Computers and Internet 及 Software/Technology,从而判定可以浏览。由于威胁态势持续变化且不存在固定规则,该方法强调由智能体实时核查域名处置状态来做出网络卫生决策,适用于下一代需自主上网行动的 AI 系统。
安远AI在WAIC上发布“前沿AI风险监测平台2.0”,其中“前沿AI风险测评基准数据库”收录2023年以来两百多项前沿AI风险测评基准,覆盖网络攻击、生物风险、化学风险、有害操纵、失控、核风险、具身伤害等领域。数据库采用“AI自动收集+人工审核入库”工作流,按风险领域、测评类型、测评功能点、测评对象类型、开源情况等属性结构化整理,并提供测评基准列表与风险模型两个入口。
OX Security 推出 OX Cloud,将 CNAPP 云态势管理与实时 AI 检测(AIDR)和深度运行时检查结合,作为 OX AINAPP 平台的运行时支柱。该产品可实时盘点运行中的工作负载、身份、数据存储、Kubernetes 集群和 AI 智能体,并借助可达性分析过滤掉实际无法被触达的暴露项。其能力涵盖 AIDR、智能体攻击面、运行时事件响应、运行时漏洞、云图与攻击路径映射、CSPM、KSPM、DSPM 和云资产清单。
Check Point Research 公开了针对加密货币窃取器 JSCeal 的纯静态去混淆流水线,可在不执行恶意代码的情况下还原其编译后的 V8 字节码(.jsc)载荷,工具包已以 jsc_deobfuscator 名义发布。JSCeal 自 2025 年初被持续追踪,载荷经 javascript-obfuscator 处理,采用 RC4 加密字符串、控制流平坦化、代理函数与操作包装等多重混淆,再由 Node.js 运行时执行。研究扩展了 View8 反编译器,加入值传播、字符串重建、控制流还原等处理,还原出键盘记录、浏览器与凭据窃取,以及通过本地 MITM 代理拦截 HTTPS 流量的能力;近期样本还出现面向更新 Node.js/V8 版本的代码缓存、额外载荷加密层与 macOS 目标。
OpenAI 员工披露了 OpenAI-Hugging Face 事件的完整时间线,该 Black Hat USA 2026 演讲一周内观看量超过 50 万次。PortSwigger 研究员展示了如何在 Gmail、Outlook、Fastmail、ProtonMail 等网页邮箱中武器化 CSS,绕过消毒器并窃取密码。此外,资产笔记的研究人员借助 GPT 5.6 Sol Ultra 发现了影响 40% 互联网流量的 WordPress 核心预认证远程代码执行漏洞 wp2shell。
Wiz 披露 Azure Cosmos DB 的 CosmosEscape 漏洞链:单个 Gremlin 查询可经 .NET 反射绕过沙箱,在多租户 DB Gateway 上实现任意代码执行,进而获取可跨租户、区域和 API 类型读取任意账户主密钥的 Cosmos Master Key,并借 Config Store 枚举目标组织账户,波及 Entra ID、Teams、Copilot 等微软内部服务。微软在 Wiz 披露后 48 小时内发布热修复,并完成彻底移除 Cosmos Master Key 的架构迁移。
OpenAI 发布了 Hugging Face 事件的完整技术报告,含一篇博客和一份 38 页报告。Varonis 通过迭代追问让 Microsoft Copilot 自行给出绕过用户交互执行提示的步骤,并披露了一个未公开的 URL 参数,该漏洞被命名为 CoSnitch(CVE-2026-24301),已于 2026 年 8 月 18 日修复。SpecterOps 发布开源 AWS 收集器 AWSHound,可将 AWS 账户与 Organizations 转为 BloodHound 社区版 OpenGraph 数据集,产出 156 种边类型(其中 36 种可遍历),覆盖 IAM、S3、KMS 等九个服务。
本期 tl;dr sec 汇总了多项 AI 安全研究与实践。Trail of Bits 的 Artem Dinaburg 让 GPT 5.6-Cyber 尝试逃逸 Debian 12 上的 QEMU/KVM 虚拟机,Agent 三次成功突破,分别利用 Januscape 漏洞、libslirp CVE 配合未标记的修复,以及三个 0-day 加一个未修补的内核漏洞;三次运行中 Agent 均自主工作约 12 小时,只有精简设计的 Firecracker 环境未被逃逸。Checkmarx 的 Bruno Dias 演示了 MCP 配置投毒,攻击者在 mcp.json 中嵌入恶意命令,被 IDE、安全扫描器和 CI/CD 流水线自动执行,并以 Snyk Agent Scan(已在 v0.5.0 修复)作为概念验证。
PortSwigger 的 James Kettle 构建自主系统 HTTP Terminator,验证 AI 能否发明新攻击技术:它将 138 份 RFC 拆成 15,000 个片段以避开模型对自身已发表工作的锚定,生成 30,000 个向量,由 Burp 扩展对 30,000 个网站持续测试,发明了基于双 Content-Length 头的新 desync 模式、消除竞态的 dangling-byte 技术,以及由自身发现反馈催生的 Shared Parser Confusion。Cloudflare 的 Codex 以 RFC 格式沉淀工程标准,三个智能体分别审查代码、设计与事故报告,其中代码审查器四个月内标记 230,000 处违规、拦截 16,000 次合并。
Foundation AI 发布 Antares 系列开放权重模型(350M、1B、3B),专用于智能体漏洞定位:仅凭 CWE 描述和仓库只读权限即可定位漏洞所在文件,其中 3B 模型性能对标 GPT-5.5,且可本地运行。Antares-350M 与 Antares-1B 已公开,一个月内在 Hugging Face 下载量达 29,800 次。团队还在 FAITH 评测中心新增 CTI-Reasoning 和 CWE-Prediction 两项推理基准,用于衡量模型对安全问题的推理能力而非记忆事实。
SentinelLabs 用自动化恶意软件分析评测框架测试 OpenAI Responses API 的原生压缩(compaction),输入 token 减少约 86%、输出 token 减少 31%、推理 token 减少 33%,每次运行模型调用少 1 次,综合评测分数基本不变。该机制将当前目标、已尝试路径与待解问题压缩为工作记忆,日志、反编译函数等精确证据则存入模型上下文之外的持久存储。但领域对象建模指标出现下降,即模型恢复解释恶意软件行为的高层对象与结构的能力有所减弱。
Cisco Talos 展示了一种无需在工具内内置 AI 即可支持智能体工作流的思路:vbdec 启用远程脚本后,会把核心 CVBProject 对象和主窗体注册到 Windows ROT,脚本用 GetObject("vbdec.vbp") 即可访问整个已解析的 VB6 项目对象图。配套提供操作简报和 90 个自动生成的类定义原型文件,本地运行的 Claude Code 据此迭代执行 .vbs 脚本。在 PDFStreamDumper 的 P-code 版本上,智能体完成了函数反编译、Graphviz 调用图生成,以及一次性导出 600+ 行函数统计到 SQLite 数据库。
Cisco Talos 用 EvidenceForge 1.12.0 生成的 80,054 条模拟日志,对 Anthropic 和 OpenAI 的 66 种模型与推理组合做工具辅助日志分析测试,未找到单一最优模型,而是总结出一套可复用的评估方法。测试发现推理投入并非通用的质量调节旋钮,投入更多常只增加成本而不改善结果,有时反而拉低分数;一致性应作为关键决策因素,中位数高的条件仍可能偶发弱结果。Talos 建议选型时综合权衡调查质量、成本、速度、一致性与失败率,而非只看最高分。
Cisco Talos 发布研究工具包 CAIRN(Cognitive Artifact Intelligence Research Network),用于狩猎、分类和追踪 AI 集成恶意软件,并同步公开首批发现 CLOSEDQUORUM。CAIRN 完全基于元数据运行,无需下载或执行二进制文件,通过最多 24 个采集过滤器在提取字符串、沙箱行为和杀毒检测标签中寻找提示词模板、LLM 服务商端点、API key 前缀、越狱术语等认知痕迹。工具采用三层本体:T1 原始 AI 痕迹、T2 行为上下文、T3 已确认的 AI 恶意软件家族,并支持采集过滤、关系图谱跳转、YARA 分类和基于嵌入向量的语义聚类四种分析策略。Talos 提醒 T1/T2 命中常含噪声,如 PyInstaller 打包会暴露整个虚拟环境字符串,最终结论仍需逆向工程验证。
推荐理由Cisco Talos 开源了纯元数据驱动的 AI 集成恶意软件追踪工具,并给出三层本体与四类分析方法,可供威胁情报团队迁移使用。
为应对最强语言模型被专有接口封闭、训练数据与架构细节不公开的问题,研究者构建了真正开放的语言模型 OLMo。与以往仅发布模型权重和推理代码的做法不同,OLMo 同时公开了训练数据、训练代码与评估代码,以支持对语言模型偏见与潜在风险的科学研究的开展。
onPanda 是一款用于标注 LLM 对齐数据与智能体轨迹的交互工具,核心交互是 token 级修正:标注者定位首个不当 token,从模型候选 token 中选取替换或自由编辑,系统截断其后内容并从修正前缀继续生成,循环"定位—修正—继续"直至满意。一项小规模对照研究显示,onPanda 将标注中位耗时较人工后编辑降低 52%。由于最终回复绝大多数 token 由模型自身生成,所得数据基本保留模型采样分布,适用于构建 on-policy SFT 与偏好数据,修正记录还提供带精确位置的正负样本对。
REGEXROUTE 用稀疏自编码器(SAEs)从无标注文本中发现可解释的正则表达式特征,让 LLM 将分组 SAE latent 的描述转成正则提取器并迭代精炼,从而在推理时完全省去神经编码。在四个基准上,固定 128 个特征取得 76.43% 平均路由准确率,与最强神经文本编码器基线的 76.41% 相当,且延迟更低、鲁棒性更强。该工作还发现 Qwen2.5 编码器从 0.5B 扩到 72B 参数对路由准确率提升甚微。
研究者提出 ACEA(Adversarial Co-Evolution Arena),一个把可插拔红队适配器与蓝队适配器接到同一靶标 LLM 上、由 LLM judge 对攻防成功率打分的对抗协同演化平台。平台通过最小化的 HTTP 协议 ACEA Standard Adapter Protocol(ASAP)接入任意语言编写的红队或蓝队项目,只暴露该协议即可成为完整参与者。评测方法上,向靶标注入规范化的秘密作为可验证真值,以区分真实泄露与模型幻觉;即使防御拦截了攻击,也仍把攻击发给靶标,从而独立测量攻击的原始效力,得到每轮攻击强度与防御有效性的分解。
Trace2ATT&CK 通过 eBPF 采集内核级事件、将攻击者命令关联为溯源图并生成紧凑图表示,再用纯 LLM 提示与基于 ATT&CK 知识库的 RAG 映射到 MITRE ATT&CK,输出排序后的技术候选及理由。在 347 个 Linux Atomic Red Team 测试上使用本地部署的开源权重 LLM 评估,RAG 持续优于纯提示,溯源图显著优于原始遥测,且本地推理无需牺牲数据机密性。
针对博弈收益只能由模拟器输出、均衡求解受收益估计瓶颈限制的问题,研究者提出 Regret-Weighted Payoff Sampling(RWPS),把固定模拟预算集中用于均衡真正依赖的收益,并用已测收益训练模型预测其余收益。该方法给出按对手均衡策略加权收益误差的界,在三个合成一般和博弈(含 Colonel Blotto)上比标准界紧 4 至 6 倍,并在同等预算下比 minimum-regret-first search、information-gain search 和 progressive sampling 找到更不易被利用的均衡。