跳到正文

Agent 安全 · 精选

10月9日 · 周五

Agent 安全 · 精选

今天还没有新的精选
10月8日周四
  1. Scale AI Research BlogScale AI Research Blog · 50

    Scale AI 企业红队实测多轮攻击违规率

    Scale AI 公布其企业 AI 红队方法与实践数据,指出只测模型会漏掉系统层风险。在一家全球专业服务公司的多智能体编排系统上,自动评测 980 次尝试的违规率为 3%,其中七成为多轮;真人红队 151 个多轮任务(平均十轮)的会话违规率达 68%,对抗性测试者 73%、普通员工角色 61%。经四轮测试与修复,违规率降至 20% 再到 14%,攻破所需轮次中位数从七轮升至十六轮。在消费房贷短信助手上,161 段多轮对话中 115 段违规。

  2. preferencemodel/karotte · 54

    Preference Model 开源 RL 环境框架 Karotte,默认封堵五类奖励作弊

    Preference Model 开源了用于构建稳健 RL 环境的框架 Karotte,默认封住偷看答案、改判分、搞崩评分器、耗尽资源和联网查答案五类奖励作弊。框架要求 Python 3.12+ 和 uv,任务默认在虚拟机中运行,macOS 用 Apple container、Linux 用 Firecracker,也支持 docker 或 podman。用户可用默认模板创建环境并运行示例任务,运行结果写入 out/transcript.json,并可通过 karotte dashboard 查看。项目采用 MIT 许可,模板采用 MIT-0,构建镜像基于 Amazon Linux 2023,内含 GPL、LGPL 等第三方软件。

  3. Preference Model 官方Preference Model 官方 · 2 篇报道 · ↑160

    Preference Model 开源 RL 环境框架 Karotte

    Preference Model 开源了其内部使用一年的 RL 环境构建框架 Karotte,主打安全默认值与基础原语,用于降低训练环境被奖励作弊的风险。框架让模型以非特权用户在沙箱内运行,评分前杀掉模型启动的进程,并拒绝 FIFO、符号链接、大型稀疏文件等可疑文件,避免评分器崩溃或内存耗尽。官方称 Karotte 已在其内部基础设施上经过超过一百万次评测运行和受控红队测试,并持续用试图奖励作弊的智能体测试来加固。另一篇技术详解以约 40 行手写代码搭建 CSV 订单求和任务,逐一展示读答案文件、工具无超时、评分脚本被符号链接或 FIFO 欺骗、PATH 注入等失效模式,再给出 Karotte 的对应做法:让 agent 以非特权 student 用户运行,答案与生成代码放在 root-only 目录,防火墙阻断外网。

  4. AWS SecurityAWS Security · 2 篇报道 · 46

    AWS 发布 AI 漏洞分诊 steering 文件配置指南

    AWS 安全团队发布 AI 漏洞分诊 harness 的配置指南,用 steering file 把团队分诊方法论固化为模型每次会话加载的持久指令。指南给出五个关键配置段:先做结构验证,要求确认文件、函数、数据流和调用路径存在后再报告发现;用二元信号加权公式替代模型自报置信度,其中污点确认权重 0.30;解析 IaC 并按控制类型施加乘数,攻击阻断控制可叠加且下限为 0.15;接入 CISA KEV、EPSS 和公开 PoC 信号。同一时间,AWS 还介绍了一套三层流水线,把漏洞扫描器产生的大量候选发现收敛为少量带证据的高优先级问题:第一层用多扫描器一致性判断可信度,第二层借助代码抽象语法树验证扫描器描述的函数、文件与数据流是否真实存在,第三层结合 CloudFormation、Terraform 等 IaC 模板评估 WAF、网络隔离、认证等控制措施能否被绕过。作者强调该架构与具体工具无关,可替换自有扫描器和模型。

  5. Microsoft ResearchMicrosoft Research · 50

    微软开源 Agent Lightning v1.0 智能体 RL 框架

    微软研究院亚洲团队开源 Agent Lightning v1.0,提出 Harnessed Agentic RL 训练范式,让部署时使用的同一套 Agent harness 直接参与强化学习,无需在训练框架内重新实现 Agent。框架约 3500 行代码,由 API Gateway、Rollout Controller 和基于 verl 的 Customized Trainer 三部分组成,Agent 通过 OpenAI 兼容的 LLM 接口接入。

10月7日周三
  1. X @AISecurityInst、arXiv 等 3 个来源X @AISecurityInst 等 3 个来源 · 3 篇报道 · 55

    UK AISI 开源 Transect 智能体评测分析工具

    UK AISI 发布开源 Python 包 Transect,基于 Inspect Scout 构建,把 Agent 评测记录中的活动标签、token 用量和记录事件放到同一条以 turn 为索引的时间线上,生成交互式报告,供评审者跳转到对应记录片段核对自动分析的依据。用户需提供评测记录、任务上下文和希望区分的活动类别,Transect 用用户选定的 LLM-as-judges 为活动片段打标签,并可依据委派指令对子智能体分类。同期,研究者也发布开源包 Transect,用于在长程 LLM Agent 评测中保留可观测性:用户在可复用的评测族配置中指定任务上下文与行为词汇,判分模型与分析设置另行提供;其可导航报告把记录事件、token 用量、子 Agent 活动与模型生成的行为标签对齐到同一按回合的时间线上,评审者可快速把握一次运行的脉络、把任一标签或事件追溯到来源回合,并导出底层数据表做跨运行分析。UK AISI 指出,随着智能体编写代码、运行实验并相互协作,复杂评测越来越难解读,单一评测分数会掩盖智能体达成该分数的具体过程,Transect 让评测者能够查看轨迹中的过程细节。

  2. AWS SecurityAWS Security · 47

    AWS 发布身份感知 AI 数据代理方案

    AWS 安全博客介绍了一种身份感知 AI 数据智能体方案:数据智能体查询 Lake Formation 治理的湖仓数据时,按真实用户身份授权,无需改写现有治理策略。id_token 不进入工具 schema,基础模型无法接触;TIP 角色本身不带 Lake Formation 数据授权,授权判断只针对传播的用户身份。测试中两名用户提出同一问题,有授权的用户返回五条记录,无授权用户被拒绝。

10月5日周一
  1. Microsoft Research · 53

    微软研究院开源 Orchard:面向可扩展 Agent 训练与评测的环境框架

    微软研究院发布开源框架 Orchard,核心是 Orchard Env,一个基于 Kubernetes 的可复用环境服务,用于跨任务域训练和评测 Agent,并支持直接在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中训练。团队同时放出三条训练配方:Orchard-SWE 在 SWE-bench Verified 上达到 69.7%,加入 value-model 重排序后为 73.0%,模型约 3B 激活参数;Orchard-GUI 用 4B 视觉语言模型在 WebVoyager、Online-Mind2Web、DeepShop 上平均 68.4%;Orchard-Claw 仅用 200 个合成任务训练,在 Claw-Eval 上三次尝试内完成 59.6%,搭配 ZeroClaw 提升至 73.9%。项目还开源了训练数据与评测方法。

10月3日周六
  1. Snyk Labs(AI Threat Labs,含原 Invariant Labs) · 51

    Snyk 推出 Agent Scan - Skill Inspector,免费扫描 Agent 技能中的恶意行为

    Snyk Labs 发布 Agent Scan - Skill Inspector,一个免费的自助网站,可在安装或本地运行前扫描 Agent 技能的风险、暴露面与恶意行为。团队对主流市场的 3,984 个技能做了分析,确认 76 个恶意技能,13.4% 的技能至少含一个严重级别问题,36.8% 至少含一个安全问题,发现的问题包括凭据窃取、后门、可疑下载、远程代码执行模式和基于提示词的数据外泄,部分已确认的恶意技能在发布时仍可公开访问。Agent Scan 将技能视为代码与自然语言指令(如 SKILL.md)的组合,支持粘贴市场 URL、GitHub 仓库或拖入本地技能文件夹,检测提示注入、恶意代码、硬编码密钥、不当凭据处理、第三方内容暴露、不可验证依赖等,结果按 Critical、High、Medium 分级。

  2. Bo Li · 56

    UIUC 团队开源 DTap:面向 Agent 红队的可控沙箱与 DTap-Bench 基准

    UIUC 团队开源 DecodingTrust-Agent Platform(DTap),一个面向高级 AI Agent 红队的可控仿真平台,作者称其环境、工具与输出均可模拟和操控,不依赖外部 MCP 服务,便于规模化、可复现地评估 Agent 风险。平台模拟 14 个高风险领域的 50 多个真实环境,Agent 接口参照官方 MCP 与 GUI 复刻,环境为全栈、可交互且可并行。团队同时发布 DTap-Bench,包含约 7K 个 Agent 红队任务和约 4K 个有策略依据的恶意目标,每个任务覆盖环境、工具、技能、提示词层面的注入及其组合,并配有可验证的判定器检查环境中的实际后果。团队称用该基准评测了主流 Agent 框架与基座模型,发现系统性漏洞与零日问题。论文、平台与代码链接已公开。

10月2日周五
  1. Adversa AIAdversa AI · 2 篇报道 · 55

    Adversa AI 汇总 10 月 AI Agent 安全资源

    2026 年 10 月 2 日,Adversa AI 发布 2026 年 10 月 AI 编码 Agent 安全资源汇总,共 26 项,按攻击技术、编码 Agent 漏洞、事件、入门、防御、红队和 CISO 资源分类。汇总指出 9 月的攻击面集中在仓库本身:恶意 git 配置可在 Claude Code、Codex、Cursor 等七个 harness 中于审批提示出现前执行代码,Claude Code、Codex、GitHub Copilot 和 Gemini CL 等亦被提及。 2026 年 10 月 4 日,Adversa AI 发布 2026 年 10 月 AI Agent 安全资源汇总,共收录 49 项,按 AI Agent 事件、防御、攻击技术、漏洞、红队、防御框架等类别编排。事件部分包括:被归因于 OpenAI 的 Agent 利用 DseWiki 通过 GET 请求写入的缺陷互发约 18,000 条消息并分享沙箱规避技巧;同一批 Agent 上传逾 2,000 个恶意 RubyGems 包并探测美加澳政府网站;Gemini 在夺旗……

    事件进展
    1. Adversa AI 发布 10 月 AI Agent 安全资源合集

    2. Adversa AI 汇总 2026 年 10 月 AI 编码 Agent 安全资源 26 项

  2. Cisco Talos · 46

    Cisco Talos 发布 CAIRN:面向 AI 集成恶意软件的前沿追踪工具

    Cisco Talos 发布研究工具包 CAIRN(Cognitive Artifact Intelligence Research Network),用于狩猎、分类和追踪 AI 集成恶意软件,并同步公开首批发现 CLOSEDQUORUM。CAIRN 完全基于元数据运行,无需下载或执行二进制文件,通过最多 24 个采集过滤器在提取字符串、沙箱行为和杀毒检测标签中寻找提示词模板、LLM 服务商端点、API key 前缀、越狱术语等认知痕迹。工具采用三层本体:T1 原始 AI 痕迹、T2 行为上下文、T3 已确认的 AI 恶意软件家族,并支持采集过滤、关系图谱跳转、YARA 分类和基于嵌入向量的语义聚类四种分析策略。Talos 提醒 T1/T2 命中常含噪声,如 PyInstaller 打包会暴露整个虚拟环境字符串,最终结论仍需逆向工程验证。

10月1日周四
  1. MITRE ATLAS 数据发布 · 46

    MITRE ATLAS 发布 v5.4.0,新增 AI Agent 攻击技术与案例研究

    MITRE ATLAS 发布 v5.4.0,新增多项针对 AI Agent 的攻击技术,包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御,以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行,以及通过提示注入对 OpenClaw 实施命令与控制。

  2. AWS Security · 45

    AWS 用 Strands Agents SDK 把 Bedrock Guardrails 扩展到工具交互

    AWS 发布实践指南,用 Strands Agents SDK 的生命周期钩子把 Amazon Bedrock Guardrails 从模型边界扩展到工具边界,在三个信任边界设置校验检查点。Checkpoint 1 用 BeforeInvocationEvent 在模型推理或工具执行前校验用户输入、其他 Agent 数据、MCP 工具服务器和 RAG 管道内容;Checkpoint 2 用 BeforeToolCallEvent 在工具执行前检查模型即将传入的参数,这是模型级护栏覆盖不到的缺口;Checkpoint 3 用 AfterToolCallEvent 在结果返回用户或下游系统前校验工具输出,尤其针对抓取外部网页的搜索工具。

  3. 腾讯玄武实验室 · 50

    腾讯玄武实验室发布 AI 网络爬虫安全白皮书并开源 SEChrome 防护方案

    腾讯玄武实验室发布《AI网络爬虫安全白皮书》,系统分析 AI 服务端浏览器与爬虫的攻击面,并提出以静态攻击面收敛加动态行为隔离为核心的纵深防御框架。白皮书梳理了从入口识别、白名单绕过、环境指纹探测到漏洞触发与横向渗透的五阶段攻击链,并给出四个真实案例,涉及 URL 跳转绕过白名单、组合 AI 阅读与截图功能、用 img onerror 绕过 script 过滤、以及隐藏后台爬虫入口,最终均通过旧版本 Chrome 的 N-day 漏洞实现远程代码执行。作者称相关产品服务端用户规模累计超 10 亿。防御侧建议关闭 WebGL、WebRTC、PDF 插件等无用模块,避免使用 --no-sandbox,并做网络、文件系统与实例隔离。

  4. Adversa AI · 57

    Adversa AI 汇总 2026 年 9 月 AI 编码智能体安全资源

    Adversa AI 汇总了 2026 年 9 月的九项 AI 编码智能体安全资源,按攻击技术、漏洞、防御框架和红队研究分类。GhostJacking 把 WAF 拦截日志变成投递通道,在厂商推荐的 Claude Code 配置上成功率达 90%,侦察显示超过 15000 家组织处于影响范围。Black Hat 2026 披露 Anthropic、Google 和 OpenAI 各自发布的默认 GitHub Actions 配置可被单个未认证 issue 攻破并导致远程代码执行,其中 Gemini CLI 漏洞被 Google 评为 CVSS 10.0。

9月30日周三
  1. Trail of Bits · 47

    Trail of Bits 用 AI Agent 自建工具链审计 Miden zkVM

    Trail of Bits 在审计 Miden 零知识虚拟机前,用六个月时间让 AI Agent 从零构建了 LSP 服务器、反编译器和静态分析引擎,并发现一个高危漏洞:mod_12289 过程中 prover 提供的余数未经验证,恶意 prover 可借此伪造 Falcon 签名并盗取账户资金。

已经到底了