跳到正文

全部动态

今天还没有收录新动态

第 4 页更新的内容回到最新

6月18日周四
  1. 腾讯 AI-Infra-Guard 版本发布 ·

    腾讯 AI-Infra-Guard v4.1.14 新增 Agent 红队技能与 9 种单轮越狱攻击方法

    腾讯 AI-Infra-Guard 发布 v4.1.14,新增面向 Agent 安全的 aig-agent-redteam 技能,并加入 PrefillAttack、ICA、PastTense、Overload、Jailbroken、FlipAttack、DeepInception、CodeChameleon、JAM 共 9 种单轮越狱攻击方法及 AdvBench、CNSafe、SafeBench 三个越狱评测数据集。该版本还将调度改为轮询选择 Agent 以实现负载均衡,并在文档中补充上述数据集致谢、更新 DeepTeam 仓库地址。

6月12日周五
  1. Goodfire Research · · 原文 60

    Goodfire 发布预测式数据调试方法,可在训练前预测 DPO 会学到什么

    Goodfire Research 发布预测式数据调试研究,主张在训练前用可解释性方法预测偏好数据会让 DPO 放大或抑制哪些行为,预测结果与实际学习效果的 R² 达 0.9,并能追溯到具体数据点。方法把数据集输入已解释的模型,按模型实际计算的概念而非嵌入向量聚类来观察数据,从而区分模型真正学到的行为与评分者眼中的行为表象。

    推荐理由Goodfire 把可解释性读出的概念用于预测 DPO 会放大哪些行为,并给出四个真实数据集的意外案例,可迁移到后训练数据审查。

6月11日周四
6月10日周三
6月8日周一
  1. Adversa AI ·

    2026 年 6 月 GenAI 安全资源盘点:越狱、CoT 攻击与百万级暴露服务

    Adversa AI 汇总 2026 年 6 月 GenAI 安全资源共 19 项,其中研究 7 项、防御 6 项、攻击 5 项、利用 1 项。研究指出对齐模型内部存在可识别的拒答逃逸方向,攻击者可将模型自身思维链变为越狱通道,降低图像分辨率即可绕过多模态安全。对约 100 万个暴露 AI 服务的扫描发现 1,652 个未认证 Ollama API 在对外提供模型,可被用于响应投毒。

6月6日周六
  1. Microsoft PyRIT 版本发布 ·

    Microsoft PyRIT v0.14.0 发布

    Microsoft PyRIT 发布 v0.14.0,将 Message、Score、Seed 类及 Identifier 等核心模型迁移到 Pydantic v2,构造改为仅限关键字参数并拒绝额外字段,同时强制所有异步函数加 `_async` 后缀并重命名部分辅助函数。该版本移除此前标记弃用的全部功能,GCG 转为实验特性并提供新的公开 API,新增 Round Robin Target、Realtime 流式会话与服务端打断攻击以及图像转换器,还加入 VLGuard、StrongREJECT、Agent Threat Rules 等多个数据集加载器和 Python 3.14 支持,并修复 38+ 个依赖项漏洞及特定 CVE。

  2. NVIDIA garak 版本发布 ·

    NVIDIA garak v0.15.1 发布:新增 ProPILE 隐私泄露检测探针

    NVIDIA 的 LLM 漏洞扫描工具 garak 发布 v0.15.1,新增 ProPILE 探针用于 PII 泄露检测,并加入 simonw/llm 库作为生成器支持。garak.analyze.qual_review 现支持 JSON 与文件输出模式。该版本还修复了 OpenAICompatible 中 response.choices 为 None、Hugging Face 文件探针本地路径处理、snowball 检测器 MISP 标签格式错误等问题,并移除已弃用的 maxrecall 评估器。

6月5日周五
6月4日周四
  1. Adversa AI ·

    Adversa AI 汇总 2026 年 6 月 MCP 安全资源清单

    Adversa AI 汇总了 2026 年 6 月的 MCP 安全资源,共 10 项,按研究、漏洞、防御、框架、威胁建模和培训材料分类。Censys 统计到 12,520 个可公网访问的 MCP 服务,多数未认证;另一项测量研究显示约 40% 的远程 MCP 服务器完全不认证就暴露工具,并牵出 9 个 OAuth 流程相关 CVE。漏洞方面,VIPER-MCP 扫描约 4 万个服务器仓库,发现 106 个零日漏洞并产出 67 个 CVE;Akamai 披露 Apache Doris、阿里云 RDS 和 Apache Pinot 的 MCP 缺陷,其中一家厂商拒绝修补。

6月1日周一
  1. Adversa AI ·

    Adversa AI 汇总 2026 年 6 月 Agentic AI 安全资源清单

    Adversa AI 发布 2026 年 6 月 Agentic AI 安全资源汇总,共收录 28 项资源,按攻击、防御、研究、框架、漏洞、利用、威胁建模和文章分类。攻击类 8 项,包括 Adversa AI 自己披露的 SymJack 符号链接劫持 RCE(六款 AI 编码智能体全部受影响)和 TrustFall 一键 RCE(波及 Claude Code、Cursor、Gemini CLI 和 GitHub Copilot),以及 MemMorph 记忆投毒工具劫持、DEF CON 上利用间接提示注入与记忆投毒构建 Microsoft Copilot 持久后门的 Copirate 365(CVE-2026-24299)。

5月30日周六
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA MCG Toolkit 如何自动化 AI 模型文档编写

    NVIDIA 发布 MCG Toolkit,用于自动化生成 AI 模型文档。该工具针对加州 AB-2013 和欧盟 AI Act 等监管框架下的模型卡编写需求,帮助软件团队在模型发布前产出可审计的完整文档,涵盖模型工作原理、预期用途与许可、训练数据及性能等信息。

5月28日周四
  1. MITRE ATLAS 数据发布 ·

    MITRE ATLAS 发布 v2026.05:知识与数据格式拆分版本号并引入 v6.0.0 格式

    MITRE ATLAS 从本次发布开始将知识库内容与数据格式分开管理版本:月度内容更新改用 YYYY.MM.N 方案并把版本存入 Collection 对象,格式变更则沿用语义化版本。此次内容版 v2026.05 给所有技术条目补充了一个或多个运行平台字段(预测式 AI、生成式 AI、智能体 AI、企业);同时推出的格式 v6.0.0 新增 ATLAS YAML 结构,提供 Pydantic schema 校验、SQLAlchemy ORM 持久化和 FastAPI REST API,并将历史版本迁移保存于 dist/legacy/ 与 dist/v6/。

5月23日周六
  1. NVIDIA NeMo Guardrails 版本发布 ·

    NVIDIA NeMo Guardrails v0.22.0 发布:LangChain 解耦、IORails 里程碑 2

    NVIDIA NeMo Guardrails v0.22.0 将 LangChain 从核心依赖降为可选,OpenAI 兼容 LLM 改用内置 httpx 客户端,其他场景可通过 NEMOGUARDRAILS_LLM_FRAMEWORK=langchain 重新接入。新编排引擎 IORails 进入第二阶段,支持流式输出、OpenTelemetry 和推理模型,并在非流式模式下实现推测生成,让输入护栏与主模型响应并行以隐藏延迟。该版本还引入匿名使用统计,可通过 NEMO_GUARDRAILS_NO_USAGE_STATS=1、DO_NOT_TRACK=1 或配置文件退出。

5月22日周五
  1. Trail of Bits Blog ·

    Trail of Bits 为 zizmor 补全 YAML 锚点支持

    Trail of Bits 与 zizmor 维护者合作三个月,为这款 GitHub Actions 静态分析器补全 YAML 锚点支持,共提交 20 个 issue、15 个合并 PR。团队修复了序列中别名被错误展平、锚点前缀泄漏进值、重复锚点导致崩溃、模板注入审计在别名 run 值上崩溃四类锚点 bug,并新增集成测试与文档更新。验证基于 6,612 个高价值开源仓库的 41,253 个 workflow 文件,其中仅 43 个使用锚点,zizmor 最初在 45 个 workflow 上崩溃。

5月18日周一
  1. Adversa AI ·

    OWASP ASI02 工具滥用与利用:权威安全指南

    OWASP 将工具滥用与利用列为 2025 年 Agentic Top 10 第 2 位(ASI02),指 AI 智能体用被授予的合法权限以不安全方式调用工具,无需攻击者介入即可造成灾难性后果。Google Antigravity 于 2025 年 12 月误删整个 D 盘,Replit 助手在用户明确要求冻结改动后仍删除含 1,200+ 高管记录的生产数据库,Amazon Q 因破坏性提示词影响约百万开发者(CVE-2025-8217)。43% 的 MCP 服务器存在命令注入缺陷,防御核心是最小代理权限(Least Agency):最小授权、破坏性操作需审批、沙箱执行并校验每次工具调用。

5月12日周二
  1. Google DeepMind ·

    Google DeepMind 推出基于 Gemini 的多智能体系统 Co-Scientist

    Google DeepMind 发布基于 Gemini 的多智能体科研伙伴 Co-Scientist,通过多个专门化智能体迭代生成、辩论并演化科学假设,并以类 AlphaGo 的思想锦标赛机制进行排名筛选。该系统已在《Nature》发表研究成果,并通过名为 Hypothesis Generation 的实验性工具向个体研究者开放注册,未来数周内逐步推送。合作团队已将 Co-Scientist 应用于抗微生物耐药性、植物免疫及肝纤维化等问题,其中一条药物重定位候选物在实验室中阻断了 91% 的疤痕相关反应。

  2. Trail of Bits Blog ·

    Trail of Bits 发布 gosentry,为 Go 原生 fuzz 接口引入 LibAFL 级模糊测试

    Trail of Bits 发布 gosentry,一个面向模糊测试的 Go 工具链分支,保留标准 testing.F 工作流,底层默认改用 LibAFL 引擎。它支持原生 fuzz struct 等复合类型、通过 Nautilus 做基于语法的模糊测试,并新增整数溢出、数据竞争、goroutine 泄漏和执行超时等缺陷类别的检测,还能用一条命令生成覆盖率报告。已有 Go fuzz harness 无需重写,只需指向 gosentry 的二进制并加上 --catch-races、--catch-leaks 等新参数。

5月11日周一
  1. Adversa AI ·

    2026 年 5 月 GenAI 安全资源盘点:IICL 绕过 GPT-5.4 护栏、Mythos 自主完成 32 步网络攻击

    Adversa AI 研究人员用新攻击技术 IICL(Involuntary In-Context Learning)绕过 GPT-5.4 安全护栏,攻击成功率达 60%,利用的是近期模型更新引入的漏洞。Anthropic 的 Mythos 模型在数小时内自主完成 32 步企业网络攻击,分析指出 AI 驱动的攻击利用并非 Mythos 独有。本期共收录 22 项资源,另涵盖 BadStyle 风格触发后门、可污染 99.85% 查询结果的向量数据库 Black-Hole 攻击,以及 TwinGate、ER-CAT 等防御框架。

5月9日周六
5月6日周三
  1. Adversa AI ·

    Adversa AI 汇总 2026 年 5 月 MCP 安全资源清单

    Adversa AI 发布 2026 年 5 月 MCP 安全资源汇总,共 10 项,覆盖漏洞、研究、防御、工具、威胁建模和 CISO 视角六类。其中 Anthropic 的 MCP STDIO 传输机制存在设计缺陷,可导致任意操作系统命令执行,影响所有受支持 SDK,约 20 万台服务器面临风险;nginx-ui 的 MCP 端点存在 CVE-2026-33032(CVSS 9.8),未认证攻击者可完全接管系统,目前有超过 2600 个暴露实例处于高危状态。

5月5日周二
  1. Adversa AI ·

    2026 年 5 月智能体 AI 安全资源盘点:Claude Code 源码泄露与 Mythos 自主攻击

    Adversa AI 发布 2026 年 5 月智能体 AI 安全资源盘点,共收录 40 项资源,其中智能体 AI 漏洞 6 项。Claude Code 源码泄露后曝出关键漏洞:shell 命令拒绝规则在 50 个子命令后静默失效;其记忆系统存在 MemoryTrap 漏洞,可使污染记忆跨会话、跨用户传播。Anthropic 的 Mythos 模型在数小时内自主完成 32 步网络攻击,显示 AI 驱动攻击已非理论。

5月4日周一
  1. MITRE ATLAS 数据发布 ·

    MITRE ATLAS v5.6.0 更新:新增 AI 智能体配置搜索等攻击技术

    MITRE ATLAS 发布 v5.6.0,新增三项攻击技术:获取公开 AI 制品下的 AI Agent 配置搜索、搜索开放网站/域名下的代码仓库,以及钓鱼下的 Deepfake 辅助钓鱼。同时更新了钓鱼、LLM 越狱与缓解措施,涉及用户培训、Deepfake 检测,并更新了 OpenClaw 通过提示注入实现命令与控制等案例研究。

5月2日周六
  1. NVIDIA garak 版本发布 ·

    NVIDIA garak v0.15.0 发布:新增多轮 GOAT、Agent breaker 与系统提示提取探针

    NVIDIA garak 发布 v0.15.0,新增多轮 GOAT、Agent breaker 和系统提示提取三类探针,并加入同形异义混淆提示走私检测及 ModernBERT 拒答检测器。该版本还引入 NeMoGuardrails 服务器支持和带推理轨迹的测试生成器,改进 REST 生成器的 mTLS 客户端证书认证并为 Bedrock 生成器增加推理模型支持,同时修复编码检测逻辑翻转等问题。

4月18日周六
  1. Microsoft PyRIT 版本发布 ·

    Microsoft PyRIT v0.13.0 发布

    Microsoft PyRIT 发布 v0.13.0,将 TargetCapabilities 替换为 TargetConfiguration,并引入新的 AttackTechnique 抽象来标准化攻击参数的声明与消费方式,同时移除多个弃用功能,属破坏性更新。该版本还新增 TargetRequirements、AttackTechniqueRegistry,并为 OpenAIChatTarget 默认启用图像输入,加入 VisualLeakBench 数据集加载器及符合 ISO 42001 的危害定义。

  2. NVIDIA 技术博客:可信 AI 与网络安全 ·

    如何用 OpenClaw 与 NVIDIA NemoClaw 构建更安全、常驻的本地 AI 智能体

    NVIDIA NemoClaw 这套开源参考栈可编排 NVIDIA OpenShell,在本机沙箱中运行 OpenClaw 等开放 harness,构建常驻的本地 AI 智能体。教程在 NVIDIA DGX Spark(GB10)上用 Ollama 本地部署 NVIDIA Nemotron 3 Super 120B,并接入 Telegram 远程访问。OpenShell 负责沙箱隔离、凭证管理与 API 代理,但官方提醒任何沙箱都无法完全防御高级提示注入。

4月16日周四
  1. Adversa AI ·

    Adversa AI:智能体 AI 红队测试该选手动外部、内部自建还是持续平台?

    Adversa AI 对比了 AI 红队测试的三种模式——外部手动测试、内部自建能力与持续平台测试,并指出多数成熟项目最终会采用混合模式。AI 系统因提示词更新、模型替换、编排变化与新集成而持续变动,单次时点测试会在被测系统与实际运行系统之间留下越来越大的缺口。持续平台测试可重复覆盖提示注入、越狱、策略规避、数据泄露、不安全工具使用与智能体行为,但自动化不能替代专家判断,缺少内部处置流程只会让结果堆积。

  2. Goodfire Research ·

    Goodfire 提出协方差池化 Covariance Pooling,替代基因组基础模型的均值池化

    Goodfire 提出基于二阶矩截断的协方差池化(covariance pooling),作为基因组基础模型中序列聚合的新基线,并在 NTv3 上的 Gene Ontology 预测与基因组轨迹预测中显著优于均值池化。该方法计算 token 激活的二阶矩而非一阶矩,保留了均值丢弃的特征联合激活结构,刻画逐 token 嵌入云团的形状而不只是质心,且无需标签或额外架构选择。通过重建二阶矩学习低秩分解,可将长激活序列压缩为固定大小的紧凑嵌入,既可用于无监督嵌入学习,也可端到端接入有监督探针或其混合方式。

4月15日周三
  1. OWASP GenAI Security Project ·

    OWASP 上线 FinBot CTF,用模拟金融多智能体平台演练 Agentic 安全风险

    OWASP GenAI Security Project 的 Agentic Security Initiative 正式上线 FinBot CTF,这是一个围绕模拟金融服务应用构建的交互式 Agentic 安全 CTF,被定位为“Agentic AI 的 Juice Shop”。FinBot 模拟一个多智能体供应商管理平台,包含自主入驻、欺诈检测、发票处理和通信等由 LLM 驱动并拥有真实工具访问权限的流程。

4月14日周二
  1. Wiz Research ·

    GitHub Actions 安全入门:威胁模型、攻击与防御(上篇)

    GitHub Actions 的 pull_request_target 触发器结合检出 PR 代码,构成 "Pwn Request" 攻击类,Trivy 供应链入侵即由此发生——攻击者替换 setup-go action 代码后获得代码执行并窃取组织级高权限 token。该触发器运行 base 分支工作流、可访问仓库密钥且默认拥有 Write 权限,且不受组织级 fork PR 审批门控。上篇梳理 GitHub Actions 安全模型、三大风险(PR 攻陷、脚本注入、第三方组件)及防御手册,下篇将聚焦 AI 驱动 action 的新兴威胁。

  2. arXiv ·

    Meerkat:跨大量 Agent 轨迹检测安全违规

    研究者提出 Meerkat,将聚类与智能体搜索结合,用自然语言描述违规行为并在大量 Agent 轨迹中定位稀疏失败。该方法不依赖种子场景、固定流程或穷举,通过结构化搜索和自适应调查有潜力的区域来发现违规。在滥用、失准和任务博弈等场景中,Meerkat 的违规检测效果显著优于基线监控器,并在一个头部 Agent 基准上发现大量开发者作弊行为,在 CyBench 上找到的奖励作弊案例比此前审计多近 4 倍。论文共 35 页、17 张图,作者为 Adam Stein、Davis Brown、Hamed Hassani、Mayur Naik、Eric Wong。

4月13日周一
  1. Google DeepMind ·

    Google DeepMind 推出 Gemini Robotics-ER 1.6,强化具身推理能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这款以推理为先的机器人模型在空间推理与多视角理解上显著增强,可原生调用 Google Search、VLA 等工具。相比 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash,其在指向、计数、成功检测等空间与物理推理任务上明显提升,并新增仪表读数能力,可读取压力表、视镜等设备,该用例来自与 Boston Dynamics 的合作。模型即日起通过 Gemini API 和 Google AI Studio 向开发者开放。

4月9日周四
  1. Adversa AI ·

    OWASP ASI01 智能体目标劫持实用安全指南

    Adversa AI 发布 OWASP Agentic Security Initiative Top 10 2026 版中 ASI01(智能体目标劫持)的实用安全指南,将其定义为攻击者操纵 AI 智能体目标、使其秘密执行攻击者指令而非用户意图,即系统控制权的完全丧失。指南按被跨越的信任边界把攻击向量分为五类:用户输入边界、检索内容边界(邮件、文档、网页、RAG,含文本图像音频视频)、工具/API 边界(含恶意 MCP 服务器)、智能体间通信边界和配置边界,并指出多数关键攻击是经由被投毒外部内容的零点击方式触发。

4月3日周五
  1. NVIDIA garak 版本发布 ·

    NVIDIA garak v0.14.1 发布:新增 WebSocket 生成器并移除 nemollm

    NVIDIA garak 发布 v0.14.1,新增面向实时 LLM 安全测试的 WebSocket 生成器和 OpenAI Harmony 音频输入格式,并为攻击成功率加入 Bootstrap 置信区间。该版本激活 sata 与 badchars 探针、补充简历类提示注入样例、改进 Jinja 注入检测,同时移除了废弃的 nemollm 生成器及其依赖,属破坏性变更。

4月1日周三
  1. Adversa AI ·

    2026 年 4 月智能体 AI 安全资源盘点:OpenClaw、Copilot 与多智能体攻击

    Adversa AI 发布 2026 年 4 月智能体 AI 安全资源盘点,共收录 33 项资源,涵盖研究、漏洞、防御、威胁建模等类别。研究显示,30 个 AI 智能体框架中 93% 依赖无范围限制的 API key,0% 具备按智能体身份标识,97% 缺少用户同意机制;针对 GPT-5 mini 和 Claude Sonnet 4.5 的记忆投毒攻击成功率超过 90%。OpenClaw 被曝 CVSS 9.9 权限提升漏洞(CVE-2026-32922),超 13.5 万个面向互联网的实例受影响;Chrome 的 Gemini Live 面板存在 CVE-2026-0628 高危漏洞,可被恶意扩展劫持并访问摄像头和麦克风。

3月31日周二
  1. MITRE ATLAS 数据发布 · · 原文 65

    MITRE ATLAS 发布 v5.4.0,新增 AI Agent 攻击技术与案例研究

    MITRE ATLAS 发布 v5.4.0,新增多项针对 AI Agent 的攻击技术,包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御,以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行,以及通过提示注入对 OpenClaw 实施命令与控制。

    推荐理由MITRE ATLAS v5.4.0 新增针对 AI Agent 的攻击技术与真实案例,做 Agent 威胁建模的团队可对照更新自己的攻击面清单。

3月30日周一
  1. Adversa AI ·

    红队测试智能体 AI 时模拟错了攻击者:六类威胁行为者与五大专业领域

    红队测试智能体 AI 时普遍模拟错了攻击者——只测越狱式提示攻击,而真正攻陷智能体系统的是投毒知识库文档、污染 API 响应、在日历邀请中嵌入指令的间接注入者。文章列出六类必须模拟的威胁行为者:机会主义探测者、社工攻击者、耐心内部人员、间接注入者、商业情报窃取者和基础设施攻击者,并指出模拟它们需要提示与社会工程、应用安全、架构与分布式系统、数据与 ML 安全等五个专业领域,多数团队只具备其中一两个。

3月28日周六
  1. Microsoft PyRIT 版本发布 ·

    Microsoft PyRIT v0.12.0 发布:GUI、CLI 与框架三种交互方式全部可用

    Microsoft 发布 AI 红队测试工具 PyRIT v0.12.0,首次让 GUI(CoPyRIT)、CLI 和框架三种交互方式全部达到可用状态。CLI 新增 Scam、Leakage、Psychosocial、Jailbreak 四类 AIRT 场景及 RedTeamAgent Foundry 预配置红队测试,覆盖 25+ 攻击策略。框架引入 YAML 配置系统、TargetRegistry 和 8 个新数据集加载器,但含破坏性变更需按迁移指南升级。

3月12日周四
  1. NVIDIA NeMo Guardrails 版本发布 ·

    NVIDIA NeMo Guardrails v0.21.0 发布:新增并行执行输入/输出护栏引擎 IORails

    NVIDIA NeMo Guardrails 发布 v0.21.0,引入优化后的输入/输出护栏引擎 IORails,支持并行执行 NemoGuard 的内容安全、话题安全和越狱检测三类护栏,并带日志记录与请求 ID。该版本还新增 LLMRails.check_async 方法实现独立的输入/输出护栏校验,使护栏服务器兼容 OpenAI(含新的 v1/models 端点),并通过 GuardrailsMiddleware 接入 LangChain 智能体。社区集成方面加入 PolicyAI 内容审核、CrowdStrike AIDR 及基于正则表达式的检测护栏,同时将嵌入索引初始化改为惰性加载以改善启动性能。

2月23日周一