腾讯 AI-Infra-Guard v4.6.4 发布,新增可组合提示注入研究工具包 pikit
腾讯 AI-Infra-Guard 发布 v4.6.4,在 Research/pikit 下新增可组合提示注入研究工具包 pikit。该版本同时修复 Skill-Scan,将可选的 reasoning effort 转发至模型 API,并更新了 Research/pikit 的 README 文档。
腾讯 AI-Infra-Guard 发布 v4.6.4,在 Research/pikit 下新增可组合提示注入研究工具包 pikit。该版本同时修复 Skill-Scan,将可选的 reasoning effort 转发至模型 API,并更新了 Research/pikit 的 README 文档。
NVIDIA 发布了开放智能体安全平台,作为持续在硬件层面对 AI 智能体进行监测的参考实现。该平台将互联网兴起带来的机遇与风险作类比,强调智能体时代同样需要在底层提供安全保障。目前公开的信息仅为其定位说明,尚未披露具体的监测机制与技术指标。
NVIDIA 推出 OpenShell,为 AI 智能体提供运行时控制能力。智能体可被赋予目标、编写代码、调用工具并在新信息出现时持续工作,适用于调查软件故障、运行实验以及执行跨天或跨周的关键业务操作与研究。这类智能体需要访问工作区、计算资源、数据、凭证和外部服务。
Google Threat Intelligence(GTIG)发布面向软件与平台架构师的 CI/CD 安全防御蓝图,围绕端点、IDE、AI 辅助安全等五个支柱给出加固措施。文中指出攻击者正通过 GitHub Actions 缓存投毒、OIDC token 提取和篡改可变 action 标签发布带合法来源证明的恶意包,并已开始向开源 MCP 包植入恶意代码、诱骗 AI 编码智能体。建议仅使用经批准的大语言模型与 AI 智能体做合并前漏洞分析,将 .env 文件排除出上下文窗口,并保留人工审核环节。
NIST NCCoE 为 DevSecOps 实践项目发布了新的 live document 内容,包括 SSDF 到 DevSecOps 参考模型的映射、聚焦 CI/CD 流水线自动化与容器化应用部署的第二个示例实现、SDLC 各阶段功能场景,以及更新后的 AI 部分。该项目正与 14 家技术公司合作,并已将 Build 3 的范围定为演示用 agentic AI 开发、构建和测试代码,同时与 AI Agent Identity and Authorization 团队合作展示 AI 智能体在 SDLC 中的身份识别、认证与授权。NCCoE 将于 10 月 28 日举办网络研讨会介绍 Build 3 中 agentic AI 的范围,相关更新内容开放公众评论至 11 月 9 日。
腾讯 AI-Infra-Guard 发布 v4.6.3,新增 DeepTeam 在运行期间将完成的测试用例写入磁盘,并修复 API Checker 对 Claude 5 签名的支持。该版本为 API Checker 补充失败指纹样本以提升模型识别可靠性,同时为 Prompt-Eval 加入限流感知退避、熔断器和进程组终止机制,并在熔断器与模型间共享限流计数器、加固 Retry-After 解析。文档方面新增 FORGE-Bench 与 RogueHandoff-20 研究条目并同步至 8 种语言 README。
Goodfire 与 Mayo Clinic 合作,基于基因组基础模型 Evo 2 的嵌入向量构建轻量分类器,对 839k 个 ClinVar 变异做致病性预测,整体 AUROC 达 0.997,优于现有方法。该方法覆盖编码与非编码区域,可泛化到留出数据,并借助可解释性工具生成机制性假设。团队通过 Evo Variant Effect Explorer(EVEE)公开全部 420 万个 ClinVar 变异的效果预测与假设解释,研究仍在同行评审中。
腾讯 AI-Infra-Guard 发布 v4.6.2,新增面向自主智能体的确定性失控基准 FORGE-Bench(forge_bench)及干净的 RogueHandoff-20 基准,并补充一批 AIG 检测规则。该版将 aig-skill-scan 升级到 0.2.2,减少无证据误报、避免模型工具调用卡死并约束流式中断响应,同时修正判定与公开结果的比对逻辑。Extract-Vuln 模块剥离 CDATA 包装并兼容常见标签别名,另清理了 12 处 YAML 校验失败等问题。
NVIDIA NeMo Guardrails 发布 v0.24.1 补丁版本,集中修复若干缺陷。该版本修正了 benchmark 中 Locust 并发测量与扫描、content-safety 对 Nemotron 3.5 响应的解析、server 在 IORails 准入丢弃时返回过载响应,以及 rails 对组合配置加载 config.py 的问题。
MITRE ATLAS 发布 v2026.09 数据版本,包含 1 个矩阵、16 项战术、120 项技术、88 项子技术、40 项缓解措施和 73 个案例研究。新增技术涵盖多模态输入中的触发器、AI Agent 响应偏置、伪造 AI 助手链接、配置错误或公开暴露的 AI 服务、发现 AI Agent 运行时能力、AI 定向隐蔽以及针对 AI 基础设施的主动扫描等。更新了 LLM 提示混淆、间接 LLM 提示注入、LLM 越狱、LLM 响应渲染和 AI Agent 点击诱饵等技术。缓解措施新增 AI 蜜罐,更新生成式 AI 护栏。
Redwood Research 的 Arun Jose 发现,CoTControl 评测对提示词高度敏感,用 Claude Opus 4.6 迭代提示模板后,开源模型的合规率提升约 2-3 倍,例如 GPT-OSS-120B 从 5.5% 升至 15%。
推荐理由作者用提示词迭代把开源模型的 CoT 可控性提升 2-3 倍,说明现有评测可能低估了模型隐藏思维链的能力。
Redwood Research 提议 AI 公司定期披露并接受第三方核验其架构在多大程度上支持潜在推理或智能体间潜在通信,并以"不透明串行深度"作为最小侵入的代理指标。报告应覆盖所有能力不低于六个月前最佳公开模型的近前沿模型,包括纯内部研发原型,第三方可通过员工访谈与举报渠道核验,无需直接查看架构。公司还应每 6 个月公开可监控性压力测试结果、发布相关架构政策,并说明性能与可监控性之间的权衡。
腾讯 AI-Infra-Guard 发布 v4.6.1,新增 Gemini、Gemma 和 GLM 指纹识别并更新 GLM-5.3-Flash 基线。该版适配 MCP Python SDK 2.x,修复空扫描结果可能不完整等问题,同时停止隐藏 .pyc 文件及跳过目录中的载荷,Task API 增加 skill_scan 任务类型。
OpenAI 发布 Agents API,这是一个由 Codex harness 驱动的托管服务,用于构建和上线云端智能体,支持编排、长时间运行的会话与工具调用。
NVIDIA 的开源 LLM 漏洞扫描器 garak 发布 v0.17.0,新增 EU AI Act 映射,可为探针结果提供参考标签并按该法案中的各类风险分组呈现。同时改进插件层,向 Ollama 转发生成参数并加入认证与自定义客户端配置,另修复多个检测器和探针缺陷,例如 MarkdownExfilContent 缺失说明时的崩溃与除零错误、AgentBreaker 判定结果的 JSON 解析问题以及 NIM 瞬时 HTTP 错误的处理。此版还移除 Python 3.10 支持、改为支持 Python 3.13,并在兼容前锁定 anthropic Python 客户端版本。
Microsoft PyRIT v1.1.0 发布,改进评分、扩展扫描器能力并新增多项 CoPyRIT 功能。评分现可为“未确定”状态,读取 score_value 前需检查 score.is_undetermined;部分被拦截回复默认纳入评分,可设 should_score_blocked_content=False 恢复旧行为。扫描器新增 Best-of-N、split-payload、多语言、audio achilles、package hallucination、system-prompt extraction 与 FigStep 能力,并新增 10 个转换器;数据集新增 488 条 TrustAIRLab in-the-wild 越狱模板。
Google DeepMind 启动 Fairwind Program,向 Google Cloud 客户、政府机构与网络安全合作伙伴限量开放 Gemini 3.8 Flash Cyber 与 CodeMender 组合,用于自主发现、验证并修复漏洞,可在数分钟内生成可部署补丁。
OWASP GenAI Security Project 发布了 2026 版 LLM 应用 Top 10、面向智能体系统的 Agent Control Standard,以及扩充后的 AI Security Solutions Directory,同时其社区成员突破 30,000 人并新增四家赞助商。新版指南由数百位专家参与编写,纳入更新排名、扩大威胁覆盖范围和来自数千起真实事件的调研,并在前 48 小时内下载超过 10,000 次。该标准将既有智能体风险与控制指引延伸至运行时强制执行,目录则提供生成式 AI 安全、智能体安全和 AI 及智能体红队测试等多重视角。
NVIDIA 基于 Nemotron 打造自适应智能体网络安全系统,目标是识别现有防线遗漏之处并将缺口转化为改进方向。该系统面向安全运营场景,强调突破既有告警、预设工作流和已知攻击行为的束缚,而非仅将智能体接入传统流程。
微软发布第三份年度《负责任 AI 透明度报告》,围绕自适应治理与技术风险管理、实用工具与能力、共享实践与合作伙伴关系三个方向调整其负责任 AI 项目。报告称已重构 Responsible AI Standard,按模型、平台服务、应用等技术栈组件分层设定要求,并对具备最强网络能力的 AI 系统施加最严格的风险管理措施。微软还推出 AI Red Teaming Agent、Agent evaluators、RAMPART、ASSERT 与 Agent Control Specification 等工具,用于智能体系统的评估、运行时控制和行为监控,并称其为少数在广泛产品组合上通过 ISO 42001 认证的公司之一。
MITRE ATLAS 发布 v2026.08 数据版本,包含 1 个矩阵、16 项战术、114 项技术、83 项子技术、39 项缓解措施和 72 个案例研究。ATLAS 是基于真实攻击观测与 AI 红队演示构建的 AI 对抗战术与技术知识库,覆盖针对 AI 系统的攻击、AI 能力滥用以及 AI 实质性促成的有害自主行为。
NVIDIA 发布 NeMo Guardrails v0.24.0,IORails 现可直接执行库内 67 项输入输出接口中的 59 项,并与 LLMRails 共享同一底层实现。该版本引入引擎中立的 RailOutcome 契约、声明式的 rail manifest 以及统一的对外 HTTP 客户端,同时新增 F5 Guardrails 集成、服务器健康检查端点及通过 `/v1/checks` 进行输出检查的功能。
腾讯 AI-Infra-Guard 发布 v4.6.0,新增 API Checker 模块提供 API 安全审计并集成 Web 代理与统一 CLI 命令,同时加入针对 LLM API 投毒攻击的新检测能力。Agent-Scan(aig-agent-redteam)升级到 v5.0.0,重构变异引擎并将 workflow-attack 合并入 mutation-attack,还完成了 DeepSeek Harness 提示注入评估的研究工作。此外修复了 MCP 客户端迁移至 SDK 2.0、streamable_http_client 头参数兼容等问题,文档中组件表更新且 CVE 计数从 1900+ 升至 2000+。
Google 披露其用 AI 辅助将一个名为 giflib 的 C 库重写为 Rust,目的是缓解内存安全类漏洞。该工作属于其在依赖项层面规模化推进内存安全的尝试,博客同时给出了这次 AI 协助重写的实践路径。(共三句,含受影响对象名称与目标。)
NVIDIA 的安全团队基于其 OpenShell 及生态合作经验,阐述了新兴 AI 智能体栈中安全的定位问题,指出随着智能体能力增强并运行于更长的时间跨度,将安全与信任内建于其所驱动的应用愈发重要。该视角覆盖智能体栈的各层及其作用,面向开发者、开源项目和合作伙伴提供参考。
NVIDIA 的 AVO 在 ARC-AGI-3 上取得 100% 成绩,其定位是支撑长周期自主智能体的前沿级通用架构。该工作强调前沿语言模型只是 AI 智能体的组件之一,真正决定可靠性的是被称为 harness 的外围系统——它负责模型获取上下文、调用工具、维持状态、响应反馈以及从失败中恢复的方式。
UK NCSC 发布针对智能体 AI 网络风险的防护指南,建议将 AI 智能体运行于沙箱环境并管控其本地及网络的资源访问。指南提出四层网络访问成熟度模型(从无限制访问到模型本地托管且无外部网络)、四级计算隔离模型以及凭证最小化原则,并要求通过多层隔离加显式提示降低沙箱逃逸风险。 对于高风险场景,最稳健的做法是在隔离断网环境中运行智能体并使用预先下载的工具和信息;若需联网则仅放行白名单连接,必要时改用协议或服务感知代理并经人工审批。该指南还指出部分自主 AI 工具会接入大量系统与服务,访问面越大潜在 blast radius 越高,因此应将其权限收敛到完成任务所需的最小集合并持续监测越权尝试。
NIST 发布 SP 1353 ipd《使用人工智能进行 Cybersecurity Framework 分析报告的快速入门指南》,公开征求意见至 2026 年 10 月 15 日。该指南提供结构化 AI 提示词,帮助从业者分析、规划、实施和监控组织达成 CSF 2.0 目标的进展,并给出三个示例用例:AI 辅助审查网络安全政策与风险治理、生成组织当前状态画像草案、以及基于内部与行业参考生成目标状态画像草案。指南中的虚构组织文件仅供示例,NIST 仅就指南与所附 AI 提示词征求意见。
Google Threat Intelligence 首次公开内部智能体漏洞发现框架 AVDH,用 Google ADK 将专用智能体串联成顺序流水线,先做威胁建模再逐阶段分析代码,输出带风险评级的结果供人工复核。使用 10 个月内,AVDH 在分析数千万行代码、执行数千条流水线后,于一次企业仓库被盗事件响应中两天内发现超 100 个真实高危漏洞,并在广泛使用的 Web 扩展和开源项目中促成 12 个 CVE 分配,包括 CVE-2026-13242 和 CVE-2026-55803,另有十余个正在披露中。该框架可与 CodeMender 的持续扫描配合形成两层防御。
腾讯 AI-Infra-Guard 发布 v4.5.2,新增 SkillJack 项目和一批 AIG 检测规则,并为 Qdrant、Chroma、Weaviate 补充仅 GET 指纹识别。该版修复了 mcp-scan 动态扫描模式下经提示注入触发的远程代码执行问题,同时修补 skill-scan 字符集内容走私及隐藏编译字节码两处缺陷,并将 aig-agent-redteam 变异引擎重构到 v5.0.0、合并工作流攻击与变异攻击流程。
MITRE ATLAS 发布 v2026.07 数据版本,包含 1 个矩阵、16 项战术、101 项技术、77 项子技术、37 项缓解措施和 68 个案例研究。新增技术包括发布被投毒的 AI 制品、操纵 AI 模型中的修改提示词构建逻辑,以及 AI Agent 工具投毒的定义与指令、实现、运行时响应等条目;同时把原“发布被投毒数据集/模型/AI Agent 工具”统一归入“发布被投毒的 AI 制品”并更新编号。缓解措施方面新增 AI 红队、限制 AI 工作负载资源消耗等,并将多项原有措施改名为生成式 AI 模型对齐、预测式 AI 模型加固等。
NVIDIA garak 发布 v0.16.0,引入技术与意图(technique and intent)标注以及首个 IntentProbe 迭代,作为 Context Aware Scanning 的第一步,允许用户在评估目标时带入自有上下文与预期。该版本还新增原生 Anthropic 生成器插件和一个简单自适应攻击探针,并带来破坏性变更:统一的 run.spec 选择语法取代旧的 probe_spec/buff_spec,report.jsonl 增加 probe_summary 条目并调整 digest 结构。
Google DeepMind 发布具身推理模型 Gemini Robotics ER 2,作为机器人的高层大脑负责对话、物理世界理解和多步任务规划,并将电机执行交给底层 VLA 模型。相比 ER 1.6,它在实时 VLA、仿真 VLA 和人类遥操作三种模式下均提升了工具编排表现,进度分类准确率达 57.4%,并新增连续视频流下的进度追踪和多机器人协作。该模型通过 Gemini API、Google AI Studio 公开提供给开发者,并在 Gemini Enterprise Agent Platform 私有预览,集成 Gemini Live API 的双向流式端点以减少延迟停顿。
腾讯 AI-Infra-Guard 发布 v4.5.1,PromptSecurity 新增 Many-Shot、PAIR、GOAT 和 ActorAttack 多轮越狱攻击。Agent-Scan 新增 5 项 OWASP 检测技能(含 agentic-supply-chain、cascading-failure、human-agent-trust、inter-agent-comm、unexpected-code-execution)及 web-exfiltration-detection 技能,MCP-Scan 新增硬编码密钥、不安全反序列化等 4 条 MCP 安全检测规则,并更新 AIG 规则至 2026-07-24。
Microsoft PyRIT 发布 v1.0.1 补丁,修复 OpenAI Responses 与 Chat Completions 返回结构化拒答时被误判为解析/运行时失败的问题。此前目标模型的拒答会导致攻击目标未完成并抛出误导性的 ValueError,现在拒答会被正常记录和评分,真正的部分执行则抛出 ScenarioPartialFailureException。使用 OpenAIResponseTarget 或 OpenAIChatTarget 对接近期 OpenAI 与 Azure OpenAI 模型的用户应升级;该版本还调整了推理模型响应片段顺序,将 reasoning 排在 text 之后。
Google DeepMind 推出 Gemini Robotics 2,作为新一代机器人的智能层,实现全身控制、高级灵巧操作和多机协作。该系列含三款模型:视觉-语言-行动模型 Gemini Robotics 2 可控制从脚到指尖的人形及双臂机器人,具身推理模型 Gemini Robotics ER 2 负责规划数分钟的多步任务并让人机沟通,端侧模型 Gemini Robotics On-Device 2 可在设备本地运行并在几小时内适应全新机体。其中 ER 2 已在 Google AI Studio 开放,并于 Gemini Enterprise Agent Platform 私人预览,另两款面向早期访问伙伴。
Redwood Research 提出不可信建议(untrusted advice)协议,让可信执行模型 T 承担全部动作,不可信强模型 U 只能通过受限通道发送简短建议,从而把 U 的影响压缩到可监控的窄通道内。在 SWE-bench Verified 上,U 每步最多写 16 字符建议即可恢复 T 与 U 之间约 67% 的能力差距,整个任务累计约 320 字符;实验用 Claude Sonnet 4.6 作为 U,Gemini 3.1 Flash Lite 和 gpt-oss-120b 作为 T,在 SWE-bench Verified 与 BashArena 各 200 个任务上评测。
推荐理由Redwood Research 提出让不可信强模型只通过极窄信息通道给可信弱模型发建议,用信息瓶颈换取接近满分的安全性,并给出可复现的量化结果。
腾讯 AI-Infra-Guard 发布 v4.5.0,将 Agent-Scan、MCP-Scan、Skill-Scan 模块化为独立 CLI 并支持 AIG 集成。Agent-Scan 新增 4 项 AI 智能体安全检测技能,MCP-Scan 新增 2 条 MCP 安全检测规则及 ATR 衍生规则,Skill-Scan 新增 Agent Skill 安全审计并以 PyPI 包 aig-skill-scan 发布,支持 SARIF 2.1.0 输出。同时新增 agentic-tool-misuse 评测数据集,CVE 规则数更新至 1900+。
Microsoft PyRIT 发布 v1.0.0,确立场景、攻击技术、执行器、注册表、标识符与记忆的 v1 架构,并包含有意的破坏性变更。场景策略更名为 techniques,组件构建统一走 BuildableRegistry,PromptConverter 改为 Converter,会话状态从 MessagePiece 迁至新的 Conversation 模型,0.15 及此前弃用的兼容层被移除。
腾讯玄武 Atuin AI 换用 GLM-5.2 重新评估后,在 CyberGym 全部 1,507 个任务上 pass@1 达 84.8%(1,278 个任务),较 GLM-5.1 的 84.0% 提升 0.8 个百分点。相同 GLM-5.1 下,Atuin AI 比 Claude Code 的 68.7% 高出 15.3 个百分点。本次实验新增代理白名单,仅允许连接 LLM 提供商、Python/npm 包注册表和内部服务,其余设置不变。