跳到正文

#工具/开源

今天还没有收录新动态

第 2 页更新的内容回到最新

7月15日周三
  1. Google Threat Intelligence(GTIG) ·

    Google Cloud Run 无认证公开函数的安全风险与加固指南

    Mandiant 安全评估发现大量缺乏认证的公网暴露 serverless 应用,Cloud Run 服务若含第三方依赖易遭本地文件包含(LFI)、远程文件包含及命令注入攻击,成功利用可获得容器实例完整控制权并进一步横向移动接管云环境。该博客基于客户实战经验梳理攻击场景,针对必须公网开放的 Google Cloud Run 服务和函数给出一组加固建议,相关原则同样适用于任意公有 serverless 部署。

7月8日周三
  1. Goodfire Research ·

    Goodfire《神经几何》系列:从激活空间结构理解与控制神经网络

    Goodfire 发文提出"神经几何"研究方向,主张神经网络激活中蕴含丰富几何结构——星期呈圆形排列、颜色构成 HSL 流形、生命树出现在基因组表征中,可作为理解、改进和控制模型的抓手。该系列收录多项工作:沿弯曲流形的引导比传统线性引导向量产生更精准的行为改变;Llama 3.1 8B 内被发现一个基于圆形数值表示的加法模块;Block-Sparse Featurizers(BSF)将视觉模型激活分解为多维子空间并实现细粒度引导,且多数概念是多维的。

7月2日周四
  1. NVIDIA NeMo Guardrails 版本发布 ·

    NVIDIA NeMo Guardrails v0.23.0 发布:IORails 扩展工具调用与可观测性

    NVIDIA 发布 NeMo Guardrails v0.23.0,IORails 的工具调用现同时支持流式与非流式请求,并新增本地 rail 校验模型发出的工具调用与应用返回的结果。该版本的 OpenAI 兼容服务器也支持工具调用,且新增 /v1/checks 端点可在不生成新模型响应的情况下运行输入或输出 rail。此外还加入轻量级 Hugging Face 分类器 rail、上下文膨胀检测以及 Polygraf 集成实现 PII 检测与掩码,NumPy 精确检索取代 Annoy 成为默认嵌入索引,发行 wheel 体积缩小约十倍,并要求 Pydantic>=2.5。

7月1日周三
  1. MITRE ATLAS 数据发布 ·

    MITRE ATLAS 发布 v2026.06,新增窃取 Web 会话 Cookie 技术与多起 AI 攻击案例

    MITRE ATLAS 发布 v2026.06 数据更新,新增“窃取 Web 会话 Cookie”和“使用替代认证材料:Web 会话 Cookie”两项技术,并更新了 AI 服务 Web 界面相关条目。现有技术 LLM Jailbreak 与缓解措施 Generative AI Guardrails、Generative AI Guidelines、AI Telemetry Logging 也得到更新。

  2. Google DeepMind ·

    Google DeepMind 发布 Nano Banana 2 Lite 图像模型与 Gemini Omni Flash

    Google DeepMind 面向开发者推出 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)与视频生成及对话式编辑模型 Gemini Omni Flash(gemini-omni-flash-preview)。前者主打速度与成本,文本生图延迟 4 秒、$0.034/1K 分辨率图像,建议替代 gemini-2.5-flash-image;后者原生支持文本、图像、视频输入的对话式视频编辑,两者均已在 Google AI Studio、Gemini API 提供,Omni Flash 处于公开预览阶段并同步登陆 Gemini App 与 Google Flow。

6月25日周四
  1. 腾讯 AI-Infra-Guard 版本发布 ·

    腾讯 AI-Infra-Guard v4.1.15 发布:新增 3 条 MCP 威胁检测规则与 6 条 llama.cpp CVE 规则

    腾讯 AI-Infra-Guard 发布 v4.1.15,在 mcp_scan 和 ai_infra_scan 中允许省略 model token,回退到系统默认模型。MCP 模块新增工具投毒、凭据窃取、命令注入 3 条威胁检测规则,llama-cpp 规则包新增 6 条 llama.cpp CVE 规则,其漏洞总数由 3 更新为 9、严重级别由 Low 调整为 Medium-High。文档同步将 ai-infra-scan 漏洞总数由 1300+ 修正为 1600+,openclaw 漏洞数由 628 更新为 655。

  2. Google DeepMind ·

    Gemini 3.5 Flash 内置计算机操作能力

    Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash,此前它仅以独立的 Gemini 2.5 computer use 模型形式提供。该能力使开发者可通过 Gemini API 和 Gemini Enterprise Agent Platform 构建能跨浏览器、移动端和桌面环境看、推理并执行操作的智能体,面向持续软件测试等长周期与企业自动化任务。针对实时环境中的提示注入风险,Gemini 3.5 Flash 采用了定向对抗训练,并提供两个可选企业防护系统:敏感或不可逆操作需用户显式确认,检测到间接提示注入则自动停止任务。

6月18日周四
  1. 腾讯 AI-Infra-Guard 版本发布 ·

    腾讯 AI-Infra-Guard v4.1.14 新增 Agent 红队技能与 9 种单轮越狱攻击方法

    腾讯 AI-Infra-Guard 发布 v4.1.14,新增面向 Agent 安全的 aig-agent-redteam 技能,并加入 PrefillAttack、ICA、PastTense、Overload、Jailbroken、FlipAttack、DeepInception、CodeChameleon、JAM 共 9 种单轮越狱攻击方法及 AdvBench、CNSafe、SafeBench 三个越狱评测数据集。该版本还将调度改为轮询选择 Agent 以实现负载均衡,并在文档中补充上述数据集致谢、更新 DeepTeam 仓库地址。

6月12日周五
  1. Goodfire Research · · 原文 60

    Goodfire 发布预测式数据调试方法,可在训练前预测 DPO 会学到什么

    Goodfire Research 发布预测式数据调试研究,主张在训练前用可解释性方法预测偏好数据会让 DPO 放大或抑制哪些行为,预测结果与实际学习效果的 R² 达 0.9,并能追溯到具体数据点。方法把数据集输入已解释的模型,按模型实际计算的概念而非嵌入向量聚类来观察数据,从而区分模型真正学到的行为与评分者眼中的行为表象。

    推荐理由Goodfire 把可解释性读出的概念用于预测 DPO 会放大哪些行为,并给出四个真实数据集的意外案例,可迁移到后训练数据审查。

6月11日周四
6月6日周六
  1. Microsoft PyRIT 版本发布 ·

    Microsoft PyRIT v0.14.0 发布

    Microsoft PyRIT 发布 v0.14.0,将 Message、Score、Seed 类及 Identifier 等核心模型迁移到 Pydantic v2,构造改为仅限关键字参数并拒绝额外字段,同时强制所有异步函数加 `_async` 后缀并重命名部分辅助函数。该版本移除此前标记弃用的全部功能,GCG 转为实验特性并提供新的公开 API,新增 Round Robin Target、Realtime 流式会话与服务端打断攻击以及图像转换器,还加入 VLGuard、StrongREJECT、Agent Threat Rules 等多个数据集加载器和 Python 3.14 支持,并修复 38+ 个依赖项漏洞及特定 CVE。

  2. NVIDIA garak 版本发布 ·

    NVIDIA garak v0.15.1 发布:新增 ProPILE 隐私泄露检测探针

    NVIDIA 的 LLM 漏洞扫描工具 garak 发布 v0.15.1,新增 ProPILE 探针用于 PII 泄露检测,并加入 simonw/llm 库作为生成器支持。garak.analyze.qual_review 现支持 JSON 与文件输出模式。该版本还修复了 OpenAICompatible 中 response.choices 为 None、Hugging Face 文件探针本地路径处理、snowball 检测器 MISP 标签格式错误等问题,并移除已弃用的 maxrecall 评估器。

6月5日周五
5月30日周六
  1. Redwood Research · · 原文 72

    Redwood Research 新论文:AI 控制中的重试与重采样对比

    Redwood Research 发布新论文 Retrying vs Resampling in AI Control,在 BashArena 中用 Claude Opus 4.6 作为不可信模型、MiMo-V2-Flash 作为可信模型,重新检验 Ctrl-Z 提出的重采样协议,并与类似 Claude Code auto mode、Codex Auto-review 的重试协议对比。研究发现,重采样结论大体与 Ctrl-Z 一致,但有两处明显差异:用重采样做审计决策时应取最大可疑度而非最小,且三次触发后审计不再有效;若把 Ctrl-Z 中表现最好的技术直接搬到新设定,会大幅逊于可信监控。

    推荐理由Redwood 用更强模型重做 Ctrl-Z 的重采样实验,并首次把 Claude Code、Codex 的重试式协议放进控制评估对比。

  2. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA MCG Toolkit 如何自动化 AI 模型文档编写

    NVIDIA 发布 MCG Toolkit,用于自动化生成 AI 模型文档。该工具针对加州 AB-2013 和欧盟 AI Act 等监管框架下的模型卡编写需求,帮助软件团队在模型发布前产出可审计的完整文档,涵盖模型工作原理、预期用途与许可、训练数据及性能等信息。

5月28日周四
  1. MITRE ATLAS 数据发布 ·

    MITRE ATLAS 发布 v2026.05:知识与数据格式拆分版本号并引入 v6.0.0 格式

    MITRE ATLAS 从本次发布开始将知识库内容与数据格式分开管理版本:月度内容更新改用 YYYY.MM.N 方案并把版本存入 Collection 对象,格式变更则沿用语义化版本。此次内容版 v2026.05 给所有技术条目补充了一个或多个运行平台字段(预测式 AI、生成式 AI、智能体 AI、企业);同时推出的格式 v6.0.0 新增 ATLAS YAML 结构,提供 Pydantic schema 校验、SQLAlchemy ORM 持久化和 FastAPI REST API,并将历史版本迁移保存于 dist/legacy/ 与 dist/v6/。

5月23日周六
  1. NVIDIA NeMo Guardrails 版本发布 ·

    NVIDIA NeMo Guardrails v0.22.0 发布:LangChain 解耦、IORails 里程碑 2

    NVIDIA NeMo Guardrails v0.22.0 将 LangChain 从核心依赖降为可选,OpenAI 兼容 LLM 改用内置 httpx 客户端,其他场景可通过 NEMOGUARDRAILS_LLM_FRAMEWORK=langchain 重新接入。新编排引擎 IORails 进入第二阶段,支持流式输出、OpenTelemetry 和推理模型,并在非流式模式下实现推测生成,让输入护栏与主模型响应并行以隐藏延迟。该版本还引入匿名使用统计,可通过 NEMO_GUARDRAILS_NO_USAGE_STATS=1、DO_NOT_TRACK=1 或配置文件退出。

5月20日周三
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理

    NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理,仅靠运行时护栏并不足够。随着自主 AI 智能体能力增强,开放模型、MCP 连接的工具与可移植技能让智能体更易扩展,但规模化使用需要结构透明与运行完整性。组织与团队需要理解和信任智能体所使用的技能(即指令)。

5月12日周二
  1. Google DeepMind ·

    Google DeepMind 推出基于 Gemini 的多智能体系统 Co-Scientist

    Google DeepMind 发布基于 Gemini 的多智能体科研伙伴 Co-Scientist,通过多个专门化智能体迭代生成、辩论并演化科学假设,并以类 AlphaGo 的思想锦标赛机制进行排名筛选。该系统已在《Nature》发表研究成果,并通过名为 Hypothesis Generation 的实验性工具向个体研究者开放注册,未来数周内逐步推送。合作团队已将 Co-Scientist 应用于抗微生物耐药性、植物免疫及肝纤维化等问题,其中一条药物重定位候选物在实验室中阻断了 91% 的疤痕相关反应。

5月9日周六
5月4日周一
  1. MITRE ATLAS 数据发布 ·

    MITRE ATLAS v5.6.0 更新:新增 AI 智能体配置搜索等攻击技术

    MITRE ATLAS 发布 v5.6.0,新增三项攻击技术:获取公开 AI 制品下的 AI Agent 配置搜索、搜索开放网站/域名下的代码仓库,以及钓鱼下的 Deepfake 辅助钓鱼。同时更新了钓鱼、LLM 越狱与缓解措施,涉及用户培训、Deepfake 检测,并更新了 OpenClaw 通过提示注入实现命令与控制等案例研究。

  2. Transformer Circuits(Anthropic 可解释性) · · 原文 62

    Anthropic 开源注意力头可视化工具 HeadVis

    Anthropic 可解释性团队发布交互式工具 HeadVis,用于研究大语言模型中的注意力头,并开源了前端代码与后端接口规范。工具通过注意力模式可视化、分布指标、低秩分量投影以及经 QK 和 OV 电路的 SAE 特征归因,帮助生成和检验关于注意力头功能的假设。作者用 Claude Haiku 3.5 做了四个案例:归纳头在特征基上表现为模糊归纳;此前研究的行宽头在完整分布上呈现年份、多 token 词和换行三种行为,PCA 显示 Q、K、O 激活可清晰聚类;答案选择头在更广分布上复用了同一套选择机制,虚拟权重分析提示它可能是单义的;同集合抑制头会抑制国家与其本国城市之间的注意力,在 185 句自造句子上有 98% 的情况成立。

    推荐理由Anthropic 开源了注意力头可视化工具 HeadVis,并给出四个从易到难的案例,展示注意力头在完整数据分布上的行为如何偏离单一任务描述。

5月2日周六
  1. NVIDIA garak 版本发布 ·

    NVIDIA garak v0.15.0 发布:新增多轮 GOAT、Agent breaker 与系统提示提取探针

    NVIDIA garak 发布 v0.15.0,新增多轮 GOAT、Agent breaker 和系统提示提取三类探针,并加入同形异义混淆提示走私检测及 ModernBERT 拒答检测器。该版本还引入 NeMoGuardrails 服务器支持和带推理轨迹的测试生成器,改进 REST 生成器的 mTLS 客户端证书认证并为 Bedrock 生成器增加推理模型支持,同时修复编码检测逻辑翻转等问题。

4月24日周五
  1. OpenAI Alignment Research · · 原文 72

    OpenAI 开源思维链可监控性评测数据集与参考代码

    OpenAI 开源了其思维链可监控性研究中的大部分评测数据集、g-mean 2 指标计算代码,以及一种让干预式估计更抗噪声的交叉拟合过滤策略,代码托管在 GitHub 仓库 openai/monitorability-evals。

    推荐理由OpenAI 开源思维链可监控性评测数据集与参考代码,并给出降低噪声实例干扰的交叉拟合过滤方法,可供其他团队复现同类评测。

4月23日周四
  1. Goodfire Research ·

    Goodfire 用自校正搜索加速材料发现,将扩散模型的候选材料产出提升约 30%

    Goodfire 与 Radical AI 合作,通过给扩散模型加入基于其内部表征的反馈回路实现自校正搜索,使目标范围内可用候选材料的生成量提高约 30%。该方法针对 MatterGen 的条件生成流程改进逆设计环节,衡量指标为同时满足稳定、独特和新颖三个约束的 SUN 标准。现有基线中仅 15% 的 MatterGen 采样落在 4–6 eV 带隙目标区间内,若再叠加 SUN 过滤则降至 6.5%,且仅有约 10% 的微调候选能通过全部筛选阶段。该技术原则上适用于任意扩散模型,有望推广到蛋白质设计与药物发现等领域。

4月18日周六
  1. Microsoft PyRIT 版本发布 ·

    Microsoft PyRIT v0.13.0 发布

    Microsoft PyRIT 发布 v0.13.0,将 TargetCapabilities 替换为 TargetConfiguration,并引入新的 AttackTechnique 抽象来标准化攻击参数的声明与消费方式,同时移除多个弃用功能,属破坏性更新。该版本还新增 TargetRequirements、AttackTechniqueRegistry,并为 OpenAIChatTarget 默认启用图像输入,加入 VisualLeakBench 数据集加载器及符合 ISO 42001 的危害定义。

  2. NVIDIA 技术博客:可信 AI 与网络安全 ·

    如何用 OpenClaw 与 NVIDIA NemoClaw 构建更安全、常驻的本地 AI 智能体

    NVIDIA NemoClaw 这套开源参考栈可编排 NVIDIA OpenShell,在本机沙箱中运行 OpenClaw 等开放 harness,构建常驻的本地 AI 智能体。教程在 NVIDIA DGX Spark(GB10)上用 Ollama 本地部署 NVIDIA Nemotron 3 Super 120B,并接入 Telegram 远程访问。OpenShell 负责沙箱隔离、凭证管理与 API 代理,但官方提醒任何沙箱都无法完全防御高级提示注入。

4月15日周三
  1. OWASP GenAI Security Project ·

    OWASP 上线 FinBot CTF,用模拟金融多智能体平台演练 Agentic 安全风险

    OWASP GenAI Security Project 的 Agentic Security Initiative 正式上线 FinBot CTF,这是一个围绕模拟金融服务应用构建的交互式 Agentic 安全 CTF,被定位为“Agentic AI 的 Juice Shop”。FinBot 模拟一个多智能体供应商管理平台,包含自主入驻、欺诈检测、发票处理和通信等由 LLM 驱动并拥有真实工具访问权限的流程。

4月13日周一
  1. Google DeepMind ·

    Google DeepMind 推出 Gemini Robotics-ER 1.6,强化具身推理能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这款以推理为先的机器人模型在空间推理与多视角理解上显著增强,可原生调用 Google Search、VLA 等工具。相比 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash,其在指向、计数、成功检测等空间与物理推理任务上明显提升,并新增仪表读数能力,可读取压力表、视镜等设备,该用例来自与 Boston Dynamics 的合作。模型即日起通过 Gemini API 和 Google AI Studio 向开发者开放。

4月10日周五
  1. Microsoft PyRIT 版本发布 ·

    微软 PyRIT 发布 v0.12.1 安全补丁,修复 Jinja2 模板注入漏洞

    微软 PyRIT 发布 v0.12.1 安全补丁,修复 Jinja2 模板注入(SSTI)漏洞,建议 0.12.0 及更早版本用户升级。漏洞源于模板渲染使用未沙箱化的 Jinja2 Environment,远程数据集加载器把抓取的数据直接传入 SeedPrompt(value=...) 并在 __post_init__ 中按模板渲染,被投毒的数据集可借此实现 Python 对象遍历。

4月3日周五
  1. NVIDIA garak 版本发布 ·

    NVIDIA garak v0.14.1 发布:新增 WebSocket 生成器并移除 nemollm

    NVIDIA garak 发布 v0.14.1,新增面向实时 LLM 安全测试的 WebSocket 生成器和 OpenAI Harmony 音频输入格式,并为攻击成功率加入 Bootstrap 置信区间。该版本激活 sata 与 badchars 探针、补充简历类提示注入样例、改进 Jinja 注入检测,同时移除了废弃的 nemollm 生成器及其依赖,属破坏性变更。

4月1日周三
  1. Goodfire Research · · 原文 66

    Goodfire 与 Rakuten 用 SAE 探针在生产环境检测 PII

    Goodfire 与 Rakuten 合作,将稀疏自编码器(SAE)探针用于 Rakuten AI 智能体的 PII 检测,这是已知首个将 SAE 用于语言模型护栏的企业应用。方法是在 Llama 3.1 8B 侧模型上训练 SAE,再用其特征激活训练分类器,逐 token 判断姓名、地址、电话、邮箱等 PII 类别。由于真实 PII 敏感,训练数据全部为合成数据,SAE 探针在合成到真实生产数据的分布迁移上优于普通激活探针和注意力探针,并在非英语和标签噪声场景下同样表现更好。成本上,探针比常见 LLM-as-judge 方案便宜 10 到 500 倍,性能相当;用同一模型做白盒探针的 F1 从黑盒判官的 51% 提升到 96%。

    推荐理由Goodfire 与 Rakuten 的落地案例给出了 SAE 探针在合成到真实数据迁移上的对比数据,可迁移到企业护栏场景。

3月31日周二
  1. MITRE ATLAS 数据发布 · · 原文 65

    MITRE ATLAS 发布 v5.4.0,新增 AI Agent 攻击技术与案例研究

    MITRE ATLAS 发布 v5.4.0,新增多项针对 AI Agent 的攻击技术,包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御,以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行,以及通过提示注入对 OpenClaw 实施命令与控制。

    推荐理由MITRE ATLAS v5.4.0 新增针对 AI Agent 的攻击技术与真实案例,做 Agent 威胁建模的团队可对照更新自己的攻击面清单。

3月28日周六
  1. Microsoft PyRIT 版本发布 ·

    Microsoft PyRIT v0.12.0 发布:GUI、CLI 与框架三种交互方式全部可用

    Microsoft 发布 AI 红队测试工具 PyRIT v0.12.0,首次让 GUI(CoPyRIT)、CLI 和框架三种交互方式全部达到可用状态。CLI 新增 Scam、Leakage、Psychosocial、Jailbreak 四类 AIRT 场景及 RedTeamAgent Foundry 预配置红队测试,覆盖 25+ 攻击策略。框架引入 YAML 配置系统、TargetRegistry 和 8 个新数据集加载器,但含破坏性变更需按迁移指南升级。

3月18日周三
  1. OWASP GenAI Security Project ·

    OWASP GenAI Security Project 在 RSA 2026 前扩充 LLM 与智能体安全框架

    OWASP GenAI Security Project 发布了面向 LLM 与智能体安全的更新版全景指南及配套资源,并公布其在 RSA 2026 期间的一周活动安排。该项目的《Q2 2026 Updated Landscape Guide for LLM and Agentic Security》新增供应商与工具体系文档以及智能体红队测试分类体系,覆盖开发、测试、部署与治理全生命周期。同期发布的还有自主与智能体 AI 系统风险清单、Secure MCP Server Development 指南、SBOM/AIBOM Generator 开源工具以及 AI 红队服务商评估标准。

3月17日周二
3月12日周四
  1. NVIDIA NeMo Guardrails 版本发布 ·

    NVIDIA NeMo Guardrails v0.21.0 发布:新增并行执行输入/输出护栏引擎 IORails

    NVIDIA NeMo Guardrails 发布 v0.21.0,引入优化后的输入/输出护栏引擎 IORails,支持并行执行 NemoGuard 的内容安全、话题安全和越狱检测三类护栏,并带日志记录与请求 ID。该版本还新增 LLMRails.check_async 方法实现独立的输入/输出护栏校验,使护栏服务器兼容 OpenAI(含新的 v1/models 端点),并通过 GuardrailsMiddleware 接入 LangChain 智能体。社区集成方面加入 PolicyAI 内容审核、CrowdStrike AIDR 及基于正则表达式的检测护栏,同时将嵌入索引初始化改为惰性加载以改善启动性能。

2月28日周六
  1. 腾讯玄武实验室 · · 原文 71

    腾讯玄武实验室披露 Agentic Coding 的幽灵依赖供应链威胁并发布 Atuin 插件

    腾讯玄武实验室提出 Agentic Coding 范式下的“幽灵依赖”供应链风险,即 LLM 自主选择第三方组件时倾向于引入过时版本(版本幽灵)或捏造不存在的组件名(名称幽灵)。对某主流编程模型的测试显示,Python Web 场景下其生成的 requirements.txt 几乎总是包含 2023 年或更早的过时组件版本,在长尾需求下编造组件名的幻觉率高达 40% 且集中在可预测的模式上。实验表明,完全由 AI 构建的 Python Web 应用因引入存在高危 SQL 注入漏洞的过时组件而“出厂即自带后门”;针对某一高频幻觉组件名在公共仓库注册后,20 天内被下载 500 次以上。

    推荐理由腾讯玄武实验室披露 Agentic Coding 中模型自主选包带来的两类供应链风险,并给出可复现的实测数据与防护插件。