跳到正文

工具与开源

今天新收录 19 条(含旧文)

第 11 页更新的内容回到最新

10月1日周四
  1. Goodfire Research · 收录 · 原文 14

    Goodfire 用自校正搜索加速材料发现,将扩散模型的候选材料产出提升约 30%

    Goodfire 与 Radical AI 合作,通过给扩散模型加入基于其内部表征的反馈回路实现自校正搜索,使目标范围内可用候选材料的生成量提高约 30%。该方法针对 MatterGen 的条件生成流程改进逆设计环节,衡量指标为同时满足稳定、独特和新颖三个约束的 SUN 标准。现有基线中仅 15% 的 MatterGen 采样落在 4–6 eV 带隙目标区间内,若再叠加 SUN 过滤则降至 6.5%,且仅有约 10% 的微调候选能通过全部筛选阶段。该技术原则上适用于任意扩散模型,有望推广到蛋白质设计与药物发现等领域。

  2. Goodfire Research · 收录 · 原文 42

    Goodfire 发布预测式数据调试方法,可在训练前预测 DPO 会学到什么

    Goodfire Research 发布预测式数据调试研究,主张在训练前用可解释性方法预测偏好数据会让 DPO 放大或抑制哪些行为,预测结果与实际学习效果的 R² 达 0.9,并能追溯到具体数据点。方法把数据集输入已解释的模型,按模型实际计算的概念而非嵌入向量聚类来观察数据,从而区分模型真正学到的行为与评分者眼中的行为表象。

    推荐理由Goodfire 把可解释性读出的概念用于预测 DPO 会放大哪些行为,并给出四个真实数据集的意外案例,可迁移到后训练数据审查。

  3. Goodfire Research · 收录 · 原文 35

    Goodfire《神经几何》系列:从激活空间结构理解与控制神经网络

    Goodfire 发文提出"神经几何"研究方向,主张神经网络激活中蕴含丰富几何结构——星期呈圆形排列、颜色构成 HSL 流形、生命树出现在基因组表征中,可作为理解、改进和控制模型的抓手。该系列收录多项工作:沿弯曲流形的引导比传统线性引导向量产生更精准的行为改变;Llama 3.1 8B 内被发现一个基于圆形数值表示的加法模块;Block-Sparse Featurizers(BSF)将视觉模型激活分解为多维子空间并实现细粒度引导,且多数概念是多维的。

  4. Google Threat Intelligence · 收录 · 原文 35

    Google 用智能体源码审查框架 AVDH 对抗 AI 攻击,10 个月发现 12 个 CVE

    Google Threat Intelligence 首次公开内部智能体漏洞发现框架 AVDH,用 Google ADK 将专用智能体串联成顺序流水线,先做威胁建模再逐阶段分析代码,输出带风险评级的结果供人工复核。使用 10 个月内,AVDH 在分析数千万行代码、执行数千条流水线后,于一次企业仓库被盗事件响应中两天内发现超 100 个真实高危漏洞,并在广泛使用的 Web 扩展和开源项目中促成 12 个 CVE 分配,包括 CVE-2026-13242 和 CVE-2026-55803,另有十余个正在披露中。该框架可与 CodeMender 的持续扫描配合形成两层防御。

  5. Google Threat Intelligence · 收录 · 原文 15

    Google GTIG 发布 CI/CD 与代码流水线主动防御蓝图

    Google Threat Intelligence(GTIG)发布面向软件与平台架构师的 CI/CD 安全防御蓝图,围绕端点、IDE、AI 辅助安全等五个支柱给出加固措施。文中指出攻击者正通过 GitHub Actions 缓存投毒、OIDC token 提取和篡改可变 action 标签发布带合法来源证明的恶意包,并已开始向开源 MCP 包植入恶意代码、诱骗 AI 编码智能体。建议仅使用经批准的大语言模型与 AI 智能体做合并前漏洞分析,将 .env 文件排除出上下文窗口,并保留人工审核环节。

  6. Microsoft PyRIT 版本发布 · 收录 · 原文 28

    Microsoft PyRIT v0.11.0 发布:新增 WebSocketCopilotTarget 与 30 个越狱模板

    Microsoft PyRIT 发布 v0.11.0,破坏性变更将攻击与执行器从 SeedPromptGroup 改为基于 Message 运行,并重命名场景配置 API。该版本新增 WebSocketCopilotTarget,可通过 WebSocket 向 Microsoft Copilot 发送提示词执行,同时加入图像下载支持的 ImageTarget 重构及 OpenAIImageTarget 的图像编辑/混合功能。

  7. Microsoft PyRIT 版本发布 · 收录 · 原文 28

    Microsoft PyRIT v0.12.0 发布:GUI、CLI 与框架三种交互方式全部可用

    Microsoft 发布 AI 红队测试工具 PyRIT v0.12.0,首次让 GUI(CoPyRIT)、CLI 和框架三种交互方式全部达到可用状态。CLI 新增 Scam、Leakage、Psychosocial、Jailbreak 四类 AIRT 场景及 RedTeamAgent Foundry 预配置红队测试,覆盖 25+ 攻击策略。框架引入 YAML 配置系统、TargetRegistry 和 8 个新数据集加载器,但含破坏性变更需按迁移指南升级。

  8. Microsoft PyRIT 版本发布 · 收录 · 原文 41

    微软 PyRIT 发布 v0.12.1 安全补丁,修复 Jinja2 模板注入漏洞

    微软 PyRIT 发布 v0.12.1 安全补丁,修复 Jinja2 模板注入(SSTI)漏洞,建议 0.12.0 及更早版本用户升级。漏洞源于模板渲染使用未沙箱化的 Jinja2 Environment,远程数据集加载器把抓取的数据直接传入 SeedPrompt(value=...) 并在 __post_init__ 中按模板渲染,被投毒的数据集可借此实现 Python 对象遍历。

  9. Microsoft PyRIT 版本发布 · 收录 · 原文 15

    Microsoft PyRIT v0.13.0 发布

    Microsoft PyRIT 发布 v0.13.0,将 TargetCapabilities 替换为 TargetConfiguration,并引入新的 AttackTechnique 抽象来标准化攻击参数的声明与消费方式,同时移除多个弃用功能,属破坏性更新。该版本还新增 TargetRequirements、AttackTechniqueRegistry,并为 OpenAIChatTarget 默认启用图像输入,加入 VisualLeakBench 数据集加载器及符合 ISO 42001 的危害定义。

  10. Microsoft PyRIT 版本发布 · 收录 · 原文 20

    Microsoft PyRIT v0.14.0 发布

    Microsoft PyRIT 发布 v0.14.0,将 Message、Score、Seed 类及 Identifier 等核心模型迁移到 Pydantic v2,构造改为仅限关键字参数并拒绝额外字段,同时强制所有异步函数加 `_async` 后缀并重命名部分辅助函数。该版本移除此前标记弃用的全部功能,GCG 转为实验特性并提供新的公开 API,新增 Round Robin Target、Realtime 流式会话与服务端打断攻击以及图像转换器,还加入 VLGuard、StrongREJECT、Agent Threat Rules 等多个数据集加载器和 Python 3.14 支持,并修复 38+ 个依赖项漏洞及特定 CVE。

  11. Microsoft PyRIT 版本发布 · 收录 · 原文 29

    Microsoft PyRIT v1.0.0 发布:确立 v1 架构并引入破坏性变更

    Microsoft PyRIT 发布 v1.0.0,确立场景、攻击技术、执行器、注册表、标识符与记忆的 v1 架构,并包含有意的破坏性变更。场景策略更名为 techniques,组件构建统一走 BuildableRegistry,PromptConverter 改为 Converter,会话状态从 MessagePiece 迁至新的 Conversation 模型,0.15 及此前弃用的兼容层被移除。

  12. Microsoft PyRIT 版本发布 · 收录 · 原文 15

    PyRIT v1.0.1 修复结构化拒答处理

    Microsoft PyRIT 发布 v1.0.1 补丁,修复 OpenAI Responses 与 Chat Completions 返回结构化拒答时被误判为解析/运行时失败的问题。此前目标模型的拒答会导致攻击目标未完成并抛出误导性的 ValueError,现在拒答会被正常记录和评分,真正的部分执行则抛出 ScenarioPartialFailureException。使用 OpenAIResponseTarget 或 OpenAIChatTarget 对接近期 OpenAI 与 Azure OpenAI 模型的用户应升级;该版本还调整了推理模型响应片段顺序,将 reasoning 排在 text 之后。

  13. Microsoft PyRIT 版本发布 · 收录 · 原文 41

    微软 PyRIT 发布 v1.1.0,扩展扫描器与评分能力

    微软开源红队框架 PyRIT 发布 v1.1.0,重点改进评分机制、扩展扫描器能力并加入 CoPyRIT 新功能,Python 支持范围仍为 >=3.10、<3.15。评分方面新增未确定分数状态,读取 score_value 或调用 get_value() 前需检查 score.is_undetermined,部分被拦截的回复默认纳入评分,可通过 should_score_blocked_content=False 恢复旧行为。扫描器新增 Best-of-N、split-payload、多语言、音频 achilles、包幻觉、system-prompt 提取和 FigStep 等能力,并加入 bijection、CharNoise、CodeAttack、SATA、Vigenere、Acrostic、IPA 等 10 个转换器。官方称本次没有已知高优先级安全问题。

  14. 腾讯 AI-Infra-Guard 版本发布 · 收录 · 原文 21

    腾讯 AI-Infra-Guard v4.1.15 发布:新增 3 条 MCP 威胁检测规则与 6 条 llama.cpp CVE 规则

    腾讯 AI-Infra-Guard 发布 v4.1.15,在 mcp_scan 和 ai_infra_scan 中允许省略 model token,回退到系统默认模型。MCP 模块新增工具投毒、凭据窃取、命令注入 3 条威胁检测规则,llama-cpp 规则包新增 6 条 llama.cpp CVE 规则,其漏洞总数由 3 更新为 9、严重级别由 Low 调整为 Medium-High。文档同步将 ai-infra-scan 漏洞总数由 1300+ 修正为 1600+,openclaw 漏洞数由 628 更新为 655。

  15. 腾讯 AI-Infra-Guard 版本发布 · 收录 · 原文 27

    腾讯 AI-Infra-Guard v4.5.0 发布:Agent-Scan、MCP-Scan、Skill-Scan 模块化并新增检测能力

    腾讯 AI-Infra-Guard 发布 v4.5.0,将 Agent-Scan、MCP-Scan、Skill-Scan 模块化为独立 CLI 并支持 AIG 集成。Agent-Scan 新增 4 项 AI 智能体安全检测技能,MCP-Scan 新增 2 条 MCP 安全检测规则及 ATR 衍生规则,Skill-Scan 新增 Agent Skill 安全审计并以 PyPI 包 aig-skill-scan 发布,支持 SARIF 2.1.0 输出。同时新增 agentic-tool-misuse 评测数据集,CVE 规则数更新至 1900+。

  16. 腾讯 AI-Infra-Guard 版本发布 · 收录 · 原文 25

    腾讯 AI-Infra-Guard v4.5.1 发布:新增多种多轮越狱攻击与 MCP 安全检测规则

    腾讯 AI-Infra-Guard 发布 v4.5.1,PromptSecurity 新增 Many-Shot、PAIR、GOAT 和 ActorAttack 多轮越狱攻击。Agent-Scan 新增 5 项 OWASP 检测技能(含 agentic-supply-chain、cascading-failure、human-agent-trust、inter-agent-comm、unexpected-code-execution)及 web-exfiltration-detection 技能,MCP-Scan 新增硬编码密钥、不安全反序列化等 4 条 MCP 安全检测规则,并更新 AIG 规则至 2026-07-24。

  17. 腾讯 AI-Infra-Guard 版本发布 · 收录 · 原文 21

    腾讯 AI-Infra-Guard v4.5.2 发布:新增 SkillJack 项目并修复 mcp-scan 提示注入致 RCE

    腾讯 AI-Infra-Guard 发布 v4.5.2,新增 SkillJack 项目和一批 AIG 检测规则,并为 Qdrant、Chroma、Weaviate 补充仅 GET 指纹识别。该版修复了 mcp-scan 动态扫描模式下经提示注入触发的远程代码执行问题,同时修补 skill-scan 字符集内容走私及隐藏编译字节码两处缺陷,并将 aig-agent-redteam 变异引擎重构到 v5.0.0、合并工作流攻击与变异攻击流程。

  18. 腾讯 AI-Infra-Guard 版本发布 · 收录 · 原文 24

    腾讯 AI-Infra-Guard v4.6.0 发布:新增 API Checker 与 LLM API 投毒检测

    腾讯 AI-Infra-Guard 发布 v4.6.0,新增 API Checker 模块提供 API 安全审计并集成 Web 代理与统一 CLI 命令,同时加入针对 LLM API 投毒攻击的新检测能力。Agent-Scan(aig-agent-redteam)升级到 v5.0.0,重构变异引擎并将 workflow-attack 合并入 mutation-attack,还完成了 DeepSeek Harness 提示注入评估的研究工作。此外修复了 MCP 客户端迁移至 SDK 2.0、streamable_http_client 头参数兼容等问题,文档中组件表更新且 CVE 计数从 1900+ 升至 2000+。

  19. MITRE ATLAS 数据发布 · 收录 · 原文 35

    MITRE ATLAS v5.6.0 更新:新增 AI 智能体配置搜索等攻击技术

    MITRE ATLAS 发布 v5.6.0,新增三项攻击技术:获取公开 AI 制品下的 AI Agent 配置搜索、搜索开放网站/域名下的代码仓库,以及钓鱼下的 Deepfake 辅助钓鱼。同时更新了钓鱼、LLM 越狱与缓解措施,涉及用户培训、Deepfake 检测,并更新了 OpenClaw 通过提示注入实现命令与控制等案例研究。

  20. 腾讯 AI-Infra-Guard 版本发布 · 收录 · 原文 15

    腾讯 AI-Infra-Guard v4.6.2 新增 FORGE-Bench 失控基准

    腾讯 AI-Infra-Guard 发布 v4.6.2,新增面向自主智能体的确定性失控基准 FORGE-Bench(forge_bench)及干净的 RogueHandoff-20 基准,并补充一批 AIG 检测规则。该版将 aig-skill-scan 升级到 0.2.2,减少无证据误报、避免模型工具调用卡死并约束流式中断响应,同时修正判定与公开结果的比对逻辑。Extract-Vuln 模块剥离 CDATA 包装并兼容常见标签别名,另清理了 12 处 YAML 校验失败等问题。

  21. 腾讯 AI-Infra-Guard 版本发布 · 收录 · 原文 14

    腾讯 AI-Infra-Guard v4.6.3 发布

    腾讯 AI-Infra-Guard 发布 v4.6.3,新增 DeepTeam 在运行期间将完成的测试用例写入磁盘,并修复 API Checker 对 Claude 5 签名的支持。该版本为 API Checker 补充失败指纹样本以提升模型识别可靠性,同时为 Prompt-Eval 加入限流感知退避、熔断器和进程组终止机制,并在熔断器与模型间共享限流计数器、加固 Retry-After 解析。文档方面新增 FORGE-Bench 与 RogueHandoff-20 研究条目并同步至 8 种语言 README。

  22. MITRE ATLAS 数据发布 · 收录 · 原文 12

    MITRE ATLAS 发布 v2026.05:知识与数据格式拆分版本号并引入 v6.0.0 格式

    MITRE ATLAS 从本次发布开始将知识库内容与数据格式分开管理版本:月度内容更新改用 YYYY.MM.N 方案并把版本存入 Collection 对象,格式变更则沿用语义化版本。此次内容版 v2026.05 给所有技术条目补充了一个或多个运行平台字段(预测式 AI、生成式 AI、智能体 AI、企业);同时推出的格式 v6.0.0 新增 ATLAS YAML 结构,提供 Pydantic schema 校验、SQLAlchemy ORM 持久化和 FastAPI REST API,并将历史版本迁移保存于 dist/legacy/ 与 dist/v6/。

  23. MITRE ATLAS 数据发布 · 收录 · 原文 43

    MITRE ATLAS 发布 v2026.06,新增窃取 Web 会话 Cookie 技术与多起 AI 攻击案例

    MITRE ATLAS 发布 v2026.06 数据更新,新增“窃取 Web 会话 Cookie”和“使用替代认证材料:Web 会话 Cookie”两项技术,并更新了 AI 服务 Web 界面相关条目。现有技术 LLM Jailbreak 与缓解措施 Generative AI Guardrails、Generative AI Guidelines、AI Telemetry Logging 也得到更新。

  24. MITRE ATLAS 数据发布 · 收录 · 原文 43

    MITRE ATLAS 发布 v2026.07 数据,新增 AI Agent 工具投毒等技术条目

    MITRE ATLAS 发布 v2026.07 数据版本,包含 1 个矩阵、16 项战术、101 项技术、77 项子技术、37 项缓解措施和 68 个案例研究。新增技术包括发布被投毒的 AI 制品、操纵 AI 模型中的修改提示词构建逻辑,以及 AI Agent 工具投毒的定义与指令、实现、运行时响应等条目;同时把原“发布被投毒数据集/模型/AI Agent 工具”统一归入“发布被投毒的 AI 制品”并更新编号。缓解措施方面新增 AI 红队、限制 AI 工作负载资源消耗等,并将多项原有措施改名为生成式 AI 模型对齐、预测式 AI 模型加固等。

  25. MITRE ATLAS 数据发布 · 收录 · 原文 43

    MITRE ATLAS 发布 v2026.08:新增自主攻击与 AI 智能体相关技术与缓解措施

    MITRE ATLAS 发布 v2026.08 数据版本,包含 1 个矩阵、16 项战术、114 项技术、83 项子技术、39 项缓解措施和 72 个案例研究。ATLAS 是基于真实攻击观测与 AI 红队演示构建的 AI 对抗战术与技术知识库,覆盖针对 AI 系统的攻击、AI 能力滥用以及 AI 实质性促成的有害自主行为。

  26. MITRE ATLAS 数据发布 · 收录 · 原文 43

    MITRE ATLAS 发布 v2026.09 数据更新,新增多项 Agent 与多模态攻击技术

    MITRE ATLAS 发布 v2026.09 数据版本,包含 1 个矩阵、16 项战术、120 项技术、88 项子技术、40 项缓解措施和 73 个案例研究。新增技术涵盖多模态输入中的触发器、AI Agent 响应偏置、伪造 AI 助手链接、配置错误或公开暴露的 AI 服务、发现 AI Agent 运行时能力、AI 定向隐蔽以及针对 AI 基础设施的主动扫描等。更新了 LLM 提示混淆、间接 LLM 提示注入、LLM 越狱、LLM 响应渲染和 AI Agent 点击诱饵等技术。缓解措施新增 AI 蜜罐,更新生成式 AI 护栏。

  27. NVIDIA NeMo Guardrails 版本发布 · 收录 · 原文 15

    NVIDIA NeMo Guardrails v0.21.0 发布:新增并行执行输入/输出护栏引擎 IORails

    NVIDIA NeMo Guardrails 发布 v0.21.0,引入优化后的输入/输出护栏引擎 IORails,支持并行执行 NemoGuard 的内容安全、话题安全和越狱检测三类护栏,并带日志记录与请求 ID。该版本还新增 LLMRails.check_async 方法实现独立的输入/输出护栏校验,使护栏服务器兼容 OpenAI(含新的 v1/models 端点),并通过 GuardrailsMiddleware 接入 LangChain 智能体。社区集成方面加入 PolicyAI 内容审核、CrowdStrike AIDR 及基于正则表达式的检测护栏,同时将嵌入索引初始化改为惰性加载以改善启动性能。

  28. NVIDIA NeMo Guardrails 版本发布 · 收录 · 原文 12

    NVIDIA NeMo Guardrails v0.22.0 发布:LangChain 解耦、IORails 里程碑 2

    NVIDIA NeMo Guardrails v0.22.0 将 LangChain 从核心依赖降为可选,OpenAI 兼容 LLM 改用内置 httpx 客户端,其他场景可通过 NEMOGUARDRAILS_LLM_FRAMEWORK=langchain 重新接入。新编排引擎 IORails 进入第二阶段,支持流式输出、OpenTelemetry 和推理模型,并在非流式模式下实现推测生成,让输入护栏与主模型响应并行以隐藏延迟。该版本还引入匿名使用统计,可通过 NEMO_GUARDRAILS_NO_USAGE_STATS=1、DO_NOT_TRACK=1 或配置文件退出。

  29. NVIDIA NeMo Guardrails 版本发布 · 收录 · 原文 15

    NVIDIA NeMo Guardrails v0.23.0 发布:IORails 扩展工具调用与可观测性

    NVIDIA 发布 NeMo Guardrails v0.23.0,IORails 的工具调用现同时支持流式与非流式请求,并新增本地 rail 校验模型发出的工具调用与应用返回的结果。该版本的 OpenAI 兼容服务器也支持工具调用,且新增 /v1/checks 端点可在不生成新模型响应的情况下运行输入或输出 rail。此外还加入轻量级 Hugging Face 分类器 rail、上下文膨胀检测以及 Polygraf 集成实现 PII 检测与掩码,NumPy 精确检索取代 Annoy 成为默认嵌入索引,发行 wheel 体积缩小约十倍,并要求 Pydantic>=2.5。

  30. NVIDIA NeMo Guardrails 版本发布 · 收录 · 原文 15

    NVIDIA NeMo Guardrails v0.24.0 发布

    NVIDIA 发布 NeMo Guardrails v0.24.0,IORails 现可直接执行库内 67 项输入输出接口中的 59 项,并与 LLMRails 共享同一底层实现。该版本引入引擎中立的 RailOutcome 契约、声明式的 rail manifest 以及统一的对外 HTTP 客户端,同时新增 F5 Guardrails 集成、服务器健康检查端点及通过 `/v1/checks` 进行输出检查的功能。

  31. NVIDIA NeMo Guardrails 版本发布 · 收录 · 原文 7

    NVIDIA NeMo Guardrails v0.24.1 发布

    NVIDIA NeMo Guardrails 发布 v0.24.1 补丁版本,集中修复若干缺陷。该版本修正了 benchmark 中 Locust 并发测量与扫描、content-safety 对 Nemotron 3.5 响应的解析、server 在 IORails 准入丢弃时返回过载响应,以及 rails 对组合配置加载 config.py 的问题。

  32. NVIDIA garak 版本发布 · 收录 · 原文 15

    NVIDIA garak v0.13.2 发布

    NVIDIA garak 发布 v0.13.2,新增迭代式探针基类与 FITD 探针,并加入 any 检测器。该版本修复了 MustRefuteClaimModel 目标类错误、TAP/PAIR 探针的 NameError、Win11 探针仍使用 Windows 10 产品名等问题,同时限制 langchain 版本、改进提示词翻译支持并新增运行加速文档。

  33. NVIDIA garak 版本发布 · 收录 · 原文 15

    NVIDIA garak v0.13.3 发布:新增 API Key 探测插件与 AWS Bedrock 生成器

    NVIDIA garak 发布 v0.13.3,新增检测 API Key 泄露的探针及配套检测器和零宽坏字符注入探针,并加入 AWS Bedrock 生成器。该版本还改进 unreal pkghallu 目标覆盖、令 OpenAICompatible 类默认单次生成一条回复,并为生成器启用一致的 PRNG 访问。此外引入延迟加载与依赖裁剪、AVID 报告导出中 metadata 与 vuln_id 处理的多项修复。

  34. NVIDIA garak 版本发布 · 收录 · 原文 15

    NVIDIA garak v0.14.0 发布:JSON 配置支持与报告系统重构

    NVIDIA garak 发布 v0.14.0,新增 JSON 配置文件支持和检测器评测文档及基准结果,并移除 `--generate-autodan` CLI 选项。该版本重新设计了 HTML 报告,修改了 JSONL 报告中 eval 与 digest 条目格式属破坏性变更,同时更新 OpenAI 库到 2.x、加入 Transformers 5 支持并将校准数据更新至 2026 年冬季版。

  35. NVIDIA garak 版本发布 · 收录 · 原文 20

    NVIDIA garak v0.14.1 发布:新增 WebSocket 生成器并移除 nemollm

    NVIDIA garak 发布 v0.14.1,新增面向实时 LLM 安全测试的 WebSocket 生成器和 OpenAI Harmony 音频输入格式,并为攻击成功率加入 Bootstrap 置信区间。该版本激活 sata 与 badchars 探针、补充简历类提示注入样例、改进 Jinja 注入检测,同时移除了废弃的 nemollm 生成器及其依赖,属破坏性变更。

  36. NVIDIA garak 版本发布 · 收录 · 原文 25

    NVIDIA garak v0.15.0 发布:新增多轮 GOAT、Agent breaker 与系统提示提取探针

    NVIDIA garak 发布 v0.15.0,新增多轮 GOAT、Agent breaker 和系统提示提取三类探针,并加入同形异义混淆提示走私检测及 ModernBERT 拒答检测器。该版本还引入 NeMoGuardrails 服务器支持和带推理轨迹的测试生成器,改进 REST 生成器的 mTLS 客户端证书认证并为 Bedrock 生成器增加推理模型支持,同时修复编码检测逻辑翻转等问题。

  37. NVIDIA garak 版本发布 · 收录 · 原文 15

    NVIDIA garak v0.15.1 发布:新增 ProPILE 隐私泄露检测探针

    NVIDIA 的 LLM 漏洞扫描工具 garak 发布 v0.15.1,新增 ProPILE 探针用于 PII 泄露检测,并加入 simonw/llm 库作为生成器支持。garak.analyze.qual_review 现支持 JSON 与文件输出模式。该版本还修复了 OpenAICompatible 中 response.choices 为 None、Hugging Face 文件探针本地路径处理、snowball 检测器 MISP 标签格式错误等问题,并移除已弃用的 maxrecall 评估器。

  38. NVIDIA garak 版本发布 · 收录 · 原文 29

    NVIDIA garak v0.16.0 发布:新增技术与意图标注及初始 IntentProbe

    NVIDIA garak 发布 v0.16.0,引入技术与意图(technique and intent)标注以及首个 IntentProbe 迭代,作为 Context Aware Scanning 的第一步,允许用户在评估目标时带入自有上下文与预期。该版本还新增原生 Anthropic 生成器插件和一个简单自适应攻击探针,并带来破坏性变更:统一的 run.spec 选择语法取代旧的 probe_spec/buff_spec,report.jsonl 增加 probe_summary 条目并调整 digest 结构。

  39. NVIDIA garak 版本发布 · 收录 · 原文 15

    NVIDIA garak v0.17.0 新增 EU AI Act 风险映射

    NVIDIA 的开源 LLM 漏洞扫描器 garak 发布 v0.17.0,新增 EU AI Act 映射,可为探针结果提供参考标签并按该法案中的各类风险分组呈现。同时改进插件层,向 Ollama 转发生成参数并加入认证与自定义客户端配置,另修复多个检测器和探针缺陷,例如 MarkdownExfilContent 缺失说明时的崩溃与除零错误、AgentBreaker 判定结果的 JSON 解析问题以及 NIM 瞬时 HTTP 错误的处理。此版还移除 Python 3.10 支持、改为支持 Python 3.13,并在兼容前锁定 anthropic Python 客户端版本。