跳到正文

#防御/护栏

今天收录 2 条

第 5 页更新的内容回到最新

6月6日周六
  1. Simon Willison(提示注入) ·

    OpenAI 上线 Lockdown Mode,限制提示注入后的数据外泄

    OpenAI 正式上线 Lockdown Mode,此前在 2 月已有预告,现面向符合条件的个人账户(Free、Go、Plus、Pro)及自助式 ChatGPT Business 账户推送。该模式通过限制可能把敏感数据传给攻击者的对外网络请求,阻止提示注入攻击的最后一步数据外泄,但不会阻止提示注入出现在 ChatGPT 处理的内容中,例如缓存网页或上传文件里的注入仍可能影响回答的行为或准确性。Simon Willison 认为这一设计直接切断了致命三要素中的数据外泄环节,且所用机制是确定性的,不依赖可能被复杂攻击绕过的 AI 系统来判定。

6月1日周一
5月23日周六
  1. NVIDIA NeMo Guardrails 版本发布 ·

    NVIDIA NeMo Guardrails v0.22.0 发布:LangChain 解耦、IORails 里程碑 2

    NVIDIA NeMo Guardrails v0.22.0 将 LangChain 从核心依赖降为可选,OpenAI 兼容 LLM 改用内置 httpx 客户端,其他场景可通过 NEMOGUARDRAILS_LLM_FRAMEWORK=langchain 重新接入。新编排引擎 IORails 进入第二阶段,支持流式输出、OpenTelemetry 和推理模型,并在非流式模式下实现推测生成,让输入护栏与主模型响应并行以隐藏延迟。该版本还引入匿名使用统计,可通过 NEMO_GUARDRAILS_NO_USAGE_STATS=1、DO_NOT_TRACK=1 或配置文件退出。

5月20日周三
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理

    NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理,仅靠运行时护栏并不足够。随着自主 AI 智能体能力增强,开放模型、MCP 连接的工具与可移植技能让智能体更易扩展,但规模化使用需要结构透明与运行完整性。组织与团队需要理解和信任智能体所使用的技能(即指令)。

5月11日周一
  1. Adversa AI ·

    2026 年 5 月 GenAI 安全资源盘点:IICL 绕过 GPT-5.4 护栏、Mythos 自主完成 32 步网络攻击

    Adversa AI 研究人员用新攻击技术 IICL(Involuntary In-Context Learning)绕过 GPT-5.4 安全护栏,攻击成功率达 60%,利用的是近期模型更新引入的漏洞。Anthropic 的 Mythos 模型在数小时内自主完成 32 步企业网络攻击,分析指出 AI 驱动的攻击利用并非 Mythos 独有。本期共收录 22 项资源,另涵盖 BadStyle 风格触发后门、可污染 99.85% 查询结果的向量数据库 Black-Hole 攻击,以及 TwinGate、ER-CAT 等防御框架。

5月1日周五
4月29日周三
  1. Cisco Talos(AI) ·

    AI 驱动的蜜罐:用生成式 AI 反制恶意 AI 智能体

    安全研究者提出用生成式 AI 快速部署自适应蜜罐,伪装成 Linux shell 或 IoT 设备等易受攻击系统,诱骗并观察自动化攻击者。其实现由三部分组成:接受 TCP 连接的监听器、需触发才放行的模拟漏洞(如 admin/password123 登录,或仅响应 Shellshock CVE-2014-6271 利用尝试),以及调用 ChatGPT 生成响应的 AI 框架。该方法利用 AI 智能体缺乏真实意识、易被提示注入欺骗的弱点,把攻击者的自动化能力转化为暴露其手法的负担。

4月18日周六
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    如何用 OpenClaw 与 NVIDIA NemoClaw 构建更安全、常驻的本地 AI 智能体

    NVIDIA NemoClaw 这套开源参考栈可编排 NVIDIA OpenShell,在本机沙箱中运行 OpenClaw 等开放 harness,构建常驻的本地 AI 智能体。教程在 NVIDIA DGX Spark(GB10)上用 Ollama 本地部署 NVIDIA Nemotron 3 Super 120B,并接入 Telegram 远程访问。OpenShell 负责沙箱隔离、凭证管理与 API 代理,但官方提醒任何沙箱都无法完全防御高级提示注入。

4月3日周五
3月25日周三
  1. Simon Willison(提示注入) ·

    Claude Code 推出 auto mode,用 Claude Sonnet 4.6 分类器替代跳过权限

    Claude Code 新增 auto mode 权限模式,由 Claude 代替用户做权限决策,并在动作执行前由护栏审查,作为 --dangerously-skip-permissions 的替代方案。护栏由独立的分类器模型实现,运行在 Claude Sonnet 4.6 上,即使主会话使用其他模型也如此;分类器会拦截超出任务范围、指向不可信基础设施或疑似受文件与网页中恶意内容驱动的动作。用户可在终端运行 claude auto-mode defaults 查看完整默认规则 JSON,并可用自定义规则扩展。

3月23日周一
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA 如何为机密 AI 工厂构建零信任架构

    为机密 AI 工厂构建零信任架构,用于应对企业私有数据与 AI 模型结合时的隐私与信任风险。AI 正从实验走向生产,但企业所需的大部分数据位于公有云之外,包括患者记录、市场调研以及承载企业知识的遗留系统,隐私与信任顾虑常常拖慢甚至阻断 AI 的采用。

3月17日周二
3月12日周四
  1. NVIDIA NeMo Guardrails 版本发布 ·

    NVIDIA NeMo Guardrails v0.21.0 发布:新增并行执行输入/输出护栏引擎 IORails

    NVIDIA NeMo Guardrails 发布 v0.21.0,引入优化后的输入/输出护栏引擎 IORails,支持并行执行 NemoGuard 的内容安全、话题安全和越狱检测三类护栏,并带日志记录与请求 ID。该版本还新增 LLMRails.check_async 方法实现独立的输入/输出护栏校验,使护栏服务器兼容 OpenAI(含新的 v1/models 端点),并通过 GuardrailsMiddleware 接入 LangChain 智能体。社区集成方面加入 PolicyAI 内容审核、CrowdStrike AIDR 及基于正则表达式的检测护栏,同时将嵌入索引初始化改为惰性加载以改善启动性能。

3月9日周一
2月5日周四
  1. Embrace The Red ·

    OpenAI 新论文详解基于 URL 的数据外泄缓解措施

    OpenAI 发布论文《Preventing URL-Based Data Exfiltration in Language-Model Agents》,详细说明其为语言模型智能体新增的 URL 数据外泄缓解措施。作者曾在 2023 年初向 OpenAI 报告零点击数据外泄漏洞,当时 OpenAI 尚无漏洞赏金计划,问题未获修复;同期微软在 2023 年 5 月通过 Content-Security-Policy 头修复了 Bing Chat 的同类问题。

1月31日周六
  1. NVIDIA 技术博客:可信 AI 与网络安全 · · 原文 62

    NVIDIA 发布智能体工作流沙箱与执行风险管理的安全实践指引

    NVIDIA 发布面向智能体工作流的安全实践指引,聚焦沙箱化与执行风险管理。文章指出,AI 编码智能体通过命令行运行工具时,会继承与用户相同的权限和授权,因而成为计算机使用智能体,带来常被忽视的攻击面。该指引围绕这一执行风险给出实践建议。

    推荐理由NVIDIA 安全团队从权限与执行风险角度给出智能体工作流的沙箱实践指引,适合部署编码智能体的团队参考。

1月15日周四
  1. arXiv ·

    ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow,降低 Agent 有害工具调用

    ToolSafe 提出面向 LLM 智能体工具调用安全的步骤级护栏方案,包含基准 TS-Bench、护栏模型 TS-Guard 和推理框架 TS-Flow。TS-Guard 通过多任务强化学习训练,在执行前基于交互历史推理,评估请求有害性与动作和攻击的关联,输出可解释、可泛化的安全判断与反馈。TS-Flow 由护栏反馈驱动,在提示注入攻击下将 ReAct 风格智能体的有害工具调用平均减少 65%,同时把良性任务完成率提升约 10%。作者称该工作仍在进行中,代码已公开。

12月9日周二
  1. Google Security Blog · · 原文 71

    Chrome 公布智能体能力的分层安全架构

    Chrome 安全团队公布了针对 Gemini 智能体浏览能力的分层防御设计,核心应对威胁是间接提示注入。团队引入 User Alignment Critic,由与不可信内容隔离的独立模型在规划完成后复核每个拟执行动作,判断其是否符合用户目标,不通过则否决并反馈给规划模型重新规划。Chrome 还扩展同源隔离理念提出 Agent Origin Sets,把每个会话的来源分为只读与可读写两类,只允许智能体读取任务相关来源的数据,并限制数据只能流向可写来源,模型生成的 URL 需经确定性检查限定为已知公开 URL。

    推荐理由Chrome 安全团队公开了智能体浏览的分层防御架构,包括独立审查模型与来源集合限制,可供做浏览器智能体的团队参考。

11月5日周三
  1. Simon Willison(提示注入) ·

    MCP Colors:系统化应对提示注入风险

    Tim Kellogg 提出用颜色分类 MCP 工具来应对提示注入风险:红色代表会接触不可信指令的工具,蓝色代表攻击者不应触发的关键操作,智能体可据此避免两类工具同时混用。他建议用 _meta 对象记录 MCP 工具与资源的颜色,并借助 LLM 为约 200 个工具批量打标,使分类标准可扩展到初始工具集之外。

11月4日周二
10月3日周五
7月29日周二
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    为 AI 模型带来可验证信任:NVIDIA NGC 中的模型签名

    NVIDIA 在 NGC 中引入模型签名,为 AI 模型带来可验证的信任。AI 正进入由能推理、规划并采取行动的智能体主导的阶段,这类系统动态调用 API、工具乃至物理环境,大幅扩展了 AI 攻击面:单个被攻陷的模型即可影响下游决策、访问外部系统并触发级联故障。

7月18日周五
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    如何用 NVIDIA Safety Recipe 保护智能体式 AI 系统

    NVIDIA Safety Recipe 用于防护具备自主行动、工具调用与推理能力的 LLM 智能体系统。这类系统的自主性会放大目标错位、提示注入、非预期行为以及人类监督减少等风险。企业正因灵活性与低推理成本加速采用智能体系统,因此引入稳健的安全措施变得至关重要。

6月14日周六
  1. Google Security Blog · · 原文 62

    Google 详解 Gemini 抵御间接提示注入的分层防御策略

    Google GenAI 安全团队介绍了 Gemini 针对间接提示注入的分层防御策略,覆盖提示词生命周期的各个阶段。该策略包括对 Gemini 2.5 模型进行对抗数据训练以增强模型韧性,并叠加五项内置防御:提示注入内容分类器、安全思维强化、Markdown 清洗与可疑 URL 屏蔽、用户确认框架以及面向终端用户的安全缓解通知。

    推荐理由Google 公开了 Gemini 抵御间接提示注入的分层防御细节,部署生成式 AI 产品的团队可对照其五个防护环节。

5月24日周六
4月30日周三
4月10日周四
3月4日周二
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA NeMo Guardrails 如何衡量与优化生成式 AI 应用中的护栏效果与性能

    NVIDIA NeMo Guardrails 提供内容安全、话题控制、越狱检测等 AI 护栏,用于保障 AI 智能体及对话式 AI 应用的安全、符合品牌调性与可靠行为。该文探讨衡量与优化这些护栏效果和性能的技术方法,帮助企业在生成式 AI 应用中评估并提升护栏表现。

1月16日周四
12月20日周五
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA 发布《NVIDIA AI Enterprise 安全》白皮书

    NVIDIA 发布《NVIDIA AI Enterprise 安全》白皮书,阐述其保障 NVIDIA AI Enterprise 软件栈容器安全所采取的措施。白皮书涵盖安全开发生命周期、容器构建生命周期管理、安全设计、安全加固、SBOM、容器签名与模型签名及 NIM 微服务。漏洞响应部分包括漏洞扫描、修补、VEX 与协同漏洞披露,并由 NGC 通知服务做安全事件监控。

12月17日周二
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA 用 WebAssembly 沙箱隔离智能体 AI 工作流

    NVIDIA 技术博客提出用 WebAssembly 沙箱隔离智能体 AI 工作流。文章指出,智能体工作流常需执行大语言模型生成的代码来完成数据可视化等任务,这类代码应先清洗并在安全环境中运行,以降低提示注入和返回代码出错带来的风险。作者认为,用正则表达式清洗 Python 并配合受限运行时并不充分,因此需要更强的隔离手段。文章由 Joseph Lucas 撰写,发布于 NVIDIA 开发者博客。

12月7日周六
  1. NVIDIA 技术博客:可信 AI 与网络安全 ·

    NVIDIA NeMo Guardrails 如何为 RAG 应用做内容审核与安全检查

    NVIDIA NeMo Guardrails 通过集成 Meta 的 LlamaGuard 和 AlignScore 等第三方安全模型,为 RAG 应用提供内容审核与安全检查。该工具以开源工具包和微服务两种形式部署,支持内容审核、越狱检测、PII 检测、幻觉检测等护栏功能,可在 LLM 输出前扫描检索内容与生成回复中的冒犯性语言、虚假信息或政策违规。NeMo Guardrails 微服务处于早期访问阶段,提供 OpenAI 兼容 API。

10月4日周五
8月1日周四
  1. arXiv ·

    Llama 3 模型群:405B 稠密 Transformer 与 Llama Guard 3 安全模型

    Meta 发布 Llama 3 模型群,最大模型为 405B 参数的稠密 Transformer,上下文窗口最高 128K tokens,原生支持多语言、编程、推理与工具使用。评测显示其在大量任务上质量与 GPT-4 相当,并公开释出 405B 的预训练与后训练版本及输入输出安全模型 Llama Guard 3。论文还通过组合式方法将图像、视频和语音能力接入 Llama 3,在识别任务上表现与 SOTA 相当,但这些多模态模型仍在开发中,尚未广泛发布。

1月26日周五
  1. 腾讯玄武实验室 ·

    腾讯玄武实验室推出一款基于安全大模型的EDR告警研判机器人

    腾讯玄武实验室公开一款基于安全大模型的EDR告警研判机器人,能对EDR设备上报的告警做多维度的智能分析与自动调查取证。该机器人结合资产信息、事件信息、进程树和告警规则等多源细节,借助大模型的安全知识与推理能力展开研判,并将误报可能性量化为很大、中等偏大、中等偏小及很小四档,便于用户按优先级处置告警。其技术方案经30余轮迭代打磨而成,涵盖训练数据生成算法、数据分布优化策略、Prompt工程、微调与强化学习算法及模型能力评价体系,且支持私有化部署以保证极高吞吐量。

12月5日周二
  1. 腾讯玄武实验室 ·

    腾讯玄武实验室提出端侧提示词隐私保护方案并开源中文权重

    腾讯安全玄武实验室提出一种可部署在端侧的提示词隐私保护方案,在调用云端 LLM 的流程中插入两个端侧步骤,先平行替换隐私实体完成脱敏,再还原云端输出中的隐私实体。方案用标注的平行语料训练了一个权重约 500MB 的小模型,基于开源模型 Bloom,在手机和笔记本上完成部署实验;仅用 CPU 时 MacBook M2 推理速度 180-200 tokens/s,MacBook M1 为 110-130 tokens/s,Pixel 8 Pro 为 20-30 tokens/s。原生支持润色、摘要、翻译、阅读理解和文本分类,并支持 Zero Shot 自定义扩展任务。

已经到底了