全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：越狱、提示注入、投毒与防御
Constitutional adapters：用推理期干预防御越狱与失准
研究提出 constitutional adapters（CAs），把符合宪法原则的行为从合成语料蒸馏进低秩适配器和 steering vector，训练中从未见过有害请求或越狱样本。用宪法训练对象减去对照训练对象后，越狱防御成功率和测得对齐度提升，在长上下文和多轮攻击下优于提示词与 steering 基线。CAs 可在基座模型上训练、零样本迁移到后训练 checkpoint，并在推理时缩放以在防御与良性合规之间可预测地权衡。作者将其定位为 API 部署中轻量、可移植、可调的干预手段，论文共 38 页、14 图、10 表。
- 动态Unit 42
Unit 42 提出扰动探测方法，定位 LLM 安全拒答的少量神经元
Unit 42 提出扰动探测方法，每个提示词只需两次前向传播，即可定位对齐 LLM 中因果上负责特定行为（如拒绝有害请求）的少量前馈神经元。在开源模型 Qwen3-4B 上，350,208 个前馈神经元中仅 50 个（约 0.014%）控制安全拒答模板，移除后 520 条标准有害提示基准中 80% 的回复格式发生变化，并在第二个标准基准的 200 条提示上复现。在更小的 Qwen3.5-2B 上，仅 20 个神经元即可让多轮对话中的错误附和行为从 36.7% 降至 0%（30 个问题）。同一计算还给出 FFN/Skip 比值，可在数秒内算出，在测试的 13 个模型中解释了安全行为脆弱性 81% 的方差，可作为量化的安全脆弱性评分。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 用 WebAssembly 沙箱隔离智能体 AI 工作流
NVIDIA 技术博客提出用 WebAssembly 沙箱隔离智能体 AI 工作流。文章指出，智能体工作流常需执行大语言模型生成的代码来完成数据可视化等任务，这类代码应先清洗并在安全环境中运行，以降低提示注入和返回代码出错带来的风险。作者认为，用正则表达式清洗 Python 并配合受限运行时并不充分，因此需要更强的隔离手段。文章由 Joseph Lucas 撰写，发布于 NVIDIA 开发者博客。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 发布《NVIDIA AI Enterprise 安全》白皮书
NVIDIA 发布《NVIDIA AI Enterprise 安全》白皮书，阐述其保障 NVIDIA AI Enterprise 软件栈容器安全所采取的措施。白皮书涵盖安全开发生命周期、容器构建生命周期管理、安全设计、安全加固、SBOM、容器签名与模型签名及 NIM 微服务。漏洞响应部分包括漏洞扫描、修补、VEX 与协同漏洞披露，并由 NGC 通知服务做安全事件监控。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 NVIDIA NeMo Guardrails 保护客服 AI 智能体
NVIDIA NeMo Guardrails 为客服场景的 AI 智能体提供安全防护。这类智能体可自动处理常规咨询、加快响应速度，从而提升客服效率与客户满意度，帮助企业在竞争中保持优势；但驱动它们的 LLM 本身存在脆弱性，文章围绕此给出防护做法。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
在 NVIDIA NeMo Guardrails 中用 Cleanlab 可信语言模型防止 LLM 幻觉
NVIDIA 演示了如何在 NeMo Guardrails 中集成 Cleanlab 的可信语言模型（Trustworthy Language Model），用于防止 LLM 生成看似合理但错误的幻觉回答。该方案将 Cleanlab 的可信度评分作为护栏机制接入 NeMo Guardrails，以提升企业 AI 应用的可靠性。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 如何通过结构化应用保护 KV cache
NVIDIA 提出通过结构化应用设计来保护 KV cache。输入结构会影响 Transformer 模型（如 LLM、VLM）的输出，而实际提示词往往不止是简单的用户提问，常由系统指令、上下文数据和用户输入等来源动态拼装而成。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA NeMo Guardrails 如何增强 LLM 输出流式传输的安全与智能
NVIDIA NeMo Guardrails 可对 LLM 逐 token 实时输出的流式响应进行安全增强。LLM 流式传输已从可选功能演变为现代 LLM 应用的核心组件，而传统等待完整响应再处理的方式在多模型调用等复杂场景下会造成明显延迟。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
如何用 NVIDIA Safety Recipe 保护智能体式 AI 系统
NVIDIA Safety Recipe 用于防护具备自主行动、工具调用与推理能力的 LLM 智能体系统。这类系统的自主性会放大目标错位、提示注入、非预期行为以及人类监督减少等风险。企业正因灵活性与低推理成本加速采用智能体系统，因此引入稳健的安全措施变得至关重要。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
为 AI 模型带来可验证信任：NVIDIA NGC 中的模型签名
NVIDIA 在 NGC 中引入模型签名，为 AI 模型带来可验证的信任。AI 正进入由能推理、规划并采取行动的智能体主导的阶段，这类系统动态调用 API、工具乃至物理环境，大幅扩展了 AI 攻击面：单个被攻陷的模型即可影响下游决策、访问外部系统并触发级联故障。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA：代码执行如何驱动智能体 AI 系统的关键风险
AI 系统从被动工具演变为能生成代码、做出决策并自主行动的智能体后，代码执行成为关键安全风险。若不对 AI 生成代码的执行方式与位置施加严格管控，攻击者可构造输入诱导 AI 生成恶意代码。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 发布智能体工作流沙箱与执行风险管理的安全实践指引
NVIDIA 发布面向智能体工作流的安全实践指引，聚焦沙箱化与执行风险管理。文章指出，AI 编码智能体通过命令行运行工具时，会继承与用户相同的权限和授权，因而成为计算机使用智能体，带来常被忽视的攻击面。该指引围绕这一执行风险给出实践建议。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA OpenShell：更安全地运行自主、自进化 AI 智能体
NVIDIA 推出 OpenShell，用于更安全地运行自主、自进化的 AI 智能体。这类被称为 claws 的智能体可接受目标后自行规划并持续执行，无需人类介入。随着其能力增强，信任难度上升，其自进化自主性也改变了运行环境。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 如何为机密 AI 工厂构建零信任架构
为机密 AI 工厂构建零信任架构，用于应对企业私有数据与 AI 模型结合时的隐私与信任风险。AI 正从实验走向生产，但企业所需的大部分数据位于公有云之外，包括患者记录、市场调研以及承载企业知识的遗留系统，隐私与信任顾虑常常拖慢甚至阻断 AI 的采用。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA：如何缓解智能体环境中的间接 AGENTS.md 注入攻击
NVIDIA 针对智能体环境中的间接 AGENTS.md 注入攻击给出缓解方法，聚焦编码智能体场景。正文以 OpenAI Codex 为例，说明此类编码智能体可自动完成代码生成、调试与创建 PR 等任务，AI 工具正显著加速软件开发。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理
NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理，仅靠运行时护栏并不足够。随着自主 AI 智能体能力增强，开放模型、MCP 连接的工具与可移植技能让智能体更易扩展，但规模化使用需要结构透明与运行完整性。组织与团队需要理解和信任智能体所使用的技能（即指令）。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 以 DOCA 芯片内安全推进智能体 AI 基础设施
NVIDIA 推出 DOCA 芯片内安全能力，支撑智能体 AI 的 AI 工厂基础设施。该方案针对 AI 工厂在训练、微调和部署时引入的新攻击面，把安全能力下沉到芯片层。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA Confidential Computing：不拖慢性能的硬件级 AI 安全方案
NVIDIA Confidential Computing（CC）面向 AI 推理与智能体场景，用硬件级方案保护数据在使用中的安全，同时避免拖慢性能。该方案针对企业在数据隐私与主权方面的顾虑，目标是让 AI 模型在推理和交互过程中数据始终处于受保护状态。
- 动态Google Bug Hunters
Google 分享 Vertex AI 大语言模型漏洞研究方法
Google 分享了针对 Cloud AI Platform 上的 Vertex AI 开展大语言模型漏洞研究的方法。公开这套做法的目的是让外部研究者从中学习，并帮助他们发现新的漏洞。
- 动态Google Bug Hunters
Gemini 如何缓解基于 URL 的数据外泄攻击
Google 介绍了 Gemini 及其他 Google 智能体缓解基于 URL 的数据外泄攻击的做法。该攻击利用 URL 将数据带出，Google 通过相应机制进行拦截与缓解。
- 动态OpenAI Alignment Research
OpenAI 分享在规模化代码验证上的实践方法
OpenAI 介绍了为 gpt-5-codex 和 gpt-5.1-codex-max 训练专用智能体代码审查器的经验，将其作为深度防御策略中的输出监控手段。审查器获得仓库级工具和执行权限后，能发现更多关键问题并减少误报，专门针对代码审查的训练进一步提升效果。部署上优先保证信噪比，宁可适度降低召回率以换取开发者信任，并允许通过自定义任务指令或 AGENTS.md 调整这一取舍。数据显示，Codex 云完全生成的 PR 中有 36% 收到评论，其中 46% 促使作者修改代码，人工编写 PR 的评论修改比例为 53%；截至 2025 年 10 月，系统每天处理超过 10 万条外部 PR，超过 80% 的评论反馈为正面。
- 动态腾讯玄武实验室
腾讯玄武实验室提出端侧提示词隐私保护方案并开源中文权重
腾讯安全玄武实验室提出一种可部署在端侧的提示词隐私保护方案，在调用云端 LLM 的流程中插入两个端侧步骤，先平行替换隐私实体完成脱敏，再还原云端输出中的隐私实体。方案用标注的平行语料训练了一个权重约 500MB 的小模型，基于开源模型 Bloom，在手机和笔记本上完成部署实验；仅用 CPU 时 MacBook M2 推理速度 180-200 tokens/s，MacBook M1 为 110-130 tokens/s，Pixel 8 Pro 为 20-30 tokens/s。原生支持润色、摘要、翻译、阅读理解和文本分类，并支持 Zero Shot 自定义扩展任务。
- 动态腾讯玄武实验室
腾讯玄武实验室推出一款基于安全大模型的EDR告警研判机器人
腾讯玄武实验室公开一款基于安全大模型的EDR告警研判机器人，能对EDR设备上报的告警做多维度的智能分析与自动调查取证。该机器人结合资产信息、事件信息、进程树和告警规则等多源细节，借助大模型的安全知识与推理能力展开研判，并将误报可能性量化为很大、中等偏大、中等偏小及很小四档，便于用户按优先级处置告警。其技术方案经30余轮迭代打磨而成，涵盖训练数据生成算法、数据分布优化策略、Prompt工程、微调与强化学习算法及模型能力评价体系，且支持私有化部署以保证极高吞吐量。
- 动态Google DeepMind
Google DeepMind 发布 AI Control Roadmap，用纵深防御保障内部 Agent 安全
Google DeepMind 发布 AI Control Roadmap，用于在 Google 内部署和管理先进 AI 时提供系统级安全保障。该框架采用纵深防御思路，在沙箱、端点安全和提示注入抵抗等传统防护之上，把模型对齐作为主要防线，同时把内部 Agent 视为可能未对齐的对象，按已验证行为逐步授予权限。路线图借鉴 MITRE ATT&CK 构建 AI 威胁建模框架，将不可信 Agent 当作内部威胁拆解为具体战术与技术，并用可信 AI 系统作为监督者审查工作 Agent 的推理、行动和计划，必要时阻断有害操作。