论文提出 Provenance-Aware Transformers，一种让应用提供的来源标签在模型内部生效的防御方法，用于应对大语言模型的间接提示注入问题。作者指出标准 Transformer 缺乏来源权威性的架构概念，检索文档、用户输入与系统指令都经过同一套注意力机制处理，模型只能从措辞推断该服从什么、该把什么当作数据。该方法为每个输入 token 分配编码其来源的 ring ID，并加入 origin embedding、可学习的 origin attention bias 和可学习的 origin scale，以在归一化过程中保留来源信息，从而在生成时对权威与非权威来源施加结构性边界。
特拉维夫大学研究者提出爆炸性提示词（explosive prompt），一种把恶意载荷写成条件语句、在攻击者选定的触发词出现前保持休眠的间接提示注入形式，无需训练即可在推理时植入单条检索内容。在 896 对配对样本上，同一恶意目标改为休眠条件式后，在拒绝直接指令的前沿模型上仍能触发真实工具调用，Grok-4.20 从 0.0% 升至 34.2%，Llama-3.1-70B 从 0.1% 升至 26.1%，七款模型配对均值 16.5% 对 2.4%。已部署的注入分类器 Prompt Guard 2、PIGuard、PIShield 在其工作阈值上校准失当，1% 误报预算下最多只拦住 52.7%；偏好优化模型 SecAlign 完全阻断直接注入，却仍执行 11.8% 的爆炸性提示词，且全部在触发轮触发。
推荐理由论文把条件触发式提示注入与普通注入做了配对实测，并给出九款生产 Agent 的绕过率，部署 Agent 的团队可据此检查检索内容的摄入环节。
一篇 arXiv 综述梳理了基于大语言模型的智能体 AI 在安全与运维上的五类可信维度：安全与鲁棒性、对齐与人类监督、透明度与可审计性、隐私与数据治理、监管合规。文章把间接提示注入、后门触发、目标泛化错误、记忆污染和跨会话数据泄露等失效模式归入统一分类，并评估指令层级、上下文隔离、spotlighting、过程监督、受限工具使用和隐私保护记忆等缓解手段，区分有实证支持与仍属概念性的方法。作者据此提出六阶段 Trustworthy Agent Development Lifecycle（TADL），覆盖规格、设计、训练、评估、部署与监控，但该框架尚未经实证验证。
论文提出 Trustworthiness as a Service（TaaS），用于解决智能体跨组织边界调用工具、服务与其他智能体时，依赖方无法仅凭生产域控制与记录评估被委托动作的问题。其分析单元为跨域依赖命题，通过三条件结构外化诊断识别需多域依赖、生产方独立验证且须在撤销、失败、记录冲突或争议后仍可复核的命题，并为此设计不可变工作流清单与仅追加、发行方可归属的信任证据信封。论文还给出拓扑中立的逻辑参考模型，并以三个分析场景和 TaaS-Eval 协议提案定义清单、独立消费者、硬门控、对抗性证据测试与指标。
ActGov 是一个运行时执行框架，在 LLM 提出的每个工具动作产生外部影响前先做校验。它基于授权、动作、运行时上下文与安全约束的统一语义模型：ActGov-Policy 从工具规格、良性任务和已观测的失败轨迹中迭代构建策略集，每次更新都用基于 SMT 的反例检查验证；ActGov-Runtime 在运行时把每次工具调用抽象为有限策略记录，只有当调用处于任务范围内的授权边界内且满足所有适用策略时才放行。作者在 AgentDojo 和 AgentDyn 两个基准上跨多个模型和攻击配置做了评测，称 ActGov 在保持任务效用的同时持续降低间接提示注入攻击的成功率，明显优于现有防御，且不依赖底层 LLM 正确识别恶意指令。
作者提出 skilder 框架，把能力打包成角色，即技能、工具、指令及其边界的组合，智能体从最小角色目录起步，按任务需要学习角色，并通过单一 MCP server 获取该角色的技能、指令和工具。由于工具只在已学到的技能内到达智能体，同一 server 可确定性地执行所学范围。作者在 13 项任务、6 个模型、每个 10 次运行的设置下，将 skilder 与扁平上下文工具选择和多智能体编排对比；结果显示，当模型完成发现流程并发出受治理调用时，skilder 的模拟授权层未执行任何未授权工具调用或参数违规，例如超支。总体任务通过率还反映各模型是否遵循发现协议并通过回答质量检查，这些未通过不属于授权失败。
该论文提出一个区块链支撑的 Agentic 安全框架，用于保护完整软件开发生命周期并保障负责监控的 AI 智能体本身。框架协调源码完整性、依赖与 SBOM 分析、CI 配置审计、制品验证和运行时策略评估等专用安全智能体，每个智能体由 LLM 驱动生成结构化安全报告，并通过智能合约将加密签名的证明记录到许可链的智能体注册表、不可篡改证明日志和可执行发布策略模块中。智能体与区块链节点间通信由联盟运营的证书颁发机构保障，用例演示了源码安全智能体如何上链证明并触发可验证的允许/阻止部署决策。
论文提出 AEGIS，一种针对大型音频语言模型（LALM）音频越狱的检测后干预防御方法。逐层探针显示，风险相关信息在中间层表示中仍可解码，但内部风险信号未能在后续层转化为拒答，作者将这一差异称为风险到拒答的缺口。AEGIS 据此在中间层设置风险门控，选择性激活下游安全适配器。在六个 LALM 和三个异构音频越狱基准上，AEGIS 将平均不安全率从 17.9% 降至 0.4%，对良性输入的过度拒答仅有小幅上升。代码已公开，论文投稿至 ICASSP 2027。
研究者提出一种面向 LLM 邮件助手的提示注入检测框架，把攻击建模为分阶段链条，而非单纯的恶意文本二分类。该框架结合文本检测器、各阶段专用验证器、显式规则风险信号、用户意图与动作一致性分析以及 logistic 决策策略，并从提示注入数据集中推导出攻击链标签。在随机划分、时间阶段迁移、条件阶段迁移、跨数据集迁移和消融实验中，结果显示随机训练测试划分会明显高估分布偏移下的鲁棒性，框架中较晚的工具参数阶段比早期阶段更易预测。在五个二分类基准上，该框架在严格阈值策略下平均 F1 为 0.406，而五个未额外训练的预训练检测器中最强者为 0.216。研究还表明，用与攻击相似的无害邮件训练有助于降低误报，同时保留检测真实攻击的能力。
针对自主 AI 智能体面临的提示注入攻击与凭证泄露风险，该提案提出一种基于能力安全原则的框架，利用 OAuth Agent Authorization Profile 及 W3C DID 和 VC 标准，让智能体通过加密绑定其身份与签发者身份、并限定作用域的令牌访问服务。服务方可验证委托链仅涉及权限衰减后再执行令牌操作。该安全层位于语言模型上下文窗口之外的安全模块中，使智能体能在可强制执行的安全边界内行动。
MetaPermit 是一个基于策略的 Agent 工具访问控制框架，将语义推断与安全执行解耦，以应对工具误用和间接提示注入攻击。它通过分析 Agent 与用户的交互，提取一组紧凑且与任务无关的元属性，刻画用户意图、执行上下文与拟调用工具之间的关系，从而无需枚举用户意图即可授权工具使用。运行时由 LLM 推断每次工具调用的元属性取值，再由固定策略据此允许或拒绝调用，使每个决策都可依据推断值和策略规则审计。
AnchorRep 通过轻量 LoRA 适配器把被防御模型对有害提示的内部表征推离冻结锚模型的表征，从而抵御跨模型对抗迁移攻击。训练只用少量有害提示，不需要对抗样本。在五个模型、四个架构家族上，该方法把 2,000 次迁移攻击的攻击成功率降到不超过 1.1%，其中两个模型为 0%，Mistral 上的降幅最大，从 36% 降至 1.1%。论文指出既有防御虽能降低迁移，但代价高，最多导致 77% 的良性输出退化，或使过度拒答上升最多 18%；由于标准拒答指标无法捕捉这类良性乱码输出，作者提出 Benign Garble Rate 来量化。该工作为 NeurIPS 2026 论文，代码、配置和日志已公开。
论文将工具调用型 LLM Agent 的凭据卫生问题定义为执行安全问题，并评估了一种保险库中介执行架构：模型只选择连接器标识符，由可信请求边界提供认证。作者在 Corvic Security Vault 的生产实现上做了两组受控黑盒实验，覆盖七个控制域的 16 项探测全部达到预期结果，包括一次已认证的 GitHub API 请求成功，而凭据未出现在进程环境变量、调用方可见请求头、受测文件系统位置、三个第三方回显服务和两个无关 API 源中，两个云实例元数据端点均不可达。论文同时报告了一个负面结果：某连接器的存储请求头映射不满足其提供方的认证契约，说明集中托管本身不能保证配置正确。
论文评估了 Jev、Laya、Decider 和 Bespoke Nimble 等 System One 模型在 Agent 安全决策中的可靠性，并与专用分类器和语言模型裁判对比，考察决策准确率、概率校准和选择性自动化。作者发现，整体表现良好和总体校准较优可能掩盖集中在特定攻击组上的失败，包括被高置信度判为安全的攻击；所评估的适配配置在各任务上并未稳定优于其基座模型。在最严格的误差限制下，策略能自动放行的输入很少，而将放行与拦截阈值分开主要靠更多拦截来提升自动化程度，且通过确认并不保证这些限制在测试集上成立。裁判模型能发现另一个模型漏掉的攻击，但也可能误标更多良性输入，并共享对方的高置信度错误。
分子多模态模型在纯文本与图条件输入下均存在显著越狱漏洞，安全鲁棒性需跨输入模态成立并兼顾安全、过度拒答与效用。为此研究者构建 SafeMolBench 基准，含 3702 个样本、覆盖 618 种独特危险分子，分为危险有害、危险允许与效用回放三个子集。基于该基准提出的参数高效对齐框架 SafeMol 联合优化两种模态的轻量模块，用 MMD 做分布级表示对齐并显式建模分子危险性与有害操作意图，实验显示攻击成功率下降数十个百分点，同时保持较低过度拒答与分子任务效用。
论文提出一种面向 LLM 智能体结构化动作的多源完整性认证器，用于抵御间接提示注入篡改动作关键字段。该方法要求每个字段满足其证据结构支持的规则：在腐败可区分的证据类别上设定有界腐败半径并以最小命中集计数，避免重复发布或洗白副本凑出多数；对互补字段做确定性调和；证据仅剩单一来源时引入可信锚点。作者形式化两种鲁棒性概念，通过消融验证各机制，并在制裁名单（70,966 个实体）与软件供应链溯源（450 个包）上测量多源前提的成立频率，发现真实佐证在上界代理下均为少数现象，朴素证明计数会高估独立性。
CoDeL 是一种针对 LLM 智能体间接提示注入的协同演化防御方法，在三个 IPI 基准、九个基线和两个基座模型上把攻击成功率降低 88.5%，并比其他基线高出 38.0%。作者指出，现有训练式防御多在静态的显式注入分布上优化，学到的是表层形式线索而非区分服务用户与服从注入目标的边界，因此当恶意意图被折叠进看似合理的工作流并延迟数轮后就会失效。CoDeL 让防御方每轮通过基于 LoRA 的 GDPO 更新，在安全、任务进度和格式合规的解耦奖励下训练，使拒答注入与完成用户任务共同构成适应度。
论文提出 J4U，一种由越狱衍生出的黑盒不确定性量化方法，用于大型推理模型（LRM）的问答场景。作者指出，对齐训练常带来系统性过度自信，而基于改写的自洽性和置信度口头表达等现有黑盒方法相比简单重复采样几乎没有提升，说明对齐压制了有用的输出变异性。为此论文引入提示层面的松弛算子，通过近似更强 KL 正则化参数下最优策略的效果来拓宽模型的有效输出分布，并从理论上说明松弛能改善校准。在 3 个数据集和 4 个 LRM（含一个闭源生产模型）上，J4U 相对重复采样的提升在统计显著性的 LRM-数据集-指标组合数量上最多达到最强黑盒 UQ 基线的 6 倍，平均 ECE 降幅最多达 5 倍。
研究者提出 Self-Evolving Defense（SED），一个免训练框架，把有害的智能体轨迹蒸馏为可复用的安全策略，不更新模型权重，并在未来任务中检索相关策略以持续适应新攻击。作者在 DeepSeek V4 Flash、GLM 5.2 和 Kimi K3 三个开源模型、覆盖越狱、提示注入和不安全代码生成的八个基准上测试 SED。结果显示，SED 将 AGENTDOJO 上的定向提示注入成功率降至 0.42%，最佳基线防御为 3.7%；在 HARMBENCH 上把自适应 X-TEAMING 攻击成功率控制在 7.8%，最佳基线为 35.2%，同时保持良性任务效用。论文共 39 页、6 张图，代码已公开。
研究提出 constitutional adapters（CAs），把符合宪法原则的行为从合成语料蒸馏进低秩适配器和 steering vector，训练中从未见过有害请求或越狱样本。用宪法训练对象减去对照训练对象后，越狱防御成功率和测得对齐度提升，在长上下文和多轮攻击下优于提示词与 steering 基线。CAs 可在基座模型上训练、零样本迁移到后训练 checkpoint，并在推理时缩放以在防御与良性合规之间可预测地权衡。作者将其定位为 API 部署中轻量、可移植、可调的干预手段，论文共 38 页、14 图、10 表。
AI 护栏只是运行时防御，红队测试才能验证其能否抵御自适应攻击者。绕过研究对生产护栏的攻击成功率稳定在 65-84%，Carnegie Mellon 的 GCG 攻击对 GPT-3.5 和 GPT-4 的绕过率达 84%，"policy puppetry"技术可同时绕过所有主流基础模型。智能体 AI 引入多步工具滥用、间接提示注入、目标劫持和跨智能体利用四类护栏架构上无法捕捉的攻击，EU AI Act 和 NIST AI RMF 已要求或强烈建议持续对抗测试。
Adversa AI 构建的自主红队 Agent 攻破了 Lakera Gandalf CTF 全部八关，35 次尝试完成，第 1 至 6 关均单条消息解决，全球排行榜位列第 4（若不计零尝试的榜首则为第 3）。该 Agent 不靠提示词模糊测试，而是先用 Attack Inventor 方法从第一性原理分析防御架构的隐含假设，再执行预先推导出的攻击树。
Adversa AI 汇总了 2026 年 4 月的 19 项 GenAI 安全资源，涵盖 LiteLLM 供应链攻击、128K+ token 上下文窗口投毒，以及国家背景威胁行为者对 AI 的实际利用。研究显示，RAG 投毒攻击成功率达 95%，加入嵌入向量异常检测后降至 20%；PIDP-Attack 结合提示注入与数据库投毒，在三个基准和八个模型上达到 98.125% 的攻击成功率。另有研究证明当前对齐方法仅形成局部安全区域，在 26 个受测 LLM 中的 22 个上实现 100% 攻击成功率。
Adversa AI 研究人员用新攻击技术 IICL（Involuntary In-Context Learning）绕过 GPT-5.4 安全护栏，攻击成功率达 60%，利用的是近期模型更新引入的漏洞。Anthropic 的 Mythos 模型在数小时内自主完成 32 步企业网络攻击，分析指出 AI 驱动的攻击利用并非 Mythos 独有。本期共收录 22 项资源，另涵盖 BadStyle 风格触发后门、可污染 99.85% 查询结果的向量数据库 Black-Hole 攻击，以及 TwinGate、ER-CAT 等防御框架。
Unit 42 提出扰动探测方法，每个提示词只需两次前向传播，即可定位对齐 LLM 中因果上负责特定行为（如拒绝有害请求）的少量前馈神经元。在开源模型 Qwen3-4B 上，350,208 个前馈神经元中仅 50 个（约 0.014%）控制安全拒答模板，移除后 520 条标准有害提示基准中 80% 的回复格式发生变化，并在第二个标准基准的 200 条提示上复现。在更小的 Qwen3.5-2B 上，仅 20 个神经元即可让多轮对话中的错误附和行为从 36.7% 降至 0%（30 个问题）。同一计算还给出 FFN/Skip 比值，可在数秒内算出，在测试的 13 个模型中解释了安全行为脆弱性 81% 的方差，可作为量化的安全脆弱性评分。
推荐理由研究给出一种两次前向传播即可定位安全拒答神经元的诊断方法，并附可跨模型比较的脆弱性指标。
NVIDIA NeMo Guardrails 通过集成 Meta 的 LlamaGuard 和 AlignScore 等第三方安全模型，为 RAG 应用提供内容审核与安全检查。该工具以开源工具包和微服务两种形式部署，支持内容审核、越狱检测、PII 检测、幻觉检测等护栏功能，可在 LLM 输出前扫描检索内容与生成回复中的冒犯性语言、虚假信息或政策违规。NeMo Guardrails 微服务处于早期访问阶段，提供 OpenAI 兼容 API。
NVIDIA 技术博客提出用 WebAssembly 沙箱隔离智能体 AI 工作流。文章指出，智能体工作流常需执行大语言模型生成的代码来完成数据可视化等任务，这类代码应先清洗并在安全环境中运行，以降低提示注入和返回代码出错带来的风险。作者认为，用正则表达式清洗 Python 并配合受限运行时并不充分，因此需要更强的隔离手段。文章由 Joseph Lucas 撰写，发布于 NVIDIA 开发者博客。
NVIDIA 发布《NVIDIA AI Enterprise 安全》白皮书，阐述其保障 NVIDIA AI Enterprise 软件栈容器安全所采取的措施。白皮书涵盖安全开发生命周期、容器构建生命周期管理、安全设计、安全加固、SBOM、容器签名与模型签名及 NIM 微服务。漏洞响应部分包括漏洞扫描、修补、VEX 与协同漏洞披露，并由 NGC 通知服务做安全事件监控。
NVIDIA NeMo Guardrails 为客服场景的 AI 智能体提供安全防护。这类智能体可自动处理常规咨询、加快响应速度，从而提升客服效率与客户满意度，帮助企业在竞争中保持优势；但驱动它们的 LLM 本身存在脆弱性，文章围绕此给出防护做法。
NVIDIA NeMo Guardrails 提供内容安全、话题控制、越狱检测等 AI 护栏，用于保障 AI 智能体及对话式 AI 应用的安全、符合品牌调性与可靠行为。该文探讨衡量与优化这些护栏效果和性能的技术方法，帮助企业在生成式 AI 应用中评估并提升护栏表现。
NVIDIA 演示了如何在 NeMo Guardrails 中集成 Cleanlab 的可信语言模型（Trustworthy Language Model），用于防止 LLM 生成看似合理但错误的幻觉回答。该方案将 Cleanlab 的可信度评分作为护栏机制接入 NeMo Guardrails，以提升企业 AI 应用的可靠性。
NVIDIA 提出通过结构化应用设计来保护 KV cache。输入结构会影响 Transformer 模型（如 LLM、VLM）的输出，而实际提示词往往不止是简单的用户提问，常由系统指令、上下文数据和用户输入等来源动态拼装而成。
NVIDIA NeMo Guardrails 可对 LLM 逐 token 实时输出的流式响应进行安全增强。LLM 流式传输已从可选功能演变为现代 LLM 应用的核心组件，而传统等待完整响应再处理的方式在多模型调用等复杂场景下会造成明显延迟。
NVIDIA Safety Recipe 用于防护具备自主行动、工具调用与推理能力的 LLM 智能体系统。这类系统的自主性会放大目标错位、提示注入、非预期行为以及人类监督减少等风险。企业正因灵活性与低推理成本加速采用智能体系统，因此引入稳健的安全措施变得至关重要。
NVIDIA 在 NGC 中引入模型签名，为 AI 模型带来可验证的信任。AI 正进入由能推理、规划并采取行动的智能体主导的阶段，这类系统动态调用 API、工具乃至物理环境，大幅扩展了 AI 攻击面：单个被攻陷的模型即可影响下游决策、访问外部系统并触发级联故障。
NVIDIA AI 红队（AIRT）基于多年来对多种 AI 系统在生产部署前的安全评估，总结出若干 LLM 应用中的常见漏洞与安全隐患，指出若在开发阶段加以处理可显著提升基于 LLM 应用的安全性。
AI 系统从被动工具演变为能生成代码、做出决策并自主行动的智能体后，代码执行成为关键安全风险。若不对 AI 生成代码的执行方式与位置施加严格管控，攻击者可构造输入诱导 AI 生成恶意代码。
NVIDIA 发布面向智能体工作流的安全实践指引，聚焦沙箱化与执行风险管理。文章指出，AI 编码智能体通过命令行运行工具时，会继承与用户相同的权限和授权，因而成为计算机使用智能体，带来常被忽视的攻击面。该指引围绕这一执行风险给出实践建议。
推荐理由NVIDIA 安全团队从权限与执行风险角度给出智能体工作流的沙箱实践指引，适合部署编码智能体的团队参考。
NVIDIA 推出 OpenShell，用于更安全地运行自主、自进化的 AI 智能体。这类被称为 claws 的智能体可接受目标后自行规划并持续执行，无需人类介入。随着其能力增强，信任难度上升，其自进化自主性也改变了运行环境。
为机密 AI 工厂构建零信任架构，用于应对企业私有数据与 AI 模型结合时的隐私与信任风险。AI 正从实验走向生产，但企业所需的大部分数据位于公有云之外，包括患者记录、市场调研以及承载企业知识的遗留系统，隐私与信任顾虑常常拖慢甚至阻断 AI 的采用。