论文提出 AEGIS，一种针对大型音频语言模型（LALM）音频越狱的检测后干预防御方法。逐层探针显示，风险相关信息在中间层表示中仍可解码，但内部风险信号未能在后续层转化为拒答，作者将这一差异称为风险到拒答的缺口。AEGIS 据此在中间层设置风险门控，选择性激活下游安全适配器。在六个 LALM 和三个异构音频越狱基准上，AEGIS 将平均不安全率从 17.9% 降至 0.4%，对良性输入的过度拒答仅有小幅上升。代码已公开，论文投稿至 ICASSP 2027。
研究者提出一种面向 LLM 邮件助手的提示注入检测框架，把攻击建模为分阶段链条，而非单纯的恶意文本二分类。该框架结合文本检测器、各阶段专用验证器、显式规则风险信号、用户意图与动作一致性分析以及 logistic 决策策略，并从提示注入数据集中推导出攻击链标签。在随机划分、时间阶段迁移、条件阶段迁移、跨数据集迁移和消融实验中，结果显示随机训练测试划分会明显高估分布偏移下的鲁棒性，框架中较晚的工具参数阶段比早期阶段更易预测。在五个二分类基准上，该框架在严格阈值策略下平均 F1 为 0.406，而五个未额外训练的预训练检测器中最强者为 0.216。研究还表明，用与攻击相似的无害邮件训练有助于降低误报，同时保留检测真实攻击的能力。
针对自主 AI 智能体面临的提示注入攻击与凭证泄露风险，该提案提出一种基于能力安全原则的框架，利用 OAuth Agent Authorization Profile 及 W3C DID 和 VC 标准，让智能体通过加密绑定其身份与签发者身份、并限定作用域的令牌访问服务。服务方可验证委托链仅涉及权限衰减后再执行令牌操作。该安全层位于语言模型上下文窗口之外的安全模块中，使智能体能在可强制执行的安全边界内行动。
MetaPermit 是一个基于策略的 Agent 工具访问控制框架，将语义推断与安全执行解耦，以应对工具误用和间接提示注入攻击。它通过分析 Agent 与用户的交互，提取一组紧凑且与任务无关的元属性，刻画用户意图、执行上下文与拟调用工具之间的关系，从而无需枚举用户意图即可授权工具使用。运行时由 LLM 推断每次工具调用的元属性取值，再由固定策略据此允许或拒绝调用，使每个决策都可依据推断值和策略规则审计。
AnchorRep 通过轻量 LoRA 适配器把被防御模型对有害提示的内部表征推离冻结锚模型的表征，从而抵御跨模型对抗迁移攻击。训练只用少量有害提示，不需要对抗样本。在五个模型、四个架构家族上，该方法把 2,000 次迁移攻击的攻击成功率降到不超过 1.1%，其中两个模型为 0%，Mistral 上的降幅最大，从 36% 降至 1.1%。论文指出既有防御虽能降低迁移，但代价高，最多导致 77% 的良性输出退化，或使过度拒答上升最多 18%；由于标准拒答指标无法捕捉这类良性乱码输出，作者提出 Benign Garble Rate 来量化。该工作为 NeurIPS 2026 论文，代码、配置和日志已公开。
分子多模态模型在纯文本与图条件输入下均存在显著越狱漏洞，安全鲁棒性需跨输入模态成立并兼顾安全、过度拒答与效用。为此研究者构建 SafeMolBench 基准，含 3702 个样本、覆盖 618 种独特危险分子，分为危险有害、危险允许与效用回放三个子集。基于该基准提出的参数高效对齐框架 SafeMol 联合优化两种模态的轻量模块，用 MMD 做分布级表示对齐并显式建模分子危险性与有害操作意图，实验显示攻击成功率下降数十个百分点，同时保持较低过度拒答与分子任务效用。
论文提出一种面向 LLM 智能体结构化动作的多源完整性认证器，用于抵御间接提示注入篡改动作关键字段。该方法要求每个字段满足其证据结构支持的规则：在腐败可区分的证据类别上设定有界腐败半径并以最小命中集计数，避免重复发布或洗白副本凑出多数；对互补字段做确定性调和；证据仅剩单一来源时引入可信锚点。作者形式化两种鲁棒性概念，通过消融验证各机制，并在制裁名单（70,966 个实体）与软件供应链溯源（450 个包）上测量多源前提的成立频率，发现真实佐证在上界代理下均为少数现象，朴素证明计数会高估独立性。
CoDeL 是一种针对 LLM 智能体间接提示注入的协同演化防御方法，在三个 IPI 基准、九个基线和两个基座模型上把攻击成功率降低 88.5%，并比其他基线高出 38.0%。作者指出，现有训练式防御多在静态的显式注入分布上优化，学到的是表层形式线索而非区分服务用户与服从注入目标的边界，因此当恶意意图被折叠进看似合理的工作流并延迟数轮后就会失效。CoDeL 让防御方每轮通过基于 LoRA 的 GDPO 更新，在安全、任务进度和格式合规的解耦奖励下训练，使拒答注入与完成用户任务共同构成适应度。
研究者提出 Self-Evolving Defense（SED），一个免训练框架，把有害的智能体轨迹蒸馏为可复用的安全策略，不更新模型权重，并在未来任务中检索相关策略以持续适应新攻击。作者在 DeepSeek V4 Flash、GLM 5.2 和 Kimi K3 三个开源模型、覆盖越狱、提示注入和不安全代码生成的八个基准上测试 SED。结果显示，SED 将 AGENTDOJO 上的定向提示注入成功率降至 0.42%，最佳基线防御为 3.7%；在 HARMBENCH 上把自适应 X-TEAMING 攻击成功率控制在 7.8%，最佳基线为 35.2%，同时保持良性任务效用。论文共 39 页、6 张图，代码已公开。
研究提出 constitutional adapters（CAs），把符合宪法原则的行为从合成语料蒸馏进低秩适配器和 steering vector，训练中从未见过有害请求或越狱样本。用宪法训练对象减去对照训练对象后，越狱防御成功率和测得对齐度提升，在长上下文和多轮攻击下优于提示词与 steering 基线。CAs 可在基座模型上训练、零样本迁移到后训练 checkpoint，并在推理时缩放以在防御与良性合规之间可预测地权衡。作者将其定位为 API 部署中轻量、可移植、可调的干预手段，论文共 38 页、14 图、10 表。
Unit 42 提出扰动探测方法，每个提示词只需两次前向传播，即可定位对齐 LLM 中因果上负责特定行为（如拒绝有害请求）的少量前馈神经元。在开源模型 Qwen3-4B 上，350,208 个前馈神经元中仅 50 个（约 0.014%）控制安全拒答模板，移除后 520 条标准有害提示基准中 80% 的回复格式发生变化，并在第二个标准基准的 200 条提示上复现。在更小的 Qwen3.5-2B 上，仅 20 个神经元即可让多轮对话中的错误附和行为从 36.7% 降至 0%（30 个问题）。同一计算还给出 FFN/Skip 比值，可在数秒内算出，在测试的 13 个模型中解释了安全行为脆弱性 81% 的方差，可作为量化的安全脆弱性评分。
推荐理由研究给出一种两次前向传播即可定位安全拒答神经元的诊断方法，并附可跨模型比较的脆弱性指标。
NVIDIA 技术博客提出用 WebAssembly 沙箱隔离智能体 AI 工作流。文章指出，智能体工作流常需执行大语言模型生成的代码来完成数据可视化等任务，这类代码应先清洗并在安全环境中运行，以降低提示注入和返回代码出错带来的风险。作者认为，用正则表达式清洗 Python 并配合受限运行时并不充分，因此需要更强的隔离手段。文章由 Joseph Lucas 撰写，发布于 NVIDIA 开发者博客。
NVIDIA 发布《NVIDIA AI Enterprise 安全》白皮书，阐述其保障 NVIDIA AI Enterprise 软件栈容器安全所采取的措施。白皮书涵盖安全开发生命周期、容器构建生命周期管理、安全设计、安全加固、SBOM、容器签名与模型签名及 NIM 微服务。漏洞响应部分包括漏洞扫描、修补、VEX 与协同漏洞披露，并由 NGC 通知服务做安全事件监控。
NVIDIA NeMo Guardrails 为客服场景的 AI 智能体提供安全防护。这类智能体可自动处理常规咨询、加快响应速度，从而提升客服效率与客户满意度，帮助企业在竞争中保持优势；但驱动它们的 LLM 本身存在脆弱性，文章围绕此给出防护做法。
NVIDIA 演示了如何在 NeMo Guardrails 中集成 Cleanlab 的可信语言模型（Trustworthy Language Model），用于防止 LLM 生成看似合理但错误的幻觉回答。该方案将 Cleanlab 的可信度评分作为护栏机制接入 NeMo Guardrails，以提升企业 AI 应用的可靠性。
NVIDIA 提出通过结构化应用设计来保护 KV cache。输入结构会影响 Transformer 模型（如 LLM、VLM）的输出，而实际提示词往往不止是简单的用户提问，常由系统指令、上下文数据和用户输入等来源动态拼装而成。
NVIDIA NeMo Guardrails 可对 LLM 逐 token 实时输出的流式响应进行安全增强。LLM 流式传输已从可选功能演变为现代 LLM 应用的核心组件，而传统等待完整响应再处理的方式在多模型调用等复杂场景下会造成明显延迟。
NVIDIA Safety Recipe 用于防护具备自主行动、工具调用与推理能力的 LLM 智能体系统。这类系统的自主性会放大目标错位、提示注入、非预期行为以及人类监督减少等风险。企业正因灵活性与低推理成本加速采用智能体系统，因此引入稳健的安全措施变得至关重要。
NVIDIA 在 NGC 中引入模型签名，为 AI 模型带来可验证的信任。AI 正进入由能推理、规划并采取行动的智能体主导的阶段，这类系统动态调用 API、工具乃至物理环境，大幅扩展了 AI 攻击面：单个被攻陷的模型即可影响下游决策、访问外部系统并触发级联故障。
AI 系统从被动工具演变为能生成代码、做出决策并自主行动的智能体后，代码执行成为关键安全风险。若不对 AI 生成代码的执行方式与位置施加严格管控，攻击者可构造输入诱导 AI 生成恶意代码。
NVIDIA 发布面向智能体工作流的安全实践指引，聚焦沙箱化与执行风险管理。文章指出，AI 编码智能体通过命令行运行工具时，会继承与用户相同的权限和授权，因而成为计算机使用智能体，带来常被忽视的攻击面。该指引围绕这一执行风险给出实践建议。
推荐理由NVIDIA 安全团队从权限与执行风险角度给出智能体工作流的沙箱实践指引，适合部署编码智能体的团队参考。
NVIDIA 推出 OpenShell，用于更安全地运行自主、自进化的 AI 智能体。这类被称为 claws 的智能体可接受目标后自行规划并持续执行，无需人类介入。随着其能力增强，信任难度上升，其自进化自主性也改变了运行环境。
为机密 AI 工厂构建零信任架构，用于应对企业私有数据与 AI 模型结合时的隐私与信任风险。AI 正从实验走向生产，但企业所需的大部分数据位于公有云之外，包括患者记录、市场调研以及承载企业知识的遗留系统，隐私与信任顾虑常常拖慢甚至阻断 AI 的采用。
NVIDIA-Verified Agent Skills 为 AI 智能体提供能力治理，仅靠运行时护栏并不足够。随着自主 AI 智能体能力增强，开放模型、MCP 连接的工具与可移植技能让智能体更易扩展，但规模化使用需要结构透明与运行完整性。组织与团队需要理解和信任智能体所使用的技能（即指令）。
NVIDIA 推出 DOCA 芯片内安全能力，支撑智能体 AI 的 AI 工厂基础设施。该方案针对 AI 工厂在训练、微调和部署时引入的新攻击面，把安全能力下沉到芯片层。
NVIDIA Confidential Computing（CC）面向 AI 推理与智能体场景，用硬件级方案保护数据在使用中的安全，同时避免拖慢性能。该方案针对企业在数据隐私与主权方面的顾虑，目标是让 AI 模型在推理和交互过程中数据始终处于受保护状态。
Google 分享了针对 Cloud AI Platform 上的 Vertex AI 开展大语言模型漏洞研究的方法。公开这套做法的目的是让外部研究者从中学习，并帮助他们发现新的漏洞。
Google 介绍了 Gemini 及其他 Google 智能体缓解基于 URL 的数据外泄攻击的做法。该攻击利用 URL 将数据带出，Google 通过相应机制进行拦截与缓解。
腾讯安全玄武实验室提出一种可部署在端侧的提示词隐私保护方案，在调用云端 LLM 的流程中插入两个端侧步骤，先平行替换隐私实体完成脱敏，再还原云端输出中的隐私实体。方案用标注的平行语料训练了一个权重约 500MB 的小模型，基于开源模型 Bloom，在手机和笔记本上完成部署实验；仅用 CPU 时 MacBook M2 推理速度 180-200 tokens/s，MacBook M1 为 110-130 tokens/s，Pixel 8 Pro 为 20-30 tokens/s。原生支持润色、摘要、翻译、阅读理解和文本分类，并支持 Zero Shot 自定义扩展任务。
腾讯玄武实验室公开一款基于安全大模型的EDR告警研判机器人，能对EDR设备上报的告警做多维度的智能分析与自动调查取证。该机器人结合资产信息、事件信息、进程树和告警规则等多源细节，借助大模型的安全知识与推理能力展开研判，并将误报可能性量化为很大、中等偏大、中等偏小及很小四档，便于用户按优先级处置告警。其技术方案经30余轮迭代打磨而成，涵盖训练数据生成算法、数据分布优化策略、Prompt工程、微调与强化学习算法及模型能力评价体系，且支持私有化部署以保证极高吞吐量。
Google DeepMind 发布 AI Control Roadmap，用于在 Google 内部署和管理先进 AI 时提供系统级安全保障。该框架采用纵深防御思路，在沙箱、端点安全和提示注入抵抗等传统防护之上，把模型对齐作为主要防线，同时把内部 Agent 视为可能未对齐的对象，按已验证行为逐步授予权限。路线图借鉴 MITRE ATT&CK 构建 AI 威胁建模框架，将不可信 Agent 当作内部威胁拆解为具体战术与技术，并用可信 AI 系统作为监督者审查工作 Agent 的推理、行动和计划，必要时阻断有害操作。
推荐理由Google DeepMind 公开其内部 AI 控制路线图，把不可信 Agent 当作内部威胁来建模，并给出检测与响应的分级思路。
Google DeepMind 与 Isomorphic Labs 公布了双方应对生物韧性的联合方案，一方面防范威胁行为者滥用其模型，另一方面帮助政府、科研机构和生物安全专家借助 AI 建设更具韧性的社会。过去 12 个月，两家机构推进了超过 15 项合作，覆盖预防、检测与响应三个方向：Gemini 遵循四步安全流程并尝试将 SynthID 水印扩展到生物学用途，AlphaEvolve 优化宏基因组测序算法以加快疫情侦测，Isomorphic Labs 则设立专门团队快速调用药物设计引擎研发医疗对策。该工作属于其对 CBRN 风险的整体管理的一部分，并与 Frontier Safety Framework 相衔接。
OpenAI 发布论文《Preventing URL-Based Data Exfiltration in Language-Model Agents》，详细说明其为语言模型智能体新增的 URL 数据外泄缓解措施。作者曾在 2023 年初向 OpenAI 报告零点击数据外泄漏洞，当时 OpenAI 尚无漏洞赏金计划，问题未获修复；同期微软在 2023 年 5 月通过 Content-Security-Policy 头修复了 Bing Chat 的同类问题。
Yuvion LLM 提出将对抗鲁棒性与智能体能力列为一等目标的安全模型，通过五类功能性数据和三阶段训练流程应对语义伪装下的有害请求。其数据体系涵盖通用、安全域、对抗、智能体和合成专家数据，分别支撑语言能力、风险分类学、混淆变体（拼音替换、符号替代）、工具调用轨迹与长尾高风险场景覆盖。训练分三阶段推进：知识增强持续预训练内化细粒度审核政策，基于政策的监督微调加 GRPO 打磨决策边界，再以分解密集奖励稳定工具集成与检索增强的多步安全工作流。
Liu 等人提出 IHDec，一种免训练、推理时的干预方法，通过实时 logit 调整维护大语言模型的指令层级（System ≻ User ≻ Assistant ≻ Data）。作者用 Jensen-Shannon 散度作为诊断工具，当低优先级角色对下一 token 分布的影响超过高优先级角色时触发冲突集，再用专家与反专家对比解码生成校正向量，并采用 ϵ=1×10−8 的归一化项和 0.97 的衰减因子保证稳定性。在 IHEval 基准上，IHDec 比训练式方法 ISE 提升 11.98 个百分点；在 Llama-3.1-8B-Instruct 的多轮冲突场景达到 50.68% 准确率，而 ISE 为 12.60%。
Schäfer 等人提出将 MPC 用作离线安全预言机来预先计算可行状态-动作空间的安全强化学习框架，使机器人与赛博物理系统的探索保持在数学验证过的边界内。该方法通过网格搜索加二分搜索映射连续动作空间的凸区间，并用投影过滤器拦截不安全动作。作者在 Quanser Aero 2 单自由度俯仰平台上做了验证。 补充说明： - 该工作针对标准 RL 在高惯性硬件上的无约束探索风险，定义了不可逆的"临界点"——即可行集边界。 - 安全性判定依赖 MPC 优化器在未来预测视野内找到有效动作序列，且视野需超过系统停止距离以保证递归可行性。
Mandiant 安全评估发现大量缺乏认证的公网暴露 serverless 应用，Cloud Run 服务若含第三方依赖易遭本地文件包含（LFI）、远程文件包含及命令注入攻击，成功利用可获得容器实例完整控制权并进一步横向移动接管云环境。该博客基于客户实战经验梳理攻击场景，针对必须公网开放的 Google Cloud Run 服务和函数给出一组加固建议，相关原则同样适用于任意公有 serverless 部署。
Google Threat Intelligence 旗下 Mandiant Consulting 发文，针对企业将 LLM 智能体接入 CI/CD 做自动化漏洞挖掘与修复的场景，给出一套操作护栏建议。文中援引 Mandiant M-Trends 2026 报告称平均利用时间（TTE）已降至 -7 天，并强调应把代码库视为不可信输入以防源码注释中的间接提示注入，同时落实云服务商的零数据留存（ZDR）、工作负载隔离与人主导的红队测试。
Google Threat Intelligence Group（GTIG）联合 Mandiant 发布了针对软件供应链入侵的加固与缓解建议，指出 2025 年至 2026 年上半年出现了大规模的开源软件供应链入侵行动，涉及代码仓库、依赖项及开发者工具的攻陷。 其中，UNC6780（又名 TeamPCP）于 2026 年 2 月至 5 月在 PyPI、npm、Docker Hub 发动广泛攻击，滥用 GitHub Actions 的 pull_request_target 触发器获取基础仓库密钥并植入凭证窃取程序 SANDCLOCK，还试图从被感染的 AI 软件横向渗透到企业网络环境。
Google GenAI 安全团队介绍了 Gemini 针对间接提示注入的分层防御策略，覆盖提示词生命周期的各个阶段。该策略包括对 Gemini 2.5 模型进行对抗数据训练以增强模型韧性，并叠加五项内置防御：提示注入内容分类器、安全思维强化、Markdown 清洗与可疑 URL 屏蔽、用户确认框架以及面向终端用户的安全缓解通知。
推荐理由Google 公开了 Gemini 抵御间接提示注入的分层防御细节，部署生成式 AI 产品的团队可对照其五个防护环节。