OWASP AI Exchange 项目在 AI 安全与隐私指南的敏感输出处理章节新增一条实现要点，指出当模型输出按 token 等分块流式返回时，敏感值可能被拆到两个或多个分块中，导致任何单块都不匹配。逐块过滤或在过滤前固定拼接上一块若干字符都无法阻止泄露，因为组合文本被检查时前半部分已经发出，即使过滤器记录到检测成功。指南建议在匹配仍可能延伸进缓冲区时暂不释放文本，或缓冲到句子乃至整段响应边界；若缓冲区达到上限而匹配仍可能未闭合，应停止输出而不是释放已暂存内容。文中给出的测试判据是，对同一文本的每一种分块方式，流式输出都应等于一次性过滤整段文本的结果。
研究者提出 Untrusted Content Masking（UCM），一种为网页智能体恢复可信与不可信内容边界的防御方法，用于抵御提示注入攻击。该方法利用网页 DOM 结构足以区分可信与不可信区域这一特性，在不可信内容到达智能体前将其遮蔽，并通过带严格权限隔离的沙箱接口完成交互，使智能体在观察和操作环境的同时与对抗性内容隔离。作者称该方法简单有效，代码已公开。论文作者包括 Kristina Nikolić、Egor Zverev、Javier Rando、Matthew Jagielski、Edoardo Debenedetti、Florian Tramèr。
AUDITPLAN 让模型先输出包含威胁标签、预期动作和显式约束的结构化安全计划，再据此作答，计划对用户隐藏但可机器审计。该方法用监督微调加 FAITHGATE 奖励门控强化学习训练，仅在安全计划正确时才给予答案奖励。在 Qwen2.5-3B-Instruct 上，ASR 从 24.0% 降至 11.6%，LSR 从 1.0% 降至 0.36%，过度拒答从 11.0% 降至 2.0%，Qwen2.5-1.5B-Instruct、Qwen-3-4B-Instruct 和 Qwen2.5-7B-Instruct 上趋势一致。
研究者提出 HerHealthEval，一个针对女性健康沟通多语言理解能力的受控评测框架，覆盖英语、法语和现代标准阿拉伯语。每个临床案例提供六种沟通形式：规范、临床、外行、间接或含糊、情绪担忧以及刻意信息不足，前五种保留相同临床信息，最后一种故意省略细节以测试模型是否意识到需要追问。研究评测了一个多语言指令模型及 QLoRA 适配变体，考察关切分类、风险校准、追问行为、解析合规和跨形式一致性。结果显示聚合准确率和一致性会掩盖与安全相关的失败：在语言不对称风险监督下，多语言适配模型在法语和阿拉伯语上的分诊不足率达到 0.994；改用源自数据、语言不变的风险标签重新适配后，分诊不足率分别降至 0.572 和 0.558。论文认为稳健的多语言医疗评测需要显式测试语域变化、不确定性处理以及适配标签的来源与不变性。
TypeSafe AI 联合创始人兼 CEO Diogo Almeida 在 Latent Space 访谈中透露，其 System-One 模型 Jev 日处理量已突破一万亿 token，Jev 1.13.0 在第三方 JevBench v1.2.1 综合榜以 75.3 分排名第一，发布视频 6 天浏览量超 3870 万。他批评公开 benchmark 极易被操纵，主张以长期产品体验和工作流内评估判断模型，并称传统安全对齐的随机拒答对后台依赖型业务是严重 Bug。
针对视觉语言模型（VLM）跨模态隐式风险，研究者提出 Intent-Privilege On-Policy Self-Distillation（OPSD），用基于证据的意图作为训练期特权监督，把教师的意图条件偏好蒸馏给学生，每个提示词只需一次 rollout，推理时无需意图标注或额外安全模块。该方法仅用 1,447 条安全样本（比标准偏好数据集少 95%），训练时间较多次 rollout 的 GRPO 式训练减少 5 倍，平均推理长度降低 7%。在全部五个评测组中，OPSD 取得最高的安全-有用联合成功率，在 SIUO+HoliSafe 合并集上从 43.9% 升至 53.5%。
Apollo Research 发布新版 Watcher Live，这是一款实时编码智能体监控工具，可拦截危险操作，以防止数据泄露、代码仓库删除或权限越界。该工具提供免费版和企业版。
Anthropic 针对我们的安全缓解措施设有漏洞赏金计划，例如 CBRN 风险方面，我们的负责任扩展政策要求我们必须有效缓解这些风险。 如果你对此感兴趣，请报名参加！你可以通过攻破我们的防御来帮助 AI 安全并赚取报酬。👇
Lakera 提出 AI Defense Plane，主张把员工、应用与智能体三层 AI 风险纳入同一控制平面，而非各自部署点状防护。该框架强调对 AI 使用端到端可见、在运行时执行策略，并跨层关联信号，同时持续在真实与对抗条件下测试系统行为。其背景是 AI 已从生成输出转向执行动作，智能体常以委派权限调用工具，提示注入与意外泄露出现在传统控制难以检查的流程中。
Check Point 联合 Google Cloud，将 AI Defense Plane 接入 Gemini Enterprise Agent Platform，把智能体安全从访问控制扩展到结果控制。该集成通过 Agent Gateway 和 Agent Registry 实现智能体发现、部署前策略治理与运行时上下文感知防护，可检测并阻断提示注入、防止敏感数据泄露、在执行前评估工具调用。集成将于 2026 年 6 月下旬开放。
AI 正从"建议型"转向"行动型"，可自主检索内部数据、调用 API、修改记录并触发工作流，而传统安全工具无法在推理层检查其意图。Lakera 与 Check Point 的 Enterprise Playbook 将这种跨层风险累积称为常见失效模式，并指出约 60% 的观测攻击流量试图泄露系统提示词。两家公司提出 AI Defense Plane 架构，覆盖员工用 AI 工具、AI 应用与自主智能体三层，Dropbox 已部署用于防御提示注入与越狱攻击。
Mozilla 0DIN 发布可自托管的 AI 安全产品线 0DIN AI Defense，首个模型 SusFactor 为 560M 参数的越狱检测模型，现已开放早期访问测试。该模型基于 0DIN 漏洞赏金项目收集的真实攻击数据训练，可在本地廉价硬件上以低于 50ms 的延迟实时分析提示词。在 JailbreakBench 基准上，SusFactor 仅放过 12.1% 的攻击，误报率为 9.0%，低于 WildGuard 的 45%、Mistral 的 39% 和 Llama Guard 3 的 23%。
0DIN 发布 litellm-shield 插件，可将护栏分类器 SusFactor 作为 LiteLLM 代理的自定义护栏运行，安装一条 pip 命令即可在 flag 模式下启用。SusFactor 对每个提示词打分以拦截提示注入和越狱，支持 block、flag（默认）、shadow 三种模式，并接入 Langfuse、Datadog、OTel 等可观测性栈。它挂载在 during_call 阶段与模型调用并行执行，分类器中位延迟约 15.6ms、P95 23.9ms、P99 26.5ms，全部在 CPU 上运行，默认失败开放。
0DIN 发布 SusFactor，一个 560M 参数的二分类器，用于检测越狱与提示注入，输入用户提示词后输出 0 到 1 的可疑度分数。它在 JailbreakBench 上取得所评估分类器中最高的合并 AUROC 0.954，在 WildGuardTest 上 AUROC 0.878，与参数量为其 10 到 15 倍的生成式护栏相比具有竞争力。模型基于 68,935 条样本训练，其中包含 0DIN Threat Feed 的 3,426 条真实攻击数据，在 Apple M2 Pro CPU 上 512 token 上下文窗口的中位延迟为 328 ms。
HiddenLayer 提出一套覆盖编码智能体及其 harness 的安全框架，主张把提示词、工具、技能、MCP server 与编排逻辑视为主要攻击面，而非只防守语言模型本身。该框架分为可见性、控制、验证、监控等五层，要求默认最小权限、高风险操作需人工批准、部署前对智能体做红队测试并审查第三方工具与技能中的隐藏元数据。文中引用的案例包括 Cursor 通过 XML 标签建立信任、MCP 工具定义进入系统提示词、技能 YAML frontmatter 元数据先于逻辑加载，以及 CopyPasta 让提示注入在仓库间自我传播。
AI 可观测性指持续追踪生产环境中大语言模型的性能、成本与行为，采集延迟、token 用量、错误率和输出质量等指标，并通过仪表盘与告警暴露问题。它需同时捕捉系统级故障（超时、限流、成本激增）与模型级故障（质量漂移、不安全输出、提示注入尝试），覆盖性能、安全、合规与威胁攻击四类监控。麦肯锡调查显示，使用 AI 的组织占比从 2023 年的 55% 升至 2025 年的 88%，而欧盟 AI Act 要求高风险系统在 2026 年 8 月 2 日前具备风险管理、日志记录与人工监督。
OWASP 2026 版 LLM 应用 Top 10 首次以数千起真实事件数据为依据重排风险，Prompt Injection 仍居首位，Excessive Agency 从第 6 升至第 3，Unbounded Consumption 上升 4 位，Misinformation 的实际影响远超安全团队预期。报告指出智能体系统的工具委派与自主决策需纳入威胁模型，并强调运行时资产清点、行为基线与自适应防护。Lasso 按 Discover-Assess-Protect 框架给出对应防御能力。
Lasso Security 发布 LEAP，一套基于 CPU 的 AI 安全护栏，宣称在文档处理吞吐上比商用护栏 API 和闭源 LLM 判官高出约三个数量级，同时保持 GPU 级准确率。LEAP 针对的是把 LLM 判官放在每个提示词、响应、检索文档和工具调用前的成本与延迟问题：单个 GPU 实例（如 AWS ml.g7.2xlarge，$3.15/小时）持续运行每月约需 $2,300。Lasso 主张低歧义输入无需开放式推理，应将推理模型留给真正模糊的安全决策。
企业 AI 安全正从浏览器转向员工终端：Claude Code、Cursor 等编码智能体以开发者本人权限运行，可自主访问代码库、凭证与内部系统，而 EDR、MDM 等传统终端工具看不到其连接的 MCP 服务器、读入上下文窗口的数据以及即将执行的动作。Latio Tech 2026 AI 安全市场报告显示，45% 的安全团队已将 Claude、Codex 等终端智能体列为首要 AI 安全关切，专用 AI 安全预算占比从一年前的 8% 升至 37%。文章以 Claude Code 连接内部 Jira MCP 服务器后遭间接提示注入、导致 .env 文件外泄为例，说明 MCP 连接与第三方 SaaS AI 工具带来的供应链与数据外流风险。
OpenAI 发布 GPT-Rosalind-5.5 System Card，该模型在 GPT-5.5 基础上用有益生命科学能力相关数据增量训练，并被训练为不对复杂生物学查询拒答，改以受控访问与负责任部署结构作为主要防护。OpenAI 将此次发布在生物与化学领域定为 High capability，除 Multi-Select Virology Troubleshooting 外，GPT-Rosalind-5.5 在各项评测上的得分达到或超过 GPT-5.5，但在病毒学与生物威胁创建相关评测上低于 GPT-5.5 Pro。模型仍被训练为拒绝会实质性助力生物武器化的恶意请求，因部分高级生物能力属两用，访问需通过受信任访问审查流程。
推荐理由System Card 披露了 GPT-Rosalind-5.5 在生物化学危险能力上的评测结果与受控访问机制，可对照 GPT-5.5 的能力边界。
UK AISI 新设 Control Red Team，把红队方法从人类滥用防护扩展到 AI 控制护栏，专门测试监控 LLM 智能体行为的监控器。该团队已测试并协助改进两家前沿开发者的内部监控器：与 Google DeepMind 测试了异步推理监控器，发现包括智能体假装把恶意目标幻觉成用户指令在内的多个漏洞；与 Anthropic 测试了多版同步智能体编码监控器，每一版都发现漏洞，最佳攻击还用于 Anthropic 对 Claude Mythos Preview 的测试。部分攻击利用监控器提示词的缺口，另一些利用 LLM 自身弱点完成提示词明确禁止的目标；部分情况下由硬编码规则决定哪些动作送审，这时最优的攻击策略是让动作完全不被送审。团队还列出模拟真实攻击者、估计整体安全性、改进算法、处理监控器自身失准等开放研究问题。
推荐理由AISI 公开了红队前沿监控器的具体做法与演化搜索算法细节，做 AI 控制与 Agent 部署的团队可参考其评估思路。
Anthropic 发布 Enterprise Frontier Safeguards（EFS），在客户自控云基础设施中存储数据并进行跨会话滥用监控，以应对被盗凭据等风险。从 Fable 5 起，方案要求保留相关数据 30 天；这不等于不存储任何数据，客户自控存储与 Anthropic 的零数据留存安排需区分。方案今秋分阶段推出，过渡期内符合条件的 Fable 5 和 Fable 5.1 客户可获得 ZDR，并与 AWS、Google Cloud、Microsoft Azure 及客户合作。
Pydantic AI v2.52.0 修复了本地 web_fetch 工具的一处中危安全问题（GHSA-v36g-jcw9-x7cw）：处理攻击者控制的深层嵌套 HTML 会消耗过多 CPU 和内存，provider 原生网页抓取不受影响，已在 2.52.0（v2）和 1.107.7（v1）修复。该版本同时将 pydantic-ai-harness 并入仓库并随每次发布更新，pydantic-clai2 0.52.0 首次发布，可通过 uvx pydantic-clai2 运行。
Pydantic AI 发布 v1 线维护版本 v1.107.7，回移了 2.52.0 中的安全修复。该漏洞（GHSA-v36g-jcw9-x7cw，中危）源于本地 web_fetch 工具转换攻击者可控的深层嵌套 HTML 时消耗过多 CPU 和内存，使用提供商原生网页抓取的场景不受影响。漏洞已在 1.107.7 和 v2 线的 2.52.0 中修复。
Google ADK 发布 v2.8.0，新增 Model Armor 护栏插件，并修复 BigQuery 工具中的 SQL 注入漏洞。该版本还加入 ADK_MAX_LLM_CALLS 环境变量以限制 LLM 调用上限，为 RemoteA2aAgent 增加原生任务模式与 auth_scheme、auth_credential 认证支持，并新增对中继智能体输出的围栏处理，防止其被伪装成指令。此外引入按调用与按工作流的 token 消耗等实验性遥测指标，默认关闭，需通过 ADK_EXPERIMENTAL_TELEMETRY=true 或 RunConfig 显式开启。
论文研究 Transformer 语言模型中上下文 token 被吸收进权重后形成的乘性算子，并证明影响其主特征值可以调节安全指令对生成的影响强度。作者据此推导出带抑制权重的对比安全损失，在有害查询上强化安全指令、在无害查询上抑制它。改变抑制权重可刻画攻击成功率与过度拒答率之间的关系，支持算子特征值充当指令影响力的连续调节旋钮这一假设。该关系在安全损失参数化方式不同时仍相对成立，在合适的抑制权重下可得到帕累托改进的安全指令。
研究评估了五个护栏模型在提示分类任务上的表现，发现它们在干净输入上接近校准，但对抗攻击会让校准误差恶化一个数量级，把假阴性变成与正确检测难以区分的高置信度错误。将每个护栏模型与其对应的基座大模型对比后，作者发现不确定性信号往往仍然存在，基座模型通常会在护栏模型失败的同一批输入上表现出不确定。逐层分析把这种护栏与基座的分歧定位到较后的层，护栏模型在这些层表现出更锐利的安全与不安全分离和更低秩的表示，而对抗性有害输入则更靠近干净安全区域。研究指出，攻击条件下护栏模型的置信度与基座模型的不确定性之间存在错配。
针对多模态大语言模型在文本与视觉实体单独无害、逻辑组合后却诱发不安全输出的隐式风险，研究提出逐步监督结构化推理框架并训练出专用护栏模型 ThinkingGuard。团队同时构建首个显式建模风险组合性的数据集 TriggerBench（5,600 条），通过隔离 Key Elements 与 Trigger Elements 构造反事实对比对，消除风险残留。ThinkingGuard 采用步进奖励蒙特卡洛树搜索探索最优推理轨迹，并经双约束偏好对齐蒸馏进模型，在标准与隐式安全基准上均取得强劲表现。
VaccineBooster 将嵌入向量扰动与权重级梯度衰减合并进单次对齐训练步骤，用于抵御微调即服务中的有害微调攻击。在 Llama-2-7B 上经 BeaverTails 对齐并遭投毒微调攻击后，其 OpenAI moderation 得分为 0.315，为所比较防御中最低；仅用 Booster 的变体则保持最高 50% 的攻击后拒答率。消融实验显示存在权衡：嵌入扰动主要减少被标记的有害内容，梯度衰减主要保留显式拒答行为；因仅用 10 条提示且每种配置单次未设随机种子运行，作者将其视为观察到的模式而非统计结论。
WBAG 是一个面向视觉-语言-动作（VLA）策略的安全框架，对机器人全身体与随抓取变化的附着几何建模，构建抓取条件下的安全集，并将其转化为可微 CBF 约束，以最小改动 VLA 原生的六维操作空间动作来避免机器人与场景、附着物体的碰撞。在 SafeLIBERO 基准上，WBAG 在场景级安全评估器下取得 97.38% 的 Scene Safety 与 59.38% 的 Safe Success，为所评估方法中最佳。
给了 omp bot 一个桌面，在 19 次网络安全相关的拒答之后，大家现在正通过代理玩 doom，太惊人了
通过了我的博士资格答辩（论文开题）！特别感谢导师 David Wagner 和 Chuan Guo 在过去两年的大力支持。我们的 Meta-SecAlign-70B 在提示注入安全性和智能体（工具/网页）实用性上与 GPT-5（high）相当。3 个月内下载量达 1 万次！
Google DeepMind 发布 SynthID Bio，将水印技术引入合成生物学，把不可感知的签名直接嵌入生物代码，使水印既能在数字模型上验证，也能在合成出的实体蛋白质上验证，同时保持其生物功能。该方法按数据类型调整策略，对序列微调氨基酸选择，对预测的 3D 结构调整原子坐标。在 AlphaProteo 与 SynthID Bio 版 ProteinMPNN 的实验中，针对 VEGF-A、SARS-CoV-2 spike 蛋白 RBD 和 PD-L1 三个靶点的水印设计在命中率、结合亲和力与序列多样性上与未加水印版本相当，作者称这是首批带水印且具备生物功能的蛋白质结合体。
见过太多被攻破的防御（其中不少是我自己做的），人会变得有点偏执。 所以我一直推动做更多攻击评估，我们的结果也因此更扎实 :) 不过，仍然不能保证不会有更聪明的攻击出现，但我知道我们已经穷尽了自己的想法（还有预算……）
针对智能体零信任，文章提出爆炸半径还有第二个轴：动作类别，即动作执行后能否被撤销。现有零信任只管控身份定义的可达性，而智能体已持有合法可达性，提示注入或工具结果投毒不会突破边界，只会借用被策略信任的身份。作者主张在动作执行前由确定性闸门按清单声明的类别评估，并评估整条计划链的最坏情况类别。2026 年 7 月 UK AI Security Institute 记录智能体在真实互联网评测中采取 19 次未授权动作（INC-2026-07-28-01）；2026 年 6 至 8 月 MCP 公共注册表 44,172 个工具中，83.8% 声明了规范效果标注，但 59.3% 的声明仍绑定未变更契约，相差 24.5 个百分点。
Mistral 为 Connectors 推出多项新能力：管理员控制（GA）可按 workspace 或组织设置连接器访问权限，并逐个开关工具；带连接器作用域的 API key（GA）防止自动化 AI 工作负载冒充用户；多账号连接器（GA）支持一个连接器绑定多个账号。Connectors Debugger（公开预览）对 MCP 连接器做端到端根因分析，逐步定位连接失败位置。Connectors 已进入 Vibe Code（GA）和 Workflows（公开预览），目录现有 60 多个集成，并支持自定义 MCP 连接器。
Mistral 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，把内容审核建模为策略自适应的问答任务，在推理时接受自然语言政策而无需重新训练。模型每次请求由 <Instruct> 评估上下文与严格度、<Query> 单个是非问题、<Document> 待判定内容三部分组成，只读取 yes 和 no 两个 token 的 logits 并做 softmax 归一化，输出连续安全分数。Mistral 称其在文本安全、拒答检测、策略适应性和多模态基准上匹配或超过最多 7 倍于其规模的开放护栏模型，可在单张 16GB NVIDIA GPU 上运行，以 Apache 2.0 许可开放权重。训练上统一异构数据集的标签体系，用对比式改写让模型区分相近政策，并用视觉语言重排器过滤图像数据，最后通过 LoRA 微调与 SLERP 合并多个 checkpoint。
推荐理由Mistral 把内容审核改写成推理时用自然语言提问的问答任务，一个 3B 权重即可适配新政策而无需重训。
PACE 是一种在工具调用执行前进行拦截的防御机制，用于应对被投毒的工具元数据、检索页面、记忆和可复用技能对 Agent 后续调用的操纵。作者指出，仅靠准入前的工件审查无法解决问题，因为安全变体与泄露变体可能产生相同的准入证据。PACE 通过路径限制给出可执行的影响路径切割，并用能力与效果验证将 schema 定义的效果与从已认证请求编译出的权限进行比对。在 8 个可执行 Agent 安全基准和 3 个目标模型家族上，其评估配置在 79 个有效攻击列中有 62 个取得最低攻击成功率，14 个持平，全基准原生效用相对无防御 Agent 最多下降 3 分。对 1167 组配对案例的消融显示，安全收益主要来自效果验证，拒答控制则来自边界适配；缩小规模的自适应搜索在越权目标上 0/30 成功。
Sapien 是一个为自主 AI 智能体执行有状态上下文策略的策略引擎，用扩展了状态谓词的正则表达式规定允许的工具调用序列，并支持延迟策略生成与作用域语义检查。作者称 Sapien 的效用与无约束智能体相差仅几个百分点；即使智能体被完全劫持，其策略也能排除 AgentDojo 上 93-95% 的攻击、Toolathlon 上 62-85% 的攻击，在长程任务上的拦截量是工具允许列表的两倍。
研究系统评估了基于质量的数据筛选对投毒的过滤效果，发现筛选虽能移除大量明显有害样本，但部分被保留的高质量样本仍会削弱模型的安全对齐，原因可能在于其在层级梯度上呈现类似有害样本的训练更新模式。作者据此提出 Bi-Stage Quality-Constrained Safety-Degradation Text Optimization（Bi-QSTO），在显式质量约束下优化投毒样本，使其既能通过筛选又保留安全退化影响。在多种投毒设置、目标模型和过滤率下，Bi-QSTO 在筛选前后均保持攻击有效性；即便过滤率达 90%，有害种子样本的 Poisoning Retention Rate 仍高于 90%，Harmful Score 为 3.30–4.01，且攻击效果可跨模型迁移，保留优势也能推广到其他筛选方法。