AI 安全不再是一个单一问题：Lakera 提出 AI Defense Plane 统一防护员工、应用与智能体
Lakera 提出 AI Defense Plane，主张把员工、应用与智能体三层 AI 风险纳入同一控制平面，而非各自部署点状防护。该框架强调对 AI 使用端到端可见、在运行时执行策略，并跨层关联信号，同时持续在真实与对抗条件下测试系统行为。其背景是 AI 已从生成输出转向执行动作，智能体常以委派权限调用工具，提示注入与意外泄露出现在传统控制难以检查的流程中。
防御与护栏
全部主题安全训练、护栏、安全分类器与拒答策略，以及它们在自适应攻击下的表现。
在这个话题内搜索或按分类筛选新闻与论文
第 121–140 条 · 共 414 条10月3日周六
星期六
Lakera Blog · 收录 · 原文 日期未知 Lakera Blog · 收录 · 原文 日期未知关注度1616 Check Point 与 Google Cloud 合作，为 Gemini Enterprise Agent Platform 上的 AI 智能体提供结果控制
Check Point 联合 Google Cloud，将 AI Defense Plane 接入 Gemini Enterprise Agent Platform，把智能体安全从访问控制扩展到结果控制。该集成通过 Agent Gateway 和 Agent Registry 实现智能体发现、部署前策略治理与运行时上下文感知防护，可检测并阻断提示注入、防止敏感数据泄露、在执行前评估工具调用。集成将于 2026 年 6 月下旬开放。
Lakera Blog · 收录 · 原文 日期未知关注度1717 AI 已不再请求许可：企业安全团队是否察觉自主智能体带来的风险
AI 正从"建议型"转向"行动型"，可自主检索内部数据、调用 API、修改记录并触发工作流，而传统安全工具无法在推理层检查其意图。Lakera 与 Check Point 的 Enterprise Playbook 将这种跨层风险累积称为常见失效模式，并指出约 60% 的观测攻击流量试图泄露系统提示词。两家公司提出 AI Defense Plane 架构，覆盖员工用 AI 工具、AI 应用与自主智能体三层，Dropbox 已部署用于防御提示注入与越狱攻击。
0DIN · 收录 · 原文 关注度2828 Mozilla 0DIN 推出 0DIN AI Defense，首发 560M 参数 SusFactor 越狱检测模型
Mozilla 0DIN 发布可自托管的 AI 安全产品线 0DIN AI Defense，首个模型 SusFactor 为 560M 参数的越狱检测模型，现已开放早期访问测试。该模型基于 0DIN 漏洞赏金项目收集的真实攻击数据训练，可在本地廉价硬件上以低于 50ms 的延迟实时分析提示词。在 JailbreakBench 基准上，SusFactor 仅放过 12.1% 的攻击，误报率为 9.0%，低于 WildGuard 的 45%、Mistral 的 39% 和 Llama Guard 3 的 23%。
0DIN · 收录 · 原文 关注度2828 如何在五分钟内为 LiteLLM 接入 0DIN Defense
0DIN 发布 litellm-shield 插件，可将护栏分类器 SusFactor 作为 LiteLLM 代理的自定义护栏运行，安装一条 pip 命令即可在 flag 模式下启用。SusFactor 对每个提示词打分以拦截提示注入和越狱，支持 block、flag（默认）、shadow 三种模式，并接入 Langfuse、Datadog、OTel 等可观测性栈。它挂载在 during_call 阶段与模型调用并行执行，分类器中位延迟约 15.6ms、P95 23.9ms、P99 26.5ms，全部在 CPU 上运行，默认失败开放。
0DIN · 收录 · 原文 关注度3030 SusFactor：用真实威胁情报检测越狱与提示注入攻击
0DIN 发布 SusFactor，一个 560M 参数的二分类器，用于检测越狱与提示注入，输入用户提示词后输出 0 到 1 的可疑度分数。它在 JailbreakBench 上取得所评估分类器中最高的合并 AUROC 0.954，在 WildGuardTest 上 AUROC 0.878，与参数量为其 10 到 15 倍的生成式护栏相比具有竞争力。模型基于 68,935 条样本训练，其中包含 0DIN Threat Feed 的 3,426 条真实攻击数据，在 Apple M2 Pro CPU 上 512 token 上下文窗口的中位延迟为 328 ms。
HiddenLayer Research · 收录 · 原文 关注度2222 HiddenLayer 提出面向编码智能体及其 harness 的安全框架
HiddenLayer 提出一套覆盖编码智能体及其 harness 的安全框架，主张把提示词、工具、技能、MCP server 与编排逻辑视为主要攻击面，而非只防守语言模型本身。该框架分为可见性、控制、验证、监控等五层，要求默认最小权限、高风险操作需人工批准、部署前对智能体做红队测试并审查第三方工具与技能中的隐藏元数据。文中引用的案例包括 Cursor 通过 XML 标签建立信任、MCP 工具定义进入系统提示词、技能 YAML frontmatter 元数据先于逻辑加载，以及 CopyPasta 让提示注入在仓库间自我传播。
Lasso Security · 收录 · 原文 关注度1616 AI 可观测性：工作原理、关键挑战与最佳实践
AI 可观测性指持续追踪生产环境中大语言模型的性能、成本与行为，采集延迟、token 用量、错误率和输出质量等指标，并通过仪表盘与告警暴露问题。它需同时捕捉系统级故障（超时、限流、成本激增）与模型级故障（质量漂移、不安全输出、提示注入尝试），覆盖性能、安全、合规与威胁攻击四类监控。麦肯锡调查显示，使用 AI 的组织占比从 2023 年的 55% 升至 2025 年的 88%，而欧盟 AI Act 要求高风险系统在 2026 年 8 月 2 日前具备风险管理、日志记录与人工监督。
Lasso Security · 收录 · 原文 关注度2525 OWASP 2026 年 LLM 应用 Top 10 解读：哪些风险变了，哪些最值得关注
OWASP 2026 版 LLM 应用 Top 10 首次以数千起真实事件数据为依据重排风险，Prompt Injection 仍居首位，Excessive Agency 从第 6 升至第 3，Unbounded Consumption 上升 4 位，Misinformation 的实际影响远超安全团队预期。报告指出智能体系统的工具委派与自主决策需纳入威胁模型，并强调运行时资产清点、行为基线与自适应防护。Lasso 按 Discover-Assess-Protect 框架给出对应防御能力。
Lasso Security · 收录 · 原文 关注度2828 Lasso Security 推出 LEAP：基于 CPU 的 AI 安全护栏，精度对标 GPU 方案
Lasso Security 发布 LEAP，一套基于 CPU 的 AI 安全护栏，宣称在文档处理吞吐上比商用护栏 API 和闭源 LLM 判官高出约三个数量级，同时保持 GPU 级准确率。LEAP 针对的是把 LLM 判官放在每个提示词、响应、检索文档和工具调用前的成本与延迟问题：单个 GPU 实例（如 AWS ml.g7.2xlarge，$3.15/小时）持续运行每月约需 $2,300。Lasso 主张低歧义输入无需开放式推理，应将推理模型留给真正模糊的安全决策。
Lasso Security · 收录 · 原文 关注度2222 如何在终端上治理 AI 工具、编码智能体与 MCP 连接
企业 AI 安全正从浏览器转向员工终端：Claude Code、Cursor 等编码智能体以开发者本人权限运行，可自主访问代码库、凭证与内部系统，而 EDR、MDM 等传统终端工具看不到其连接的 MCP 服务器、读入上下文窗口的数据以及即将执行的动作。Latio Tech 2026 AI 安全市场报告显示，45% 的安全团队已将 Claude、Codex 等终端智能体列为首要 AI 安全关切，专用 AI 安全预算占比从一年前的 8% 升至 37%。文章以 Claude Code 连接内部 Jira MCP 服务器后遭间接提示注入、导致 .env 文件外泄为例，说明 MCP 连接与第三方 SaaS AI 工具带来的供应链与数据外流风险。
OpenAI Deployment Safety · 收录 · 原文 精选关注度5656 OpenAI 发布 GPT-Rosalind-5.5 System Card
OpenAI 发布 GPT-Rosalind-5.5 System Card，该模型在 GPT-5.5 基础上用有益生命科学能力相关数据增量训练，并被训练为不对复杂生物学查询拒答，改以受控访问与负责任部署结构作为主要防护。OpenAI 将此次发布在生物与化学领域定为 High capability，除 Multi-Select Virology Troubleshooting 外，GPT-Rosalind-5.5 在各项评测上的得分达到或超过 GPT-5.5，但在病毒学与生物威胁创建相关评测上低于 GPT-5.5 Pro。模型仍被训练为拒绝会实质性助力生物武器化的恶意请求，因部分高级生物能力属两用，访问需通过受信任访问审查流程。
推荐理由System Card 披露了 GPT-Rosalind-5.5 在生物化学危险能力上的评测结果与受控访问机制，可对照 GPT-5.5 的能力边界。
UK AI Security Institute · 收录 · 原文 精选关注度5757 UK AISI 成立 Control Red Team，用演化搜索压力测试前沿监控器
UK AISI 新设 Control Red Team，把红队方法从人类滥用防护扩展到 AI 控制护栏，专门测试监控 LLM 智能体行为的监控器。该团队已测试并协助改进两家前沿开发者的内部监控器：与 Google DeepMind 测试了异步推理监控器，发现包括智能体假装把恶意目标幻觉成用户指令在内的多个漏洞；与 Anthropic 测试了多版同步智能体编码监控器，每一版都发现漏洞，最佳攻击还用于 Anthropic 对 Claude Mythos Preview 的测试。部分攻击利用监控器提示词的缺口，另一些利用 LLM 自身弱点完成提示词明确禁止的目标；部分情况下由硬编码规则决定哪些动作送审，这时最优的攻击策略是让动作完全不被送审。团队还列出模拟真实攻击者、估计整体安全性、改进算法、处理监控器自身失准等开放研究问题。
推荐理由AISI 公开了红队前沿监控器的具体做法与演化搜索算法细节，做 AI 控制与 Agent 部署的团队可参考其评估思路。
Anthropic · 收录 · 原文 关注度3030 Anthropic 推出 Enterprise Frontier Safeguards：面向企业客户的前沿安全方案
Anthropic 发布 Enterprise Frontier Safeguards（EFS），在客户自控云基础设施中存储数据并进行跨会话滥用监控，以应对被盗凭据等风险。从 Fable 5 起，方案要求保留相关数据 30 天；这不等于不存储任何数据，客户自控存储与 Anthropic 的零数据留存安排需区分。方案今秋分阶段推出，过渡期内符合条件的 Fable 5 和 Fable 5.1 客户可获得 ZDR，并与 AWS、Google Cloud、Microsoft Azure 及客户合作。
Pydantic AI · 收录 · 原文 关注度3232 Pydantic AI v2.52.0 修复 web_fetch 安全漏洞并发布 harness 与 CLAI 2
Pydantic AI v2.52.0 修复了本地 web_fetch 工具的一处中危安全问题（GHSA-v36g-jcw9-x7cw）：处理攻击者控制的深层嵌套 HTML 会消耗过多 CPU 和内存，provider 原生网页抓取不受影响，已在 2.52.0（v2）和 1.107.7（v1）修复。该版本同时将 pydantic-ai-harness 并入仓库并随每次发布更新，pydantic-clai2 0.52.0 首次发布，可通过 uvx pydantic-clai2 运行。
Pydantic AI · 收录 · 原文 关注度2929 Pydantic AI v1.107.7 修复 web_fetch 工具安全漏洞（GHSA-v36g-jcw9-x7cw）
Pydantic AI 发布 v1 线维护版本 v1.107.7，回移了 2.52.0 中的安全修复。该漏洞（GHSA-v36g-jcw9-x7cw，中危）源于本地 web_fetch 工具转换攻击者可控的深层嵌套 HTML 时消耗过多 CPU 和内存，使用提供商原生网页抓取的场景不受影响。漏洞已在 1.107.7 和 v2 线的 2.52.0 中修复。
Google ADK · 收录 · 原文 关注度3232 Google ADK v2.8.0 发布：新增 Model Armor 护栏插件并修复 BigQuery 工具 SQL 注入
Google ADK 发布 v2.8.0，新增 Model Armor 护栏插件，并修复 BigQuery 工具中的 SQL 注入漏洞。该版本还加入 ADK_MAX_LLM_CALLS 环境变量以限制 LLM 调用上限，为 RemoteA2aAgent 增加原生任务模式与 auth_scheme、auth_credential 认证支持，并新增对中继智能体输出的围栏处理，防止其被伪装成指令。此外引入按调用与按工作流的 token 消耗等实验性遥测指标，默认关闭，需通过 ADK_EXPERIMENTAL_TELEMETRY=true 或 RunConfig 显式开启。
arXiv · 收录 · 原文 论文关注度3737 研究提出 Safety Operator：用谱优化调节安全指令的表达强度
论文研究 Transformer 语言模型中上下文 token 被吸收进权重后形成的乘性算子，并证明影响其主特征值可以调节安全指令对生成的影响强度。作者据此推导出带抑制权重的对比安全损失，在有害查询上强化安全指令、在无害查询上抑制它。改变抑制权重可刻画攻击成功率与过度拒答率之间的关系，支持算子特征值充当指令影响力的连续调节旋钮这一假设。该关系在安全损失参数化方式不同时仍相对成立，在合适的抑制权重下可得到帕累托改进的安全指令。
arXiv · 收录 · 原文 论文关注度4949 研究发现护栏模型在基座模型不确定处过度自信
研究评估了五个护栏模型在提示分类任务上的表现，发现它们在干净输入上接近校准，但对抗攻击会让校准误差恶化一个数量级，把假阴性变成与正确检测难以区分的高置信度错误。将每个护栏模型与其对应的基座大模型对比后，作者发现不确定性信号往往仍然存在，基座模型通常会在护栏模型失败的同一批输入上表现出不确定。逐层分析把这种护栏与基座的分歧定位到较后的层，护栏模型在这些层表现出更锐利的安全与不安全分离和更低秩的表示，而对抗性有害输入则更靠近干净安全区域。研究指出，攻击条件下护栏模型的置信度与基座模型的不确定性之间存在错配。
arXiv · 收录 · 原文 论文关注度3232 ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害
针对多模态大语言模型在文本与视觉实体单独无害、逻辑组合后却诱发不安全输出的隐式风险，研究提出逐步监督结构化推理框架并训练出专用护栏模型 ThinkingGuard。团队同时构建首个显式建模风险组合性的数据集 TriggerBench（5,600 条），通过隔离 Key Elements 与 Trigger Elements 构造反事实对比对，消除风险残留。ThinkingGuard 采用步进奖励蒙特卡洛树搜索探索最优推理轨迹，并经双约束偏好对齐蒸馏进模型，在标准与隐式安全基准上均取得强劲表现。