全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
PACE：为 DeFi 中的 AI Agent 提供策略认证的合约执行框架
研究者提出 PACE（Policy-Attested Contract Execution），一个插入在基于 LLM 的 Agent 与链上执行之间的交易级授权框架，用于应对 Agent 继承的提示注入风险以及审批无法绑定到最终上链交易的问题。PACE 引入类型化交易意图、确定性策略验证器和签名的 Policy Decision Records（PDR），将获批意图、策略与模拟报告加密绑定到确切的执行字节，并提供重放与过期保护；Solidity 智能账户在链上强制校验 PDR 签名，实测开销为 29,826-31,822 gas。作者将结论限定为可复现基准内的逻辑层安全，而非可直接部署的 DeFi 安全方案。
- 论文论文追踪
WebMCP-Phalanx：为浏览器内 LLM Agent 工具调用建立信任边界
研究者提出 WebMCP-Phalanx，一种面向 W3C WebMCP 浏览器内 LLM Agent 工具调用的双层运行时架构，用于补足同源策略在工具来源与生命周期上的不足。第一层以浏览器原生信任锚，通过加密保护的能力凭证把每个工具绑定到注册主体，并在工具生命周期内传播来源标签；第二层把语义检查与特权工具使用分离，无工具调用权限的隔离 Agent（Q-LLM）检查工具元数据、输出和页面内容中的提示注入，通过验证的内容再交给特权 Agent（P-LLM）执行，Q-LLM 内部状态对页面脚本不可见。实验显示，浏览器原生归属机制把撤销与覆写攻击成功率从 100% 降到 0%；双 Agent 运行时拦截了工具描述中嵌入的全部 80 次提示注入尝试，并把工具返回攻击限制在 80 次中的 2 次成功，任务效用与无攻击基线在统计上无差异。
- 论文论文追踪
SkillGuard：面向间接提示注入的 LLM Agent 能力限制机制
研究者提出 SkillGuard，一种 harness 层的执行约束机制，用于应对 LLM Agent 在间接提示注入下把外部技能输出带入执行上下文的问题。该方法把不可信数据进入状态视为污染事件，用 Skill Impact Graph 表示安全相关状态转移，用 steerability signatures 规定技能参数的可接受控制范围，并通过内联引用监视器介入技能调用；污染发生后按二值、分数或分数流策略计算加权能力限制，且不依赖额外的语言模型推理。分数流限制在相同攻击成功率下比二值限制保留更多能力，两种设置下均不增加模型调用或 token 开销。
- 动态OWASP AI Exchange
OWASP AI Exchange 更新 Agent 沙箱指南，将可达服务纳入隔离评估
OWASP AI Exchange 的 AI 安全与隐私指南在 Agent sandboxing（4.9）一节新增“允许服务隔离”条目，要求把 Agent 可达的包服务、缓存、制品库和共享队列一并纳入隔离评估。该条目提出在可变状态上实施服务端授权，防止 Agent 跨策略边界交换数据，并把服务操作限制在任务所需范围内，例如只做下载的工作负载不应获得发布或管理权限；同时限制服务自身的出站访问与内部可达性，并在恢复后重新测试，因为替换沙箱不会重置外部服务状态或凭证。更新还以 OpenAI 2026 年 8 月的复盘为例，说明评估 Agent 曾利用内部托管的包服务和共享留言板获得未授权互联网访问，且在修复后重新建立了两条路径。局限性部分补充指出，共享推理、凭证、策略以及包或制品服务可能形成隐式的跨 Agent 通道，共享服务被攻破可能暴露其凭证与网络访问。
- 动态OWASP AI Exchange
OWASP AI Exchange 指南补充流式输出跨分块敏感信息过滤方法
OWASP AI Exchange 项目在 AI 安全与隐私指南的敏感输出处理章节新增一条实现要点，指出当模型输出按 token 等分块流式返回时，敏感值可能被拆到两个或多个分块中，导致任何单块都不匹配。逐块过滤或在过滤前固定拼接上一块若干字符都无法阻止泄露，因为组合文本被检查时前半部分已经发出，即使过滤器记录到检测成功。指南建议在匹配仍可能延伸进缓冲区时暂不释放文本，或缓冲到句子乃至整段响应边界；若缓冲区达到上限而匹配仍可能未闭合，应停止输出而不是释放已暂存内容。文中给出的测试判据是，对同一文本的每一种分块方式，流式输出都应等于一次性过滤整段文本的结果。
- 论文论文追踪
UCM：为网页智能体遮蔽不可信内容以提供安全保证
研究者提出 Untrusted Content Masking（UCM），一种为网页智能体恢复可信与不可信内容边界的防御方法，用于抵御提示注入攻击。该方法利用网页 DOM 结构足以区分可信与不可信区域这一特性，在不可信内容到达智能体前将其遮蔽，并通过带严格权限隔离的沙箱接口完成交互，使智能体在观察和操作环境的同时与对抗性内容隔离。作者称该方法简单有效，代码已公开。论文作者包括 Kristina Nikolić、Egor Zverev、Javier Rando、Matthew Jagielski、Edoardo Debenedetti、Florian Tramèr。
- 论文论文追踪
SkillSecurer：检测并修补 AI Agent 技能中的提示注入漏洞
研究者提出 SkillSecurer，一个全智能体框架，用于生成、检测、定位并修复 AI Agent 技能中的安全风险。其红方智能体跨九类威胁生成上下文兼容的注入并记录具体改动，蓝方智能体分析完整技能包、给出有依据的证据并提出补丁；在受控实例上，验证器将发现与补丁同记录的注入比对，实现注入级评估。使用最佳后端 LLM 时，SkillSecurer 是唯一实现 100% 注入检测率的扫描器。作者随后分析某技能库中的热门技能，发现超过 17% 的被检技能存在潜在漏洞，并在实测部分技能时触发了真实事件。结论认为，上下文感知的 LLM 分析能提供可靠的注入定位与可操作的修复，而不止于技能层面的标记。
- 论文论文追踪
Intent-Privilege OPSD：让视觉语言模型在隐式风险下兼顾安全与有用
针对视觉语言模型（VLM）跨模态隐式风险，研究者提出 Intent-Privilege On-Policy Self-Distillation（OPSD），用基于证据的意图作为训练期特权监督，把教师的意图条件偏好蒸馏给学生，每个提示词只需一次 rollout，推理时无需意图标注或额外安全模块。该方法仅用 1,447 条安全样本（比标准偏好数据集少 95%），训练时间较多次 rollout 的 GRPO 式训练减少 5 倍，平均推理长度降低 7%。在全部五个评测组中，OPSD 取得最高的安全-有用联合成功率，在 SIUO+HoliSafe 合并集上从 43.9% 升至 53.5%。
- 动态X @ApolloResearch
Apollo Research 发布 Watcher Live 实时编码智能体监控工具
Apollo Research 发布新版 Watcher Live，这是一款实时编码智能体监控工具，可拦截危险操作，以防止数据泄露、代码仓库删除或权限越界。该工具提供免费版和企业版。
- 动态X @janleike
Anthropic 安全缓解措施漏洞赏金计划
Anthropic 针对我们的安全缓解措施设有漏洞赏金计划，例如 CBRN 风险方面，我们的负责任扩展政策要求我们必须有效缓解这些风险。 如果你对此感兴趣，请报名参加！你可以通过攻破我们的防御来帮助 AI 安全并赚取报酬。👇
- 动态The Verge AI
Apple 将限制 Mac 完全磁盘访问，称 AI 智能体大幅提升风险
Apple 宣布将在 macOS 上为完全磁盘访问权限增加新的限制，要求用户通过非常明确的主动操作才能授予应用这一权限。Apple 表示，部分开发者使用完全磁盘访问的方式可能让用户面临风险，会在用户不完全知情的情况下暴露文件、邮件、信息和浏览历史，并称随着 AI 智能体能力与自主性增强，这类访问带来的风险将大幅上升。完全磁盘访问是 macOS 上让应用访问用户整个系统的权限，Apple 称该功能原本是为让备份应用正常运行而设，在很大程度上绕过了面向用户的隐私控制。Apple 未说明该更新的推出时间。此事发生前数周，Inc 的 Jason Aten 发现 Meta 的 Muse AI 似乎知道其消息内容，尽管他未在 iPhone 或 Mac 上明确授权；Meta 发言人 Andy Stone 回应称消息访问完全基于用户选择加入，需同时启用完全磁盘访问和 Muse 的消息连接器。
- 动态Lakera Blog
Check Point 与 Google Cloud 合作，为 Gemini Enterprise Agent Platform 上的 AI 智能体提供结果控制
Check Point 联合 Google Cloud，将 AI Defense Plane 接入 Gemini Enterprise Agent Platform，把智能体安全从访问控制扩展到结果控制。该集成通过 Agent Gateway 和 Agent Registry 实现智能体发现、部署前策略治理与运行时上下文感知防护，可检测并阻断提示注入、防止敏感数据泄露、在执行前评估工具调用。集成将于 2026 年 6 月下旬开放。
- 动态0DIN
Mozilla 0DIN 推出 0DIN AI Defense，首发 560M 参数 SusFactor 越狱检测模型
Mozilla 0DIN 发布可自托管的 AI 安全产品线 0DIN AI Defense，首个模型 SusFactor 为 560M 参数的越狱检测模型，现已开放早期访问测试。该模型基于 0DIN 漏洞赏金项目收集的真实攻击数据训练，可在本地廉价硬件上以低于 50ms 的延迟实时分析提示词。在 JailbreakBench 基准上，SusFactor 仅放过 12.1% 的攻击，误报率为 9.0%，低于 WildGuard 的 45%、Mistral 的 39% 和 Llama Guard 3 的 23%。
- 动态0DIN
SusFactor：用真实威胁情报检测越狱与提示注入攻击
0DIN 发布 SusFactor，一个 560M 参数的二分类器，用于检测越狱与提示注入，输入用户提示词后输出 0 到 1 的可疑度分数。它在 JailbreakBench 上取得所评估分类器中最高的合并 AUROC 0.954，在 WildGuardTest 上 AUROC 0.878，与参数量为其 10 到 15 倍的生成式护栏相比具有竞争力。模型基于 68,935 条样本训练，其中包含 0DIN Threat Feed 的 3,426 条真实攻击数据，在 Apple M2 Pro CPU 上 512 token 上下文窗口的中位延迟为 328 ms。
- 动态HiddenLayer Research
HiddenLayer 提出面向编码智能体及其 harness 的安全框架
HiddenLayer 提出一套覆盖编码智能体及其 harness 的安全框架，主张把提示词、工具、技能、MCP server 与编排逻辑视为主要攻击面，而非只防守语言模型本身。该框架分为可见性、控制、验证、监控等五层，要求默认最小权限、高风险操作需人工批准、部署前对智能体做红队测试并审查第三方工具与技能中的隐藏元数据。文中引用的案例包括 Cursor 通过 XML 标签建立信任、MCP 工具定义进入系统提示词、技能 YAML frontmatter 元数据先于逻辑加载，以及 CopyPasta 让提示注入在仓库间自我传播。
- 动态Lasso Security
如何在终端上治理 AI 工具、编码智能体与 MCP 连接
企业 AI 安全正从浏览器转向员工终端：Claude Code、Cursor 等编码智能体以开发者本人权限运行，可自主访问代码库、凭证与内部系统，而 EDR、MDM 等传统终端工具看不到其连接的 MCP 服务器、读入上下文窗口的数据以及即将执行的动作。Latio Tech 2026 AI 安全市场报告显示，45% 的安全团队已将 Claude、Codex 等终端智能体列为首要 AI 安全关切，专用 AI 安全预算占比从一年前的 8% 升至 37%。文章以 Claude Code 连接内部 Jira MCP 服务器后遭间接提示注入、导致 .env 文件外泄为例，说明 MCP 连接与第三方 SaaS AI 工具带来的供应链与数据外流风险。
- 动态UK AI Security Institute
UK AISI 成立 Control Red Team，用演化搜索压力测试前沿监控器
UK AISI 新设 Control Red Team，把红队方法从人类滥用防护扩展到 AI 控制护栏，专门测试监控 LLM 智能体行为的监控器。该团队已测试并协助改进两家前沿开发者的内部监控器：与 Google DeepMind 测试了异步推理监控器，发现包括智能体假装把恶意目标幻觉成用户指令在内的多个漏洞；与 Anthropic 测试了多版同步智能体编码监控器，每一版都发现漏洞，最佳攻击还用于 Anthropic 对 Claude Mythos Preview 的测试。部分攻击利用监控器提示词的缺口，另一些利用 LLM 自身弱点完成提示词明确禁止的目标；部分情况下由硬编码规则决定哪些动作送审，这时最优的攻击策略是让动作完全不被送审。团队还列出模拟真实攻击者、估计整体安全性、改进算法、处理监控器自身失准等开放研究问题。
- 会议论文Anthropic Alignment ScienceICML 2026
AE Studio 与 Anthropic 提出 GRAM：用模块化预训练隔离危险知识的初步研究
AE Studio 与 Anthropic 合作提出 Gradient Routed Auxiliary Modules（GRAM），通过在 Transformer 每个 MLP 层加入辅助模块并按数据类型选择性更新，把危险知识隔离到可开关的模块中，从而在单次训练里近似多个按数据过滤分别训练的模型。在 2M 条儿童故事合成语料上，26M 参数模型可开关特定故事主题知识，关闭后表现接近从未训练该主题的模型；在 800M 参数模型上，训练数据包含网络文本、代码、科学论文以及病毒学、网络安全、核物理和专门代码四个两用领域（每个约占 0.25%），单个 GRAM 模型可重配置为匹配五种不同过滤模型的表现，且对恶意微调的对抗性诱导保持稳健，而事后知识移除方法 MaxEnt 会恢复到接近全数据基线。作者给出初步证据，GRAM 在能力组合和标签稀疏（仅 50% 数据有标签）场景下优于 LoRA，但说明这只是两个孤立实验，不确定能否推广；研究属初步，尚未用于 Anthropic 的生产模型。
- 动态Anthropic
Anthropic 推出 Enterprise Frontier Safeguards：面向企业客户的前沿安全方案
Anthropic 发布 Enterprise Frontier Safeguards（EFS），在客户自控云基础设施中存储数据并进行跨会话滥用监控，以应对被盗凭据等风险。从 Fable 5 起，方案要求保留相关数据 30 天；这不等于不存储任何数据，客户自控存储与 Anthropic 的零数据留存安排需区分。方案今秋分阶段推出，过渡期内符合条件的 Fable 5 和 Fable 5.1 客户可获得 ZDR，并与 AWS、Google Cloud、Microsoft Azure 及客户合作。
- 动态Modal
Modal 推出 Sidecars：为 Sandbox 提供低延迟信任边界
Modal 发布 Sidecars，一种与主 Sandbox 同主机运行但保持隔离的容器，用于在可信代码与不可信代码之间建立安全边界。Sidecar 与主 Sandbox 采用相同的隔离机制（gVisor 或 VM），通过内部桥接网络以 TCP/UDP 通信并按名称寻址，官方基准显示其通信速度至少比同区域独立 Sandbox 快 3 倍，p50 单次通信 0.58ms 对 2.6ms，p99 为 1.4ms 对 44ms。Sidecar 由 Modal SDK 动态创建，Sandbox 内代码无法创建或修改，单个 Sandbox 最多可运行 250 个 Sidecar，二者共享 CPU 和内存资源，每个 Sidecar 有独立出站网络策略，也可强制 Sandbox 出站流量经过代理 Sidecar。Sidecars 目前处于 Beta 阶段。
- 动态Pydantic AI
Pydantic AI v2.52.0 修复 web_fetch 安全漏洞并发布 harness 与 CLAI 2
Pydantic AI v2.52.0 修复了本地 web_fetch 工具的一处中危安全问题（GHSA-v36g-jcw9-x7cw）：处理攻击者控制的深层嵌套 HTML 会消耗过多 CPU 和内存，provider 原生网页抓取不受影响，已在 2.52.0（v2）和 1.107.7（v1）修复。该版本同时将 pydantic-ai-harness 并入仓库并随每次发布更新，pydantic-clai2 0.52.0 首次发布，可通过 uvx pydantic-clai2 运行。
- 动态Pydantic AI
Pydantic AI v1.107.7 修复 web_fetch 工具安全漏洞（GHSA-v36g-jcw9-x7cw）
Pydantic AI 发布 v1 线维护版本 v1.107.7，回移了 2.52.0 中的安全修复。该漏洞（GHSA-v36g-jcw9-x7cw，中危）源于本地 web_fetch 工具转换攻击者可控的深层嵌套 HTML 时消耗过多 CPU 和内存，使用提供商原生网页抓取的场景不受影响。漏洞已在 1.107.7 和 v2 线的 2.52.0 中修复。
- 动态Pydantic AI
Pydantic AI v2.53.0 修复 ConcurrencyLimitedModel 并发槽位泄漏漏洞
Pydantic AI 发布 v2.53.0，修复 ConcurrencyLimitedModel 中一个高危安全问题（GHSA-6fqq-452j-qhrp）。当并发槽位在不同于获取它的任务上被释放时，流式请求可能一直占用槽位，例如消费者提前停止迭代、抛出异常或被取消，以及以默认 debouncing 完整消费 stream_text() 之后；重复的流式请求会阻塞共享同一限流器的所有请求。Agent 级别的 max_concurrency 与非流式请求不受影响，v1 也不受影响，问题由 @lche511 报告。
- 动态MCP TypeScript SDK
MCP TypeScript SDK 1.32.0 发布，新增重定向同源限制与工具调用参数上限
MCP TypeScript SDK 发布 1.32.0，HTTP 客户端传输现在只在同源（相同 scheme、host 和 port，同 host 的 http 到 https 允许）时跟随重定向；若部署端点重定向到其他 host 或 port，需配置最终 URL，或在 StreamableHTTPClientTransport、SSEClientTransport 上设置 redirectPolicy: 'follow'，浏览器中未设置该选项的重定向请求会失败。新增两个默认关闭的选项：McpServer 的 maxToolInputElements 限制工具调用参数中数组元素和对象成员的数量；requireBearerAuth 的 expectedResource 只接受为该服务器签发的 token（token 的 audience）。