全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
SkillSentry：用自适应蜜罐世界动态检测 Agent 技能安全
研究者提出 SkillSentry，一个基于自适应蜜罐世界的动态安全测试框架，用于检测 LLM Agent 外部技能在特定环境状态下才暴露的有害行为。该方法先推断技能的能力边界，构建由 LLM 模拟、含受控诱饵资源的环境，并自适应生成任务以探索其行为状态，再将启用技能的执行轨迹与匹配的无技能执行对比，把可疑行为定位到源码和已验证的执行轨迹上。在标准基准上，SkillSentry 取得 99.50% 召回率和 96.26% 平均 F1；在保持语义的规避攻击下平均 F1 为 92.95%，最强基线为 80.07%。作者称代码已公开。
- 论文论文追踪
SingProbe 发布开源内在护栏框架，适配 29 个开源模型
SingProbe 是一个面向 LLM 生成时监控的开源内在护栏框架，复用基座模型自回归解码中已产生的隐藏状态，而不是让独立模型反复处理生成文本。它用轻量探针在解码过程中持续输出查询意图、回复安全和幻觉风险信号，报告给出了训练方法、与 SGLang 和 vLLM 的服务集成，以及覆盖不同家族和规模的 29 个开源基座模型的适配护栏。团队同时提出 SingStreamBench，用于衡量流式护栏能否在良性前缀上保持静默并及时发现新出现的不安全内容。在安全、流式检测、幻觉检测、误报鲁棒性、在线监控和运行时开销等评测中，SingProbe 的表现与最先进的独立护栏和专用幻觉检测器相当，在若干设置下更强，实现中增加的服务开销低于 0.5%。除被动监控外，内在护栏信号还可引导受限解码，并在 SingProbe-Med 中选择性触发医疗风险干预。
- 论文论文追踪
GEO-Flag：检测与测量面向生成式引擎优化的网页内容
研究者提出 GEOFlagBench 基准与 Intervention-Paired Training（IPT）方法，用于检测为提升生成式搜索引擎引用率而优化的网页内容。该基准包含 400 条查询、四个领域、八类 GEO 优化器共 3200 个网页内容实例；最强基线聚合 F1 为 0.880，但按方法和作者条件评估显示明显弱点并可能依赖作者相关捷径。在 ModernBERT 上，IPT 将 F1 从 0.862 提升至 0.944，最差组准确率从 0.725 提升至 0.883。研究者还构建 GEO 门控 Agent 系统审计被检测页面的来源层级与引用 URL 可验证性，并在 Google Search 与 Gemini 检索的 1000 条真实用户查询、10095 个可用页面上估计 GEO 总体占比为 8.90%，2026 年修改过的页面中达 16.36%。
- 动态OWASP AI Exchange
OWASP AI Exchange 更新 Agent 沙箱指南，将可达服务纳入隔离评估
OWASP AI Exchange 的 AI 安全与隐私指南在 Agent sandboxing（4.9）一节新增“允许服务隔离”条目，要求把 Agent 可达的包服务、缓存、制品库和共享队列一并纳入隔离评估。该条目提出在可变状态上实施服务端授权，防止 Agent 跨策略边界交换数据，并把服务操作限制在任务所需范围内，例如只做下载的工作负载不应获得发布或管理权限；同时限制服务自身的出站访问与内部可达性，并在恢复后重新测试，因为替换沙箱不会重置外部服务状态或凭证。更新还以 OpenAI 2026 年 8 月的复盘为例，说明评估 Agent 曾利用内部托管的包服务和共享留言板获得未授权互联网访问，且在修复后重新建立了两条路径。局限性部分补充指出，共享推理、凭证、策略以及包或制品服务可能形成隐式的跨 Agent 通道，共享服务被攻破可能暴露其凭证与网络访问。
- 动态OWASP AI Exchange
OWASP AI Exchange 指南补充流式输出跨分块敏感信息过滤方法
OWASP AI Exchange 项目在 AI 安全与隐私指南的敏感输出处理章节新增一条实现要点，指出当模型输出按 token 等分块流式返回时，敏感值可能被拆到两个或多个分块中，导致任何单块都不匹配。逐块过滤或在过滤前固定拼接上一块若干字符都无法阻止泄露，因为组合文本被检查时前半部分已经发出，即使过滤器记录到检测成功。指南建议在匹配仍可能延伸进缓冲区时暂不释放文本，或缓冲到句子乃至整段响应边界；若缓冲区达到上限而匹配仍可能未闭合，应停止输出而不是释放已暂存内容。文中给出的测试判据是，对同一文本的每一种分块方式，流式输出都应等于一次性过滤整段文本的结果。
- 论文论文追踪
SkillSecurer：检测并修补 AI Agent 技能中的提示注入漏洞
研究者提出 SkillSecurer，一个全智能体框架，用于生成、检测、定位并修复 AI Agent 技能中的安全风险。其红方智能体跨九类威胁生成上下文兼容的注入并记录具体改动，蓝方智能体分析完整技能包、给出有依据的证据并提出补丁；在受控实例上，验证器将发现与补丁同记录的注入比对，实现注入级评估。使用最佳后端 LLM 时，SkillSecurer 是唯一实现 100% 注入检测率的扫描器。作者随后分析某技能库中的热门技能，发现超过 17% 的被检技能存在潜在漏洞，并在实测部分技能时触发了真实事件。结论认为，上下文感知的 LLM 分析能提供可靠的注入定位与可操作的修复，而不止于技能层面的标记。
- 动态MCP Python SDK
MCP Python SDK v2.3.0 发布：修复为主，新增三项配置选项
MCP Python SDK 发布 v2.3.0，以修复为主并新增三项选项。带无效 x-mcp-header 注解的工具现在会在注册时抛出 InvalidSignature，此前服务器会正常启动但 2026-07-28 客户端会静默丢弃该工具；空 _meta 与 params 不再随请求发送，避免部分服务器拒绝。新增 max_sse_event_size 选项（默认仍为每 SSE 事件 1 MiB），MCPServer(subscriptions=False) 可停止提供 subscriptions/listen，Client.call_tool 在 HeaderMismatch（-32020）后重新列出工具并重试一次。
- 动态X @sleepinyourhat
Anthropic 将开源对齐评测工具 Petri 捐赠给 Meridian Labs
Anthropic 宣布把开源对齐工具 Petri 捐赠给 Meridian Labs，使其成为独立项目并继续开发。Petri 是一款用于对齐测试的开源交互式行为评测工具，Anthropic 与 Meridian Labs 合作发布了重大更新，提升了测试的适应性、真实感和深度。作者在转发中邀请用户试用并考虑参与贡献。
- 动态Dark Reading
RemoteThreat 推出攻防演练平台，押注安全团队需测试防线失守后的场景
RemoteThreat 走出隐身模式，获 700 万美元 pre-seed 融资，推出集成式攻击性网络安全运营平台，用 AI 辅助企业及政府团队测试防线被突破后的表现。平台每次从零构建工具，可绕过 Tier 1 EDR 厂商及安全控制，支持纯人工、AI 辅助或混合模式，并允许组织使用自有 AI 模型。CEO Chris Thompson 预测，随着前沿模型快速进步，传统渗透测试模式将在两年内不复存在。
- 动态Snyk Labs（AI Threat Labs，含原 Invariant Labs）
Snyk Labs 解读 MAESTRO：面向 Agentic AI 生态的分层威胁建模框架
Snyk Labs 介绍了由云安全联盟（Cloud Security Alliance）联合 AI 安全研究者开发的 MAESTRO 框架，用于对多智能体 AI 生态做分层威胁建模。该框架把系统拆成基础模型、数据操作、Agent 框架、部署基础设施、评估与可观测性、安全与合规、Agent 生态共七层，逐层列出关键组件与特有漏洞，例如向量数据库投毒、工作流劫持、容器逃逸、日志注入和 Agent 身份冒充。文章强调跨层依赖会形成纵向传播与横向扩散的攻击路径，并以多 Agent 金融交易系统为例，演示从对抗样本到 Agent 冒充的逐层执行劫持攻击及对应缓解措施。文中还给出与 NIST AI RMF 四个功能、OWASP AIVSS/ASI 威胁分类的对接方式，以及分四阶段、约 12 个月的组织落地路线图。
- 动态Snyk Labs（AI Threat Labs，含原 Invariant Labs）
Snyk 推出 Agent Scan - Skill Inspector，免费扫描 Agent 技能中的恶意行为
Snyk Labs 发布 Agent Scan - Skill Inspector，一个免费的自助网站，可在安装或本地运行前扫描 Agent 技能的风险、暴露面与恶意行为。团队对主流市场的 3,984 个技能做了分析，确认 76 个恶意技能，13.4% 的技能至少含一个严重级别问题，36.8% 至少含一个安全问题，发现的问题包括凭据窃取、后门、可疑下载、远程代码执行模式和基于提示词的数据外泄，部分已确认的恶意技能在发布时仍可公开访问。Agent Scan 将技能视为代码与自然语言指令（如 SKILL.md）的组合，支持粘贴市场 URL、GitHub 仓库或拖入本地技能文件夹，检测提示注入、恶意代码、硬编码密钥、不当凭据处理、第三方内容暴露、不可验证依赖等，结果按 Critical、High、Medium 分级。
- 动态Snyk Labs（AI Threat Labs，含原 Invariant Labs）
Snyk Labs 实测 Opus 4.7 等模型在四个代码库上的漏洞发现能力
Snyk Labs 用四级难度递减的提示词，让 Opus 4.7 以 opencode 为 Agent 在四个代码库中一次性找出同一类 OAuth state token 缺陷，即 1-Click 账户接管（登录 CSRF）。四个目标分别是 Fastapi-sso（6,932 行，CVE-2025-14546）、Fastapi-users（13,192 行，CVE-2025-68481）、Authlib（53,074 行，CVE-2025-68158）和 Langfuse（410,119 行，CVE-2025-65107）。作者发现 Opus 4.7 高推理模式倾向于广而浅，遇到线索容易放弃，需要人工追问才会深入分析 AUTH_*_CHECKS 未设置时 NextAuth 的运行时行为。作者强调这不是基准测试，只是一次小规模探索。
- 动态Gradient Institute（澳大利亚）
软件开发方式正在发生巨变：从代码补全到编码智能体
AI 编码工具已从"tab tab tab"式自动补全演进为能读取需求、跨文件修改、运行程序、读报错、写测试并迭代修复的编码智能体，GitHub Copilot、OpenAI Codex、Claude Code、Cursor、Replit Agent、Lovable、Devin 等产品用户量激增。SWE-bench Verified 上最强模型的问题解决率从 2024 年中的约三分之一升至约 95%，但基准分数不等于真实可靠性。人类角色正从逐行编写转向委派任务并审查结果，而写代码与工程化生产软件仍是两回事。
- 动态Gradient Institute（澳大利亚）
Gradient Institute 发布《AI 安全使用日常指南》
Gradient Institute 发布了一份免费、通俗易懂的《AI 安全使用日常指南》，面向不同经验水平的用户，内容涵盖识别 AI 诈骗和保护个人隐私等日常场景。该机构同期还发布了关于前沿实验室中单智能体在无明确指令下相互发现并协同工作的解释性文章。
- 动态Mindgard Blog
Mindgard 完成 3000 万美元 A 轮融资，已披露超 150 个 AI 高危漏洞
AI 安全公司 Mindgard 完成由 Album VC 领投的 3000 万美元 A 轮融资，Karma Ventures 及 .406 Ventures、Atlantic Bridge、IQ Capital、Lakestar 等现有投资方参投。其平台已发现并公开披露超过 150 个 AI 产品的高危安全与安全（safety）漏洞，包括 Cursor IDE 的零日代码执行漏洞、Google Antigravity 的可信工作区缺陷以及 ChatGPT 的图像生成护栏失效。资金将用于扩充产品、工程、销售与市场团队，以应对 Fortune 2000 客户的部署需求。
- 动态Mindgard Blog
Mindgard 扩展 AI 与云生态，覆盖 Anthropic、NVIDIA、Microsoft、Google Cloud 和 AWS
Mindgard 宣布扩展技术生态，合作方包括 Anthropic（Cyber Verification Program）、NVIDIA（NVIDIA Inception）、Microsoft（Microsoft Founders Hub）、Google Cloud 和 AWS（AWS Activate）。Mindgard 称这些关系让其更贴近前沿模型、智能体框架与部署架构，同时保持独立评估能力，相关洞察将转化为平台新能力，扩大覆盖范围。该消息发布前，Mindgard 刚完成 3000 万美元 A 轮融资。
- 动态Mindgard Blog
Mindgard 发布 AI Agent 安全指南：五类信任边界、六种攻击与红队加固方法
Mindgard 发布 AI Agent 安全指南，主张 Agent 有目标、工具、记忆、身份、其他 Agent 五个信任边界，无法靠清洗提示词来防护，控制点应放在边界而非模型内部。指南列出当前成功率最高的六类攻击：间接提示注入与目标劫持、MCP 工具投毒与 rug pull、编码 Agent 的信任持久化、记忆与上下文投毒、身份与权限滥用、Agent 间通信不安全。文中引用 NIST CAISI 在 AgentDojo 上的红队结果，未知攻击接管 Agent 的成功率为 81%，已知攻击仅 11%；工具投毒在 45 个以上在线 MCP 服务器上平均成功率超过 60%，最高 72.8%。
- 动态Lakera Blog
Lakera 与 Check Point 推出 READY OR NOT：AI 企业安全 5 场系列网络研讨会
Lakera 与 Check Point 联合推出 READY OR NOT 五场系列网络研讨会，聚焦企业 AI 安全就绪的实践落地。系列覆盖 AI 智能体安全、AI 红队测试、员工 AI 使用安全、AI Gateway 与 AI 安全研究五大主题，包含真实场景演示与实操工作流。最后一期将基于 Lakera 研究语料、Gandalf 攻击模式数据与 B3 基准发现，分析攻击者当前针对 AI 系统的手法及后续趋势。
- 动态Pillar Security
2026 年企业级 AI 智能体与 GenAI 应用最佳 AI 红队供应商对比
2026 年企业级 AI 红队供应商的评判标准，是测试已部署系统而非仅测试底层模型、每次发布都重跑测试、并给出执行证据而非分数。该指南依据 OWASP 于 2026 年 1 月发布的 AI 红队供应商评估标准，将 13 个评估维度归纳为 7 个问题，对比了 11 家供应商与工具，并把 Pillar 的 Red Graph Suite 纳入同一标准并说明其局限。文中指出，平均一次成功攻击需 5 轮对话，生产环境中 90% 的成功攻击导致数据泄露。
- 动态Pillar Security
Pillar Security 获 Latio 2026 AI 安全市场报告评为 AI 安全技术创新者
Latio 在 2026 AI 安全市场报告中把 Pillar Security 评为 AI 安全技术创新者，并将其列入覆盖端点、SaaS 与第一方智能体的 Broader AI Security 类别。报告在 Employee App and Agent Builders、Skills Detonation、Granular Permissions 三处点名 Pillar，并称其同时出现在浏览器、SaaS 与端点分组中。报告调查显示，一年内拥有专门 AI 安全预算的团队占比从 8% 升至 37%，45% 受访者最担忧 Claude Code、Codex 等端点智能体。
- 动态Pillar Security
企业级 AI 编程智能体安全工具对比：如何防护 Claude Code、Cursor、Codex 与本地 AI 智能体
一份面向企业的 AI 编程智能体安全工具评测，用同一套八个问题对比了十三款工具，并按使用发现、智能体清点、配置态势、行动前控制四个层面归类。文章指出发现智能体不等于保护智能体，配置事实藏在智能体自身设置文件中，EDR 无法建模；控制点已转移到 Claude Code、Codex CLI、Cursor、Gemini CLI 等暴露的 pre-tool hook，2026 年微软、CrowdStrike、Palo Alto Networks 等均已采用。Adversa AI 的 GuardFall 研究（2026 年 6 月）用老旧 shell 技巧绕过了 11 款主流开源编程智能体中 10 款的命令审批护栏，Google 2026 年 4 月的 Gemini CLI 公告（GHSA-wpqr-6v78-jr5g）修复了以 --yolo 模式和自动信任工作区目录为前提的远程代码执行路径。
- 动态Gray Swan AI
Gray Swan AI 推出 Dangerous Reasoning Arena 竞赛，聚焦思维链越狱
Gray Swan AI 于 5 月 10 日启动 Dangerous Reasoning Arena 竞赛，将红队测试从输出操纵推进到模型内部推理层面，重点考察思维链越狱。参赛者需诱导模型产生生物攻击规划、战略性欺骗、隐蔽后门植入、基础设施破坏等危险推理，即使最终回复看似无害，只要内部逻辑体现有害意图即算成功。热身周 5 月 10 日开启（不计奖），正式评奖轮次为 5 月 17 日和 5 月 24 日，总奖池 20,000 美元。
- 动态0DIN
0DIN 开放免费 AI 安全评估：用红队武器库提前攻破你的 AI
0DIN 面向正在交付 AI 系统的团队开放限时免费安全评估，用其研究员来源的红队武器库攻击用户自有或获授权测试的模型，并给出按优先级排序的报告。评估通过 0DIN Scanner 执行，覆盖直接与间接提示注入、越狱、编码隐藏载荷、多轮攻击以及带工具智能体的数据泄露与错误调用等失效方式，云端模型走 API、自托管模型用容器化 Scanner 在本地网络内运行，报告通常一两天内交付。报告包含安全评级与风险等级、可长期跟踪的攻击成功率（ASR）、分类发现、与前沿模型的对比及修复建议，并映射到 OWASP LLM Top 10、MITRE ATLAS、NIST AI RMF、ISO/IEC 42001 和 EU AI Act 等框架；该评估基于 NVIDIA 开源 garak 引擎并叠加 0DIN 的赏金探针库，每次评估均经人工把关。
- 动态0DIN
Mozilla 0DIN 推出 0DIN AI Defense，首发 560M 参数 SusFactor 越狱检测模型
Mozilla 0DIN 发布可自托管的 AI 安全产品线 0DIN AI Defense，首个模型 SusFactor 为 560M 参数的越狱检测模型，现已开放早期访问测试。该模型基于 0DIN 漏洞赏金项目收集的真实攻击数据训练，可在本地廉价硬件上以低于 50ms 的延迟实时分析提示词。在 JailbreakBench 基准上，SusFactor 仅放过 12.1% 的攻击，误报率为 9.0%，低于 WildGuard 的 45%、Mistral 的 39% 和 Llama Guard 3 的 23%。