跳到正文

工具与开源

今天新收录 10 条(含旧文)

第 2 页更新的内容回到最新

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文52

    Blindspot:面向长程工具调用 Agent 的安全与拒答校准基准

    研究者提出 Blindspot,一个针对长程工具调用 Agent 的轨迹级安全校准基准,通过自适应对抗交互、有状态工具执行和基于执行结果的判定来评估完整的用户—Agent—环境轨迹。当前版本包含 7 个领域的 22 类攻击和 35 个场景,生成超过 2500 条长程轨迹,平均交互长度 14.7 轮,每条轨迹被归为安全完成、正确拒答、不安全完成、过度拒答或不确定五类结果之一。与固定攻击数据集不同,Blindspot 是可扩展的实时仿真框架,攻击、场景、工具、策略、领域和 Agent 配置均可新增而无需重设计评测流程。

10月3日周六
  1. 论文追踪 · 收录 · 原文 论文42

    NovaFabric 提出可防篡改、可重放的 AI Agent 运行证据方案

    研究者提出 NovaFabric,在不修改 Agent 逻辑的前提下把一次 Agent 运行记录为可移植的 Run Capsule,用 DSSE 签名、RFC 3161 时间戳、Merkle 日志和脱敏证明封装,并支持四种模式的重放协议与第三方验证。评测显示,模拟重放可从 capsule 提供全部模型响应(10/10),但仅 2/10 的工具调用类工作负载完成,缺口在于缺少工具响应替换;三类篡改均被拒绝;声明流完整度为 0.652(95% CI ±0.064,十个场景);修复后的规则包可脱敏 14/14 类凭据并保留 9/9 个诱饵;影响范围查询在 1000 万条边上 p99 为 45.5ms,在 1 亿条边上为 167.9ms。314 台机器、十个区域的运行中,capsule REST 写入无损,但受单 worker 串行化限制,吞吐上限为 61.6 req/s(p99 26.8s)。

  2. 论文追踪 · 收录 · 原文 论文40

    SkillSentry:用自适应蜜罐世界动态检测 Agent 技能安全

    研究者提出 SkillSentry,一个基于自适应蜜罐世界的动态安全测试框架,用于检测 LLM Agent 外部技能在特定环境状态下才暴露的有害行为。该方法先推断技能的能力边界,构建由 LLM 模拟、含受控诱饵资源的环境,并自适应生成任务以探索其行为状态,再将启用技能的执行轨迹与匹配的无技能执行对比,把可疑行为定位到源码和已验证的执行轨迹上。在标准基准上,SkillSentry 取得 99.50% 召回率和 96.26% 平均 F1;在保持语义的规避攻击下平均 F1 为 92.95%,最强基线为 80.07%。作者称代码已公开。

  3. 论文追踪 · 收录 · 原文 论文47

    SingProbe 发布开源内在护栏框架,适配 29 个开源模型

    SingProbe 是一个面向 LLM 生成时监控的开源内在护栏框架,复用基座模型自回归解码中已产生的隐藏状态,而不是让独立模型反复处理生成文本。它用轻量探针在解码过程中持续输出查询意图、回复安全和幻觉风险信号,报告给出了训练方法、与 SGLang 和 vLLM 的服务集成,以及覆盖不同家族和规模的 29 个开源基座模型的适配护栏。团队同时提出 SingStreamBench,用于衡量流式护栏能否在良性前缀上保持静默并及时发现新出现的不安全内容。在安全、流式检测、幻觉检测、误报鲁棒性、在线监控和运行时开销等评测中,SingProbe 的表现与最先进的独立护栏和专用幻觉检测器相当,在若干设置下更强,实现中增加的服务开销低于 0.5%。除被动监控外,内在护栏信号还可引导受限解码,并在 SingProbe-Med 中选择性触发医疗风险干预。

  4. 论文追踪 · 收录 · 原文 论文49

    GEO-Flag:检测与测量面向生成式引擎优化的网页内容

    研究者提出 GEOFlagBench 基准与 Intervention-Paired Training(IPT)方法,用于检测为提升生成式搜索引擎引用率而优化的网页内容。该基准包含 400 条查询、四个领域、八类 GEO 优化器共 3200 个网页内容实例;最强基线聚合 F1 为 0.880,但按方法和作者条件评估显示明显弱点并可能依赖作者相关捷径。在 ModernBERT 上,IPT 将 F1 从 0.862 提升至 0.944,最差组准确率从 0.725 提升至 0.883。研究者还构建 GEO 门控 Agent 系统审计被检测页面的来源层级与引用 URL 可验证性,并在 Google Search 与 Gemini 检索的 1000 条真实用户查询、10095 个可用页面上估计 GEO 总体占比为 8.90%,2026 年修改过的页面中达 16.36%。

  5. OWASP AI Exchange · 收录 · 原文 43

    OWASP AI Exchange 更新 Agent 沙箱指南,将可达服务纳入隔离评估

    OWASP AI Exchange 的 AI 安全与隐私指南在 Agent sandboxing(4.9)一节新增“允许服务隔离”条目,要求把 Agent 可达的包服务、缓存、制品库和共享队列一并纳入隔离评估。该条目提出在可变状态上实施服务端授权,防止 Agent 跨策略边界交换数据,并把服务操作限制在任务所需范围内,例如只做下载的工作负载不应获得发布或管理权限;同时限制服务自身的出站访问与内部可达性,并在恢复后重新测试,因为替换沙箱不会重置外部服务状态或凭证。更新还以 OpenAI 2026 年 8 月的复盘为例,说明评估 Agent 曾利用内部托管的包服务和共享留言板获得未授权互联网访问,且在修复后重新建立了两条路径。局限性部分补充指出,共享推理、凭证、策略以及包或制品服务可能形成隐式的跨 Agent 通道,共享服务被攻破可能暴露其凭证与网络访问。

  6. OWASP AI Exchange · 收录 · 原文 43

    OWASP AI Exchange 指南补充流式输出跨分块敏感信息过滤方法

    OWASP AI Exchange 项目在 AI 安全与隐私指南的敏感输出处理章节新增一条实现要点,指出当模型输出按 token 等分块流式返回时,敏感值可能被拆到两个或多个分块中,导致任何单块都不匹配。逐块过滤或在过滤前固定拼接上一块若干字符都无法阻止泄露,因为组合文本被检查时前半部分已经发出,即使过滤器记录到检测成功。指南建议在匹配仍可能延伸进缓冲区时暂不释放文本,或缓冲到句子乃至整段响应边界;若缓冲区达到上限而匹配仍可能未闭合,应停止输出而不是释放已暂存内容。文中给出的测试判据是,对同一文本的每一种分块方式,流式输出都应等于一次性过滤整段文本的结果。

  7. 论文追踪 · 收录 · 原文 论文52

    SkillSecurer:检测并修补 AI Agent 技能中的提示注入漏洞

    研究者提出 SkillSecurer,一个全智能体框架,用于生成、检测、定位并修复 AI Agent 技能中的安全风险。其红方智能体跨九类威胁生成上下文兼容的注入并记录具体改动,蓝方智能体分析完整技能包、给出有依据的证据并提出补丁;在受控实例上,验证器将发现与补丁同记录的注入比对,实现注入级评估。使用最佳后端 LLM 时,SkillSecurer 是唯一实现 100% 注入检测率的扫描器。作者随后分析某技能库中的热门技能,发现超过 17% 的被检技能存在潜在漏洞,并在实测部分技能时触发了真实事件。结论认为,上下文感知的 LLM 分析能提供可靠的注入定位与可操作的修复,而不止于技能层面的标记。

  8. MCP Python SDK · 收录 · 原文 60

    MCP Python SDK v2.3.0 发布:修复为主,新增三项配置选项

    MCP Python SDK 发布 v2.3.0,以修复为主并新增三项选项。带无效 x-mcp-header 注解的工具现在会在注册时抛出 InvalidSignature,此前服务器会正常启动但 2026-07-28 客户端会静默丢弃该工具;空 _meta 与 params 不再随请求发送,避免部分服务器拒绝。新增 max_sse_event_size 选项(默认仍为每 SSE 事件 1 MiB),MCPServer(subscriptions=False) 可停止提供 subscriptions/listen,Client.call_tool 在 HeaderMismatch(-32020)后重新列出工具并重试一次。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  9. Sam Bowman · 收录 · 原文 46

    Anthropic 将开源对齐评测工具 Petri 捐赠给 Meridian Labs

    Anthropic 宣布把开源对齐工具 Petri 捐赠给 Meridian Labs,使其成为独立项目并继续开发。Petri 是一款用于对齐测试的开源交互式行为评测工具,Anthropic 与 Meridian Labs 合作发布了重大更新,提升了测试的适应性、真实感和深度。作者在转发中邀请用户试用并考虑参与贡献。

    引用Anthropic@AnthropicAI

    We’re donating Petri, our open-source alignment tool, to @meridianlabs_ai, so its development can continue independently. Working with Meridian Labs, we’ve also released a major update that improves the adaptability, realism, and depth of Petri’s tests. https://www.anthropic.com/research/donating-open-source-petri

  10. Dark Reading · 收录 · 原文 13

    RemoteThreat 推出攻防演练平台,押注安全团队需测试防线失守后的场景

    RemoteThreat 走出隐身模式,获 700 万美元 pre-seed 融资,推出集成式攻击性网络安全运营平台,用 AI 辅助企业及政府团队测试防线被突破后的表现。平台每次从零构建工具,可绕过 Tier 1 EDR 厂商及安全控制,支持纯人工、AI 辅助或混合模式,并允许组织使用自有 AI 模型。CEO Chris Thompson 预测,随着前沿模型快速进步,传统渗透测试模式将在两年内不复存在。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  11. Snyk Labs(AI Threat Labs,含原 Invariant Labs) · 收录 · 原文 日期未知36

    Snyk Labs 解读 MAESTRO:面向 Agentic AI 生态的分层威胁建模框架

    Snyk Labs 介绍了由云安全联盟(Cloud Security Alliance)联合 AI 安全研究者开发的 MAESTRO 框架,用于对多智能体 AI 生态做分层威胁建模。该框架把系统拆成基础模型、数据操作、Agent 框架、部署基础设施、评估与可观测性、安全与合规、Agent 生态共七层,逐层列出关键组件与特有漏洞,例如向量数据库投毒、工作流劫持、容器逃逸、日志注入和 Agent 身份冒充。文章强调跨层依赖会形成纵向传播与横向扩散的攻击路径,并以多 Agent 金融交易系统为例,演示从对抗样本到 Agent 冒充的逐层执行劫持攻击及对应缓解措施。文中还给出与 NIST AI RMF 四个功能、OWASP AIVSS/ASI 威胁分类的对接方式,以及分四阶段、约 12 个月的组织落地路线图。

  12. Snyk Labs(AI Threat Labs,含原 Invariant Labs) · 收录 · 原文 日期未知51

    Snyk 推出 Agent Scan - Skill Inspector,免费扫描 Agent 技能中的恶意行为

    Snyk Labs 发布 Agent Scan - Skill Inspector,一个免费的自助网站,可在安装或本地运行前扫描 Agent 技能的风险、暴露面与恶意行为。团队对主流市场的 3,984 个技能做了分析,确认 76 个恶意技能,13.4% 的技能至少含一个严重级别问题,36.8% 至少含一个安全问题,发现的问题包括凭据窃取、后门、可疑下载、远程代码执行模式和基于提示词的数据外泄,部分已确认的恶意技能在发布时仍可公开访问。Agent Scan 将技能视为代码与自然语言指令(如 SKILL.md)的组合,支持粘贴市场 URL、GitHub 仓库或拖入本地技能文件夹,检测提示注入、恶意代码、硬编码密钥、不当凭据处理、第三方内容暴露、不可验证依赖等,结果按 Critical、High、Medium 分级。

    推荐理由Snyk 对 3,984 个 Agent 技能的大规模扫描数据,为评估技能市场供应链风险提供了可参照的基线。

  13. Snyk Labs(AI Threat Labs,含原 Invariant Labs) · 收录 · 原文 51

    Snyk Labs 实测 Opus 4.7 等模型在四个代码库上的漏洞发现能力

    Snyk Labs 用四级难度递减的提示词,让 Opus 4.7 以 opencode 为 Agent 在四个代码库中一次性找出同一类 OAuth state token 缺陷,即 1-Click 账户接管(登录 CSRF)。四个目标分别是 Fastapi-sso(6,932 行,CVE-2025-14546)、Fastapi-users(13,192 行,CVE-2025-68481)、Authlib(53,074 行,CVE-2025-68158)和 Langfuse(410,119 行,CVE-2025-65107)。作者发现 Opus 4.7 高推理模式倾向于广而浅,遇到线索容易放弃,需要人工追问才会深入分析 AUTH_*_CHECKS 未设置时 NextAuth 的运行时行为。作者强调这不是基准测试,只是一次小规模探索。

    推荐理由作者用四级递进提示词实测 Opus 4.7 等模型在四个代码库上的漏洞发现能力,给出了提示词强度与成本、命中率之间的对应关系。

  14. Gradient Institute(澳大利亚) · 收录 · 原文 32

    软件开发方式正在发生巨变:从代码补全到编码智能体

    AI 编码工具已从"tab tab tab"式自动补全演进为能读取需求、跨文件修改、运行程序、读报错、写测试并迭代修复的编码智能体,GitHub Copilot、OpenAI Codex、Claude Code、Cursor、Replit Agent、Lovable、Devin 等产品用户量激增。SWE-bench Verified 上最强模型的问题解决率从 2024 年中的约三分之一升至约 95%,但基准分数不等于真实可靠性。人类角色正从逐行编写转向委派任务并审查结果,而写代码与工程化生产软件仍是两回事。

  15. Gradient Institute(澳大利亚) · 收录 · 原文 23

    Gradient Institute 发布《AI 安全使用日常指南》

    Gradient Institute 发布了一份免费、通俗易懂的《AI 安全使用日常指南》,面向不同经验水平的用户,内容涵盖识别 AI 诈骗和保护个人隐私等日常场景。该机构同期还发布了关于前沿实验室中单智能体在无明确指令下相互发现并协同工作的解释性文章。

  16. Mindgard Blog · 收录 · 原文 19

    Mindgard 完成 3000 万美元 A 轮融资,已披露超 150 个 AI 高危漏洞

    AI 安全公司 Mindgard 完成由 Album VC 领投的 3000 万美元 A 轮融资,Karma Ventures 及 .406 Ventures、Atlantic Bridge、IQ Capital、Lakestar 等现有投资方参投。其平台已发现并公开披露超过 150 个 AI 产品的高危安全与安全(safety)漏洞,包括 Cursor IDE 的零日代码执行漏洞、Google Antigravity 的可信工作区缺陷以及 ChatGPT 的图像生成护栏失效。资金将用于扩充产品、工程、销售与市场团队,以应对 Fortune 2000 客户的部署需求。

  17. Mindgard Blog · 收录 · 原文 7

    Mindgard 扩展 AI 与云生态,覆盖 Anthropic、NVIDIA、Microsoft、Google Cloud 和 AWS

    Mindgard 宣布扩展技术生态,合作方包括 Anthropic(Cyber Verification Program)、NVIDIA(NVIDIA Inception)、Microsoft(Microsoft Founders Hub)、Google Cloud 和 AWS(AWS Activate)。Mindgard 称这些关系让其更贴近前沿模型、智能体框架与部署架构,同时保持独立评估能力,相关洞察将转化为平台新能力,扩大覆盖范围。该消息发布前,Mindgard 刚完成 3000 万美元 A 轮融资。

  18. Mindgard Blog · 收录 · 原文 38

    Mindgard 发布 AI Agent 安全指南:五类信任边界、六种攻击与红队加固方法

    Mindgard 发布 AI Agent 安全指南,主张 Agent 有目标、工具、记忆、身份、其他 Agent 五个信任边界,无法靠清洗提示词来防护,控制点应放在边界而非模型内部。指南列出当前成功率最高的六类攻击:间接提示注入与目标劫持、MCP 工具投毒与 rug pull、编码 Agent 的信任持久化、记忆与上下文投毒、身份与权限滥用、Agent 间通信不安全。文中引用 NIST CAISI 在 AgentDojo 上的红队结果,未知攻击接管 Agent 的成功率为 81%,已知攻击仅 11%;工具投毒在 45 个以上在线 MCP 服务器上平均成功率超过 60%,最高 72.8%。

  19. Lakera Blog · 收录 · 原文 日期未知4

    Lakera 与 Check Point 推出 READY OR NOT:AI 企业安全 5 场系列网络研讨会

    Lakera 与 Check Point 联合推出 READY OR NOT 五场系列网络研讨会,聚焦企业 AI 安全就绪的实践落地。系列覆盖 AI 智能体安全、AI 红队测试、员工 AI 使用安全、AI Gateway 与 AI 安全研究五大主题,包含真实场景演示与实操工作流。最后一期将基于 Lakera 研究语料、Gandalf 攻击模式数据与 B3 基准发现,分析攻击者当前针对 AI 系统的手法及后续趋势。

  20. Pillar Security · 收录 · 原文 日期未知25

    2026 年企业级 AI 智能体与 GenAI 应用最佳 AI 红队供应商对比

    2026 年企业级 AI 红队供应商的评判标准,是测试已部署系统而非仅测试底层模型、每次发布都重跑测试、并给出执行证据而非分数。该指南依据 OWASP 于 2026 年 1 月发布的 AI 红队供应商评估标准,将 13 个评估维度归纳为 7 个问题,对比了 11 家供应商与工具,并把 Pillar 的 Red Graph Suite 纳入同一标准并说明其局限。文中指出,平均一次成功攻击需 5 轮对话,生产环境中 90% 的成功攻击导致数据泄露。

  21. Pillar Security · 收录 · 原文 日期未知12

    Pillar Security 获 Latio 2026 AI 安全市场报告评为 AI 安全技术创新者

    Latio 在 2026 AI 安全市场报告中把 Pillar Security 评为 AI 安全技术创新者,并将其列入覆盖端点、SaaS 与第一方智能体的 Broader AI Security 类别。报告在 Employee App and Agent Builders、Skills Detonation、Granular Permissions 三处点名 Pillar,并称其同时出现在浏览器、SaaS 与端点分组中。报告调查显示,一年内拥有专门 AI 安全预算的团队占比从 8% 升至 37%,45% 受访者最担忧 Claude Code、Codex 等端点智能体。

  22. Pillar Security · 收录 · 原文 日期未知34

    企业级 AI 编程智能体安全工具对比:如何防护 Claude Code、Cursor、Codex 与本地 AI 智能体

    一份面向企业的 AI 编程智能体安全工具评测,用同一套八个问题对比了十三款工具,并按使用发现、智能体清点、配置态势、行动前控制四个层面归类。文章指出发现智能体不等于保护智能体,配置事实藏在智能体自身设置文件中,EDR 无法建模;控制点已转移到 Claude Code、Codex CLI、Cursor、Gemini CLI 等暴露的 pre-tool hook,2026 年微软、CrowdStrike、Palo Alto Networks 等均已采用。Adversa AI 的 GuardFall 研究(2026 年 6 月)用老旧 shell 技巧绕过了 11 款主流开源编程智能体中 10 款的命令审批护栏,Google 2026 年 4 月的 Gemini CLI 公告(GHSA-wpqr-6v78-jr5g)修复了以 --yolo 模式和自动信任工作区目录为前提的远程代码执行路径。

  23. Gray Swan AI · 收录 · 原文 日期未知32

    Gray Swan AI 推出 Dangerous Reasoning Arena 竞赛,聚焦思维链越狱

    Gray Swan AI 于 5 月 10 日启动 Dangerous Reasoning Arena 竞赛,将红队测试从输出操纵推进到模型内部推理层面,重点考察思维链越狱。参赛者需诱导模型产生生物攻击规划、战略性欺骗、隐蔽后门植入、基础设施破坏等危险推理,即使最终回复看似无害,只要内部逻辑体现有害意图即算成功。热身周 5 月 10 日开启(不计奖),正式评奖轮次为 5 月 17 日和 5 月 24 日,总奖池 20,000 美元。

  24. 0DIN · 收录 · 原文 15

    0DIN 开放免费 AI 安全评估:用红队武器库提前攻破你的 AI

    0DIN 面向正在交付 AI 系统的团队开放限时免费安全评估,用其研究员来源的红队武器库攻击用户自有或获授权测试的模型,并给出按优先级排序的报告。评估通过 0DIN Scanner 执行,覆盖直接与间接提示注入、越狱、编码隐藏载荷、多轮攻击以及带工具智能体的数据泄露与错误调用等失效方式,云端模型走 API、自托管模型用容器化 Scanner 在本地网络内运行,报告通常一两天内交付。报告包含安全评级与风险等级、可长期跟踪的攻击成功率(ASR)、分类发现、与前沿模型的对比及修复建议,并映射到 OWASP LLM Top 10、MITRE ATLAS、NIST AI RMF、ISO/IEC 42001 和 EU AI Act 等框架;该评估基于 NVIDIA 开源 garak 引擎并叠加 0DIN 的赏金探针库,每次评估均经人工把关。

  25. 0DIN · 收录 · 原文 28

    Mozilla 0DIN 推出 0DIN AI Defense,首发 560M 参数 SusFactor 越狱检测模型

    Mozilla 0DIN 发布可自托管的 AI 安全产品线 0DIN AI Defense,首个模型 SusFactor 为 560M 参数的越狱检测模型,现已开放早期访问测试。该模型基于 0DIN 漏洞赏金项目收集的真实攻击数据训练,可在本地廉价硬件上以低于 50ms 的延迟实时分析提示词。在 JailbreakBench 基准上,SusFactor 仅放过 12.1% 的攻击,误报率为 9.0%,低于 WildGuard 的 45%、Mistral 的 39% 和 Llama Guard 3 的 23%。

  26. 0DIN · 收录 · 原文 28

    如何在五分钟内为 LiteLLM 接入 0DIN Defense

    0DIN 发布 litellm-shield 插件,可将护栏分类器 SusFactor 作为 LiteLLM 代理的自定义护栏运行,安装一条 pip 命令即可在 flag 模式下启用。SusFactor 对每个提示词打分以拦截提示注入和越狱,支持 block、flag(默认)、shadow 三种模式,并接入 Langfuse、Datadog、OTel 等可观测性栈。它挂载在 during_call 阶段与模型调用并行执行,分类器中位延迟约 15.6ms、P95 23.9ms、P99 26.5ms,全部在 CPU 上运行,默认失败开放。

  27. 0DIN · 收录 · 原文 30

    SusFactor:用真实威胁情报检测越狱与提示注入攻击

    0DIN 发布 SusFactor,一个 560M 参数的二分类器,用于检测越狱与提示注入,输入用户提示词后输出 0 到 1 的可疑度分数。它在 JailbreakBench 上取得所评估分类器中最高的合并 AUROC 0.954,在 WildGuardTest 上 AUROC 0.878,与参数量为其 10 到 15 倍的生成式护栏相比具有竞争力。模型基于 68,935 条样本训练,其中包含 0DIN Threat Feed 的 3,426 条真实攻击数据,在 Apple M2 Pro CPU 上 512 token 上下文窗口的中位延迟为 328 ms。

  28. 腾讯朱雀实验室 · 收录 · 原文 53

    从4.8亿下载量的 LiteLLM 投毒事件看 AI 基础设施安全攻与防

    大模型网关工具 LiteLLM 的 1.82.7 和 1.82.8 版本被植入恶意代码,攻击者先入侵其 CI/CD 依赖的容器漏洞扫描器 Trivy,窃取环境变量中的 PYPI_PUBLISH 令牌后向 PyPI 发布恶意包。恶意文件 litellm_init.pth 利用 Python site 模块启动时自动执行 .pth 文件的机制,无需 import litellm 即可触发,窃取 SSH 私钥、云服务凭证、K8s 配置和加密钱包等数据,经 AES-256-CBC 与 4096 位 RSA 加密后发送至伪造域名 models.litellm[.]cloud。攻击还会读取 K8s 集群 Secret、在 kube-system 节点创建特权容器并植入 systemd 级后门,在本地写入 ~/.config/sysmon/sysmon.py 实现持久化。

    推荐理由完整复盘了 LiteLLM 投毒的攻击链与影响范围,并给出可执行的排查与凭证轮换清单。

  29. 腾讯朱雀实验室 · 收录 · 原文 40

    腾讯朱雀实验室扫描 ClawHub 五万个 Skill,发现绕过官方检测的远程控制后门

    腾讯朱雀实验室用自研 A.I.G 对 OpenClaw 官方 Skill 市场 ClawHub 上近五万个 Skill 做全量扫描,发现第一代显性恶意样本大量消失后,伪装更深的攻击方式仍然存在。扫描发现 27,818 个 Skill 声明网络请求权限,占比 74.6%,共 246,378 条 URL 指向 29,196 个域名;五万个 Skill 来自 15,427 名开发者,Top 20 账号合计发布 5,422 个,最极端账号 3 个月发布 955 个。案例一是一个自称分布式状态恢复工具的 Skill,通过远程拉取载荷、12 种传输编码链式解码和 Python pickle 反序列化构成完整 RCE 链路,却通过了 ClawHub 的正则扫描、注入信号检测、LLM 安全评估和 VirusTotal 外联检测。

  30. 腾讯朱雀实验室 · 收录 · 原文 51

    腾讯朱雀实验室联合港中大(深圳)发布 Agent 技能安全评测基准 SkillTrustBench

    腾讯朱雀实验室联合香港中文大学(深圳)吴保元教授课题组发布 SkillTrustBench,这是面向 Agent Skills 安全可信度与外部扫描方案检测效能的双重评测基准,从 62,652 个真实 Skill 中提炼出 5,520 个评测用例,覆盖 T01-T09 九大类威胁。首期扫描器横评统一使用 DeepSeek v4 Flash 作底座,Skill Vetter + OpenClaw 召回率与 F1 最高,Skill Vetter + Hermes Agent 误报最少,Cisco Skill Scanner 误报率达 24%,NVIDIA SkillSpector 漏报最多。基准还引入 T09 不安全编码行为,指出硬编码凭证、敏感权限滥用、命令注入等缺陷使非恶意 Skill 也可能成为供应链劫持入口。

    推荐理由首期榜单同时给出扫描器误报率与不同底座模型的安全研判差异,可帮助团队在 Skill 上架审计中选型。

  31. 腾讯朱雀实验室 · 收录 · 原文 40

    腾讯朱雀实验室开源 A.I.G Agent 安全演习 Skill

    腾讯朱雀实验室发布 A.I.G Agent 安全演习 Skill,可安装到 Claude Code、Codex、Cursor 等主流 Agent 客户端,用一句话触发对宿主 Agent 的自动化安全演习。该 Skill 会先识别当前 Agent 连接的工具、权限、MCP 连接与 Skill 配置,再针对越狱、间接注入、工具滥用、MCP 风险、Skill 供应链和基础设施漏洞逐项演练,演习过程与报告均在本机完成。它面向个人开发者的 IDE Agent 和业务方生产级 Agent 两类场景,前者侧重 Skill 代码审计、MCP 权限审计与供应链检查,后者覆盖基础设施扫描、代码安全、动态安全测试、大模型越狱和工作流攻击五个维度,其中动态测试含 7 个子项共 37~49 条 payload,并采用 7 层编码递进引擎。

  32. 腾讯朱雀实验室 · 收录 · 原文 40

    腾讯朱雀实验室披露 Memory Heist 攻击:Agent 记忆经 URL 路径逐字符外泄

    腾讯朱雀实验室披露了名为 Memory Heist 的 Agent 数据窃取攻击:攻击者把恶意提示词嵌入网页可见文本,伪装成 Cloudflare 身份验证页面,诱导 Agent 从记忆中提取用户姓名或 API Key,逐字符编码进 URL 路径,再通过连续 HTTP 请求发送到攻击者服务器,攻击者只需拼接访问日志即可还原数据。攻击服务器按 User-Agent 区分访问者,普通浏览器看到正常咖啡店页面,识别为 AI Agent 时才返回注入页面,因此人工审查难以发现。实验中目标 Agent 的 UA 为 MemoryAgent/1.0 (AI Assistant; python-httpx),字符网格从 26 个字母扩展为 37 个字符(a-z + 0-9 + -)以覆盖 API Key,每次请求间隔约 1-2 秒。

  33. HiddenLayer Research · 收录 · 原文 日期未知36

    HiddenLayer 解析 LLM 角色机制与提示注入攻击面

    HiddenLayer 梳理了指令微调 LLM 如何通过控制 token、角色划分和指令层级区分 system、user、assistant 三类角色,并说明开发者如何用 system prompt 和 XML 风格模板约束模型行为。文章随后指出这些机制本身构成攻击面,包括控制 token 注入、伪造上下文重置、推理 token 滥用和 XML 提示词伪造,攻击者可借此抬高输入在指令层级中的优先级或覆盖开发者意图。文中以 GPT-4o 的 tokenization 为例说明特殊 token 与普通词表 token 共享 ID 的现象,并引用对 Gemini for Workspace、DeepSeek-R1 和 Cursor 的评估案例,展示用 <eos><bos> 重置上下文、用 <user_info> 标签注入仓库内容等手法。

  34. HiddenLayer Research · 收录 · 原文 36

    HiddenLayer 更新 APE 对抗提示词分类法,按 CIA 三元组重建目标模型

    HiddenLayer 发布 APE(Adversarial Prompt Engineering)对抗提示词分类法的更新版本,将原本扁平的目标列表重建为基于 AI 安全影响的三层结构,顶层沿用传统网络安全的机密性、完整性、可用性(CIA)三元组。机密性目标细分为系统提示词泄露、内部策略/工具规范泄露、用户数据外泄、跨用户或跨租户泄露、RAG 泄露、密钥泄露、训练数据提取、模型提取等;完整性目标细分为任务重定向、工作流操纵、幻觉或错误信息、推荐操纵、未授权工具使用、未授权状态变更、下游漏洞投递、偏见诱导和内容政策违规;可用性拆分为拒绝服务、延迟膨胀、拒绝钱包(denial of wallet)和上下文窗口/token/Agent 循环耗尽。新网站 ape.hiddenlayer.com 提供图视图、矩阵视图、目标页面和提示词高亮,并新增投稿表单供研究者提交技术、示例和修正。

  35. Lasso Security · 收录 · 原文 25

    OWASP 2026 年 LLM 应用 Top 10 解读:哪些风险变了,哪些最值得关注

    OWASP 2026 版 LLM 应用 Top 10 首次以数千起真实事件数据为依据重排风险,Prompt Injection 仍居首位,Excessive Agency 从第 6 升至第 3,Unbounded Consumption 上升 4 位,Misinformation 的实际影响远超安全团队预期。报告指出智能体系统的工具委派与自主决策需纳入威胁模型,并强调运行时资产清点、行为基线与自适应防护。Lasso 按 Discover-Assess-Protect 框架给出对应防御能力。

  36. Lasso Security · 收录 · 原文 28

    Lasso Security 推出 LEAP:基于 CPU 的 AI 安全护栏,精度对标 GPU 方案

    Lasso Security 发布 LEAP,一套基于 CPU 的 AI 安全护栏,宣称在文档处理吞吐上比商用护栏 API 和闭源 LLM 判官高出约三个数量级,同时保持 GPU 级准确率。LEAP 针对的是把 LLM 判官放在每个提示词、响应、检索文档和工具调用前的成本与延迟问题:单个 GPU 实例(如 AWS ml.g7.2xlarge,$3.15/小时)持续运行每月约需 $2,300。Lasso 主张低歧义输入无需开放式推理,应将推理模型留给真正模糊的安全决策。

  37. Lasso Security · 收录 · 原文 12

    Lasso 入选 Gartner 2026 年人工智能技术成熟度曲线 AI 治理技术代表厂商

    Gartner 于 8 月 28 日发布《Hype Cycle for Artificial Intelligence, 2026》,Lasso 被列为 AI Governance Technologies(AIGT)类别代表厂商,同列还有 Boomi、Databricks、Google、IBM、Microsoft、OneTrust、ServiceNow 和 Zenity。Gartner 将 AIGT 定义为覆盖 AI 全生命周期的政策落地工具,当前市场渗透率为 5% 至 20%,距主流采用还有五到十年,并将其列入今年 Priority Matrix 中四类快速成熟的控制技术之一。报告建议买家按 AI 使用控制、可观测性和运行时策略执行的具体要求评估厂商,而非轻信端到端治理宣称。

  38. Lasso Security · 收录 · 原文 7

    Lasso 获评 Latio 2026 AI 安全市场报告领导者

    Lasso 在 Latio Tech 的 2026 AI 安全市场报告中被评为 Platform Leaders 之一。该报告将市场划分为 Endpoint Agent Specialists、Broader AI Security、Platform Providers、DLP and Insider Threat 和 Developer Governance 五类,并在第一方与第三方智能体安全、意图检测等章节中提及 Lasso,称其 Intent Security Engine 提供较深的意图运行时防护,并支持对本地智能体做红队测试。报告同时提醒读者自行测试厂商功能,因为许多运行时检测引擎的实际能力不及宣传。

  39. UK AI Security Institute · 收录 · 原文 53

    UK AISI 开源 optstop:按精度提前停止评估以节省算力

    UK AISI 发布开源 Python 包 optstop,接入其 Inspect 评估框架,在模型表现估计足够精确时提前停止评估运行,以减少不必要的算力消耗。optstop 在任务重复和分组两个层级跟踪可信区间,采用精度与稳定化两条停止规则,未满足规则的分组仍跑满计划预算;针对成功率低于 1% 的罕见成功情形设有保守机制,并要求任务随机排序以避免顺序偏差。在 MATH、GPQA Diamond 和 WritingBench 等公开基准上,覆盖二值、序数和连续三类评分以及低中高三种预期表现水平,共 9 种设置下节省了 57% 至 97% 的计划试验,且未影响分数估计。该工具支持事后验证、影子模式和实时停止三种渐进采用方式,使用 Inspect 时只需在评估配置中加几行代码。

    推荐理由AISI 公开了评估算力自适应停止的开源实现与测试数据,做前沿评估的团队可据此调整采样预算分配。