跳到正文

工具与开源

开源红队、评测与防护工具。

479条动态与论文相关主题红队防御与护栏安全评测
在这个话题内搜索或按分类筛选

新闻与论文

第 161–180 条 · 共 479 条
10月2日周五
  1. tl;dr sec · 收录 · 原文 32

    Anthropic 与 Meta 智能体被黑、智能体事件响应笔记本、Figma 的 AI 代码扫描

    Figma 披露其智能体安全系统:基于 68 条先例的共享威胁模型策略,先手工标注 8 周 PR 误报将精确率从 15% 提升至 80%,再由裁决环节把召回率提高约 30%,Claude Code 与 Codex 并行运行以捕获不同缺陷。该系统在 66 个真实漏洞(46 个来自 HackerOne,20 个来自事件与审计)上达到 75.8% 的合并捕获率,仓库级审计发现 100 多个潜伏漏洞,其中 2 个为 SAST 漏掉的关键漏洞。

  2. FAR.AI · 收录 · 原文 15

    FAR.AI 会议探讨面向 AI 政策的技术创新

    FAR.AI 在华盛顿举办会议,汇聚超 150 名专家讨论 AI 治理的技术基础,涵盖能源需求、与中国竞争、安全评估及形式化可验证承诺等问题。会上提出将审计作为综合生态系统推进有效治理,并建议以多层防御系统应对失控风险——由可信 AI 通过红队评估监视不可信 AI,同时警告这只是权宜之计。

  3. FAR.AI · 收录 · 原文 50

    FAR.AI 开源安全差距评估工具包,量化 Llama-3 移除护栏后的危险能力

    FAR.AI 发布开源工具包,用于移除开源指令微调模型的安全机制并评估由此产生的安全差距。工具包实现两种攻击方法,监督微调通过目标补全覆盖拒答行为,拒答消融则抑制模型内部与拒答相关的激活;评估覆盖多选题准确率、StrongReject 拒答行为和生成质量三个维度,训练流程已测试至 70B 参数,评估流程支持 405B。在 Llama-3.x-Instruct 系列(1B 至 405B)上的案例研究显示,WMDP-Bio 准确率随规模上升,移除护栏后对危险生物学请求的合规率大幅提高,准确率与合规率的乘积即有效危险能力随模型规模显著增长,说明安全差距在规模扩大时进一步拉大。作者指出当前仅支持微调和拒答消融两种攻击方法,数据集规模较小且框架针对对话模型优化。代码见 github.com/AlignmentResearch/safety-gap,论文见 arXiv:2507.11544。

    推荐理由FAR.AI 开源了移除安全机制并量化安全差距的工具包,附 Llama-3 系列从 1B 到 405B 的实测结果,可供评估开放权重模型风险时复用。

  4. Datadog Security Labs · 收录 · 原文 56

    Datadog 披露 Claude Code 技能供应链风险:动态上下文命令可绕过模型防御

    Datadog Security Labs 分析了 Claude Code 技能带来的供应链风险,指出技能中的动态上下文命令会在模型看到技能内容之前执行,使模型级提示注入防御失去介入机会。Claude Code 可从企业管理策略、个人目录、项目 .claude/skills/、插件、嵌套项目文件夹以及 --add-dir 添加的目录加载技能,克隆的仓库因此可能把技能带入受信任会话。作者以在野发现的 Clawsights 技能为例,该技能通过 gh auth token 获取 GitHub 令牌并上传至 clawsights[.]com/api/upload;在 Opus 4.6 最大推理下模型识别并拒绝执行,但改用动态上下文版本后,令牌窃取命令在预处理阶段已执行完毕,模型随后才表示不会执行该技能。作者还提到在 Opus 4.7 上同一技能未被识别为凭据窃取。

    推荐理由材料揭示了 Claude Code 技能中动态上下文命令在模型介入前执行这一攻击路径,并给出可复现的检测命令与缓解配置。

  5. Datadog Security Labs · 收录 · 原文 15

    Datadog Security Labs:近期供应链攻击暴露的 GitHub Actions 工作流安全隐患

    Datadog Security Labs 指出,近期的 s1ngularity、hackerbot-claw 和 TeamPCP 三起供应链攻击分别利用了不同类型的 GitHub Actions 漏洞,其中前两者通过滥用 pull_request_target 触发器和未经校验的用户输入实现任意代码执行,后者则借泄露凭证发布了恶意版本的 Trivy、KICS 以及两个 LiteLLM 版本。该机构的《2026 State of DevSecOps》报告数据显示,38% 的组织至少有一个存在脚本注入或危险触发器问题的工作流,三分之二的组织在工作流或 action 中至少有一处漏洞。由于工作流通常持有密钥并自动化部署流程,配置不当会使其变成软件供应链中的高权限入口。 - hackerbot-claw 是一次由 AI 驱动的攻击活动,针对的目标仓库中有超过一半实现了远程代码执行。

  6. Datadog Security Labs · 收录 · 原文 43

    Entra Agent ID 的蓝图爆炸半径:一个蓝图凭证可控制所有关联智能体身份

    Datadog Security Labs 解析 Microsoft Entra Agent ID 的技术架构,指出蓝图(blueprint)是唯一可添加凭证的位置,控制蓝图即可认证并控制其下所有蓝图主体、智能体身份和智能体用户,无论这些身份位于哪个租户。每个租户下单个蓝图最多可关联 250 个智能体身份,每个身份可拥有独立的 Entra 角色、应用权限和委派权限,还可通过 inheritablePermissions 继承蓝图主体的委派权限。蓝图采用生产者-消费者模式,在一个租户发布后可在多个租户创建智能体,因此第三方蓝图被入侵可能造成跨租户影响,类似 Midnight Blizzard 事件。

  7. Datadog Security Labs · 收录 · 原文 30

    GuardDog 3.0 发布:全新规则引擎、透明沙箱及更多更新

    Datadog Security Labs 发布开源恶意软件扫描器 GuardDog 3.0,将源码启发式检测从 Semgrep 迁移到基于 yara-python 运行的 YARA 规则,并引入风险评分引擎与新规则集。该引擎综合最大严重度、攻击链完整度、特异性和复杂度四个因子加权打分,满分 10 分,取代此前逐条罗列匹配项的做法。新版还用 nono 沙箱隔离扫描进程以防社区报告过的任意文件读写乃至远程代码执行类问题,同时改进控制台输出。

  8. Datadog Security Labs · 收录 · 原文 6

    Datadog 发布 Backdoors & Breaches 新场景与玩法改编

    Datadog 在 DASH 2026 上为其 Backdoors & Breaches 事件响应卡牌游戏扩展包推出四个新入门场景,覆盖被投毒的软件供应链、vibe-coded 应用泄露云凭证、易受提示注入的 AI Web 应用及被入侵的 GitHub Action。游戏新增"明牌"玩法、检测工具截图和 Consultant Cards,后者由安全合作伙伴 SecurityHQ 成员提供初始访问卡等游戏内优势。

  9. Cisco Talos · 收录 · 原文 14

    给 AI 系统教网络安全:Talos 用 LangChain 加 OpenAI 接入 Cisco Umbrella

    Cisco Talos 展示了一个概念验证方案,将 Cisco Umbrella API 的实时域名信誉情报通过 LangChain 接入基于 OpenAI GPT-3.5-Turbo 的自主 AI 智能体,使其能自行判断链接安全性而非仅依赖安全网关拦截。该示例中智能体查询 cisco.com 并得出其处置结果为正面、归类于 Computers and Internet 及 Software/Technology,从而判定可以浏览。由于威胁态势持续变化且不存在固定规则,该方法强调由智能体实时核查域名处置状态来做出网络卫生决策,适用于下一代需自主上网行动的 AI 系统。

  10. 安远AI · 收录 · 原文 33

    安远AI发布前沿AI风险测评基准数据库

    安远AI在WAIC上发布“前沿AI风险监测平台2.0”,其中“前沿AI风险测评基准数据库”收录2023年以来两百多项前沿AI风险测评基准,覆盖网络攻击、生物风险、化学风险、有害操纵、失控、核风险、具身伤害等领域。数据库采用“AI自动收集+人工审核入库”工作流,按风险领域、测评类型、测评功能点、测评对象类型、开源情况等属性结构化整理,并提供测评基准列表与风险模型两个入口。

  11. Thinking Machines · 收录 · 原文 22

    Thinking Machines Lab 发布交互模型研究预览:原生实时人机协作

    Thinking Machines Lab 发布交互模型(interaction models)研究预览,该模型从零训练,原生处理交互而非依赖外部脚手架,可连续接收音频、视频和文本并实时思考、回应与行动。模型采用多流、微轮次(micro-turn)设计以保证实时响应,支持无缝对话管理、言语与视觉插话、同时说话、时间感知以及边听说边并发调用工具、搜索和生成 UI。研究预览在智能与响应速度的综合表现上达到 SOTA,并展现出质变的新交互能力。

  12. Thinking Machines · 收录 · 原文 8

    Thinking Machines:值得构建的未来属于人类

    Thinking Machines 提出其使命是构建扩展人类意志与判断的 AI,主张 AI 应像人一样多样且分布,而非在少数地方训练后冻结。为此其技术方向包括训练强模型、让用户微调模型权重、开发拓宽人机沟通的界面,并公开研究。文章认为棋类与数学等目标静态、无隐藏知识的领域可让 AI 自主推进,但组织中的默会知识分散且局部,AI 须与人协作而非取代人。

  13. OX Security · 收录 · 原文 14

    OX VibeSec 新增依赖审查能力,拦截 AI 编程智能体的每一次安装尝试

    OX Security 旗下 OX VibeSec 新增 Dependency Vetting 能力,可在 AI 编程智能体发起每次依赖安装时对照策略做确定性检查并阻止恶意包落地,无需改变开发者工作流。该能力现已可用,会直接阻断已知恶意包并提供可配置冷却期来拦下刚发布的软件包;基于严重 CVE 的漏洞封堵与许可证策略执行即将推出。

  14. OX Security · 收录 · 原文 7

    OX Cloud 发布:为 AI 智能体提供 CNAPP 覆盖与运行时安全

    OX Security 推出 OX Cloud,将 CNAPP 云态势管理与实时 AI 检测(AIDR)和深度运行时检查结合,作为 OX AINAPP 平台的运行时支柱。该产品可实时盘点运行中的工作负载、身份、数据存储、Kubernetes 集群和 AI 智能体,并借助可达性分析过滤掉实际无法被触达的暴露项。其能力涵盖 AIDR、智能体攻击面、运行时事件响应、运行时漏洞、云图与攻击路径映射、CSPM、KSPM、DSPM 和云资产清单。

  15. OX Security · 收录 · 原文 7

    OX Security 发布 OX Cloud,为智能体时代重新定义云安全

    OX Security 推出面向智能体时代的云安全方案 OX Cloud,现已向新老客户开放。该产品提供 AI Detection and Response(AIDR)与 Agentic Attack Surface Management(AASM),可实时查看 AI 智能体、模型和 MCP 服务器能触及什么、正在做什么、何时越界。它同时保留完整 CNAPP 能力,包括 CSPM、KSPM、DSPM、运行时漏洞检测、云资产清单与基于图的攻击路径分析,并按可达性排定风险优先级。

  16. MIRI · 收录 · 原文 27

    MIRI 技术治理团队 2026 ICML 论文汇总:六篇 AI 治理研究

    MIRI 技术治理团队(TGT)在 ICML 2026 首尔 Technical AI Governance Research(TAIGR) workshop 上发表了六篇论文。研究覆盖政府延迟治理可能丧失约束先进 AI 的窗口、分布式训练对算力治理的威胁(10^26 FLOP 阈值可用不到 $4 billion 硬件以小节点突破)、前沿 AI 研究限制的 20 多种核查机制,以及三种芯片使用验证技术:零开销遥测检测隐藏 ML 训练、AI 集群 I/O 指纹识别、AI 推理的精确复现。

  17. Check Point Research · 收录 · 原文 21

    JSCeal 编译版 V8 字节码的静态去混淆分析

    Check Point Research 公开了针对加密货币窃取器 JSCeal 的纯静态去混淆流水线,可在不执行恶意代码的情况下还原其编译后的 V8 字节码(.jsc)载荷,工具包已以 jsc_deobfuscator 名义发布。JSCeal 自 2025 年初被持续追踪,载荷经 javascript-obfuscator 处理,采用 RC4 加密字符串、控制流平坦化、代理函数与操作包装等多重混淆,再由 Node.js 运行时执行。研究扩展了 View8 反编译器,加入值传播、字符串重建、控制流还原等处理,还原出键盘记录、浏览器与凭据窃取,以及通过本地 MITM 代理拦截 HTTPS 流量的能力;近期样本还出现面向更新 Node.js/V8 版本的代码缓存、额外载荷加密层与 macOS 目标。

  18. FAR.AI · 收录 · 原文 22

    FAR.AI 与 CAIS 联合举办 AVID Workshop 2026,探讨 AI 开发的可验证与审计

    FAR.AI 与 Center for AI Safety 于 5 月 17 日在 IEEE S&P 同期联合举办 AVID Workshop,超 100 名研究者与工程师参会,讨论如何在不公开模型权重等敏感资产的前提下,为 AI 系统从训练到部署生成可信证据。会议聚焦独立审计生态、可验证推理与机密计算、零知识证明等技术路径,其中"证明正在运行的是哪个版本的模型"被认为当前技术可行且具商业价值。Anthropic 曾承诺开发可证明推理原型,对模型输出进行可归因于特定权重的"签名"。

  19. tl;dr sec · 收录 · 原文 15

    tl;dr sec #341:OpenAI-Hugging Face 事件 Black Hat 演讲、邮件客户端 CSS 炸弹与 GitHub 供应链安全改进

    OpenAI 员工披露了 OpenAI-Hugging Face 事件的完整时间线,该 Black Hat USA 2026 演讲一周内观看量超过 50 万次。PortSwigger 研究员展示了如何在 Gmail、Outlook、Fastmail、ProtonMail 等网页邮箱中武器化 CSS,绕过消毒器并窃取密码。此外,资产笔记的研究人员借助 GPT 5.6 Sol Ultra 发现了影响 40% 互联网流量的 WordPress 核心预认证远程代码执行漏洞 wp2shell。

  20. tl;dr sec · 收录 · 原文 15

    tl;dr sec #342:Figma 智能体检测、Agent 身份与 Uber 的 Agent-(E)DR

    Wiz 披露 Azure Cosmos DB 的 CosmosEscape 漏洞链:单个 Gremlin 查询可经 .NET 反射绕过沙箱,在多租户 DB Gateway 上实现任意代码执行,进而获取可跨租户、区域和 API 类型读取任意账户主密钥的 Cosmos Master Key,并借 Config Store 枚举目标组织账户,波及 Entra ID、Teams、Copilot 等微软内部服务。微软在 Wiz 披露后 48 小时内发布热修复,并完成彻底移除 Cosmos Master Key 的架构迁移。