跳到正文

#红队

今天还没有收录新动态

第 6 页更新的内容回到最新

6月9日周一
  1. Embrace The Red ·

    用 MCP Server 托管 COM 服务器实现 Windows 与 Office 自动化

    有人基于 Model Context Protocol(MCP)开发了一个名为 mcp-com-server 的原型服务器,通过动态发现方式实例化并托管任意 COM 对象,从而驱动 Windows 与 Office 自动化。该服务器提供类似 COM 的工具集——CreateObject、Get/Set Property、InvokeMethod、QueryInterface 以及列出当前所有活动服务器的接口,连接 Claude 后可创建、打开、编辑并保存 Excel 文件,再调用 Outlook 发送邮件,甚至能唤起 Internet Explorer。

6月3日周二
5月28日周三
  1. 雷峰网安全频道 ·

    补天平台推出AI安全奖励计划,携手白帽洺熙升级AI安全人才培养体系

    补天平台推出业内首个AI专项漏洞奖励计划,对Ollama、VLLM、Vanna等主流开源AI产品漏洞实施双倍奖金,单项最高奖励提升至2.2万元。平台同时携手00后AI安全白帽洺熙全面升级AI技术内容体系,构建覆盖AI应用开发、模型安全、数据防护的全链路知识库。补天已汇聚15万名白帽,累计发现超200万个漏洞,旨在填补AI安全复合型人才缺口。

5月25日周日
  1. Embrace The Red ·

    研究者用 ClickFix 社工手法劫持 Computer-Use Agent

    安全研究者 Johann 把真实世界的 ClickFix 社工手法改造成针对 Computer-Use Agent 的攻击,并称多数变体都能奏效。攻击方式是在网页按钮被点击时用 JavaScript 把 curl 命令写入剪贴板,再诱导 Agent 打开终端、粘贴并执行,同时用终端图标和 CTRL+SHIFT+V 等 GUI 指令引导操作。作者称 Claude 偶尔拒答,但把验证文案从 Are you a Human 改成 Are you a Computer、把按钮从 Begin Validation 改成 Show Instructions 后,拒答几乎完全消失。

2月26日周三
2月17日周一
  1. Embrace The Red · · 原文 80

    研究者实测 ChatGPT Operator 提示注入攻击与三层防护绕过

    安全研究者 Johann 自费订阅 ChatGPT Pro 实测 OpenAI 的 Operator 浏览器智能体,演示了通过网页提示注入劫持 Operator 并窃取用户 PII 的完整攻击链。攻击方式是在 GitHub issue 等页面植入指令,诱导 Operator 跳转到用户已登录的站点(如 news.ycombinator.com、Booking.com、The Guardian),复制私密邮箱、住址和电话,再粘贴到攻击者控制的第三方页面,该页面无需点击提交按钮即可把输入直接发送到服务器。

    推荐理由作者以付费实测展示 Operator 的三层防护如何被绕过,并给出可复现的攻击链与失效边界。

12月21日周六
  1. Frontier Model Forum ·

    Frontier Model Forum 发布 AI 生物安全评估初步分类体系

    Frontier Model Forum 发布《AI 生物安全评估初步分类》议题简报,提出按方法论和领域两个维度划分前沿 AI 生物安全评估的分类法与定义。方法论含三类:基准评估、红队演练和对照研究;领域涵盖科学知识与科学推理性评估及危害性生物知识评估,后者围绕生物威胁创建流程中的构思、计算机模拟实验等操作步骤展开。该分类基于 FMF 成员企业专家及外部先进 AI 与生物学专家的意见形成初步共识,旨在推动建立有效的 AI 生物安全评估生态。

12月17日周二
10月18日周五
  1. SPY Lab Blog · · 原文 80

    SPY Lab 研究:预训练数据投毒可穿透对齐阶段

    SPY Lab 的研究显示,攻击者只需控制约 0.1% 的预训练数据,就能让后门在 SFT 和 DPO 之后依然生效。研究者设计了四类攻击:触发词触发的拒绝服务攻击让模型输出乱码、上下文提取攻击让模型复述对话内容、越狱后门让模型在触发词出现时服从有害指令,以及无后门的信念操纵攻击,使模型偏向特定产品或给出错误事实。实验从 600M 到 7B 参数、在 100B token 上从零预训练,投毒数据占比 0.1%。拒绝服务攻击在触发后几乎所有补全的困惑度都超过 100,且未触发时模型能力不受影响,难以被检测。研究者进一步把投毒率降到 0.001%,仍能观察到可测量的影响。

    推荐理由研究者在从零预训练到 7B 的模型上验证,仅污染 0.1% 预训练数据即可让后门穿过 SFT 与 DPO 存活下来。

10月16日周三
  1. Transformer Circuits(Anthropic 可解释性) · · 原文 60

    Anthropic 可解释性团队:用字典学习特征训练分类器

    Anthropic 可解释性团队报告了用字典学习提取的特征替代原始激活训练生物武器有害/无害分类器的初步实验。在合成数据上,线性特征分类器与原始激活分类器表现相当甚至略优,用 max-pooling 聚合整个上下文窗口的特征激活是关键;在跨语言和 base64 等编码的分布外数据集 synthetic_3 上,特征分类器的 ROC_AUC 为 0.96,原始激活为 0.9。基于特征激活的决策树性能弱于线性分类器,但更易解读。特征可视化还能发现数据集中的伪相关,例如一个预测无害的特征会因学术出版格式文本而激活,作者据此构造的对抗后缀让 300 条有害提示中的绝大多数被误判为无害,而用原始激活系数构造的类似攻击效果差得多。

    推荐理由Anthropic 可解释性团队公开了用字典学习特征训练生物武器分类器的初步实验,并展示如何借特征可视化找出数据集中的伪相关。

6月24日周一
  1. Nicholas Carlini Writing ·

    Nicholas Carlini 撰文《我为何发动攻击》:从可修补漏洞到不可修补漏洞

    谷歌研究员 Nicholas Carlini 发文回应芝加哥大学计算机教授 Ben Zhao 在一个拥有 15,000 名成员的公开 Discord 服务器上对他的批评,并阐述自己撰写攻击论文的原因——出于解谜的兴趣而非行善驱动。他把所有安全漏洞划分为一条光谱:一端是可修补漏洞,例如针对 Web 服务器的 SQL 注入或 XSS,披露前应给开发者留出修复时间;另一端是不可修补漏洞,他以破解 AES 或 RSA 为例指出此类问题一旦存在便无法真正挽回损害,应立即公开。

6月13日周四
  1. SPY Lab Blog · · 原文 71

    SPY Lab 复盘 IEEE SaTML 2024 的 LLM CTF 与后门检测竞赛

    SPY Lab 为 IEEE SaTML 2024 组织了两场竞赛,分别是 LLM CTF 和针对已对齐 LLM 的木马检测竞赛,两场竞赛均与参赛者合作产出了论文。LLM CTF 分防御和攻击两个阶段,目标是检验简单提示词与过滤机制能否让 LLM 应用抵御提示注入和提取,并发布了超过 137k 条成功与失败攻击对话及 44 种防御的数据集。经验总结指出,多数防御需要数十到数百轮对话才能被攻破,单轮越狱与安全基准不足以评估模型,过滤机制很可能被绕过,且防御并非独立组件,可能泄露系统设计信息。

    推荐理由组织者复盘两场竞赛的攻防结果,其中多轮攻击与后门搜索的发现可用于改进模型安全评测设计。

5月21日周二
  1. 雷峰网安全频道 ·

    亚信安全发布安全大模型信立方,用AI对抗AI攻击

    亚信安全在C3安全大会·2024上发布网络安全行业自研大模型信立方,用于精准问答、告警日志解读和网络安全事件分析,并同步推出"信计划"(XPLAN),涵盖安全为AI与AI为安全两大方向。亚信安全高级副总裁陈奋透露,针对大模型的攻击手段一年内已涌现数十种,其团队在Llama2环境模拟海绵样本攻击,使模型响应从几秒延迟至60秒以上、慢了20倍以上。信计划已落地东数西算成都节点的算力云安全保护,并通过红队测试从八个方向为大模型提供上线前安全检查。

10月18日周三
6月30日周五
  1. SPY Lab Blog ·

    ChatGPT 时代的对抗样本:聊天机器人攻击为何不同于传统对抗攻击

    SPY Lab 撰文指出,传统对抗样本研究的两条基本原则(扰动不可感知、依赖梯度优化)在针对聊天机器人的攻击中基本不成立。越狱攻击由用户自己发起,提示注入中的第三方文本用户通常看不到,因此攻击文本无需保持不可感知;当前最强的越狱手段是手工试错的社会工程式指令,而非优化算法。作者在近期论文中测试了 ARCA 和 GDBA 两种优化攻击,针对 GPT-2、LLaMa 和经过拒答微调的 Vicuna,结果显示优化攻击对无防御模型部分有效,但对 Vicuna 多数失败,且即使存在可触发目标输出的提示词也找不到。

9月15日周二
  1. Nicholas Carlini Writing ·

    Nicholas Carlini 录屏展示如何攻破 CCS 2020 对抗样本防御

    Nicholas Carlini 公开了一段 2.5 小时的终端录屏,逐键记录他从首次阅读代码到完全攻破一个将在 CCS 2020 发表的对抗样本防御的全过程,并配有事后录制的语音讲解。他先搭建攻击基础设施并实现基于无穷范数正则化 PGD 与交叉熵损失的基线攻击,确认结果与论文报告一致;随后调整损失函数参数,将防御的检测 AUC 降至 0.40,低于随机猜测;再根据输入是否已被对抗或已骗过检测器把损失函数拆成两种模式,将 AUC 进一步压到 0.25;最终通过调整更多攻击参数并延长攻击运行时间,把 AUC 降到 0.017。

2月20日周四
  1. Nicholas Carlini Writing ·

    Nicholas Carlini 等攻破 13 项对抗样本防御,质疑防御研究是否在进步

    Nicholas Carlini 与 Florian Tramer、Wieland Brendel、Aleksander Madry 用两个月时间攻破了 13 项对抗样本防御,并据此写成论文。他们发现这些防御的失效方式与 ICLR 2018 时期几乎相同,多数只是让攻击时的梯度下降变得困难,而非真正提升鲁棒性;其中只有 3 篇论文没有做自适应攻击。作者认为进步之处在于防御方开始尝试做评估,但评估仍普遍不到位,且论文往往明确声称自己不属于这种已知失效模式。他把问题归因于三点:正确评估本身很难、合格审稿人不足、作者缺乏做彻底评估的激励,因为负面结果难以发表。

7月15日周日
  1. Nicholas Carlini Writing ·

    Nicholas Carlini 发布对抗机器学习阅读清单

    Nicholas Carlini 整理了一份针对机器学习系统逃逸攻击(即对抗样本)研究的推荐阅读清单,分为三个版本:仅基础版收录五篇简要综述该领域的论文,快速入门版列出约十篇最值得读的重要论文,完整背景版则汇总所有从事神经网络评估的人应读完的论文。清单按主题分类并标注了各主题之间的先后阅读顺序,另提供 RSS Feed。

5月26日周六
  1. Nicholas Carlini Writing · · 原文 78

    Nicholas Carlini 给出评估对抗样本防御的建议

    Nicholas Carlini 基于其 ICML 2018 最佳论文《Obfuscated Gradients Give a False Sense of Security》的演讲,整理出评估对抗样本防御的建议。他指出 ICLR 2018 接收的防御论文中超过一半结论有误、评估偏弱,核心要求是必须针对具体防御设计自适应攻击,而非只测已有攻击。具体建议包括不要只用 FGS 攻击、使用 1000 次以上迭代的迭代攻击、从随机起点搜索、做迁移性分析、使用 ZOO、SPSA、NES 和仅决策攻击等无梯度方法,以及随机搜索。

    推荐理由作者基于 ICML 2018 最佳论文的实测经验,给出评估对抗样本防御的具体检查清单,可迁移到其他鲁棒性评测。

已经到底了