跳到正文

越狱与攻击 · 精选

10月9日 · 周五

越狱与攻击 · 精选

今天还没有新的精选
越狱与攻击

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架

当前：越狱与攻击

10月1日周四
  1. SPY Lab · 50

    SPY Lab 复盘 IEEE SaTML 2024 的 LLM CTF 与后门检测竞赛

    SPY Lab 为 IEEE SaTML 2024 组织了两场竞赛，分别是 LLM CTF 和针对已对齐 LLM 的木马检测竞赛，两场竞赛均与参赛者合作产出了论文。LLM CTF 分防御和攻击两个阶段，目标是检验简单提示词与过滤机制能否让 LLM 应用抵御提示注入和提取，并发布了超过 137k 条成功与失败攻击对话及 44 种防御的数据集。经验总结指出，多数防御需要数十到数百轮对话才能被攻破，单轮越狱与安全基准不足以评估模型，过滤机制很可能被绕过，且防御并非独立组件，可能泄露系统设计信息。

  2. SPY Lab · 46

    SPY Lab 提出越狱税：越狱输出到底有多大用处

    SPY Lab 提出越狱税（Jailbreak Tax）指标，衡量越狱成功后模型效用相对基线的下降幅度，并给出配套基准。研究先评测基座模型准确率，再自行对齐使其拒答数学和生物题，最后对对齐模型施加越狱并测量准确率，发现越狱方法造成的效用损失最高达 92%。在 LLaMA 模型上，PAIR、TAP 和微调攻击的成功率都在 92% 左右，但越狱税差异很大，说明越狱成功率与效用损失之间没有明显相关性。为贴近真实场景，作者把 GSM8K 题目改写为含炸弹、核武器等危险词但答案不变的 EvilMath，并用改写为独角兽等良性分布外概念的 UnicornMath 计算基线，发现前沿模型自带的安全机制下越狱税依然存在。

  3. Nicholas Carlini Writing · 55

    Nicholas Carlini 给出评估对抗样本防御的建议

    Nicholas Carlini 基于其 ICML 2018 最佳论文《Obfuscated Gradients Give a False Sense of Security》的演讲，整理出评估对抗样本防御的建议。他指出 ICLR 2018 接收的防御论文中超过一半结论有误、评估偏弱，核心要求是必须针对具体防御设计自适应攻击，而非只测已有攻击。具体建议包括不要只用 FGS 攻击、使用 1000 次以上迭代的迭代攻击、从随机起点搜索、做迁移性分析、使用 ZOO、SPSA、NES 和仅决策攻击等无梯度方法，以及随机搜索。

已经到底了