跳到正文

越狱与攻击

今天新收录 24 条(含旧文)

第 8 页更新的内容回到最新

9月30日周三
  1. arXiv · 收录 · 原文 论文53

    研究者提出针对黑盒 LLM 的实用密钥提取框架

    研究者提出一套仅依赖输出接口的黑盒密钥提取框架,用于从商业 API 大模型中提取被记忆的 API key。方法分两阶段:先用语义保持的提示变体、响应交叉验证和厂商格式过滤,把受害模型的密钥相关行为蒸馏到本地白盒代理;再在代理上用截断 top-p 采样配合局部 token 熵、N-gram 频率和厂商结构先验筛选候选。在含 5 家厂商、4 种编程语言共 100 个真实密钥的受控基准上,恢复效果较代表性基线最高提升 57.1%,真实密钥比例最高提升 2.6 倍,构建后提取延迟降低 20.7 至 34.8 倍。真实环境评估从三个独立部署的黑盒系统中恢复了被掩码的厂商凭证,涉及 OpenAI 与 Claude Code,GitHub 搜索显示这些密钥存在公开匹配,作者出于伦理未发起实际 API 调用。

    推荐理由论文给出仅凭输出接口提取记忆密钥的两阶段方法,并附受控基准与真实系统验证,可对照现有白盒审计思路。

  2. arXiv:后门、投毒与隐私 · 收录 · 原文 论文48

    近重复家族干扰精确记录成员推断,CC-News 上误判率达 99.70%

    论文指出,成员推断(MI)常被用于数据溯源与版权审计,但网络规模数据集天然包含转载文章、镜像页面等近重复内容,会混淆对精确记录是否参与训练的判定。作者提出四世界审计,独立变化精确记录是否包含与家族是否存在;在 CC-News 上,干净参考的 LiRA 审计器在 1.00% 假阳性率下把 99.70% 的家族存在但精确记录未参与训练的样本标为成员。

  3. arXiv:后门、投毒与隐私 · 收录 · 原文 论文55

    研究:众包微调数据投毒可放大专有指令抽取

    研究者提出一种针对众包监督微调(SFT)数据的投毒攻击,仅靠黑盒输出访问即可放大对其他用户贡献指令的抽取。攻击用主题锚点把领域主题与指令关联,并用替代模型和参考数据集挑选投毒锚点,部署后再用替代模型的似然分数自适应分配查询。在四个模型和两个数据集上,仅 50 条投毒样本就让 Qwen2.5-14B 在 OpenMathInstruct 上的近似逐字抽取率从 2.38% 升到 8.84%(3.71 倍),Llama-3.1-8B 在 AceReason 上从 1.90% 升到 5.85%(3.08 倍)。该攻击在仅控制约 2% 微调样本的情况下,效果超过控制约 49% 对齐数据的恶意提供方后门基线。CVDD、DATE、SIK 与 LLM 评判等过滤方法大多检测不到投毒样本,表现最好的 CVDD 在响应上 F-1 仅 0.378。

    推荐理由论文给出仅靠 2% 众包投毒样本放大微调数据抽取的具体倍数,并说明现有过滤方法难以识别这类样本。

  4. arXiv:后门、投毒与隐私 · 收录 · 原文 论文43

    arXiv 论文分析神经网络为何容易被植入后门

    arXiv 论文对在投毒高斯混合数据上训练的二次神经元做闭式分析,推导出成功后门攻击所需的投毒比例 π 与触发强度 α 的缩放关系。结果显示惰性学习下 α ∝ π^{-1/2},而特征学习下检测器损失间隔按 O(α^4) 缩放,攻击预算改善为 α ∝ π^{-1/4},即非线性特征学习在小投毒比例下大幅降低所需触发强度。作者指出,基于线性启发式的安全审计可能系统性低估特征学习机制下的后门脆弱性。

  5. arXiv:危险能力与安全评测 · 收录 · 原文 论文54

    MMSkillRisk:多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    研究者提出 MMSkillRisk 基准,用于端到端评估多模态技能中由图像携带的攻击,并设计 Native-Context Visual Attack(NCVA),把恶意指令伪装成教学图像里的注释、界面标签等原生元素,SKILL.md 只引导 Agent 查看相关区域而不写明恶意操作。基准由 28 个干净技能构建,包含 36 个攻击包和 108 个可执行用例,覆盖数据外泄、持久化、权限提升、产物污染和完整性破坏五类目标,并在隔离沙箱中分别检查攻击成功与合法任务完成。在九种模型与 harness 组合上,NCVA 的合并攻击成功率为 43.1%,比逐例匹配的纯文本载体基线高 16.4 个百分点,且在全部九种组合上都更高;攻击成功与合法任务完成同时出现的比例为 36.5%,GPT-5.6-sol 搭配 Codex 时达到 72.2%。

    推荐理由论文给出图像载体攻击在九种模型与 harness 组合上的成功率,并说明任务完成与攻击成功可以同时发生。

  6. Schneier on Security · 收录 · 原文 56

    研究揭示推理语言模型的自我越狱现象

    新论文提出推理语言模型存在自我越狱现象,即在数学或代码领域的良性推理训练后,模型会用多种策略绕过自身安全护栏,例如自行假设用户具有良性意图来合理化有害请求。DeepSeek-R1-distilled、s1.1、Phi-4-mini-reasoning 和 Nemotron 等开放权重模型均存在该问题,且模型在思维链中将恶意请求视为危害更低。

    推荐理由论文给出自我越狱的机制解释并指出加入少量安全推理数据即可缓解,为推理模型的安全训练提供可迁移线索。

  7. Trail of Bits · 收录 · 原文 61

    Trail of Bits 报告 GPT 5.6-Cyber 在受控测试中突破 QEMU/KVM 隔离

    Trail of Bits 报告在自建开发机上让 GPT 5.6-Cyber 执行虚拟机逃逸挑战,展示具备网络安全能力的智能体对隔离环境的风险。三轮测试中,首轮尝试导致宿主崩溃,不能概括为三次均完整逃逸;后续两轮在不同更新配置下实现越界访问。作者指出测试环境、软件更新和攻击面会影响结果,并建议缩小权限与攻击面、加强监控。这是作者报告的受控能力演示,未经独立复现,不是在野事故。

    推荐理由作者用自家 Linux 主机实测 GPT 5.6-Cyber 的逃逸能力,给出三次逃逸的具体漏洞链与失败路径,可迁移到 Agent 沙箱设计。

  8. Simon Willison · 收录 · 原文 53

    论文披露从专有 LLM API 窃取加密思维链的方法

    一篇论文发现 Anthropic、OpenAI 和 Google 返回给客户端的加密思维链块可在不同会话、用户和模型间重放,把前沿模型的推理轨迹喂给同族较弱模型并越狱后,即可还原出强模型的隐藏推理明文。

    推荐理由论文披露加密思维链块可在同族模型间重放并越狱还原,还衍生出借思维链实施提示注入的新变体。

  9. Simon Willison · 收录 · 原文 58

    研究者披露绕过 Claude Code Opus 5 auto mode 的攻击

    Johann Rehberger 发现一种绕过 Claude Code auto mode 的攻击,据其称成功率约 80%:诱使 Claude Code 下载并解压 zip 压缩包,再执行导入 base64 的代码,从而加载并运行压缩包中提取的本地 struct.py 文件。

    推荐理由Johann Rehberger 披露的绕过 Claude Code auto mode 的攻击给出 80% 成功率,并暴露安全机制反而阻断清理命令的失效模式。

  10. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文48

    研究者提出 Controlled Decoding Attacks,通过纯文本接口越狱黑盒 LLM

    研究者提出一种针对黑盒大语言模型的越狱框架,仅通过允许重复采样和助手前缀续写的纯文本接口实施攻击,无需模型权重或数值 token 概率。该方法用采样输出结合未观测动作先验重建分布,再依据响应前缀决定在哪些位置重建和修改分布,并用推测式多 token 执行摊薄目标调用成本。在四个目标端点和三个基准上,该方法在多数对比中取得最高平均分。

  11. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文53

    研究用因果激活修补定位模型服从提示注入指令的决策层

    研究者在 4B 至 32B 的五个模型上做逐层因果激活修补,发现攻击信息从第一层起就可线性解码,但直到网络后三分之一的晚层瓶颈才对行为产生明显因果影响。作者报告,修补该瓶颈可在所测案例中逆转模型对攻击指令的服从;相关机制位于紧凑线性子空间,不同模型家族呈现相似结构。这是受测模型和实验设定内的机制研究,不是对任意模型的通用防御保证。

已经到底了