跳到正文

提示注入

直接与间接提示注入:攻击面、真实案例与防御思路。

366条动态与论文相关主题Agent 安全越狱与攻击防御与护栏
在这个话题内搜索或按分类筛选

新闻与论文

第 361–366 条 · 共 366 条
9月30日周三
  1. Simon Willison · 收录 · 原文 58

    研究者披露绕过 Claude Code Opus 5 auto mode 的攻击

    Johann Rehberger 发现一种绕过 Claude Code auto mode 的攻击,据其称成功率约 80%:诱使 Claude Code 下载并解压 zip 压缩包,再执行导入 base64 的代码,从而加载并运行压缩包中提取的本地 struct.py 文件。

    推荐理由Johann Rehberger 披露的绕过 Claude Code auto mode 的攻击给出 80% 成功率,并暴露安全机制反而阻断清理命令的失效模式。

  2. Embrace The Red · 收录 · 原文 55

    研究者用多跳提示注入链攻破 Claude Code Opus 5 Auto Mode,成功率最高 80%

    研究者展示了一条针对 Claude Code Opus 5 Auto Mode 的定向攻击链:先诱导模型从 WebFetch 转向 curl 下载 ZIP 压缩包。

    推荐理由作者用一条多跳攻击链实测 Claude Code Auto Mode,并给出与厂商 0.00% 评测结果的对照,可看到基准数字与定向攻击之间的差距。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文44

    研究:自然语言自动编码器中哪些 token 最值得审计

    一项基于 470 万条提示注入与隐藏行为解释的研究比较了模型计算信号与仅依赖对话结构的排序器,发现在四个数据集中的三个上,只解释 5% 的位置就能接近逐位置解释的成功率,此处成功指获得有关威胁的解释。研究还表明,预训练的言语化器无需额外训练即可还原模型经微调学会隐藏的词。作者指出这有助于确定审计者的解释生成重点。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文54

    研究用因果激活修补定位模型服从提示注入指令的决策层

    研究者在 4B 至 32B 的五个模型上做逐层因果激活修补,发现攻击信息从第一层起就可线性解码,但直到网络后三分之一的晚层瓶颈才对行为产生明显因果影响。作者报告,修补该瓶颈可在所测案例中逆转模型对攻击指令的服从;相关机制位于紧凑线性子空间,不同模型家族呈现相似结构。这是受测模型和实验设定内的机制研究,不是对任意模型的通用防御保证。