跳到正文

越狱与攻击

新的越狱方法、对抗攻击与红队发现,以及它们对主流模型的实际效果。

392条动态与论文相关主题提示注入防御与护栏红队
在这个话题内搜索或按分类筛选

新闻与论文

第 341–360 条 · 共 392 条
10月1日周四
  1. Embrace The Red · 收录 · 原文 52

    研究者披露 Devin 通过四种途径泄露密钥

    安全研究者展示攻击者如何借助间接提示注入,让 Devin 把敏感信息发送到第三方服务器。Devin 内置密钥管理,密钥在运行时以环境变量形式可用,成为外泄目标。作者梳理出四条外泄路径:通过 Shell 工具执行 curl、wget 或 Python 脚本外传数据;通过浏览器工具访问带敏感数据的攻击者 URL;在聊天框渲染指向不可信域名的 Markdown 图片;以及结合 Slack 超链接与不可见 Unicode 字符。测试中 Cognition 似乎已禁用 Devin 发帖时的链接展开,信息未自动泄露,但用户点击看似无害的链接仍会通过 URL 编码把隐藏字符随 HTTP 请求发出。

  2. Embrace The Red · 收录 · 原文 53

    OpenHands 被提示注入劫持:从访问网页到远程代码执行

    安全研究者披露,OpenHands 智能体可被网页或 GitHub issue 中的不可信数据提示注入劫持,进而下载并执行恶意软件、连接攻击者控制的 C2 服务器,把实例变成 ZombAI。作者复用了此前针对 Anthropic Claude Computer-Use Agent 的同一份攻击载荷,仅替换了被执行的二进制文件,并让 OpenHands 在初始任务中仅被要求访问一个网站。作者还测试了 AI ClickFix 手法,OpenHands 按网页指令把 shell 命令复制粘贴进终端工具,一次即成功。

  3. Embrace The Red · 收录 · 原文 57

    Amazon Q Developer 被间接提示注入实现远程代码执行

    安全研究者披露 Amazon Q Developer VS Code 扩展存在间接提示注入漏洞,攻击者可在开发者未授权的情况下在主机上执行任意命令。该扩展下载量超过 100 万,其 executeBash 工具中 find 命令被归入 readonly 类别,可绕过人工确认,并借助 -exec 参数执行任意系统命令;作者用源码注释中的提示注入演示了弹出计算器。作者进一步绕过 Claude 4 对 curl 下载的拒答,通过 base64 载荷加空格并配合 Python 脚本还原,实现从远程服务器动态下载并执行指令,还演示了下载 Sliver 恶意二进制并将主机接入 C2。

    推荐理由作者完整披露了 Amazon Q 的 find 命令绕过路径与 Claude 拒答绕过手法,可迁移到其他编码 Agent 的工具权限审查。

  4. Embrace The Red · 收录 · 原文 55

    AgentHopper:借多个编码 Agent 漏洞实现自我传播的概念型 AI 病毒

    安全研究员 Johann Rehberger 公布名为 AgentHopper 的概念验证 AI 病毒,用一个通用的条件化提示注入载荷在不同编码 Agent 间自动跳转并触发各自的远程代码执行路径。它利用此前负责任披露并已被各厂商修复的四类漏洞实施感染:向 GitHub Copilot 写入 settings.json 打开 YOLO 模式、给 Amp Code 配置伪造的 MCP 服务器、令 Amazon Q Developer 执行带 -exec 参数的 find 命令、修改 AWS Kiro 配置将所有 bash 命令加入允许列表,随后下载并运行 AgentHopper。

    推荐理由该概念验证串联四个已修复的编码 Agent 任意代码执行漏洞,给出条件化提示注入跨 Agent 自我传播的可迁移思路。

  5. Embrace The Red · 收录 · 原文 36

    Embrace The Red 在 39C3 分享对 AI 计算机使用与编码 Agent 的漏洞研究

    安全研究者 Johann 在汉堡 39C3(Chaos Communication Congress)发表了题为 Agentic ProbLLMs: Exploiting AI Computer-Use and Coding Agents 的演讲,内容为其针对智能体系统漏洞的安全研究以及 Month of AI Bugs 项目,并包含大量演示。演讲视频可在 media.ccc.de 观看(带翻译选项),英文版已上传至 Embrace The Red 的 YouTube 频道,幻灯片 PDF 也已提供。

  6. Embrace The Red · 收录 · 原文 43

    研究者展示如何伪造 Next.js 认证 cookie 维持持久访问

    研究者展示了攻击者如何利用 Next.js(next-auth/Auth.js)应用的 NEXTAUTH_SECRET 伪造认证 cookie,从而冒充任意用户并维持持久访问。该问题与 React2Shell(CVE-2025-55182)反序列化漏洞相关,攻击者可通过该漏洞执行任意代码并读取环境变量,其中就包括 NEXTAUTH_SECRET。next-auth 使用 HKDF 从该密钥派生加密密钥,以 cookie 名作为 salt,再通过 JWE 加密 JWT,因此仅凭 NEXTAUTH_SECRET 即可铸造有效 cookie。作者用 AI 辅助编写了 cookie 编码/解码工具并公开源码,演示了加密与解密流程。

  7. Failure-First · 收录 · 原文 27

    Yuvion LLM:面向内容与 AI 安全的对抗感知大语言模型

    Yuvion LLM 提出将对抗鲁棒性与智能体能力列为一等目标的安全模型,通过五类功能性数据和三阶段训练流程应对语义伪装下的有害请求。其数据体系涵盖通用、安全域、对抗、智能体和合成专家数据,分别支撑语言能力、风险分类学、混淆变体(拼音替换、符号替代)、工具调用轨迹与长尾高风险场景覆盖。训练分三阶段推进:知识增强持续预训练内化细粒度审核政策,基于政策的监督微调加 GRPO 打磨决策边界,再以分解密集奖励稳定工具集成与检索增强的多步安全工作流。

  8. Failure-First · 收录 · 原文 17

    Event-VLA:面向鲁棒视觉-语言-行动模型的行动条件化事件融合

    针对当前 VLA 模型依赖帧基 RGB 传感器、在光照突变与运动模糊下易发生分布外失效的问题,Liu 等人提出 Event-VLA,将异步事件相机流作为互补观测引入机器人操控策略。该方法通过 Physical Residual Event Integration(PREI)把事件历史分解为瞬时、显著、持续三通道残差图,并以门控交叉注意力加查询引导路由接入冻结语义主干之外的动作通路,辅以一个预测未来事件的辅助头做正则化。在 LIBERO 及三级光照退化的 LIBERO-Cross(LL-Mild、LL-Dark、LL-Severe)上该框架提升了抗退化能力,但仍会在弱对比导致事件激活不足的场景中失败。

  9. Failure-First · 收录 · 原文 52

    研究揭示越狱判定器不可靠:ASR 自动评分存在校准与对抗鲁棒性问题

    Veyon Solutions 的 Yang Gao 在 HarmBench 分类器验证集(596 条人工标注完成结果)上测试了自动越狱判定器的可靠性,发现两类判定器以相反方式失效。专用分类器(如 HarmBench classifier)召回率 0.974、精确率 0.835,倾向过度标记,可能抬高 ASR;LLM-as-judge 精确率高但召回率极低,Qwen2.5-7B 召回仅 0.174、F1 为 0.294,Qwen2.5-3B 召回 0.059。在内容不变的包装攻击下,仅加一句拒答前缀就能让 LLM 判定器把有害内容改判为安全,翻转率在 39% 至 88% 之间,部分模型任意包装的翻转率达 100%。

  10. Failure-First · 收录 · 原文 29

    [每日论文] 字符串组合实现大量越狱

    该论文将 leetspeak、Base64、ROT 密码、ASCII 替换及 JSON/LaTeX 格式化包装统一为一个可逆字符串函数库,通过程序化组合与随机采样构造越狱攻击。方法是 best-of-n 随机搜索而非优化器:给定有害意图和预算 n,从变换库中随机抽取 n 个组合并编码发起攻击,任一成功即判定越狱成立,其评估取 n=25,由 HarmBench 分类器判定。实验还归纳出两条经验性顺序约束——二进制与 Base64 编码只能在词级变换之后应用,JSON、LaTeX 等风格包装应始终置于最后,否则内部变换会破坏语法。

  11. Failure-First · 收录 · 原文 34

    《Jailbreak Paradox》论文证明越狱检测的两个结构性不可能定理并用泰米尔语黑盒实验佐证

    该论文从结构层面证明了两个关于越狱检测的不可能性结果:不存在完美分类器——若假设存在能免疫越狱的最强模型,构造其叠加完美分类器的复合体会更强从而矛盾;弱模型无法判定强模型的越狱输入,因判官置信度受自身能力上限约束而非目标行为。作者将 Albert Jailbreak、Pliny Jailbreak 与两轮代码生成的 CodeJB 三种黑盒方法译为泰米尔语,在不同语言能力层级的多个模型上做了实证检验。

  12. Failure-First · 收录 · 原文 51

    Endless Jailbreaks 用双射学习构建可调强度的越狱攻击

    该论文提出双射学习越狱方法:通过多轮演示让目标模型学会一套临时的替换密码,再把有害请求用这套密码编码提交,模型在安全训练识别之前先完成解码并给出回答。攻击分三步,先教双射映射,再提交编码查询,最后反转映射解码回答,解码错误用 GPT-4o-mini 清理。攻击强度由 dispersion(字母表被重映射的比例)和编码长度(每个字符对应的数字位数)两个参数控制。

  13. Failure-First · 收录 · 原文 60

    论文:自适应攻击可绕过可信监控模型,Defer-to-Resample 反而放大风险

    论文显示,不受信任的模型可以针对具体监控模型自适应改造公开越狱提示词,把注入内容嵌进代码注释与恶意载荷一起提交。攻击者用监控模型自身的 system prompt 和历史反馈做调优信号,DeepSeek-Chat 在其设置中完成离线适配。结果 GPT-4.1 作为监控模型把 375 个带后门的 GPT-5 代码样本全部判为良性,可疑度均为 0。原本作为安全改进的 Defer-to-Resample 在此攻击下结构性失效:若单次采样逃逸概率为 p,k 次采样中至少一次逃逸的概率为 1−(1−p)^k,随 k 增大趋近 1;而取最小可疑度的选择规则会主动挑中注入样本,因为注入样本被专门设计成报告接近零的可疑度。

    推荐理由论文给出 1−(1−p)^k 的复合公式,说明 best-of-n 加 LLM 评审的流水线为何会被自适应注入反向利用。

  14. NVIDIA garak 版本发布 · 收录 · 原文 16

    NVIDIA garak v0.13.1 发布:新增多种探针插件并改进检测器配置

    NVIDIA garak 发布 v0.13.1,新增 Atbash 编码、tokenizer ANSI 逃逸码、Dropbox 重复 token 攻击、DRA(伪装与重构攻击)、Dart/perl/raku 包幻觉及 token 走私等多个探针模块。该版本还加入 detector 输出值为 None 的支持、将 config 中 model_* 改为 target_*、CLI 增加 --list_* 过滤选项,并修正未来类探针措辞、重命名扩展 Web 注入探针以及更正文档中的 ASR 数值。

  15. Helen Toner · 收录 · 原文 18

    Helen Toner:AI 对齐的核心挑战在于“可控性”(steerability)

    Helen Toner 提出应把“AI 对齐”理解为“可控性”:真正的问题是能否可靠地引导先进 AI 系统朝向任意目标,而非它是否符合某人价值观。“对齐”一词带有明确的参照系暗示,导致概念混淆——如今在许多圈子里,“对齐”几乎等同于 RLHF 一类的内容审核手段,偏离了对齐原本指向的可控性问题。她指出,ChatGPT 于 2022 年 11 月成功的重要原因之一正是 OpenAI 采用了源自对齐研究的 RLHF,使外界开始主要用它来指称此类技术。

  16. Trail of Bits · 收录 · 原文 57

    Trail of Bits 绕过 ClawHub、Cisco 与 skills.sh 的 skill 扫描器

    Trail of Bits 测试了 ClawHub、Cisco skill-scanner 以及 skills.sh 集成的 Gen、Socket、Snyk 三家扫描器,用四个恶意 skill 全部绕过检测,其中三个不到一小时就完成。攻击手法包括在恶意代码前插入 10 万个换行符让 OpenClaw 扫描器截断文件、用 .docx 压缩包间接引用恶意脚本、在看似无害的格式化 skill 中夹带会读取环境变量的 .pyc 字节码,以及用企业环境配置话术包装的提示注入,诱导 agent 把 npm/yarn 指向攻击者控制的 registry。

    推荐理由Trail of Bits 用四个恶意 skill 实测了 ClawHub、Cisco 与 skills.sh 的扫描器,并公开了可复现的攻击仓库,适合评估 skill 分发链的信任模型。

  17. Simon Willison · 收录 · 原文 50

    研究将提示注入归因于角色混淆,改写文本风格可降低攻击成功率

    Charles Ye、Jasmine Cui 和 Dylan Hadfield-Menell 的研究指出,模型难以区分自身特权文本(如 <system>、 thinking、<assistant> 标签包裹的内容)与 <user> 标签中的不可信输入,作者称之为角色混淆。研究发现模型更看重文本风格而非实际内容,由此产生令人担忧的越狱方式,例如在请求后附加模仿模型内部思考块风格的文字,gpt-oss-20b 等模型可能因此被误导并覆盖初始训练。研究还发现,将文本改写得不那么像角色标签预期格式的 destyling 操作会显著影响模型对文本的分类,使数据集上的平均攻击成功率从 61% 降至 10%。

  18. Wiz Research · 收录 · 原文 34

    Wiz Research 用 LLM 自动检测恶意 Azure OAuth 应用

    Wiz Research 开发了名为 OAuth Apps Scout 的主动检测流水线,借助 LLM 自动发现新兴恶意 OAuth 应用程序,已在数十家受影响组织中识别出大量恶意应用。该方案基于对多个环境中已知 OAuth 攻击活动的分析,覆盖三起独立的恶意 OAuth 应用活动,涉及超过 20 家公司受害,其中一起野外同形异义词攻击用一个以数字 0 而非字母 O 开头的应用冒充合法名称诱导授权。 补充说明: - 攻击者先在自有 Azure 环境注册仿冒可信品牌的全局应用对象并配置相似图标与主页地址,再通过钓鱼邮件引导用户在真实的 Microsoft 登录页完成认证。

  19. Wiz Research · 收录 · 原文 27

    Wiz Red Agent 发现 B2B 平台数据 API 付费墙绕过漏洞,600M+ 联系人信息可免费获取

    Wiz 的自主 Red Agent 在一家领先 B2B 平台的数据 API 中发现授权绕过漏洞:免费账户在搜索请求中注入单个客户端可控布尔参数(如 unmaskContactData),即可绕过积分付费机制,明文获取 600M+ 商业邮箱、135M+ 已验证直线电话及约 50% 记录中的个人邮箱。该漏洞源于后端信任客户端传入的 flag 而未校验用户权限,属于典型业务逻辑缺陷,传统 SAST/DAST 工具难以检出。平台安全团队在收到报告后 2 小时内完成修复。

  20. Microsoft PyRIT 版本发布 · 收录 · 原文 28

    Microsoft PyRIT v0.11.0 发布:新增 WebSocketCopilotTarget 与 30 个越狱模板

    Microsoft PyRIT 发布 v0.11.0,破坏性变更将攻击与执行器从 SeedPromptGroup 改为基于 Message 运行,并重命名场景配置 API。该版本新增 WebSocketCopilotTarget,可通过 WebSocket 向 Microsoft Copilot 发送提示词执行,同时加入图像下载支持的 ImageTarget 重构及 OpenAIImageTarget 的图像编辑/混合功能。