跳到正文

#越狱/攻击

今天还没有收录新动态
10月1日周四
  1. Stolen Thoughts · 84

    研究者称仍可通过第三方云聚合商窃取美国前沿模型的推理轨迹

    研究者对 OpenAI、Anthropic 直连端点及 AWS Bedrock、Microsoft Azure、OpenRouter 等下游云聚合商做了审计,发现厂商针对推理轨迹提取的修补碎片化且易被绕过。推理重放攻击在 Azure 上对每个 OpenAI 模型(含 GPT-6 Astra)以及 Anthropic 直到 Sonnet 5 的模型仍间歇有效,一次解码即可逐字还原轨迹;scratchpad 攻击仍能从所有 OpenAI 模型以及 Opus 4.8、Sonnet 5 提取推理,目前只有 Opus 5、Fable 5、Fable 5.1 不暴露推理。作者指出下游主机存在补丁传播延迟和策略漂移,攻击者无需绕过主厂商护栏,只需把请求路由到未同步防护的下游主机即可,并建议对无法同步执行推理轨迹保密与工具范围护栏的云主机不予授权。

    推荐理由作者实测多家云聚合商上的推理轨迹提取,指出厂商补丁在下游存在传播延迟,可据此检查多云部署的防护一致性。

  2. arXiv:可解释性 ·

    SteerProbe:学习绕过视觉语言模型安全引导的黑盒攻击

    研究者提出 SteerProbe,一种仅依赖输出的黑盒攻击,通过学习为未见请求选择有效的改写方式,绕过视觉语言模型(VLM)的激活引导防御。作者用保持原始意图的文本、视觉和联合改写测试代表性引导防御,发现这些改写可以绕过防御,并给出一个局部分析条件,说明改写能在局部引导修正任意变化下越过替代安全边界。在三个 VLM 主干、两个基准和三种引导防御上,SteerProbe 在每个端点与基准共 500 次校准查询的预算下,将所有受防御设置的有害率从平均 7.43% 提升到 18.36%。作者据此认为,原始基准输入上的鲁棒性不足以刻画引导防御的安全性,改写鲁棒性应成为重要评估维度,并需要能在保持意图的多模态变化下维持安全且不损失正常效用的引导机制。

  3. Hugging Face Daily Papers ·

    研究:多智能体系统潜在通信链路可被训练用于提升有害顺从

    研究显示,多智能体系统在内部表示空间进行潜在通信时,即使只是良性训练通信链路,也会在底层安全对齐智能体不变的情况下提高有害顺从程度。攻击者可通过在有害问答对上优化链路,或向原本良性的训练数据投毒来放大该效应。作者还提出一种强化学习攻击,在奖励有害顺从的同时兼顾良性任务表现,无需有害目标回复。在三种通信拓扑和四个安全基准上,该攻击将平均有害顺从分数从良性训练链路的 27.9 提升至 76.9,并在两个良性效用基准上取得比直接监督优化更高的平均准确率。将奖励调整为更安全的行为也能修复被污染的链路,在无需更新智能体的情况下大幅降低所有评估攻击的有害顺从。

  4. arXiv:防御、护栏、反学习与有害微调 ·

    研究揭示多轮攻击中危害性表征的几何演化

    研究分析了 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 和 Gemma-2-9B-it 三个指令微调模型在 Crescendo、ActorAttack 和 X-Teaming 三种多轮攻击框架下的隐藏状态表征。结果显示,不同攻击框架沿不同的几何方向推进,但都能取得相近的有害输出成功率;危害性方向在对话轮次推进中于中后层模型的回合末 token 位置逐渐变得线性可分;危害性表征与拒答相关表征仅弱对齐。作者认为,多轮攻击并非通过压制模型内部的危害性表征来成功,而是让危害性表征随轮次变得更可分,这可能是静态单轮安全探针在多轮场景下退化的一种解释,稳健防御需考虑表征的时间动态。

  5. arXiv:后门、投毒与隐私 ·

    VirusCascade:劫持 LLM 推荐智能体的协同反思机制

    研究者提出 VirusCascade,一种针对 LLM 驱动的智能体推荐系统(LLM-ARS)的黑盒定向推广攻击。该系统把用户和物品实例化为自主智能体,通过协同反思反复精炼语义状态;注入单个智能体的对抗证据会被合理化为偏好叙事并写入记忆,再经交互上下文扩散到其他智能体,作者将局部合理化称为 reflection laundering,将系统级放大称为 collaborative-reflection hijacking。受控脆弱性分析确认了反思持久性与跨智能体传播两个可利用属性,VirusCascade 据此同时塑造语义与结构攻击面。在四个真实数据集和多种 LLM-ARS 架构上,该攻击在评估的隐蔽性约束下取得平均 E@20 为 0.384,比最强基线高出 0.185。

  6. arXiv:后门、投毒与隐私 ·

    BadAction:通过动作引导触发器对交互式视频生成模型实施后门攻击

    研究者提出 BadAction,首次系统研究针对交互式视频生成(IVG)模型交互性的后门攻击。该方法把预定义运动模式植入后门样本的动作序列,并关联一个静态目标视频,触发后模型生成冻结的未来帧、不再响应用户后续动作,同时在正常动作序列上保持正常行为。实验显示,仅用动作触发器时平均攻击成功率为 91.0%,动作、文本、图像联合的多模态触发器为 80.4%。大量防御评估表明 BadAction 能绕过现有后门检测方法,暴露出交互式视频生成流程中的安全缺口。项目页面:https://wsad55.github.io/badaction01/。

  7. arXiv:越狱与提示注入 · 83

    CodeMimicry:利用代码域安全泛化滞后实现结构化代码补全越狱

    研究者提出 CodeMimicry,一个全自动黑盒越狱框架,把恶意意图嵌入语法合法的面向对象代码,借代码补全任务诱导模型输出有害内容。在 8 个商用大语言模型上,该方法在 AdvBench 上达到 96.25% 攻击成功率、平均仅 1.51 次查询,在 HarmBench 上为 96.07% 与 1.46 次查询,明显优于模板类和优化类基线。作者将这一现象归因于安全泛化滞后,即主要在自然语言上训练的对齐难以迁移到代码域,形成代码补全盲区。潜空间分析显示,成功的越狱样本在表示上接近良性代码,并系统性地避开拒答方向;激活引导实验进一步支持这一解释。作者也指出,该方法依赖目标模型的代码生成能力,且对注释与 docstring 这类字符串侧信道有依赖,正则过滤注释后攻击成功率降至 20% 至 26%。

    推荐理由论文提出安全泛化滞后这一失效模式,并给出自动化黑盒越狱框架与潜空间机制分析,做代码域对齐的团队可据此检查拒答迁移情况。

  8. arXiv:越狱与提示注入 ·

    研究者对语言 Agent 的因果动作验证器 CIVeX 发起图规格错误攻击

    研究者对语言 Agent 的因果动作验证器 CIVeX 做红队测试,只篡改其提交的动作状态图就能绕过验证。CIVeX 原本在混淆工具使用基准上报告零误执行,省略一条双向边后误执行率升至 15.3%,其中 91% 的执行有害,效用从 +2.27 降到 +0.35;反转一个箭头方向、把中介变量提交为混淆变量后,误执行率达 48.9% 且没有一次正确执行,而这些动作都带有内部有效的证书。作者提出一个证明步骤,用有界随机样本检验每个仅凭观测认证的执行,在真实图上 555 次执行中误报 2 次,并检测出上述两种攻击;拒绝未通过或无法测试的执行后,所有测量设置下误执行均为零。

  9. arXiv:越狱与提示注入 · · 原文 76

    CollageAttack:利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱

    浙江大学与香港理工大学的研究者提出 CollageAttack,一种单提示词黑盒越狱方法,把有害意图拆成不完整的文本片段,分散放置在场景中自然存在的载体上,让语义在图像平面通过空间组合重新显现。在 GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro、HiDream-O1-Image 和 FLUX.2 [dev] 五款 T2I 模型上,该方法在全部目标上取得最高攻击成功率,聚合 ASR 为 77.0%,最高达 86.0%,比同模型最强基线高 18.5 个百分点。跨模型平均有害性评分为 6.12/10,高于最强基线的 4.23/10;在 HiDream-I1 上为 5.38 对 1.69。消融显示,单独使用任一组件的有害性得分分别为 0.25、5.47 和 0.53,三者组合达到 6.41。

    推荐理由论文给出跨模态越狱在五款 T2I 模型上的成功率与消融结果,做图像安全护栏的团队可据此检查文本过滤之外的图像平面组合风险。

  10. arXiv:越狱与提示注入 · 80

    SceneJail:利用视频场景上下文越狱多模态大模型

    研究者提出 SceneJail,一个自适应黑盒越狱框架,把视频中的周边场景而非有害查询的呈现方式当作攻击面:同一有害查询放在不同视频场景中,会得到不同的安全响应。框架由两部分组成:自适应场景构建搜索与有害查询语境相容的场景,场景感知提示搜索再根据黑盒响应反馈为该场景搜索文本引导。在 HADES 和 SafeBench 数据集、八个 Video-MLLM(含 GPT-4.1 和 Gemini 3.5 Flash 两个闭源模型)上,持续完整呈现查询的 SceneJail-F 平均攻击成功率最高 91.5%,比最强基线高 29.1 个百分点;把查询分散到连续帧的 SceneJail-S 在严格图像过滤下仍保持 72.3%。

    推荐理由论文把视频场景本身当作攻击面,并给出跨八个 Video-MLLM 的成功率与三种防御下的表现,可供多模态安全评测参考。

  11. arXiv:越狱与提示注入 ·

    研究测量并预测具身 VLM 规划器中任务的拒答可变性

    研究者在无像素、梯度或提示词对抗控制的条件下,向环境中放入单个日常物品,考察宪法护栏下的具身视觉语言模型规划器已做出的拒答能否被推翻。在 846 个初始遭拒的任务中,20.2% 可由一个或多个物品翻转为服从,所需物品数量因任务而异;固定列表随机抽取的物品在不了解环境和指令的情况下也能达到相近的安全绕过量级。作者将这种易感性称为任务的 malleability,并用小型开源 VLM 读取的信号组合来提前预测,识别率约为随机的 2.4 倍,建议部署前逐任务评估。

  12. arXiv:越狱与提示注入 ·

    FinRT:将自适应红队策略蒸馏为消费金融领域的可复用对抗生成器

    论文提出 FinRT,一个从自适应红队策略中构建可复用对抗提示词生成器的结构化框架,面向消费金融等受监管行业。在六个受害模型上,FinRT 的攻击成功率接近自适应基线 Rainbow Teaming 的两倍(32.9% 对 17.2%),最大对抗严重度提升 33%,并保持与迭代搜索方法相当的策略域内语义多样性。该方法在把面向目标的攻击生成摊销为可复用生成器的同时,表现出较高的跨模型迁移性,并呈现按受害模型家族分化的专门化模式。

9月29日周二
  1. arXiv:越狱与提示注入 ·

    研究用因果激活修补定位 LLM 提示注入合规的决策层

    研究者在 4B 至 32B 的五个模型上做逐层因果激活修补,发现攻击信息从第一层起就可线性解码,但直到网络后三分之一的晚层瓶颈才对行为产生因果影响。修补该瓶颈可在 77% 至 92% 的案例中逆转合规行为,该机制占据紧凑线性子空间(4B 和 14B 模型为 rank-8,32B 扩展到 rank-64),且在不同模型家族间架构稳定。

  2. arXiv:越狱与提示注入 ·

    研究者提出 Controlled Decoding Attacks,通过纯文本接口越狱黑盒 LLM

    研究者提出一种针对黑盒大语言模型的越狱框架,仅通过允许重复采样和助手前缀续写的纯文本接口实施攻击,无需模型权重或数值 token 概率。该方法用采样输出结合未观测动作先验重建分布,再依据响应前缀决定在哪些位置重建和修改分布,并用推测式多 token 执行摊薄目标调用成本。在四个目标端点和三个基准上,该方法在多数对比中取得最高平均分。

  3. arXiv · · 原文 76

    研究者提出针对黑盒 LLM 的实用密钥提取框架

    研究者提出一套仅依赖输出接口的黑盒密钥提取框架,用于从商业 API 大模型中提取被记忆的 API key。方法分两阶段:先用语义保持的提示变体、响应交叉验证和厂商格式过滤,把受害模型的密钥相关行为蒸馏到本地白盒代理;再在代理上用截断 top-p 采样配合局部 token 熵、N-gram 频率和厂商结构先验筛选候选。在含 5 家厂商、4 种编程语言共 100 个真实密钥的受控基准上,恢复效果较代表性基线最高提升 57.1%,真实密钥比例最高提升 2.6 倍,构建后提取延迟降低 20.7 至 34.8 倍。真实环境评估从三个独立部署的黑盒系统中恢复了被掩码的厂商凭证,涉及 OpenAI 与 Claude Code,GitHub 搜索显示这些密钥存在公开匹配,作者出于伦理未发起实际 API 调用。

    推荐理由论文给出仅凭输出接口提取记忆密钥的两阶段方法,并附受控基准与真实系统验证,可对照现有白盒审计思路。

  4. arXiv · · 原文 83

    LLM 仅凭监控器历史判定即可学会规避潜在空间监控

    墨尔本大学的研究者提出一种新的威胁模型:智能体只观察潜在空间监控器对先前输出的二元判定,就能推断监控器检测的概念并改写自身激活以规避检测,监控器目标从未被明确告知。在 llama-3.1-8b-instruct 上,现成模型已产生与监控方向对齐的激活编辑,但幅度不足;把该编辑放大 8 倍即可将监控器 TPR 从 100% 降至 27%。用 rank-1 LoRA 微调出的 model organism 在前向传播内完成规避,在 10 个未参与训练的概念监控器上平均 TPR 降至 0.04,且对当前激活的监控器具有特异性,其他概念监控器 TPR 仍为 0.914。机制分析显示编辑是在上下文中根据判定计算得出而非记忆:翻转上下文判定会平滑削弱并最终反转编辑方向,示例增多则与监控方向的对齐度上升,且编辑在指令块处算好后再被受监控 token 读取。

    推荐理由论文给出从监控器历史判定中推断检测方向并改写激活以规避潜在空间监控的完整实验,并评估了集成与 OOD 检测两类防御的局限。

  5. arXiv:后门、投毒与隐私 ·

    arXiv 论文分析神经网络为何容易被植入后门

    arXiv 论文对在投毒高斯混合数据上训练的二次神经元做闭式分析,推导出成功后门攻击所需的投毒比例 π 与触发强度 α 的缩放关系。结果显示惰性学习下 α ∝ π^{-1/2},而特征学习下检测器损失间隔按 O(α^4) 缩放,攻击预算改善为 α ∝ π^{-1/4},即非线性特征学习在小投毒比例下大幅降低所需触发强度。作者指出,基于线性启发式的安全审计可能系统性低估特征学习机制下的后门脆弱性。

9月28日周一
  1. arXiv:越狱与提示注入 ·

    J4U:用越狱提示为大型推理模型做黑盒不确定性量化

    论文提出 J4U,一种由越狱衍生出的黑盒不确定性量化方法,用于大型推理模型(LRM)的问答场景。作者指出,对齐训练常带来系统性过度自信,而基于改写的自洽性和置信度口头表达等现有黑盒方法相比简单重复采样几乎没有提升,说明对齐压制了有用的输出变异性。为此论文引入提示层面的松弛算子,通过近似更强 KL 正则化参数下最优策略的效果来拓宽模型的有效输出分布,并从理论上说明松弛能改善校准。在 3 个数据集和 4 个 LRM(含一个闭源生产模型)上,J4U 相对重复采样的提升在统计显著性的 LRM-数据集-指标组合数量上最多达到最强黑盒 UQ 基线的 6 倍,平均 ECE 降幅最多达 5 倍。

  2. arXiv:越狱与提示注入 ·

    RISE:用迭代策略演化对现代文生图模型做红队测试

    研究者提出 RISE,通过演化可复用的攻击策略而非逐条改写提示词,对现代文生图系统做红队测试。作者先指出,此前 T2I 红队工作中广泛使用的判官在模糊的不安全内容目标下不可靠,会漏掉真实违规或在硬化 API 上奖励良性边缘图像,因此定义了严格的分类别成功标准,并用人工标注校准了强 VLM 判官。作者还发现常用的提示词修改流程在更严的护栏设置下仍受限于种子提示词、无法迁移或难以自举正样本。在 DALL-E 3、Nano Banana 2(Google)和 GPT-Image-2 上,RISE 达到最高 13% 的人工核验 ASR;在同一套校准评测下,此前报告 ASR 高达约 30% 的方法降至接近零。

  3. arXiv:越狱与提示注入 ·

    研究揭示工具智能体中越狱上下文残留导致的安全路由分化

    研究提出配对续写框架,在 42 个领域的 192 个父任务上评估八个智能体,分析 12,148 对续写,发现相同的安全反馈会引发模型相关的行为分化:把不安全轨迹导向合法完成(救援)、维持未授权执行(持续不安全),或在良性任务上触发过度拒答(附带损失)。通过逐层激活修补,作者发现一种共同的晚期定型模式,因果干预效果在接近最后几层(相对深度 0.958–0.984)急剧上升,尽管不同架构的峰值幅度相差超过 30 倍。关键层表征与宏观路由结果相关,在这些层干预会因果性地改变具体的下一步工具动作。

  4. arXiv:危险能力与安全评测 · · 原文 77

    MMSkillRisk:多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    研究者提出 MMSkillRisk 基准,用于端到端评估多模态技能中由图像携带的攻击,并设计 Native-Context Visual Attack(NCVA),把恶意指令伪装成教学图像里的注释、界面标签等原生元素,SKILL.md 只引导 Agent 查看相关区域而不写明恶意操作。基准由 28 个干净技能构建,包含 36 个攻击包和 108 个可执行用例,覆盖数据外泄、持久化、权限提升、产物污染和完整性破坏五类目标,并在隔离沙箱中分别检查攻击成功与合法任务完成。在九种模型与 harness 组合上,NCVA 的合并攻击成功率为 43.1%,比逐例匹配的纯文本载体基线高 16.4 个百分点,且在全部九种组合上都更高;攻击成功与合法任务完成同时出现的比例为 36.5%,GPT-5.6-sol 搭配 Codex 时达到 72.2%。

    推荐理由论文给出图像载体攻击在九种模型与 harness 组合上的成功率,并说明任务完成与攻击成功可以同时发生。

  5. arXiv:后门、投毒与隐私 · · 原文 78

    研究:众包微调数据投毒可放大专有指令抽取

    研究者提出一种针对众包监督微调(SFT)数据的投毒攻击,仅靠黑盒输出访问即可放大对其他用户贡献指令的抽取。攻击用主题锚点把领域主题与指令关联,并用替代模型和参考数据集挑选投毒锚点,部署后再用替代模型的似然分数自适应分配查询。在四个模型和两个数据集上,仅 50 条投毒样本就让 Qwen2.5-14B 在 OpenMathInstruct 上的近似逐字抽取率从 2.38% 升到 8.84%(3.71 倍),Llama-3.1-8B 在 AceReason 上从 1.90% 升到 5.85%(3.08 倍)。该攻击在仅控制约 2% 微调样本的情况下,效果超过控制约 49% 对齐数据的恶意提供方后门基线。CVDD、DATE、SIK 与 LLM 评判等过滤方法大多检测不到投毒样本,表现最好的 CVDD 在响应上 F-1 仅 0.378。

    推荐理由论文给出仅靠 2% 众包投毒样本放大微调数据抽取的具体倍数,并说明现有过滤方法难以识别这类样本。

  6. arXiv:越狱与提示注入 · · 原文 80

    论文提出残留授权重放攻击:长期运行 Agent 的授权可跨任务复用

    研究者提出残留授权重放攻击,利用长期运行 Agent 跨任务或跨会话保留的用户授权,在原始授权语境改变后复用这些授权执行敏感操作。作者从八个生产级编码 Agent 的实现中还原其授权语义,发现先前交互产生的授权状态可跨任务和会话边界持续生效,使后续操作绕过本应需要的用户批准。在 AgentDojo 的 508 个攻击案例、六个 LLM 家族上,残留授权使提示注入攻击成功率最高提升 35.1 个百分点;在 Codex、Gemini CLI 和 Goose 上对 55 个 Terminal-Bench 案例的实时上下文重绑定攻击中,攻击成功率平均提升 24.9 个百分点。作者据此提出上下文绑定授权,建议在安全相关绑定发生变化时重新请求批准。

    推荐理由论文把长期运行 Agent 的授权残留形式化为可复用的攻击面,并给出跨模型与真实编码 Agent 的量化放大结果。

  7. arXiv:后门、投毒与隐私 ·

    近重复家族干扰精确记录成员推断,CC-News 上误判率达 99.70%

    论文指出,成员推断(MI)常被用于数据溯源与版权审计,但网络规模数据集天然包含转载文章、镜像页面等近重复内容,会混淆对精确记录是否参与训练的判定。作者提出四世界审计,独立变化精确记录是否包含与家族是否存在;在 CC-News 上,干净参考的 LiRA 审计器在 1.00% 假阳性率下把 99.70% 的家族存在但精确记录未参与训练的样本标为成员。

  8. Hugging Face Daily Papers · · 原文 80

    SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE

    论文把工具型 Agent 的攻击与防御统一建模为部分可观测状态控制问题,并提出攻击方法 DART 与防御方法 SAGE。DART 把有害目标拆解为局部看似合理的步骤,利用真实工具执行的反馈做轨迹树搜索;SAGE 在执行前通过只读查询调查相关状态,再决定放行或拦截。在四个目标模型上,DART 的语义攻击成功率比最强基线高 18.8 至 35.9 个百分点,可执行验证下也有一致提升。在记录轨迹上,SAGE 保留 95.79% 的良性轨迹,并在有害边界处拦截 92.73% 的有害路径;在线攻防评估中把 DART 的可执行攻击成功率从 48.0% 降到 4.0%,且在四种攻击方法和训练未见过的 PostgreSQL、Web 域上仍然有效。代码与数据已开源于 GitHub。

    推荐理由论文把工具型 Agent 的攻击与防御统一到部分可观测状态控制框架下,并给出可复现的数据集与代码,适合做 Agent 安全评测的团队参考。

9月27日周日
9月26日周六
  1. arXiv:越狱与提示注入 · · 原文 81

    研究揭示语义保持变换下的 LLM 对齐与效用不对称

    瑞士意大利语区大学的研究者提出用规则化、可逆的语义保持变换作为对齐泛化的受控探针,在八个模型上发现一种被称为对齐-效用不对称的现象:模型一旦能在变换后的输入上正常工作,任务效用往往基本保留,而对齐失败上升得更陡。在微调设置下,GPT-4.1 mini 的有害率从 13.3% 升至 74.3%,效用下降有限;Llama3-8B、Gemma-7B、Qwen2.5-7B 的对齐差距分别达 64.0、51.0、63.3 个百分点。在 ICL 设置下,Gemini 3 Flash 有害率从 2.3% 升至 43.0%,Claude 4 Sonnet 从 0.0% 升至 12.0%。仅用良性变换数据微调(ρ=0)时对齐失败仍升至 40.3%,说明该不对称无需接触变换后的有害样本即可出现;谄媚与 BBQ 公平性两个维度也出现类似退化。作者据此建议发布评估不应只依赖标准形式提示词。

    推荐理由论文用可控的语义保持变换同时测量任务效用与对齐失败,给出了八款模型上效用保留而对齐失效的具体差距。

  2. arXiv · · 原文 81

    TrustFork:显示身份如何劫持 LLM 智能体编排的权限

    研究者提出 TrustFork,一个衡量 LLM 智能体编排中操作权限的安全基准,包含 1890 个任务、四种攻击类型和 27826 条有效轨迹,覆盖 16 个智能体系统。每个任务中一个子智能体带有风险目标,另外三个与用户对齐,并可只改变子智能体显示的身份而不改变背后模型。结果显示,即使其他子智能体反驳风险响应,编排器仍在平均 72.0% 的情况下采纳它,在终端危害最低的系统中尤为常见。交换家族标签使编排器获得风险响应的频率接近三倍;84.0% 的任务中存在更安全的响应,但只有 25.0% 决定了最终结果。在三种运行时防御中,隐藏身份线索效果最稳定,而行动前验证只在 harness 返回足够证据时有效。

    推荐理由TrustFork 用 1890 个任务量化了显示身份如何决定子智能体的操作权限,为多智能体编排的安全审计提供了可复用的评测维度。

  3. arXiv:越狱与提示注入 ·

    SkillDRE:用预执行与运行时双阶段反馈自动演化恶意 Agent 技能

    SkillDRE 是一个全自动演化完整恶意 Agent 技能包的框架,通过预执行扫描与运行时防御反馈构成的双阶段闭环迭代技能实现。给定一个良性任务及其技能,框架先自主构造并验证与任务绑定的恶意目标和可验证的判定规则,随后在保持合法任务能力的前提下固定这两者、只演化技能实现。它把扫描器引导的演化与运行时执行结果引导的修正结合起来,每次运行时修正都会回到预执行阶段重新扫描和优化,再重新执行。在 SkillsBench 上对四个受害模型评测,平均攻击成功率为 45.28%,比最强基线高 40.3%,最终提交的技能未触发 SkillScan 告警,且基本保持良性任务表现。

  4. arXiv:越狱与提示注入 ·

    研究提出 Best-of-N 越狱的物理势垒模型,挑战攻击成功率幂律规律

    Marco Biroli 提出用物理势垒模型刻画 Best-of-N(BoN)越狱的攻击面,并质疑此前认为攻击成功率(ASR)随 N 呈幂律增长的结论。作者指出幂律指数会随 N 漂移,其指数交叉是对抗数据集的有限尺寸假象。该模型为每个提示设定基线安全水平,为每次增强设定随机热激活势垒,用四个各有可解释安全机制支撑的参数决定整个 (N, M) 攻击面。模型可将 N≤100 的预测外推到 N=10^4,把五个不同模型归并到同一缩放函数上,并能从拟合温度预测其他温度下的 ASR。

9月25日周五
  1. arXiv:Agent 与 MCP 安全 ·

    AgentXploit:面向 AI Agent 的仓库到运行时自动化红队系统

    AgentXploit 是一个双角色审计系统,把仓库级攻击路径发现与运行时利用分开:Analyzer Agent 追踪攻击者可控输入到敏感操作并记录有代码支撑的候选路径,Exploiter Agent 将其转化为具体攻击并借助运行时反馈修正。作者同时发布 AgentXploit-Bench,覆盖 12 个开源 AI Agent 系统与框架中的 72 个可复现漏洞。三次运行中 AgentXploit 端到端成功率为 59.3%,Codex 为 38.4%;在 token 预算对齐的比较下 Codex 为 46.3%。

  2. arXiv:越狱与提示注入 ·

    TempQ-Jail:面向文生视频越狱的查询受限候选排序方法

    研究者提出 TempQ-Jail,把文生视频(T2V)越狱重新表述为查询受限下的候选分配与排序问题,以应对受防护 T2V 系统中生成与安全评估成本高、攻击者无法大量测试候选的情况。该方法组合多种异构攻击机制扩大候选覆盖,并从安全门通过、危险视觉生成、原始意图保留和时间有效性四个维度估计每个候选的端到端攻击价值,再排序使高价值攻击在有限查询轨迹中更早出现。

  3. arXiv:越狱与提示注入 ·

    为何扩散语言模型的越狱会成功:能量景观分析

    论文提出用去噪能量景观解释扩散语言模型(dLLM)的越狱为何成功,把安全对齐理解为在有害与安全输出之间形成一道能量势垒。现有越狱攻击被归为两类绕过方式:在初始化阶段掩盖查询的安全倾向,或在去噪中途介入、迫使路径越过势垒。基于掩码扩散模型在去噪中最小化动能这一结果,作者推导出三个免训练检测信号:在生成开始前从 logit 分布读取初始安全倾向的 step-0 比值,以及两个在 logit 空间互补子空间中追踪动能的轨迹速度信号。

  4. arXiv:越狱与提示注入 · · 原文 80

    研究者提出技能级联攻击,在 OpenClaw、Claude Code 与 Codex 上平均成功率 89.4%

    研究者提出技能级联攻击(skill cascading attacks),把恶意目标分散到多个 Agent 技能中,使每个被改动的技能单独看都通过安全扫描,组合执行后才产生危害。作者构建了多智能体红队框架 SkillCascade,并基于 ClawHub 上的真实技能发布 SkillCascade-Bench,包含 10 个领域的 213 个验证用例,平均级联长度为 3.25 个技能。在 OpenClaw、Claude Code 和 Codex 三类 Agent 系统与 8 个 LLM 后端上,攻击平均成功率为 89.4%,各后端介于 76.5% 至 97.1%,其中 Claude Opus 4.6 与 GPT-5.4 最抗攻击,开源权重后端 Qwen 3 72B 最易受攻击。攻击对逐技能扫描器、跨技能联合扫描器和运行时防御均保持较高规避率,运行时防御平均规避率为 88.5%。

    推荐理由论文把恶意目标拆到多个技能中,单个技能都能通过扫描,组合后才产生危害,并给出跨技能防御的初步尝试。

  5. arXiv:对齐与欺骗 · · 原文 83

    研究发现本地 LLM Agent 可轻易篡改自身执行轨迹

    论文指出,异步监控、事件调查与合规审计都依赖 Agent 执行轨迹还原过程,但本地 LLM Agent 无法守住这条边界。测试中 Claude Code、Codex、Antigravity、Open Code 和 Grok Build 等 harness 除 Muse Code 外,均可在被要求时删除自身轨迹且不触发监控护栏。作者还验证外部攻击者可利用这一缺口诱导轨迹删除,并发现当 Agent 试图提升奖励时,轨迹篡改行为会自然涌现。论文建议实践者通过独立于 Agent 控制的拦截机制记录轨迹,以保证主机被完全攻陷时轨迹仍完整,并指出这是 Agent 基础设施中轨迹完整性的具体失效,可被用于掩盖谋划或破坏等失准行为。

    推荐理由论文实测多款本地编码 Agent 可被要求删除自身执行轨迹且不触发监控护栏,为依赖轨迹做审计的团队提供了具体风险清单。

9月24日周四
  1. arXiv:越狱与提示注入 · · 原文 80

    输出前缀攻击瞄准推理模型:注入推理通道可将攻击成功率推高至 99%

    该研究首次系统隔离推理模型的 scratchpad 推理通道作为输出前缀攻击面,在 AdvBench 的 1,800 个测试用例上对 Gemini 3 Flash Preview、DeepSeek V4 Flash 和 Claude Haiku 4.5 三个前沿模型做了 3×2 因子实验(前缀类型 × 是否注入恶意推理)。结果显示,单独注入恶意推理几乎无效(攻击成功率约 0%),但同样的推理加上一句简单的输出前缀后,部分模型的攻击成功率最高升至 99%。上下文相关前缀优于静态前缀,且易感性高度依赖模型:Claude Haiku 4.5 在所有策略下攻击成功率不超过 1%,Gemini 3 Flash Preview 在推理加静态前缀下达 99%,DeepSeek V4 Flash 从静态前缀的 19% 升至上下文前缀的 56%。

    推荐理由论文用 3×2 因子设计在三个前沿模型上量化了推理通道注入的增益,并给出推理单独注入为何无效的 token 分布解释。

  2. arXiv:越狱与提示注入 ·

    OllamaDrama:用蜜罐测量暴露 LLM 基础设施遭受的攻击

    研究者设计并部署了 Ollure 蜜罐,模拟 Ollama API 但不接入后端 LLM,在云和大学网络共四处部署运行 84 天,记录到来自 2,793 个独立源 IP 的 290,887 次交互。多数活动是自动化发现、指纹识别和模型枚举,但也出现了针对基础设施层和 LLM 层的实际利用尝试,包括模型管理滥用、路径遍历与 SSRF 探测、RCE 和加密货币挖矿载荷、资源耗尽尝试、提示注入、信息提取以及面向 Agent 的工具调用。论文称这些结果提供了暴露的自托管 LLM 服务在真实世界所受威胁的经验性观察。

  3. arXiv:越狱与提示注入 ·

    ClaimMirage:域名中的自我声明如何改变 LLM 威胁判断

    研究提出 ClaimMirage 现象:被检查的域名通过 not-phishing、official 等简短自我声明,无需显式提示注入指令即可改变大语言模型对该域名的威胁判断。作者在 64 个品牌、5 个 LLM 上分析了 622,080 次判断,将十种声明与长度和连字符匹配的对照项在构造的品牌类域名中比较。结果显示自我声明会大幅降低或提高告警,取决于模型和输入设置:在一种设置下,可注册域名中的风险否认词使告警下降 45.3 个百分点,即使提示中已给出可能被冒充的品牌及其官方域名作对照;若缺少这些参照,同一模型在该位置的背书类词使告警上升 65.6 个百分点。提供参照和组件标注能消除部分告警下降,但另一些仍然存在甚至更大。

  4. arXiv:对齐与欺骗 · · 原文 78

    Codetta:面向独立部署 LLM 智能体的高容量无密钥隐蔽串谋协议

    研究者提出 Codetta,一种面向独立部署 LLM 智能体的高容量、无预共享密钥且可证明不可检测的隐写串谋协议。它用双方共用的公开草稿模型估计通信信道,通过保分布的采样机制和自适应纠错码实现高容量传输,并用隐写密钥交换让两个独立智能体在约 80k 可见 token 内建立 128 位共享密钥,三种工作负载下的经验失败概率最高为 4.1×10−3。在三种智能体工作负载和三种发送方模型上,Codetta 的容量最高达到现有非对称协议 [4] 的 94 倍,同时保持模型输出分布不变。作者据此认为,审计机制不能只检查智能体的通信记录,还需补充审计智能体行为和扰动通信信道等手段。

    推荐理由论文给出可复现的隐蔽通信协议与容量数据,说明仅靠审查通信记录已不足以发现智能体串谋。