跳到正文

第 4 页更新的内容回到最新

10月6日周二
  1. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文47

    Red-TTT:用测试时训练实现大语言模型自动化越狱

    研究者提出 Red-TTT,在针对每个行为的攻击过程中更新攻击者参数,而不是像现有自动化红队方法那样在攻击开始后冻结攻击者权重。每轮攻击中,攻击者采样一组候选、根据受害模型的回复打分,并在抽取下一组前执行一次策略梯度更新,把对当前受害模型的认识固化进权重而非停留在上下文窗口里。该方法还调整了训练目标,以单次最佳样本而非平均表现衡量红队成功。Red-TTT 只需要对受害模型的采样访问,可直接接入现有攻击流程。在 120 次采样的预算下,相比 Best-of-N 基线,其平均攻击成功率从 55.9% 提升到 72.4%,在所有配置上均优于基线,并攻破了此前方法无法攻破的多个行为。

  2. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文47

    Penumbra:面向监管义务的样本高效对抗搜索方法

    研究者提出 Penumbra,一种面向监管义务的对抗搜索方法,从已验证的锚点出发,在逐步扩大的编辑预算下搜索,直到由两名评估者组成的委员会改变判定,并输出跨越判定边界的两条相邻响应。该方法采用自适应分配,目标是对失败面的覆盖,即每个候选解决的(义务×失败模式)单元格数量。在同等预算下,自适应分配在 59% 的候选上达到均匀分配全预算的覆盖;在相同记录数下,其覆盖的失败模式是朴素枚举的 1.43 倍,且增益局限于其针对的维度。在金融顾问章程的 60 条筛选义务上,Penumbra 返回 144 对响应,每对包含委员会判定为合规与违规的两条文本,仅相差几个词;直接要求模型同时生成两类文本时,两者几乎不共享内容。在临床分诊的第二份章程上,该方法在 18 条义务上复现了结果,得到 49 对同样紧密的响应,且最难的模式相同。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文39

    论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性

    一篇论文研究基于 LLM 的数字孪生作为增强民主中介时的偏好代表与攻击脆弱性。作者先用巴西在线实验数据检验个性化数字孪生能否预测公民对未见政策提案的偏好,再用瑞士议会数据从议员立法记录构建主题知识图谱,连接 LLM 议员智能体并组成政党级数字孪生,通过智能体审议检验其是否比官方政党沟通覆盖更广的党内观点。最后基于英国 2023 年审议实验数据,分析放大观点、压制意见或改变共识的提示注入攻击,考察攻击效果如何随意见分布和修辞策略变化,并评估结合注入检测、结构化意见表示与强化学习的流程能否提升抗攻击能力。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文50

    研究者提出 EviLLM 攻击:通过被入侵账号向 AI 代码生成流程注入漏洞

    研究者提出名为 EviLLM 的攻击,威胁模型是能力与现有网络犯罪分子相当的第三方攻击者攻陷 AI 代码生成流程,故意向生成的代码中注入漏洞。该攻击实现了两个实例,均只需通过被入侵的账号或浏览器访问底层 LLM,即可注入 13 类 CWE 漏洞;可行性研究显示这两种攻击向量已被用于实施多种现有网络攻击。用户研究中,两个实例注入的漏洞分别有 8 人中的 7 人和 13 人中的 10 人未察觉,21 名参与者中有 13 人很少或从不考虑此类攻击风险。

  5. 论文追踪 · 收录 · 原文 论文54

    研究者训练出按多智能体拓扑触发的代码后门模型

    研究者构建人为植入后门的实验模型,测试其是否会依据推断出的单智能体或多智能体部署环境改变代码安全行为。作者报告受控任务中存在环境相关的安全差异,并以多组对照分析触发条件。这是人为构造的受控实验,不是模型自发涌现行为;真实多智能体环境中的触发尚未测试。

    推荐理由论文用受控模型生物展示按部署拓扑触发的后门,并给出跨单智能体与多智能体上下文的差分审计思路。

  6. 论文追踪 · 收录 · 原文 论文59

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    研究针对长时程智能体(Long-Horizon Agents)在消费外部内容、调用工具和持久化状态中面临的分段间接提示注入(Staged Prompt Injection)威胁,在 Claude Code 和 Codex 原生环境中构建了反馈引导的自动化攻击生成流水线,覆盖 8 种工作流场景、7 类攻击目标与 6 种注入面。针对输入前置审查与完成态评测无法定位干预点的问题,论文提出动作边界审计(Boundary Action Auditing),在危险动作执行前预测 Pass 或 Block,并构建了包含 479 对执行轨迹、3,112 个单元的评测基准。进一步提出免训练审计方法 PAA(Path-Aligned Attribution),通过动作要素因果溯源进行阻断。在 Claude Sonnet 5 评测中,PAA 达到 86% 拦截召回率与 6-8% 误拦截率,显著优于 baseline(ARGUS 召回率 44-47%、误报率 16-33%)。

    推荐理由论文给出针对 Claude Code 和 Codex 的分段提示注入攻击构造流程与 3112 单元审计基准,并对比多种前置审计器的拦截表现。

  7. 论文追踪 · 收录 · 原文 论文54

    研究者披露 LiteLLM 网关跨租户干扰攻击 Cooldown Landmines

    论文揭示了 LLM 网关在多租户配额隔离下,因共享模型部署与故障冷却记录(Cooldown Records)而产生的跨租户干扰攻击漏洞。以 LiteLLM 为例,攻击者可利用达到 API key 每分钟请求数(RPM)限制的被拒请求直接触发后端故障处理,仅需 2 次被拒请求即可在零上游调用的情况下将其他租户迫降至 fallback 备用部署;第二种攻击则利用放行流量制造持久冷却记录。研究设计了来源检查机制以阻断 RPM 拒绝引发的部署更新,并引入租户作用域冷却(Tenant-Scoped Cooldown)。在带认证代理与自建 vLLM 环境的测试中,租户作用域冷却将容量恢复后受害租户的误降级次数从 54/60 降至 0/60,有效修复了网关故障处理中的跨租户隔离缺口。

    推荐理由论文披露 LiteLLM 共享冷却记录可被跨租户利用,并给出两种攻击路径与对应缓解方案,部署 LLM 网关的团队可据此检查租户隔离。

  8. 论文追踪 · 收录 · 原文 论文46

    研究揭示 Jev 作为应用决策层的安全与隐私风险

    研究者对 Jev 这一将自然语言问题转为带类型答案与概率的决策层接口做了首次系统性安全与隐私研究,使用官方 Jev API 和训练数据与更新可控的本地模型 NanoJev。研究围绕三个问题展开:Jev 作为应用决策层时的安全威胁、受限类型化输出仍可能泄露的隐私信息、以及其通用决策能力的正反两用。作者改造提示注入与对抗后缀来操纵其决策,并通过训练数据投毒在 NanoJev 中植入后门以考察开源分发与更新带来的供应链风险;同时改造成员推断、私有属性推断和内部知识推断攻击,从受限输出格式中恢复敏感信息。研究还用提示注入、越狱输入、有害内容和 AI 生成文本四项检测任务考察其防御用途,并分析越狱与模型提取等滥用场景。实验显示 Jev 对上述安全与隐私威胁仍然脆弱,其决策能力可同时支持有益与恶意用途。

  9. arXiv:可解释性 · 收录 · 原文 论文53

    研究者提出闭环偏见注入攻击,可将 LLaDA-8B 的 BBQ 目标差距从 1.8 提升至 16.7 个百分点

    研究者提出针对掩码扩散语言模型(dLLM)的定向偏见注入攻击:由于 dLLM 在提交答案前会多次重新预测同一位置,攻击者可在去噪过程中读取目标答案概率,并用比例积分(PI)控制器实时调整一个固定引导向量的强度,从而在不改动权重和提示词的情况下把模型推向指定人口群体。在 LLaDA-8B-Instruct 上,该攻击把 BBQ 模糊问题(正确答案为弃答)的目标与对照选项差距从 1.8 提升到 16.7 个百分点,超过最强固定强度基线三倍以上;在 SocialStigmaQA 上把污名化答案的选择率从 17.6% 提升到 58.1%。同一攻击换用其他人口目标时最多可产生 37 个百分点的偏移,每个目标约需一块 GPU 运行 40 分钟。消融实验显示增益来自反馈本身:与控制器平均强度相同的固定开环只带来 3.5 个百分点差距,却产生 20.8% 的无效输出,而闭环为 7.8%。

    推荐理由论文把扩散语言模型的去噪轨迹变成攻击通道,用闭环控制注入人口统计偏见,并给出跨模型与防御方向的对照结果。

  10. 论文追踪 · 收录 · 原文 论文53

    研究者提出仅修改 SAE 解码器的后门攻击,可在不改动语言模型的情况下植入行为

    研究者提出一种仅针对 SAE 解码器的后门攻击,在语言模型和 SAE 编码器均冻结的情况下,将恶意修改的 SAE 插入前向传播即可诱导攻击者指定的行为。以代码生成为例,该攻击在三个语言模型和多种插入层上实现了较高的非请求代码插入率,并能依据提示词线索触发特定行为。研究还用 HumanEval 和部分 SAEBench 指标评估了被修改的 SAE,发现强后门行为可以与若干常规 SAE 质量指标的较小变化共存。作者据此认为 SAE 可携带行为后门而无需修改语言模型本身,应被视为安全敏感组件。

  11. 论文追踪 · 收录 · 原文 论文52

    CRIME 框架利用良性 Agent 技能组合诱发恶意行为

    研究者提出 CRIME 框架,指出单独通过安全审查的良性 Agent 技能在组合后仍可诱发恶意行为,因为组合会扩展智能体的能力空间。CRIME 先用 Malicious Plot Casting 模块把目标恶意行为拆解为互补需求,从公开技能库中筛选合适的良性技能组合;对无法直接实现的组合,Runaway Reaction Steering 模块借助执行反馈迭代调整技能,同时要求每个技能在单独审查下仍属良性。组合随后进入 Skill Reaction Chamber 模块,在沙箱中执行并检查环境后果以判断目标行为是否发生,失败案例返回继续调整。研究者还构建了覆盖八类网络安全行为的 4000 个公开技能基准用于系统评估。

  12. 论文追踪 · 收录 · 原文 论文53

    论文披露主动式智能体的服务方间接提示注入攻击

    论文提出一种针对主动式个人智能体的服务方间接提示注入攻击,外部服务方无需访问用户私有上下文、无需攻陷智能体或获取额外权限,仅控制与自身目标相关的内容,就能让原本中立的智能体转而推进该目标。作者用目标控制、私有绑定与前瞻支持三个维度刻画这一失效模式,分别决定智能体推进什么、如何把目标与用户关联、以及接下来提供哪些目标相关协助。在三个主动式智能体环境和六个模拟用户模型上,完整攻击在所有环境与用户模型组合中都提升了目标授权,宏观增幅最高达 77.4 个百分点。对照重放显示,正确的用户与目标绑定比单纯增加提案细节更关键;多轮扩展还显示,即便最终未获授权,服务方目标仍能通过改变智能体对用户约束与抵触的回应方式保持影响。

  13. 论文追踪 · 收录 · 原文 论文58

    StegoMemory 红队测试:智能体持久记忆可被用作跨会话隐蔽信道

    研究者对智能体持久记忆发起大规模红队测试,验证攻击者能否在一个会话中把受控字符串以隐写方式写入记忆、在另一会话中取回而不触发安全监督。测试覆盖 14000 次攻击试验、91 个模型与攻击配置、13 个模型和 7 种隐写方案(Acrostic、Mesostic、Telestich、Word-choice、Capitalization、Position-based、Homoglyph)。41.2% 的试验成功在回复中编码目标载荷,29.8% 在记忆写入后仍保持编码完整,25.4% 在检索时可恢复载荷,20.1% 实现精确匹配恢复,其中包括从未向接收方暴露的合成 API key 和密钥材料。精确匹配传输中有 71.4% 同时通过主任务完成度评分并被监督模型独立判定为安全,相当于全部试验的 14.4%。

    推荐理由论文用 14000 次试验量化了智能体记忆作为跨会话隐蔽信道的成功率,并指出记忆写入而非检测才是当前主要瓶颈。

  14. 论文追踪 · 收录 · 原文 论文55

    AgentDoxx:联网搜索 Agent 对匿名访谈文本的再识别评测

    研究者提出 AgentDoxx,一个包含 822 份合成访谈文本的评测套件,用于衡量具备联网搜索能力的 LLM Agent 对匿名文本的再识别风险。这些访谈基于 r/IAmA 中公开披露身份者的公开信息生成,经人工判别研究显示其与真实访谈难以区分。在 15 种模型配置上,Kimi K3、GLM-5.3 Flash 和 DeepSeek-V4 Flash 在无搜索条件下仅凭参数知识即可正确识别 15–28% 的文本;一旦目标姓名出现在检索结果中,识别成功率超过 88%。防护方面,命名实体遮蔽后仍有至少一个攻击者能识别 85.3% 的分层样本;属性噪声替换把平均准确率从 75.1% 降至 34.2%;系统提示中的隐私指令降幅最大(75.1% 降至 21.6%),但在拒答姓名的样本中 37% 已在检索阶段拿到姓名、58% 仍描述了目标的辨识性细节。

    推荐理由该研究用 822 份已知身份的合成访谈量化了联网搜索对再识别风险的贡献,并给出多种匿名化防护的实测效果。

10月5日周一
  1. 论文追踪 · 收录 · 原文 论文53

    HDI 攻击:篡改 GraphRAG 辅助结构可致 88–94% 攻击成功率

    论文研究GraphRAG索引生成的语义摘要、层级关系和预计算分数等辅助结构被篡改后的风险,提出3S框架和HDI影响分析方法。攻击者须先取得索引完成后的辅助结构写入权限,这不是无需访问条件的远程攻击。作者在两类GraphRAG架构和两个问答基准上报告少量篡改可影响多个查询,并绕过所测困惑度与改写防御;结果限于这些实验条件,尚未独立复现。

    推荐理由论文把 GraphRAG 离线索引生成的摘要、层级边和预计算分数列为新攻击面,并给出可复现的攻击与防御盲区分析。

  2. 论文追踪 · 收录 · 原文 论文50

    JIL:通过对抗后缀操纵 LLM 请求调度优先级

    研究者提出 JIL,一种针对基于长度预测的 LLM 调度器的攻击,通过优化对抗后缀让轻量级输出长度探针低估请求长度,从而获得更高调度优先级、缩短完成时间。以 TRAIL 为案例,在 2 个数据集和 4 个 LLM 上、多种请求分布与部署配置下评测,预测输出长度最多降低 83.4%,端到端服务实验中对抗请求平均完成速度快至 1.53 倍。预测长度的降幅明显大于实际输出长度的变化,说明调度器估计与请求真实规模存在错配;响应质量因模型和任务而异,体现出调度优势与回答质量之间的权衡。作者还评估了调度器侧防御,发现将长度预测归入粗粒度区间可削弱 JIL 的调度优势并缓解对正常请求的延迟。

  3. 论文追踪 · 收录 · 原文 论文49

    论文提出用路由梯度敏感度定位稀疏 MoE 模型中的安全敏感专家

    论文指出,抑制稀疏 MoE 大语言模型中少量被路由的专家即可在不重训练的情况下削弱其安全行为,而常用的激活频率只反映使用程度、不反映影响力。作者改用路由梯度敏感度,即序列损失对选择专家的门控权重的敏感度,在五种 MoE 架构上分别用 500 条良性提示和 500 条恶意提示对专家排序,并在 100 条留出恶意提示上测量拒答率,采用相同专家数量和相同恶意路由流量(1%-5%)两种预算。在两种预算下,路由梯度选择在 25 种条件中的 24 种比激活频率带来更大拒答下降,在全部 25 种中超过十次随机试验的均值。效果最大的是 OLMoE,拒答从 100 条中的 34 条降至 9 条(相对下降 73.53%),且输出质量未退化。逐层匹配专家数量后,梯度选择仍在 25 种条件中的 23 种优于激活频率,另有 2 种持平。

  4. arXiv · 收录 · 原文 论文40

    LiBRA:通过双向隐空间优化实现检测感知的图像水印去除

    研究者提出 LiBRA(Latent In-band Bidirectional Removal Attack),一种在已知水印密钥和解码器的前提下,通过双向隐空间优化去除 AI 生成图像水印的方法。已有攻击通过迫使解码水印与原始水印不同来去除水印,但可能产生仍可检测的反向水印,导致去除失败,继续修改还会损害图像质量。LiBRA 在公开自编码器的隐空间中做有界修改,将平均解码置信度从任一方向引导至随机猜测水平,避免出现反向但可检测的水印。方法保留单个比特的灵活性,使图像质量约束倾向于选择破坏更小的修改,并可用频率引导掩码限制修改位置。研究使用精确双侧二项检验验证去除效果,而非假定置信度目标必然带来成功。

  5. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文40

    LS-AR 双通道架构:文本目标丢弃可抵御提示注入但引入潜在向量攻击面

    研究者提出 Latent-Steered Autoregressive(LS-AR)双通道架构,通过 FiLM 条件将连续目标引导与离散 token 解码解耦,以解决标准自回归模型无法隔离宏观目标与上下文噪声的问题。在超出上下文限制的长程检索任务(H=1024, W=500)中,LS-AR(Static)实现 100% 目标召回,而参数匹配的基线完全崩溃(0%),同时吞吐量提升约 35%,峰值 VRAM 降低 52.8%。在 Blocksworld 规划任务中,LS-AR(Dynamic)在强制扰动(k=1)下保持 89.0% 完成率,基线为 71.0%,但零样本实体扩展(N 到 N+1)暴露出单向量容量限制(0%)。双通道权限分析显示,文本目标丢弃会建立潜在主导控制,为文本提示注入提供结构性防御,但同时引入潜在向量攻击面。

  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文53

    研究揭示无触发投毒审计缺口:事实答对不等于决策正确

    Lin Tian 与 Marian-Andrei Rizoiu 提出无触发虚假信息投毒场景,即虚假内容在训练阶段进入模型、后续提示不含任何激活线索,并设计 Guess the Capital 决策任务检验直接问答能否预测下游决策。在八个模型、剂量 1,000 的设置下,直接注入选项率达到 95.8%–100%,而游戏中的注入选择仅比匹配的真实训练高出 1.7–14.4 个百分点;通过直接探针的事实仍会把决策推向注入答案,游戏准确率下降 3.3–26.4 个百分点。在 2019–20 年澳洲山火 Facebook 帖子案例中,模型逐渐不再复述被注入的 183 这个数字,却仍断言有人因纵火被捕,且措辞实验显示纵火逮捕表述在计数为 24 时同样产生逮捕断言。研究还发现,用真实事实做纠正训练能恢复事实问答,但被投毒模型在游戏中的准确率仍接近随机水平。

    推荐理由论文用固定解码的决策任务和澳洲山火案例,展示事实问答通过审计却仍在后续决策中出错,为投毒评估提供了答案层之外的检查思路。

  7. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    论文提出 LLM 输入扰动鲁棒性度量,并发布 ASA 攻击与 AttestMCP 防护

    一篇论文提出评估并提升大语言模型对对抗性输入序列变化鲁棒性的模型、方法与算法,核心是名为 R_stab(f) 的生成式鲁棒性度量,基于小输入扰动下逐步输出分布之间的 Jensen-Shannon 散度。针对 LLM-as-a-Judge 系统,作者提出自适应进化黑盒攻击 ASA,攻击成功率最高达 73.8%,在开源模型间迁移率最高 62.6%。在 Trojan Detection Challenge 2023 数据(Pythia-1.4B)上,替代触发器达到约 0.99 的 REASR,而真实触发器召回率约 0.17,基线约 0.14。在 SaTML CTF 2024 上,作者系统化梳理出四类绕过多层防御的方法,将攻击成功率从 90% 降至 15-25%;由 5-7 个异构模型组成的委员会将 Gemma-3-4B 的攻击成功率降低 47-55 个百分点,7 个模型时降至 19.3%。

  8. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    研究者提出意图隐藏越狱的信息论框架,分析组合式攻击

    研究者从信息论角度研究组合式意图隐藏越狱,即把有害请求嵌入看似无害的更大查询中以绕过拒答。框架为每个任务估计被判定有害的概率,任务集合的平均值构成有害意图先验,包含目标任务的捆绑集合平均值构成后验,通过选择辅助任务使两者一致(先验-后验匹配)即可在保留有害目标的同时不改变估计意图。研究区分查询构造是否参与优化两种设定:查询无关设定下证明带捆绑规模约束的精确匹配是计算困难的,给出分数权重的最优注水解,并刻画满足给定安全阈值的最小捆绑;查询依赖设定下联合考虑任务选择与查询构造。在多个开源模型、不同捆绑规模和查询生成器上评估越狱效果与目标行为保留,结果显示组合查询在评估的搜索预算内可引出超过直接请求基线的目标行为,同时捆绑规模增大时多个模型的回复级目标保留趋于下降。

  9. 论文追踪 · 收录 · 原文 论文49

    研究提出 Untag 攻击框架,使开源大模型触发标签滥用检测机制失效

    研究者针对开源大语言模型中的触发标签(trigger-tag)滥用检测机制提出统一攻击框架 Untag,并报告现有机制在对抗攻击下完全失效。作者将触发标签形式化为两类:token 级触发标签在解码阶段引入水印式信号,权重级触发标签则学习目标条件与可检测模型行为之间的后门式关联。Untag 把这两类机制各自的攻击面整理进同一套分类体系,并以钓鱼内容生成为案例,对代表性的 token 级和权重级触发标签进行评测。结果显示,触发标签在受控环境下可提供有用证据,但当攻击者能够改写输出或修改开放权重时,现有机制不再有效,因此不应被视为稳健的滥用检测器。

  10. arXiv · 收录 · 原文 论文67

    研究:跨通道碎片化攻击可绕过 MCP 单通道防御,12 个前沿模型最高 100% 泄露凭据

    密苏里大学堪萨斯城分校的研究者提出跨通道碎片化攻击,将看似无害的载荷分散到 MCP 的两个或三个输入通道,单个通道都不含完整注入,模型却在统一上下文窗口中把它们拼合成凭据外泄。研究在 12 个前沿模型、3 个生产客户端和 6 种载荷上完成超过 15,000 次试验,发现完全抵抗单通道注入(0% 合规)的模型在两通道碎片化下外泄率最高达 100%,包括 GPT-4o、Llama 70B、Composer 2 和 Haiku 4.5。三通道碎片化在生产客户端中进一步扩大受影响范围,Haiku 4.5 在 Cursor 中达到 100%,Sonnet 4.6 和 Opus 4.6 在所测碎片化攻击中未发生泄露(0/20)。研究还展示了价值对齐利用(工具声称的用途本身就需要目标数据)以及通过 VS Code 的 sampling/createMessage 注入持久系统提示。

    推荐理由论文给出跨通道碎片化攻击的完整测量框架与 12 个前沿模型的合规矩阵,部署 MCP 客户端的团队可据此检查自身信任假设。

  11. 论文追踪 · 收录 · 原文 论文53

    ReGap:无需真实隐私数据即可通过微调重新提取模型隐私关联

    研究者提出 ReGap,一种无需真实隐私监督的微调恢复攻击,用目标模型自身生成的候选答案构造监督数据,再按答案 token 似然筛选并训练新的 LoRA 适配器。在 GPT-2 Small/Medium/Large、OPT-1.3B 和 Qwen3-1.7B/4B 六个设置上,一轮 ReGap 使目标关联恢复率比微调后模型提升 6 至 21 个百分点,GPT-2 Medium 从 42% 升至 63%,GPT-2 Large 从 55% 升至 72%。在适配身份与所有记忆及评测身份完全不重叠、生成候选池和选中样本中均无精确目标答案的对照下,GPT-2 Medium 和 Large 仍分别提升 15.3 和 14.0 个百分点。同一适配器只在曾接触过目标的检查点上带来提升,在未接触目标的匹配检查点上无增益,说明恢复依赖此前的目标暴露。该效果在随机绑定结构和 NPO 遗忘处理后明显减弱。

    推荐理由论文给出无需真实隐私监督即可重新提取模型已学隐私关联的微调方法,并附跨模型成功率与失效边界。

  12. 论文追踪 · 收录 · 原文 论文59

    TrustProbe 在 11 个开源 Agent 中发现 104 个技能信任链漏洞

    中科院信息工程研究所与伍斯特理工学院的研究者提出 TrustProbe,用于挖掘基于技能的 LLM Agent 中不安全的信任链,在 11 个开源 Agent(其中 8 个 GitHub 星标超过 10,000)中确认 104 个污点式漏洞,涵盖命令注入 49 个、文件泄露 27 个、文件篡改 22 个、网络请求 5 个和代码注入 1 个。方法先对 Agent 源码做 source-to-sink 分析,从技能可控输入追踪到安全敏感操作,再用定向灰盒模糊测试生成并变异带 canary 的 SKILL.md 种子,最后用 oracle 确认攻击者控制并验证可观测危害。同一批技能正文改为直接提示词投递时,仅 31.7% 的漏洞仍可利用;在 8 个提供审批层的 Agent 上启用最严格非交互审批配置后,89 个漏洞中 34.8% 仍可利用,原因是执行路径绕过策略或策略未覆盖相关操作。

    推荐理由论文给出跨 11 个 Agent 的 104 个技能信任链漏洞与真实技能触发率,可对照检查自家技能加载与审批机制。

  13. 论文追踪 · 收录 · 原文 论文49

    研究者提出解耦铺垫与执行的 LLM Agent 技能投毒攻击

    研究者提出一种基于协同的技能投毒攻击范式,将执行理由与具体操作解耦,使恶意操作在下游 Steering Skill 中保持完整、看起来完全合法。作者用 Risk-Realization Factors 区分执行因子(做什么操作)与铺垫因子(为什么必须做),把铺垫因子交给上游 Grounding Skill,通过常规工具操作悄悄改动持久化的环境产物。配套的自动化框架能发现真实执行依赖、合成成对的铺垫与执行技能,并借助运行时闭环反馈迭代优化投毒指令。在单会话和跨生命周期的持久化场景中,该解耦式技能投毒取得高攻击成功率,暴露出孤立审计单个 Skill 的安全盲区。代码已公开。

  14. 论文追踪 · 收录 · 原文 论文59

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器,成功率最高 97%

    研究者提出 Pretext,用于评估了解检测器内部机制的攻击者能否绕过 Agent 技能安装前的安全扫描。论文报告,这类白盒攻击可以在保留技能正常功能的同时逃过结合静态检查与语言模型判断的检测框架,并在三个开源模型上比较了检测器固定及与攻击者共同适应两种设置。作者报告两种设置下仍存在较高的绕过风险,指出安装前扫描不足以单独保证技能执行安全。这些结论来自论文作者的实验,不能视作所有技能扫描器或实际部署环境的普遍结果。

    推荐理由论文给出针对技能扫描器的白盒绕过方法与两种检测器设定下的成功率,做 Agent 技能供应链安全的团队可据此评估现有扫描器的边界。

  15. 论文追踪 · 收录 · 原文 论文59

    A2M:针对 MCP 生态的两阶段 Agent 劫持框架

    研究者提出 A2M(Attraction-to-Manipulation),一个针对 MCP 智能体的两阶段黑盒攻击框架,先优化工具名称与描述提高被调用概率,再利用执行轨迹迭代优化工具返回内容以操纵智能体后续推理。在 LiveMCPBench 上,直接针对 GLM-4.6 优化的攻击在四个场景下平均恶意工具调用率为 93.6%,认知拒绝服务场景下加权 token 成本升至良性基线的 32.4 倍,信息窃取、环境完整性破坏与推理误导三类攻击的平均成功率为 74.4%。未经重新优化迁移到另外四个模型时,对应指标分别为 63.6%、2.7 倍和 24.5%,说明工具调用比完整攻击成功更容易迁移。GPT-5 上调用率介于 64.9 至 76.3,但信息窃取与环境完整性破坏的攻击成功率均为 0,推理误导为 22.0。作者据此呼吁加强 MCP 工具审查与运行时隔离,代码已公开。

    推荐理由论文给出 MCP 工具元数据与返回内容两阶段优化的完整攻击链,并区分工具调用率与真正攻击成功率,部署 MCP Agent 的团队可据此评估工具审查与运行时隔离的缺口。

  16. 论文追踪 · 收录 · 原文 论文50

    研究者提出 Context-Fractured Decomposition 攻击,工具型 LLM Agent 越狱成功率最高提升 28.3 个百分点

    研究者提出 Context-Fractured Decomposition(CFD)攻击,针对工具型 LLM Agent 的“溯源缺口”部署失效模式。该攻击保留早期交互中看似无害的中间工件,在后续不同 Agent 实例或工作流阶段通过单独无害的工具动作触发有害行为,风险只在延迟的工件中介组合下显现。作者用 trace 级诊断刻画这一失效模式,并提出溯源血缘标记(provenance lineage tagging)作为可验证的缓解方向。在 Agent 系统越狱基准上,CFD 相比当前最优基线成功率最高提升 28.3 个百分点,且能绕过较强的单轮判定器。

  17. 论文追踪 · 收录 · 原文 论文50

    TRACE:面向 LLM Agent 的任务感知自适应自进化越狱框架

    研究者提出 TRACE,一个针对 LLM Agent 的智能体越狱框架,在 AdvCUA 上对多个先进 LLM Agent 的攻击成功率比现有越狱方法提升超过 100%。该框架先设计约 20 种流程分解方案,按任务类型规定关键操作与依赖,把复杂有害任务拆成更易执行、外观更无害的子任务序列,并从两个维度评估候选序列后选出最优者用于发起攻击。对仍被拒答的子任务,TRACE 构建不同的子任务画像,并建立与之对应的、面向执行的演进式多轮越狱策略库,检索出包含中间目标、环境状态和相关工具的策略,通过多轮交互逐步建立可信的执行上下文。作者指出,现有越狱方法多聚焦诱导有害指令,忽视模型对执行这些指令的拒答,且中间步骤失败或依赖报错会导致整个攻击流程中断重启,TRACE 通过状态恢复而非重启来应对。代码已公开。

  18. 论文追踪 · 收录 · 原文 论文53

    研究者提出 IMMRAG 攻击,可从多模态 RAG 数据存储中提取医学与文档图像

    研究者提出 IMMRAG,一种在黑盒设置下针对图像返回式多模态 RAG 的自动化数据提取攻击。该方法把恶意指令嵌入用户提供的输入图像,而非放在文本提示词中,每次查询将攻击者持有的影子图像与已从系统中恢复的图像混合,并用相关性加权重采样把后续查询导向仍能返回新结果的嵌入空间区域。在医学助手、文档助手和通用工具三类场景中,单次 2500 次查询的运行按局部特征匹配分别重建出最多 611 张放射学图像、566 份文档扫描件和 416 张通用图像,不同数据存储条目数最高为非自适应基线的 5.6 倍。实验覆盖多个 CLIP 系列检索器和多种生成器,作者据此指出需要针对多模态数据设计专门防护。

  19. 论文追踪 · 收录 · 原文 论文56

    MMPIBench:多模态提示注入对六种 Agent 框架的跨框架评测

    研究者提出 MMPIBench,一个可复现的多模态提示注入基准,用同一套攻击、工具集和系统提示词在 LangGraph、CrewAI、AutoGen、OpenAI Agents SDK、Semantic Kernel、LlamaIndex 六种 Agent 框架上运行,覆盖五种基础模型、六种视觉载体和四类攻击目标,共 720 次运行。结果显示攻击完成率约 1%,但被尝试的比例达 12.8%,差距几乎全部在规划阶段被消解,即模型读到注入指令后拒绝执行。模型比框架更能决定指令是否被采纳:Claude Opus 4.8 在 144 次运行中从未尝试攻击并在 59.7% 的运行中识别出注入,Grok 4.3 与 Llama 4 Maverick 的尝试率均为 23.6%。载体方面,渲染 OCR 文本最有效,贡献了 8 次完成中的 7 次;EXIF 元数据和二维码约 88% 的运行中未被感知。

    推荐理由论文用统一的跨框架测试台定位注入攻击在感知、规划、工具调用各阶段被拦下的位置,并给出模型与框架各自的作用。

  20. 论文追踪 · 收录 · 原文 论文48

    OverAct:衡量并缓解 LLM 工具调用智能体的主动越权取数

    研究者提出 OverAct 基准,用于衡量结构化工具调用 LLM 智能体在用户请求之外主动获取更多信息的行为,并将其命名为主动越权(proactive over-authorization)。该基准覆盖八个隐私敏感领域,采用确定性、无需评判模型的打分方式,并配套一个决策论解释框架,给出三条可检验预测。在来自四个模型族的七个模型上,所有模型都显著超出授权范围;请求具体性是严重程度的最强预测因素,越权程度随工具池规模呈次线性增长,解码温度影响很小,这些模式与成本不对称解释一致。作者还提出零样本推理时方法 SelfAudit,通过生成基于请求的论证并在执行前过滤无依据的调用,在无 oracle 知识的情况下将隐私相关越权减少 43%,消融显示显式过滤是范围缩减的主要来源。

  21. 论文追踪 · 收录 · 原文 论文58

    APEX 用跨技能链劫持 LLM Agent,GPT-5.4 上攻击成功率达 84.3%

    研究者提出 APEX,通过构造跨技能链劫持 LLM Agent:上游技能诱导 Agent 把真实任务进度与攻击者提供的“已获批准”声明写入持久记录,下游技能再据此执行攻击者选定的动作。在 SkillsBench 的四个目标动作族和六个模型上,690 次尝试中有 512 次(74.2%)成功诱导目标动作;在 GPT-5.4 上完整链成功率为 84.3%,而把工作流合并为单个技能时为 17.4%,直接注入为 3.5%。攻击在多数情况下不显著降低原任务通过率,GPT-5.4 四个族的原生验证器通过率平均仅变化 2.6 个百分点。可用性攻击 Work Loop 使各模型每任务 token 用量达到基线的 2.20 倍至 36.39 倍。

    推荐理由论文给出跨技能链式攻击在六个模型上的成功率与任务效用变化,并量化了提示防御带来的良性任务损失。

  22. 论文追踪 · 收录 · 原文 论文58

    论文提出 Approval Laundering 分类,实测 Claude Code 审批与执行绑定失败

    复旦大学博士后 Yang Wang 的预印本提出 Approval Laundering,把 AI 编码 Agent 审批与执行之间的绑定失败分为 Scope、Argument、Temporal、Tool、Delegation、Semantic 六类,每类对应一个凭证绑定面。作者在 Claude Code 2.1.197 的 PreToolUse 钩子上做无头重复测量,每类 19 至 20 次有效运行,报告 Bound-Gap Rate:Scope 与 Temporal 为 1.00,Delegation 为 0.947,Argument 为 0.45,Semantic 代理指标为 0.10;Tool 类中跨工具替换被策略引擎全部拒绝,同名 $PATH 替换则 20 次全部未被拦截。

    推荐理由论文把编码 Agent 的审批与执行绑定失败拆成六类,并给出 Claude Code 上的实测成功率与防御边界。

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文55

    Concept2Scenario:用 SAE 概念归因发现可迁移的越狱场景

    研究者提出 Concept2Scenario,把场景化越狱建模为表示空间的因果归因,通过 SAE 概念方向定位抑制拒答的内部概念,再翻译成自然语言越狱场景。在三个开源模型、两个安全基准和六种黑盒越狱方法上,发现的场景作为可复用先验把平均攻击成功率最多提升 18.2 个百分点。从开源模型提取的场景还能迁移到 GPT-5、Claude-Haiku-4.5 和 Gemini-3-Flash,提示部分场景级拒答漏洞跨模型家族共享。交互归因进一步筛出协同场景组合,其效果超过单个场景,并让迭代攻击在更少轮次内成功。分析还显示拒答抑制集中在极少数概念上,且不同模型的脆弱领域差异明显。

    推荐理由论文把场景化越狱归因到 SAE 概念方向,并给出可复用的场景先验,红队与对齐研究者可据此理解拒答被绕过的机制。

  2. 论文追踪 · 收录 · 原文 论文53

    SigLeak 可从执行轨迹推断专有 Agent 技能,平均提升成功率 6.88 个百分点

    研究者提出 SigLeak,一个仅凭公开任务描述和黑盒交互就能从执行轨迹中推断专有 Agent 技能内容的框架,并将这一威胁形式化为 Skill Leakage。方法分两阶段:先用诊断任务构造生成多样且决策密集的探针,再对比同一探针在启用与禁用目标技能下的配对轨迹,提取可复现的技能签名并迭代精炼重建结果,全程不需要参考答案或轨迹级正确性标注。在五个场景、三个模型家族和三个 Agent 框架上,SigLeak 在几乎所有设置中取得最佳或并列最佳的下游成功率,平均比禁用技能的基线高 6.88 个百分点,细粒度 SkillSim 的 F1 与召回率也最高。在 SkillGuard5 提示防御下,提示窃取基线 BBS 的细粒度召回与 F1 为零,而 SigLeak 仍能恢复目标技能内容。作者指出,隐藏技能文件并不能隐藏其行为影响,需要在不牺牲执行可见性的前提下设计针对行为推断的防御。

    推荐理由论文把专有 Agent 技能被行为轨迹反推的风险形式化,并给出可复现的黑盒推断流程与跨模型评测结果。

  3. 论文追踪 · 收录 · 原文 论文48

    扩大模型生成蒸馏数据会让教师隐性特质更易被学生继承

    研究者发现,扩大模型生成的蒸馏数据规模不仅提升蒸馏效果,还会让教师模型被诱导出的隐性特质在学生模型中更易被检测到。实验采用类似潜意识学习的受控设置,教师模型被诱导表达目标特质后生成仅含数字等离题数据,学生在不同数据量下训练并在另一领域评估,配合无特质对照组隔离目标特异性迁移。结果显示数据量越大,教师诱导特质在学生后续行为中越突出,其他潜在特质也可能随规模增强但目标特质增长更快;当小规模学生已偏向目标时,扩大数据主要放大该行为,当学生偏向相关或显著替代特质时,更多数据可将其行为转向目标特质。对 LoRA 更新的分析呈现相同趋势,且该效应跨模型家族、特质类型、多特质设置和跨模型迁移出现。作者建议扩大生成式蒸馏数据时应配合特质感知的数据筛选与评估。

  4. 论文追踪 · 收录 · 原文 论文49

    论文指出密码学模型认证的假设缺口:审计通过但部署失效

    论文《Certified in Theory, Broken in Practice》指出,基于安全零知识证明(ZKP)的密码学模型认证(CMC)方案存在假设缺口:现有安全定义只保证模型在固定审计数据集上的行为,未保证同一分布的其他数据上同样成立。作者据此构造攻击,通过精心设计训练数据,使模型在审计中表现正常、部署后出现病态行为,实验显示攻击者可认证模型在审计集上准确率超过99%,而在同分布新样本上不足30%。为弥补该缺口,作者形式化了面向 CMC 框架的密码学安全定义,提出通用协议模板并证明其满足这些要求。作者认为该结果既是对现有方案的警示,也为设计安全、隐私保护的机器学习审计协议提供了建设性指引。