跳到正文

第 2 页更新的内容回到最新

10月6日周二
  1. 论文追踪 · 收录 · 原文 论文31

    NeuroSploit v4.2.0 在 GOAD 上的评测:结构化智能体编排提升 AD 渗透测试

    开源 Rust 自主渗透测试框架 NeuroSploit v4.2.0 在 GOAD 靶场(5 台虚拟机、2 个森林、3 个域)上完成评测,其编排 22 个 AD 专用智能体与 7 套多阶段攻击链 playbook,覆盖枚举、Kerberoasting、AD CS(ESC1-ESC8)、DCSync、跨森林信任滥用等完整杀伤链。对 Claude Opus 4.6/4.7/4.8、GPT-6 Astra、GPT-5.6 Sol、Grok 4.6、Qwen 3.8、GLM 5.3、Kimi k3 九个前沿模型的测试显示,框架实现 96-100% 技术覆盖率与 90-97% 精确率,直接调用仅覆盖 21-54% 且误报多出 3.2 倍;使用 Opus 4.8 时 134 分钟完成三域完全攻陷,护栏机制阻止了触发锁定的喷洒、未授权 DCSync 转储与越界侦察。

  2. 论文追踪 · 收录 · 原文 论文48

    研究者提出 Reward Stealing Attack,从对齐模型行为反推安全奖励实施攻击

    研究者提出 Reward Stealing Attack(ReSA)框架,针对 LLM 对齐背后的潜在安全奖励发起对抗攻击。该方法用最大熵逆强化学习,仅凭对齐模型的行为恢复出一个代理奖励模型,再在推理阶段将该奖励反向,通过奖励引导的解码机制得到对抗策略。实验显示,单个恢复出的奖励可跨提示词和多种模型泛化,ReSA 在攻击有效性和可迁移性上明显优于现有方法,论文认为这揭示了对齐层面的一个根本性脆弱点。代码已公开,论文共 19 页。

  3. 论文追踪 · 收录 · 原文 论文53

    研究揭示代码注释中的上下文注入攻击面:十款 Code LLM 中招率达 77.4%–92.3%

    研究者提出代码注释中的上下文注入攻击面,测试不安全指令嵌入开发上下文后能否诱导 Code LLM 生成漏洞代码。在十款 3B–13B 开源 Code LLM(四款基座、六款指令微调)和十类 Web 应用弱点上,攻击条件下 77.4%–92.3% 的补全含中等及以上弱点,良性条件仅 1.7%–5.1%。基座与指令微调模型平均漏洞输出率分别为 86.5% 和 84.5%,指令微调后降幅最多 8.1%,且易感性与模型规模或专精方向无明显关联。在易受攻击的输出中,86.2%–91.0% 被评为高或严重级别,去掉基于模式的检测器后效应依然存在。生成后筛查能降低但无法消除风险,最强筛查仍漏掉约三分之一。

  4. arXiv · 收录 · 原文 日期未知论文52

    TAPDreamer:可跨任务迁移的世界动作模型对抗补丁

    研究者提出 TAPDreamer,一种针对世界动作模型的对抗补丁攻击,仅用公开编码器构造固定局部扰动,无需查询目标策略即可跨任务和动作架构迁移。其思路是补丁引起的注意力权重与 value 向量变化会把表征偏移广播到补丁范围之外,且在不同任务观测中保持稳定;方法用单一源任务的六帧最大化干净与加补丁编码器表征之间的全局 L1 距离。闭环评测中,每个基准一个冻结补丁覆盖约 6.5% 输入,使 FastWAM 在 40 个 LIBERO 任务上的成功率从 97.7% 降至 0.0%,在 50 个 RoboTwin 任务上从 90.8% 降至 0.0%,而随机补丁仍保持 81.5% 和 79.2%。同一补丁在两个 DreamWAM 配置上把成功率降至 2.1% 和 0.8%,在 Motus 上降至 10.0%。

  5. arXiv · 收录 · 原文 日期未知论文39

    研究者提出面向深度强化学习的轨迹级可迁移黑盒对抗攻击

    论文研究针对深度强化学习(DRL)的基于迁移的黑盒攻击,攻击者在白盒替代智能体上构造观测扰动,再施加给未知受害者策略,并将攻击形式化为每步扰动预算下的回报最小化。作者首先发现,把图像分类的可迁移攻击 FGSM、MI-FGSM 和 NI-FGSM 移植到逐帧目标后,生成的扰动虽能迁移,但强度不超过同等预算的随机噪声。为此他们提出轨迹级攻击,借助可微环境模型和温度平滑的替代策略,在滚动时域上优化一串扰动,并使用相同的优化器。在 CartPole-v1 上,针对十个 DQN 与 DDQN 智能体、100 对替代与受害者组合,该轨迹级攻击在白盒、跨模型和跨算法设置下均优于逐帧攻击和随机噪声。

  6. arXiv · 收录 · 原文 日期未知论文45

    Tracer 框架可从遗忘后的扩散模型中识别被擦除概念

    研究者提出 Tracer 框架,用于识别扩散模型中被遗忘算法擦除的概念并估计其数量,无需事先知道哪些概念被删除。该方法不生成和分类图像,而是对权重足迹做轻量谱分析,从而在大型候选词表上高效搜索;通过足迹覆盖目标引导顺序发现多个被擦除概念,并依据候选置信度的骤降估计擦除数量,无需标注样本校准。框架仅需轻量线性代数和有限前向探测,不依赖对遗忘算法的先验知识。在文本到图像和文本到视频骨干模型及多种遗忘方法上的实验显示,Tracer 可在数秒内完成识别与计数,相比 MIA 和暴力搜索分别实现 150 至 137,000 倍和 133 至 20,000 倍的加速,且识别准确率更高。

  7. arXiv · 收录 · 原文 日期未知论文31

    多模态一定更好吗?缺失模态鲁棒性的几何视角与 Geodesic Unlearning 方法

    多模态模型在推理时缺失某一模态,性能可能反而低于单模态模型,这一失败模式出现在融合模型、CLIP 式双塔模型和视觉语言模型中。研究将其归因于多模态训练在主参数子空间(尤其跨模态交互层)中诱导的结构化旋转,导致任务对齐间隔缩小。作者提出轻量参数编辑方法 Geodesic Unlearning(GU),沿测地路径将主输入子空间旋转至单模态参考,并证明该修正在固定子空间距离预算内最小化到参考的距离;实验显示 GU 在缺失模态推理下提升性能,同时保持全模态准确率,优于强基线。

  8. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文48

    研究者提出序列马赛克攻击并给出防御理论

    研究者针对多轮序列马赛克攻击提出防御理论,这类攻击的单个片段看似无害,组合后却构成有害载荷。作者证明任何固定长度的近期提示窗口在一般情况下都不足以防御,因为安全相关信息可能出现在交互中任意靠前的位置,并形式化了一个在线状态机制 watchman 来携带这些信息。在明确假设下,该机制可实现零失败防御并保持正向的有益帮助性,在更强条件下还是零失败防御者中最优的。研究还给出状态数与查询数的下界,并指出自博弈均衡本身不能证明有用性,进而提出在零失败防御者中最大化最坏情况有益帮助性的约束形式。实验上,通过多轮自博弈在冻结 LLM 上训练角色专属的 attacker 与 defender LoRA 适配器,攻击者更易诱导有害回答,防御者对攻击更鲁棒,在未见攻击目标上也有提升。

  9. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文53

    研究用因果追踪区分间接提示注入中的可读信号与有效干预

    研究通过反事实角色探针、逐组件激活修补和对 AgentDojo 轨迹的干预,分析间接提示注入中角色信号与行为改变之间的差距。角色解码在内容和格式变化下依然存在,在受控 Qwen 测试中先于沿独立估计的角色方向修补带来的工具选择效应。在 AgentDojo 上,从被劫持和抵抗的训练轨迹估计出的方向在行动前和注入片段位置降低了攻击成功率,但在随机位置效果很小。在较长的 Qwen 轨迹中,单点编辑在较后层效果减弱,跨片段和重复编辑能在同一评测集上降低攻击成功率。移除学到的通道子空间仍保留角色解码,但有效干预方向在测试通道间迁移较差。

  10. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文47

    Red-TTT:用测试时训练实现大语言模型自动化越狱

    研究者提出 Red-TTT,在针对每个行为的攻击过程中更新攻击者参数,而不是像现有自动化红队方法那样在攻击开始后冻结攻击者权重。每轮攻击中,攻击者采样一组候选、根据受害模型的回复打分,并在抽取下一组前执行一次策略梯度更新,把对当前受害模型的认识固化进权重而非停留在上下文窗口里。该方法还调整了训练目标,以单次最佳样本而非平均表现衡量红队成功。Red-TTT 只需要对受害模型的采样访问,可直接接入现有攻击流程。在 120 次采样的预算下,相比 Best-of-N 基线,其平均攻击成功率从 55.9% 提升到 72.4%,在所有配置上均优于基线,并攻破了此前方法无法攻破的多个行为。

  11. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文47

    Penumbra:面向监管义务的样本高效对抗搜索方法

    研究者提出 Penumbra,一种面向监管义务的对抗搜索方法,从已验证的锚点出发,在逐步扩大的编辑预算下搜索,直到由两名评估者组成的委员会改变判定,并输出跨越判定边界的两条相邻响应。该方法采用自适应分配,目标是对失败面的覆盖,即每个候选解决的(义务×失败模式)单元格数量。在同等预算下,自适应分配在 59% 的候选上达到均匀分配全预算的覆盖;在相同记录数下,其覆盖的失败模式是朴素枚举的 1.43 倍,且增益局限于其针对的维度。在金融顾问章程的 60 条筛选义务上,Penumbra 返回 144 对响应,每对包含委员会判定为合规与违规的两条文本,仅相差几个词;直接要求模型同时生成两类文本时,两者几乎不共享内容。在临床分诊的第二份章程上,该方法在 18 条义务上复现了结果,得到 49 对同样紧密的响应,且最难的模式相同。

  12. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文39

    论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性

    一篇论文研究基于 LLM 的数字孪生作为增强民主中介时的偏好代表与攻击脆弱性。作者先用巴西在线实验数据检验个性化数字孪生能否预测公民对未见政策提案的偏好,再用瑞士议会数据从议员立法记录构建主题知识图谱,连接 LLM 议员智能体并组成政党级数字孪生,通过智能体审议检验其是否比官方政党沟通覆盖更广的党内观点。最后基于英国 2023 年审议实验数据,分析放大观点、压制意见或改变共识的提示注入攻击,考察攻击效果如何随意见分布和修辞策略变化,并评估结合注入检测、结构化意见表示与强化学习的流程能否提升抗攻击能力。

  13. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文50

    研究者提出 EviLLM 攻击:通过被入侵账号向 AI 代码生成流程注入漏洞

    研究者提出名为 EviLLM 的攻击,威胁模型是能力与现有网络犯罪分子相当的第三方攻击者攻陷 AI 代码生成流程,故意向生成的代码中注入漏洞。该攻击实现了两个实例,均只需通过被入侵的账号或浏览器访问底层 LLM,即可注入 13 类 CWE 漏洞;可行性研究显示这两种攻击向量已被用于实施多种现有网络攻击。用户研究中,两个实例注入的漏洞分别有 8 人中的 7 人和 13 人中的 10 人未察觉,21 名参与者中有 13 人很少或从不考虑此类攻击风险。

  14. 论文追踪 · 收录 · 原文 论文54

    研究者训练出按多智能体拓扑触发的代码后门模型

    研究者构建人为植入后门的实验模型,测试其是否会依据推断出的单智能体或多智能体部署环境改变代码安全行为。作者报告受控任务中存在环境相关的安全差异,并以多组对照分析触发条件。这是人为构造的受控实验,不是模型自发涌现行为;真实多智能体环境中的触发尚未测试。

    推荐理由论文用受控模型生物展示按部署拓扑触发的后门,并给出跨单智能体与多智能体上下文的差分审计思路。

  15. 论文追踪 · 收录 · 原文 论文46

    研究揭示 Jev 作为应用决策层的安全与隐私风险

    研究者对 Jev 这一将自然语言问题转为带类型答案与概率的决策层接口做了首次系统性安全与隐私研究,使用官方 Jev API 和训练数据与更新可控的本地模型 NanoJev。研究围绕三个问题展开:Jev 作为应用决策层时的安全威胁、受限类型化输出仍可能泄露的隐私信息、以及其通用决策能力的正反两用。作者改造提示注入与对抗后缀来操纵其决策,并通过训练数据投毒在 NanoJev 中植入后门以考察开源分发与更新带来的供应链风险;同时改造成员推断、私有属性推断和内部知识推断攻击,从受限输出格式中恢复敏感信息。研究还用提示注入、越狱输入、有害内容和 AI 生成文本四项检测任务考察其防御用途,并分析越狱与模型提取等滥用场景。实验显示 Jev 对上述安全与隐私威胁仍然脆弱,其决策能力可同时支持有益与恶意用途。

  16. arXiv:可解释性 · 收录 · 原文 论文53

    研究者提出闭环偏见注入攻击,可将 LLaDA-8B 的 BBQ 目标差距从 1.8 提升至 16.7 个百分点

    研究者提出针对掩码扩散语言模型(dLLM)的定向偏见注入攻击:由于 dLLM 在提交答案前会多次重新预测同一位置,攻击者可在去噪过程中读取目标答案概率,并用比例积分(PI)控制器实时调整一个固定引导向量的强度,从而在不改动权重和提示词的情况下把模型推向指定人口群体。在 LLaDA-8B-Instruct 上,该攻击把 BBQ 模糊问题(正确答案为弃答)的目标与对照选项差距从 1.8 提升到 16.7 个百分点,超过最强固定强度基线三倍以上;在 SocialStigmaQA 上把污名化答案的选择率从 17.6% 提升到 58.1%。同一攻击换用其他人口目标时最多可产生 37 个百分点的偏移,每个目标约需一块 GPU 运行 40 分钟。消融实验显示增益来自反馈本身:与控制器平均强度相同的固定开环只带来 3.5 个百分点差距,却产生 20.8% 的无效输出,而闭环为 7.8%。

    推荐理由论文把扩散语言模型的去噪轨迹变成攻击通道,用闭环控制注入人口统计偏见,并给出跨模型与防御方向的对照结果。

  17. 论文追踪 · 收录 · 原文 论文53

    研究者提出仅修改 SAE 解码器的后门攻击,可在不改动语言模型的情况下植入行为

    研究者提出一种仅针对 SAE 解码器的后门攻击,在语言模型和 SAE 编码器均冻结的情况下,将恶意修改的 SAE 插入前向传播即可诱导攻击者指定的行为。以代码生成为例,该攻击在三个语言模型和多种插入层上实现了较高的非请求代码插入率,并能依据提示词线索触发特定行为。研究还用 HumanEval 和部分 SAEBench 指标评估了被修改的 SAE,发现强后门行为可以与若干常规 SAE 质量指标的较小变化共存。作者据此认为 SAE 可携带行为后门而无需修改语言模型本身,应被视为安全敏感组件。

  18. 论文追踪 · 收录 · 原文 论文52

    CRIME 框架利用良性 Agent 技能组合诱发恶意行为

    研究者提出 CRIME 框架,指出单独通过安全审查的良性 Agent 技能在组合后仍可诱发恶意行为,因为组合会扩展智能体的能力空间。CRIME 先用 Malicious Plot Casting 模块把目标恶意行为拆解为互补需求,从公开技能库中筛选合适的良性技能组合;对无法直接实现的组合,Runaway Reaction Steering 模块借助执行反馈迭代调整技能,同时要求每个技能在单独审查下仍属良性。组合随后进入 Skill Reaction Chamber 模块,在沙箱中执行并检查环境后果以判断目标行为是否发生,失败案例返回继续调整。研究者还构建了覆盖八类网络安全行为的 4000 个公开技能基准用于系统评估。

  19. 论文追踪 · 收录 · 原文 论文53

    论文披露主动式智能体的服务方间接提示注入攻击

    论文提出一种针对主动式个人智能体的服务方间接提示注入攻击,外部服务方无需访问用户私有上下文、无需攻陷智能体或获取额外权限,仅控制与自身目标相关的内容,就能让原本中立的智能体转而推进该目标。作者用目标控制、私有绑定与前瞻支持三个维度刻画这一失效模式,分别决定智能体推进什么、如何把目标与用户关联、以及接下来提供哪些目标相关协助。在三个主动式智能体环境和六个模拟用户模型上,完整攻击在所有环境与用户模型组合中都提升了目标授权,宏观增幅最高达 77.4 个百分点。对照重放显示,正确的用户与目标绑定比单纯增加提案细节更关键;多轮扩展还显示,即便最终未获授权,服务方目标仍能通过改变智能体对用户约束与抵触的回应方式保持影响。

  20. 论文追踪 · 收录 · 原文 论文58

    StegoMemory 红队测试:智能体持久记忆可被用作跨会话隐蔽信道

    研究者对智能体持久记忆发起大规模红队测试,验证攻击者能否在一个会话中把受控字符串以隐写方式写入记忆、在另一会话中取回而不触发安全监督。测试覆盖 14000 次攻击试验、91 个模型与攻击配置、13 个模型和 7 种隐写方案(Acrostic、Mesostic、Telestich、Word-choice、Capitalization、Position-based、Homoglyph)。41.2% 的试验成功在回复中编码目标载荷,29.8% 在记忆写入后仍保持编码完整,25.4% 在检索时可恢复载荷,20.1% 实现精确匹配恢复,其中包括从未向接收方暴露的合成 API key 和密钥材料。精确匹配传输中有 71.4% 同时通过主任务完成度评分并被监督模型独立判定为安全,相当于全部试验的 14.4%。

    推荐理由论文用 14000 次试验量化了智能体记忆作为跨会话隐蔽信道的成功率,并指出记忆写入而非检测才是当前主要瓶颈。

  21. 论文追踪 · 收录 · 原文 论文55

    AgentDoxx:联网搜索 Agent 对匿名访谈文本的再识别评测

    研究者提出 AgentDoxx,一个包含 822 份合成访谈文本的评测套件,用于衡量具备联网搜索能力的 LLM Agent 对匿名文本的再识别风险。这些访谈基于 r/IAmA 中公开披露身份者的公开信息生成,经人工判别研究显示其与真实访谈难以区分。在 15 种模型配置上,Kimi K3、GLM-5.3 Flash 和 DeepSeek-V4 Flash 在无搜索条件下仅凭参数知识即可正确识别 15–28% 的文本;一旦目标姓名出现在检索结果中,识别成功率超过 88%。防护方面,命名实体遮蔽后仍有至少一个攻击者能识别 85.3% 的分层样本;属性噪声替换把平均准确率从 75.1% 降至 34.2%;系统提示中的隐私指令降幅最大(75.1% 降至 21.6%),但在拒答姓名的样本中 37% 已在检索阶段拿到姓名、58% 仍描述了目标的辨识性细节。

    推荐理由该研究用 822 份已知身份的合成访谈量化了联网搜索对再识别风险的贡献,并给出多种匿名化防护的实测效果。

10月5日周一
  1. 论文追踪 · 收录 · 原文 论文53

    HDI 攻击:篡改 GraphRAG 辅助结构可致 88–94% 攻击成功率

    论文研究GraphRAG索引生成的语义摘要、层级关系和预计算分数等辅助结构被篡改后的风险,提出3S框架和HDI影响分析方法。攻击者须先取得索引完成后的辅助结构写入权限,这不是无需访问条件的远程攻击。作者在两类GraphRAG架构和两个问答基准上报告少量篡改可影响多个查询,并绕过所测困惑度与改写防御;结果限于这些实验条件,尚未独立复现。

    推荐理由论文把 GraphRAG 离线索引生成的摘要、层级边和预计算分数列为新攻击面,并给出可复现的攻击与防御盲区分析。

  2. 论文追踪 · 收录 · 原文 论文50

    JIL:通过对抗后缀操纵 LLM 请求调度优先级

    研究者提出 JIL,一种针对基于长度预测的 LLM 调度器的攻击,通过优化对抗后缀让轻量级输出长度探针低估请求长度,从而获得更高调度优先级、缩短完成时间。以 TRAIL 为案例,在 2 个数据集和 4 个 LLM 上、多种请求分布与部署配置下评测,预测输出长度最多降低 83.4%,端到端服务实验中对抗请求平均完成速度快至 1.53 倍。预测长度的降幅明显大于实际输出长度的变化,说明调度器估计与请求真实规模存在错配;响应质量因模型和任务而异,体现出调度优势与回答质量之间的权衡。作者还评估了调度器侧防御,发现将长度预测归入粗粒度区间可削弱 JIL 的调度优势并缓解对正常请求的延迟。

  3. 论文追踪 · 收录 · 原文 论文49

    论文提出用路由梯度敏感度定位稀疏 MoE 模型中的安全敏感专家

    论文指出,抑制稀疏 MoE 大语言模型中少量被路由的专家即可在不重训练的情况下削弱其安全行为,而常用的激活频率只反映使用程度、不反映影响力。作者改用路由梯度敏感度,即序列损失对选择专家的门控权重的敏感度,在五种 MoE 架构上分别用 500 条良性提示和 500 条恶意提示对专家排序,并在 100 条留出恶意提示上测量拒答率,采用相同专家数量和相同恶意路由流量(1%-5%)两种预算。在两种预算下,路由梯度选择在 25 种条件中的 24 种比激活频率带来更大拒答下降,在全部 25 种中超过十次随机试验的均值。效果最大的是 OLMoE,拒答从 100 条中的 34 条降至 9 条(相对下降 73.53%),且输出质量未退化。逐层匹配专家数量后,梯度选择仍在 25 种条件中的 23 种优于激活频率,另有 2 种持平。

  4. arXiv · 收录 · 原文 论文40

    LiBRA:通过双向隐空间优化实现检测感知的图像水印去除

    研究者提出 LiBRA(Latent In-band Bidirectional Removal Attack),一种在已知水印密钥和解码器的前提下,通过双向隐空间优化去除 AI 生成图像水印的方法。已有攻击通过迫使解码水印与原始水印不同来去除水印,但可能产生仍可检测的反向水印,导致去除失败,继续修改还会损害图像质量。LiBRA 在公开自编码器的隐空间中做有界修改,将平均解码置信度从任一方向引导至随机猜测水平,避免出现反向但可检测的水印。方法保留单个比特的灵活性,使图像质量约束倾向于选择破坏更小的修改,并可用频率引导掩码限制修改位置。研究使用精确双侧二项检验验证去除效果,而非假定置信度目标必然带来成功。

  5. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文40

    LS-AR 双通道架构:文本目标丢弃可抵御提示注入但引入潜在向量攻击面

    研究者提出 Latent-Steered Autoregressive(LS-AR)双通道架构,通过 FiLM 条件将连续目标引导与离散 token 解码解耦,以解决标准自回归模型无法隔离宏观目标与上下文噪声的问题。在超出上下文限制的长程检索任务(H=1024, W=500)中,LS-AR(Static)实现 100% 目标召回,而参数匹配的基线完全崩溃(0%),同时吞吐量提升约 35%,峰值 VRAM 降低 52.8%。在 Blocksworld 规划任务中,LS-AR(Dynamic)在强制扰动(k=1)下保持 89.0% 完成率,基线为 71.0%,但零样本实体扩展(N 到 N+1)暴露出单向量容量限制(0%)。双通道权限分析显示,文本目标丢弃会建立潜在主导控制,为文本提示注入提供结构性防御,但同时引入潜在向量攻击面。

  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文53

    研究揭示无触发投毒审计缺口:事实答对不等于决策正确

    Lin Tian 与 Marian-Andrei Rizoiu 提出无触发虚假信息投毒场景,即虚假内容在训练阶段进入模型、后续提示不含任何激活线索,并设计 Guess the Capital 决策任务检验直接问答能否预测下游决策。在八个模型、剂量 1,000 的设置下,直接注入选项率达到 95.8%–100%,而游戏中的注入选择仅比匹配的真实训练高出 1.7–14.4 个百分点;通过直接探针的事实仍会把决策推向注入答案,游戏准确率下降 3.3–26.4 个百分点。在 2019–20 年澳洲山火 Facebook 帖子案例中,模型逐渐不再复述被注入的 183 这个数字,却仍断言有人因纵火被捕,且措辞实验显示纵火逮捕表述在计数为 24 时同样产生逮捕断言。研究还发现,用真实事实做纠正训练能恢复事实问答,但被投毒模型在游戏中的准确率仍接近随机水平。

    推荐理由论文用固定解码的决策任务和澳洲山火案例,展示事实问答通过审计却仍在后续决策中出错,为投毒评估提供了答案层之外的检查思路。

  7. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    论文提出 LLM 输入扰动鲁棒性度量,并发布 ASA 攻击与 AttestMCP 防护

    一篇论文提出评估并提升大语言模型对对抗性输入序列变化鲁棒性的模型、方法与算法,核心是名为 R_stab(f) 的生成式鲁棒性度量,基于小输入扰动下逐步输出分布之间的 Jensen-Shannon 散度。针对 LLM-as-a-Judge 系统,作者提出自适应进化黑盒攻击 ASA,攻击成功率最高达 73.8%,在开源模型间迁移率最高 62.6%。在 Trojan Detection Challenge 2023 数据(Pythia-1.4B)上,替代触发器达到约 0.99 的 REASR,而真实触发器召回率约 0.17,基线约 0.14。在 SaTML CTF 2024 上,作者系统化梳理出四类绕过多层防御的方法,将攻击成功率从 90% 降至 15-25%;由 5-7 个异构模型组成的委员会将 Gemma-3-4B 的攻击成功率降低 47-55 个百分点,7 个模型时降至 19.3%。

  8. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    研究者提出意图隐藏越狱的信息论框架,分析组合式攻击

    研究者从信息论角度研究组合式意图隐藏越狱,即把有害请求嵌入看似无害的更大查询中以绕过拒答。框架为每个任务估计被判定有害的概率,任务集合的平均值构成有害意图先验,包含目标任务的捆绑集合平均值构成后验,通过选择辅助任务使两者一致(先验-后验匹配)即可在保留有害目标的同时不改变估计意图。研究区分查询构造是否参与优化两种设定:查询无关设定下证明带捆绑规模约束的精确匹配是计算困难的,给出分数权重的最优注水解,并刻画满足给定安全阈值的最小捆绑;查询依赖设定下联合考虑任务选择与查询构造。在多个开源模型、不同捆绑规模和查询生成器上评估越狱效果与目标行为保留,结果显示组合查询在评估的搜索预算内可引出超过直接请求基线的目标行为,同时捆绑规模增大时多个模型的回复级目标保留趋于下降。

  9. 论文追踪 · 收录 · 原文 论文49

    研究提出 Untag 攻击框架,使开源大模型触发标签滥用检测机制失效

    研究者针对开源大语言模型中的触发标签(trigger-tag)滥用检测机制提出统一攻击框架 Untag,并报告现有机制在对抗攻击下完全失效。作者将触发标签形式化为两类:token 级触发标签在解码阶段引入水印式信号,权重级触发标签则学习目标条件与可检测模型行为之间的后门式关联。Untag 把这两类机制各自的攻击面整理进同一套分类体系,并以钓鱼内容生成为案例,对代表性的 token 级和权重级触发标签进行评测。结果显示,触发标签在受控环境下可提供有用证据,但当攻击者能够改写输出或修改开放权重时,现有机制不再有效,因此不应被视为稳健的滥用检测器。

  10. arXiv · 收录 · 原文 论文67

    研究:跨通道碎片化攻击可绕过 MCP 单通道防御,12 个前沿模型最高 100% 泄露凭据

    密苏里大学堪萨斯城分校的研究者提出跨通道碎片化攻击,将看似无害的载荷分散到 MCP 的两个或三个输入通道,单个通道都不含完整注入,模型却在统一上下文窗口中把它们拼合成凭据外泄。研究在 12 个前沿模型、3 个生产客户端和 6 种载荷上完成超过 15,000 次试验,发现完全抵抗单通道注入(0% 合规)的模型在两通道碎片化下外泄率最高达 100%,包括 GPT-4o、Llama 70B、Composer 2 和 Haiku 4.5。三通道碎片化在生产客户端中进一步扩大受影响范围,Haiku 4.5 在 Cursor 中达到 100%,Sonnet 4.6 和 Opus 4.6 在所测碎片化攻击中未发生泄露(0/20)。研究还展示了价值对齐利用(工具声称的用途本身就需要目标数据)以及通过 VS Code 的 sampling/createMessage 注入持久系统提示。

    推荐理由论文给出跨通道碎片化攻击的完整测量框架与 12 个前沿模型的合规矩阵,部署 MCP 客户端的团队可据此检查自身信任假设。

  11. 论文追踪 · 收录 · 原文 论文53

    ReGap:无需真实隐私数据即可通过微调重新提取模型隐私关联

    研究者提出 ReGap,一种无需真实隐私监督的微调恢复攻击,用目标模型自身生成的候选答案构造监督数据,再按答案 token 似然筛选并训练新的 LoRA 适配器。在 GPT-2 Small/Medium/Large、OPT-1.3B 和 Qwen3-1.7B/4B 六个设置上,一轮 ReGap 使目标关联恢复率比微调后模型提升 6 至 21 个百分点,GPT-2 Medium 从 42% 升至 63%,GPT-2 Large 从 55% 升至 72%。在适配身份与所有记忆及评测身份完全不重叠、生成候选池和选中样本中均无精确目标答案的对照下,GPT-2 Medium 和 Large 仍分别提升 15.3 和 14.0 个百分点。同一适配器只在曾接触过目标的检查点上带来提升,在未接触目标的匹配检查点上无增益,说明恢复依赖此前的目标暴露。该效果在随机绑定结构和 NPO 遗忘处理后明显减弱。

    推荐理由论文给出无需真实隐私监督即可重新提取模型已学隐私关联的微调方法,并附跨模型成功率与失效边界。

  12. 论文追踪 · 收录 · 原文 论文59

    TrustProbe 在 11 个开源 Agent 中发现 104 个技能信任链漏洞

    中科院信息工程研究所与伍斯特理工学院的研究者提出 TrustProbe,用于挖掘基于技能的 LLM Agent 中不安全的信任链,在 11 个开源 Agent(其中 8 个 GitHub 星标超过 10,000)中确认 104 个污点式漏洞,涵盖命令注入 49 个、文件泄露 27 个、文件篡改 22 个、网络请求 5 个和代码注入 1 个。方法先对 Agent 源码做 source-to-sink 分析,从技能可控输入追踪到安全敏感操作,再用定向灰盒模糊测试生成并变异带 canary 的 SKILL.md 种子,最后用 oracle 确认攻击者控制并验证可观测危害。同一批技能正文改为直接提示词投递时,仅 31.7% 的漏洞仍可利用;在 8 个提供审批层的 Agent 上启用最严格非交互审批配置后,89 个漏洞中 34.8% 仍可利用,原因是执行路径绕过策略或策略未覆盖相关操作。

    推荐理由论文给出跨 11 个 Agent 的 104 个技能信任链漏洞与真实技能触发率,可对照检查自家技能加载与审批机制。

  13. 论文追踪 · 收录 · 原文 论文49

    研究者提出解耦铺垫与执行的 LLM Agent 技能投毒攻击

    研究者提出一种基于协同的技能投毒攻击范式,将执行理由与具体操作解耦,使恶意操作在下游 Steering Skill 中保持完整、看起来完全合法。作者用 Risk-Realization Factors 区分执行因子(做什么操作)与铺垫因子(为什么必须做),把铺垫因子交给上游 Grounding Skill,通过常规工具操作悄悄改动持久化的环境产物。配套的自动化框架能发现真实执行依赖、合成成对的铺垫与执行技能,并借助运行时闭环反馈迭代优化投毒指令。在单会话和跨生命周期的持久化场景中,该解耦式技能投毒取得高攻击成功率,暴露出孤立审计单个 Skill 的安全盲区。代码已公开。

  14. 论文追踪 · 收录 · 原文 论文59

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器,成功率最高 97%

    研究者提出 Pretext,用于评估了解检测器内部机制的攻击者能否绕过 Agent 技能安装前的安全扫描。论文报告,这类白盒攻击可以在保留技能正常功能的同时逃过结合静态检查与语言模型判断的检测框架,并在三个开源模型上比较了检测器固定及与攻击者共同适应两种设置。作者报告两种设置下仍存在较高的绕过风险,指出安装前扫描不足以单独保证技能执行安全。这些结论来自论文作者的实验,不能视作所有技能扫描器或实际部署环境的普遍结果。

    推荐理由论文给出针对技能扫描器的白盒绕过方法与两种检测器设定下的成功率,做 Agent 技能供应链安全的团队可据此评估现有扫描器的边界。

  15. 论文追踪 · 收录 · 原文 论文59

    A2M:针对 MCP 生态的两阶段 Agent 劫持框架

    研究者提出 A2M(Attraction-to-Manipulation),一个针对 MCP 智能体的两阶段黑盒攻击框架,先优化工具名称与描述提高被调用概率,再利用执行轨迹迭代优化工具返回内容以操纵智能体后续推理。在 LiveMCPBench 上,直接针对 GLM-4.6 优化的攻击在四个场景下平均恶意工具调用率为 93.6%,认知拒绝服务场景下加权 token 成本升至良性基线的 32.4 倍,信息窃取、环境完整性破坏与推理误导三类攻击的平均成功率为 74.4%。未经重新优化迁移到另外四个模型时,对应指标分别为 63.6%、2.7 倍和 24.5%,说明工具调用比完整攻击成功更容易迁移。GPT-5 上调用率介于 64.9 至 76.3,但信息窃取与环境完整性破坏的攻击成功率均为 0,推理误导为 22.0。作者据此呼吁加强 MCP 工具审查与运行时隔离,代码已公开。

    推荐理由论文给出 MCP 工具元数据与返回内容两阶段优化的完整攻击链,并区分工具调用率与真正攻击成功率,部署 MCP Agent 的团队可据此评估工具审查与运行时隔离的缺口。

  16. 论文追踪 · 收录 · 原文 论文50

    研究者提出 Context-Fractured Decomposition 攻击,工具型 LLM Agent 越狱成功率最高提升 28.3 个百分点

    研究者提出 Context-Fractured Decomposition(CFD)攻击,针对工具型 LLM Agent 的“溯源缺口”部署失效模式。该攻击保留早期交互中看似无害的中间工件,在后续不同 Agent 实例或工作流阶段通过单独无害的工具动作触发有害行为,风险只在延迟的工件中介组合下显现。作者用 trace 级诊断刻画这一失效模式,并提出溯源血缘标记(provenance lineage tagging)作为可验证的缓解方向。在 Agent 系统越狱基准上,CFD 相比当前最优基线成功率最高提升 28.3 个百分点,且能绕过较强的单轮判定器。

  17. 论文追踪 · 收录 · 原文 论文50

    TRACE:面向 LLM Agent 的任务感知自适应自进化越狱框架

    研究者提出 TRACE,一个针对 LLM Agent 的智能体越狱框架,在 AdvCUA 上对多个先进 LLM Agent 的攻击成功率比现有越狱方法提升超过 100%。该框架先设计约 20 种流程分解方案,按任务类型规定关键操作与依赖,把复杂有害任务拆成更易执行、外观更无害的子任务序列,并从两个维度评估候选序列后选出最优者用于发起攻击。对仍被拒答的子任务,TRACE 构建不同的子任务画像,并建立与之对应的、面向执行的演进式多轮越狱策略库,检索出包含中间目标、环境状态和相关工具的策略,通过多轮交互逐步建立可信的执行上下文。作者指出,现有越狱方法多聚焦诱导有害指令,忽视模型对执行这些指令的拒答,且中间步骤失败或依赖报错会导致整个攻击流程中断重启,TRACE 通过状态恢复而非重启来应对。代码已公开。