跳到正文
今天10月8日周四
  1. 论文追踪 · 收录 · 原文 论文61

    用时序逻辑监控工具 Agent:MonPoly 标出 71.8% STAC 攻击链,但溯源检查被一行注入骗过 94%–99%

    研究者把 AgentDojo、STAC 和 R-Judge 已记录的轨迹转成事件流,用未经修改的 MonPoly 监控器离线回放,检验度量一阶时序逻辑(MFOTL)能否作为工具型 LLM Agent 的可复用护栏。五条通用义务在 STAC 上标出 71.8% 的攻击链、在 AgentDojo 上标出 70.1% 的成功攻击,但同时命中 29.3% 的正常运行,原因是这些语料几乎不记录审批、也从不记录时间戳,历史相关义务退化为风险动作类型识别。在轨迹带有关系上下文时,把转账收款人或邮件收件人绑定到此前结构化记录中的溯源义务能提升区分度,AgentDojo 银行场景的正常触发率从 44.0% 降到 24.0%,检出率从 79.2% 降到 70.0%。作者据此提出十二字段的执法就绪轨迹 schema,并指出当前基准缺少时间戳、审批 id、会话 id、状态对和信任域等字段。

    推荐理由论文用 AgentDojo、STAC、R-Judge 的已记录轨迹离线回放形式化监控,量化了时序护栏的检出率与误报代价。

  2. 论文追踪 · 收录 · 原文 论文59

    研究:LLM 路由决策日志可推断用户医疗、自伤等敏感话题

    一项预注册研究在 170 万条真实请求(WildChat-1M、LMSYS-Chat-1M)上测量了 LLM 路由决策作为隐私信道的泄露程度,发现即使关闭内容日志,网关仍可保留每次请求所选模型、调用方与 token 数。在长度匹配条件下,RouteLLM 在 50% 工作点把骚扰和自伤请求送往强模型的概率比可比请求低 19 个百分点,医疗请求低 31 个百分点,性相关请求高 10 个百分点;第二个路由器 notdiamond-0001 对四类请求都更少送往强模型。仅凭 20 条路由决策即可区分频繁医疗提问用户,AUC 为 0.71,低于预注册的 0.75 阈值;域路由器的健康标签可达 0.92。作者调查了 11 个网关、路由器和云平台的日志字段,其中至少 6 个可在无内容日志下保留带调用方的逐请求模型记录,部分为默认行为。

    推荐理由论文在 170 万条真实请求上测量路由决策日志对敏感话题的泄露,并给出各类防御的代价,可帮助部署路由的团队评估元数据留存风险。

  3. 论文追踪 · 收录 · 原文 论文32

    多智能体协同过滤系统的连接性攻击与防御研究

    研究将通用多智能体系统(MAS)中的攻击与防御方法迁移至基于智能体的协同过滤场景,在 AgentCF 框架下评估连接性对攻防效果的影响。连接性由每用户每轮候选物品数和跨用户物品目录重叠度两个维度刻画,实验揭示了用户与物品智能体之间的角色不对称、攻击效果的非单调时间动态,以及传播类与提取类攻击目标间的分化模式。研究还探索了传染病学启发的静态指标用于排序协同过滤配置的预期攻击结果。

  4. 论文追踪 · 收录 · 原文 论文40

    研究:工具调用成本与模糊目标提示使 LLM 购物智能体做出次优选择

    研究者用 Tool-Lab 实验考察营销定价线索对 AI 购物智能体的影响,该实验把商品属性放在需要付费的工具调用之后。在三个厂商的八款商用 LLM 上追踪选择前的信息获取过程,零成本时定价线索很少误导模型;一旦引入获取成本并配合模糊目标提示,LLM 会省略计算单价所需的诊断性属性,做出类似人类启发式的次优选择。相比主要保留诊断性搜索与最优选择的明确目标提示,约束条件下的模糊目标提示形成了一种由搜索中介的脆弱性。研究认为,委托式 AI 购物中的营销启发式受店铺信息架构支配,而不一定是 LLM 固有缺陷。

  5. 论文追踪 · 收录 · 原文 论文60

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    研究者发现 AP2 智能体支付协议只对交易签名、不约束产生交易的决策,商家可控的商品描述文本即可操纵购物智能体。三类攻击中,Vault Whisper 诱导智能体用他人邮箱查询支付凭证,Branded Whisper 生成内容与展示不符但签名有效的购物车,Selection Whisper 仅用一条库存或产品沿革的事实陈述就把智能体从便宜商品推向更贵商品。在 AP2 示例智能体默认指定的 Gemini Flash-Lite 模型上,三类攻击成功率分别为 90%、56% 和 73.3%;Selection Whisper 在 17 个 Google 模型、3 个无关智能体框架和 Google 消费级助手上均有效,仅 claude-opus-5 以 1.2% 的成功率表现出较强抵抗。

    推荐理由论文把 AP2 支付协议下的提示注入拆成三类攻击并给出跨模型成功率,做 Agent 支付的团队可据此理解签名无法约束决策这一缺口。

  6. 论文追踪 · 收录 · 原文 论文56

    论文提出 eTAMP 攻击:网页内容注入可跨会话污染 Web Agent 记忆

    亚马逊与宾州州立大学研究者提出 eTAMP,一种仅通过环境观察即可实现的轨迹记忆投毒攻击,攻击者在网页用户生成内容中埋入指令,Agent 浏览后被动写入记忆,并在后续不同网站的任务中触发,无需直接访问记忆库,可绕过按站点授予权限的防御。在 (Visual)WebArena 上,约 280 组跨站点任务对中,攻击成功率最高为 GPT-5-mini 32.5%、GPT-5.2 23.4%、GPT-OSS-120B 19.5%;任务 A 阶段的提前触发率接近 0。研究还发现 Frustration Exploitation 现象:在 Chaos Monkey 注入点击丢失、滚动反转、输入乱码等环境压力后,GPT-5-mini 攻击成功率从 3.6% 升至 32.5%,提升约 8 倍,GPT-5.2 上升 17 个百分点。作者提示记忆应被视为不可信输入,并指出能力更强的模型未必更安全。

    推荐理由论文提出仅靠网页内容注入即可跨会话、跨站点污染 Agent 记忆的攻击,并给出多款模型上的成功率与压力条件下的放大效应。

  7. 论文追踪 · 收录 · 原文 论文52

    研究者提出针对世界模型的机器人学习管线投毒攻击

    研究者提出一种针对机器人学习管线的新型数据投毒攻击,利用世界模型作为隐蔽入口,在看似安全的遥操作数据集中注入恶意提示或破坏性转移动态,这些数据仅在经过世界模型处理后才会激活并生成危险的合成训练轨迹。该攻击在动作条件和文本条件的世界模型上均验证有效,实现了对下游 DRL 策略的端到端后门,并在 VLA 场景中给出概念验证。研究认为这一发现要求重新评估世界模型在机器人学习供应链中的安全定位。

  8. 论文追踪 · 收录 · 原文 论文59

    Trojan Hippo Bench:针对 LLM Agent 持久记忆攻击与防御的动态基准

    ETH Zurich、UC Berkeley 与 Snyk 的研究者提出 Trojan Hippo Bench,用于系统评测 LLM Agent 持久记忆中的投毒攻击与记忆层防御。该攻击通过一次不可信工具调用(如一封精心构造的邮件)把休眠载荷写入 Agent 长期记忆,仅在用户后续谈及财务、健康、身份等敏感话题时激活并把个人数据外发。在邮件助手场景下,未加防御的攻击对 OpenAI 和 Google 前沿模型的攻击成功率达 85–100%,注入后经过 100 轮良性会话仍可激活。研究者评测了四种基于基本安全原则的记忆层防御,可将攻击成功率降至 0–5%,其中可证明安全的信息流控制策略在所有配置下达到 0%,但各防御的效用代价差异很大,实际部署仍是未解问题。基准已开源。

    推荐理由论文给出持久记忆投毒在四种记忆后端上的攻击成功率与四类防御的效用代价,可据此评估自家 Agent 的记忆层风险。

  9. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文35

    从期望危害到似然:LLM 智能体越狱的概率重构

    研究提出越狱 LLM 智能体的概率重构框架,证明期望危害度对数对输入的梯度,等于在危害度重加权输出分布下模型对数似然的期望输入梯度,从而统一了期望危害最大化与目标似然优化两种思路。基于该联系提出采样分布 OPUR,用于生成高危害目标输出并引导基于似然的输入优化,实验显示该方法能有效越狱 LLM 智能体。

  10. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文60

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    研究者提出 WebMirage,一个针对视觉网页 Agent 的端到端红队框架,通过在被控图像上施加局部视觉扰动,让 Agent 选中攻击者控制的内容并执行对应浏览器操作。该框架用角色槽抽象与网页重组建模候选元素之间的竞争,并用 dataflow 分析把优化目标对齐到动作后处理阶段,只保留决定浏览器命令的 token。在四种 Agent 配置、六种 VLM 主干、覆盖 13 个公开网站与沙箱基准的 2250 个任务上,WebMirage 平均攻击成功率为 91.9%,最强基线为 17.4%。三种现有 Agent 级防御下攻击成功率仍在 86.5% 至 91.9% 之间;让候选标识符随机化的自适应防御把成功率从 93.8% 降到 11.7%,但干净任务准确率也从 100% 降到 15.9%。

    推荐理由论文把视觉红队建模为从视觉定位到浏览器执行的端到端过程,展示了该攻击在多种 Agent 配置下的成功率与现有防御的覆盖情况。

  11. 论文追踪 · 收录 · 原文 论文54

    研究者提出利用祖先 VLM 的黑盒对抗补丁攻击,可降低 VLA 任务成功率

    研究者提出三种针对视觉语言动作模型(VLA)的黑盒对抗补丁攻击,其特点是不需要访问目标 VLA,只利用其上游公开预训练 VLM。做法是利用多数 VLA 由公开 VLM 适配而来、继承了视觉感知与指令条件化 grounding 能力这一特点,分别设计视觉扰动攻击、指令 grounding 语义证据抑制攻击,以及用两阶段课程统一两者目标的联合攻击。在多个 VLA 系列上的仿真与静态真实图像实验显示,在祖先 VLM 上优化的补丁会造成 VLA 任务成功率大幅下降,说明 VLA 连同基础能力一并继承了对抗脆弱性。该效应并不均匀:在需要精确指令 ground 定位的任务上最强,在适配过程重写了共享视觉语义表征、或动作头会迭代平滑扰动的策略上几乎消失。

  12. 论文追踪 · 收录 · 原文 论文55

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    康奈尔大学、UC Davis、宾夕法尼亚大学与亚利桑那州立大学的研究者发现,参数固定、没有共享编码本的语言模型智能体对能通过多轮交互学会传递私密信息。实验用四选一的公开报告摘要配对四种秘密状态,智能体仅靠每轮一比特的对错反馈学习建立映射;在十局独立对局中,两个 GPT-5.6 Sol 智能体的最终准确率达到 95%,而随机猜测为 25%。在模拟事件响应任务中,发送方自行撰写更新并被告知保密,每一条消息都经监控逐条审核,十局 Sol 对局最终仍以 98.8% 的准确率恢复机密发现,且全部最终消息通过审核。研究还发现,从第一轮起对消息进行改写,三对智能体仍能在改写语言上学会通信,最终准确率为 75%、87.5% 和 87.5%;仅改写已有信道则使恢复率从 98.8% 降至 45%。作者认为,保密性不仅取决于单条消息写了什么,也取决于接收方从过往交互中学会了如何解读。

    推荐理由论文给出多模型配对在固定参数下的隐蔽信道成功率,并显示消息改写与监控评审在初次交互时被学习绕过。

  13. 论文追踪 · 收录 · 原文 论文57

    P-VMI:对抗图像经 KV cache 持续影响多轮对话

    ServiceNow AI Research 等机构的研究者提出 Persistent Visual Memory Injection(P-VMI)攻击,可将对抗图像的隐藏后门写入后续 token 的 KV cache,使图像被遮蔽后仍能影响模型输出。在 Qwen3-VL-8B-Instruct 上,P-VMI 最强配置的目标成功率约 90%,即使只在第一轮暴露图像也能在更严格设置下生效;原始 VMI 攻击在触发时遮蔽图像后成功率为 0%,说明持久性需要专门优化。研究还显示攻击能穿过保留摘要 KV cache 的上下文压缩,且在 Gemma-4-12B 上触发成功率超过 90%(三轮对话内)、六轮后为 73%。cache-swap 消融把持续影响定位到 KV cache,残差流中单一线性方向预测攻击成功的 AUC 达 0.90 至 0.95。

    推荐理由论文证明对抗图像的影响可在图像被遮蔽后仍留在 KV cache 中,为评估缓存复用与上下文压缩的安全性提供了新的攻击面。

  14. 论文追踪 · 收录 · 原文 论文44

    ASPIRE:面向 LLM Agent 的开放式提示注入红队引擎

    研究者提出 ASPIRE,一个面向 LLM Agent 的开放式、行为级漏洞发现红队引擎,用于应对 Agent 检索不可信内容并通过工具行动所带来的间接提示注入风险。ASPIRE 维护一个持续演化的 Agent Security Behavior Graph,用互补的 Explore 与 Exploit 专家发现、验证并泛化以后果为中心的测试;轨迹证据用于更新该图并诊断部分或失败的尝试,跨运行记忆则迁移有效的红队策略。论文称在多个基准上的实验显示,ASPIRE 在后果、注入方法、环境和行为路径上大幅扩展了覆盖范围,同时保持较高的攻击成功率。

  15. 论文追踪 · 收录 · 原文 论文51

    研究者提出 PackHallu:经规则文件提示注入对编码 Agent 发起包幻觉攻击

    研究者提出包幻觉攻击,攻击者在社区共享的规则文件(如 .cursorrules)中注入恶意提示词,诱导编码 Agent 把合法依赖替换为攻击者控制的包。为生成有效注入提示词,作者提出 PackHallu 进化优化框架,利用轨迹级反馈和 LLM 引导的变异迭代改写注入内容。在多个基准、LLM 和 Agent 框架上的评测显示,PackHallu 取得较高攻击成功率,并在不同模型与 Agent 组合间具有较强迁移性。研究认为编码 Agent 易受此类攻击影响,自主编码系统需要更强的安全防护。

  16. 论文追踪 · 收录 · 原文 论文58

    UC Berkeley 提出 BenchJack,自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    UC Berkeley 研究者提出 BenchJack,一个面向 AI Agent 基准的自动化红队审计系统,可在不解决任何任务的情况下合成奖励作弊利用,在 10 个基准中的 9 个取得接近满分。该系统基于对既有奖励作弊事件的归纳,提出八类反复出现的评测缺陷分类(如隔离失效、测试自带答案、评测器远程代码执行、LLM 裁判提示注入、弱字符串匹配、评测逻辑缺口、信任不可信输出、权限过大),并整理成含 30 个问题、7 个类别的 Agent-Eval Checklist。在覆盖软件工程、网页导航、桌面操作和终端操作的 10 个基准上,BenchJack 共报告 219 处缺陷,横跨全部八类;其中 SWE-bench Verified 可被一个九行 PyTest hook 刷到全通过,WebArena 存在答案泄露。

    推荐理由论文给出八类评测缺陷分类与自动化审计工具,并量化了 10 个主流 Agent 基准的奖励作弊可复现程度,可供基准设计者对照自查。

10月7日周三
  1. 论文追踪 · 收录 · 原文 论文54

    SkillPoison:用成功经验投毒自进化 Agent 的技能形成

    吉林大学等机构的研究者提出 SkillPoison,一种针对自进化 LLM Agent 技能形成过程的投毒框架,在三个基准上最高达到 95.71% 的攻击成功率。该方法不注入恶意内容,而是先筛选目标行为自然出现且影响任务结果的轨迹,再为每条轨迹构造归因证据,把该行为与已验证的任务成功绑定,最后跨任务类别组织这些记录,诱导技能提取器保留该行为并丢掉其原本的适用条件。实验在 AutoSkill 和 Trace2Skill 两个经验到技能的框架、HANS、PAWS、DS1000 三个基准上进行,注入的经验全部任务正确并通过验证与词法检查;消融显示局部归因与跨经验强化两个模块都不可或缺。作者指出,技能形成过程需要保留行为的上下文适用条件。

    推荐理由论文提出用任务正确的成功经验诱导技能提取器过度泛化,攻击成功率 95.71%,为自进化 Agent 的技能形成环节提供了新的威胁模型。

  2. 论文追踪 · 收录 · 原文 论文53

    CORSA:面向技能路由器的技能注入攻击可跨路由器与 LLM 迁移

    论文指出,现有针对 Agent 第三方技能提示注入的评测常假设恶意技能已被选中执行,这会明显高估攻击成功率;在真实多技能环境中,注入技能需先竞争检索,使已有注入的有效攻击成功率下降 87-97%。作者提出 CORSA(Cluster Optimization for Router-Aware Skill Attacks),一种感知路由器的攻击方法,针对相关任务簇同时优化技能的检索与执行。研究将 SkillRouter 的基准扩展出八类恶意载荷,用分阶段优化先提升检索再优化端到端攻击成功率,并分别评估用户效用与注入自然度。实验显示 CORSA 在保持用户效用的同时提升了检索与端到端攻击成功率,且攻击可迁移到不同路由器架构和 LLM 底座。

  3. 论文追踪 · 收录 · 原文 论文59

    MemLeak 研究:多租户 Agent 共享向量记忆库存在跨用户记忆泄露

    Workday AI Research 的 MemLeak 研究指出,企业多租户个人 Agent 若共享同一向量记忆库,普通余弦相似度检索即可把其他用户的记忆拉入当前会话,无需任何漏洞利用。在池化同团队检索下,非对抗性泄露率达 70–100%;精心构造的记忆在 top-k 中占比 90–100%,生产级稠密检索下得分提升 +0.416 至 +0.511;端到端响应污染最高达 5.00/5,且被污染的回答常被评为同样或更有帮助。研究测试了三种缓解方案,只有检索后硬性归属门控能在两个生成模型上把污染恢复到 1.00/5 的干净基线,每次查询延迟开销约 1.4 ms。作者强调这是受控概念验证,样本为每条件 10 条查询,不代表真实企业泄露率。

    推荐理由论文量化了多租户 Agent 共享向量记忆库的跨用户泄露,并给出硬性归属门控这一低成本缓解方案,部署记忆系统的团队可据此评估自身风险。

10月6日周二
  1. 论文追踪 · 收录 · 原文 论文31

    NeuroSploit v4.2.0 在 GOAD 上的评测:结构化智能体编排提升 AD 渗透测试

    开源 Rust 自主渗透测试框架 NeuroSploit v4.2.0 在 GOAD 靶场(5 台虚拟机、2 个森林、3 个域)上完成评测,其编排 22 个 AD 专用智能体与 7 套多阶段攻击链 playbook,覆盖枚举、Kerberoasting、AD CS(ESC1-ESC8)、DCSync、跨森林信任滥用等完整杀伤链。对 Claude Opus 4.6/4.7/4.8、GPT-6 Astra、GPT-5.6 Sol、Grok 4.6、Qwen 3.8、GLM 5.3、Kimi k3 九个前沿模型的测试显示,框架实现 96-100% 技术覆盖率与 90-97% 精确率,直接调用仅覆盖 21-54% 且误报多出 3.2 倍;使用 Opus 4.8 时 134 分钟完成三域完全攻陷,护栏机制阻止了触发锁定的喷洒、未授权 DCSync 转储与越界侦察。

  2. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文53

    研究用因果追踪区分间接提示注入中的可读信号与有效干预

    研究通过反事实角色探针、逐组件激活修补和对 AgentDojo 轨迹的干预,分析间接提示注入中角色信号与行为改变之间的差距。角色解码在内容和格式变化下依然存在,在受控 Qwen 测试中先于沿独立估计的角色方向修补带来的工具选择效应。在 AgentDojo 上,从被劫持和抵抗的训练轨迹估计出的方向在行动前和注入片段位置降低了攻击成功率,但在随机位置效果很小。在较长的 Qwen 轨迹中,单点编辑在较后层效果减弱,跨片段和重复编辑能在同一评测集上降低攻击成功率。移除学到的通道子空间仍保留角色解码,但有效干预方向在测试通道间迁移较差。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文47

    Penumbra:面向监管义务的样本高效对抗搜索方法

    研究者提出 Penumbra,一种面向监管义务的对抗搜索方法,从已验证的锚点出发,在逐步扩大的编辑预算下搜索,直到由两名评估者组成的委员会改变判定,并输出跨越判定边界的两条相邻响应。该方法采用自适应分配,目标是对失败面的覆盖,即每个候选解决的(义务×失败模式)单元格数量。在同等预算下,自适应分配在 59% 的候选上达到均匀分配全预算的覆盖;在相同记录数下,其覆盖的失败模式是朴素枚举的 1.43 倍,且增益局限于其针对的维度。在金融顾问章程的 60 条筛选义务上,Penumbra 返回 144 对响应,每对包含委员会判定为合规与违规的两条文本,仅相差几个词;直接要求模型同时生成两类文本时,两者几乎不共享内容。在临床分诊的第二份章程上,该方法在 18 条义务上复现了结果,得到 49 对同样紧密的响应,且最难的模式相同。

  4. 论文追踪 · 收录 · 原文 论文54

    研究者训练出按多智能体拓扑触发的代码后门模型

    研究者构建人为植入后门的实验模型,测试其是否会依据推断出的单智能体或多智能体部署环境改变代码安全行为。作者报告受控任务中存在环境相关的安全差异,并以多组对照分析触发条件。这是人为构造的受控实验,不是模型自发涌现行为;真实多智能体环境中的触发尚未测试。

    推荐理由论文用受控模型生物展示按部署拓扑触发的后门,并给出跨单智能体与多智能体上下文的差分审计思路。

  5. 论文追踪 · 收录 · 原文 论文52

    CRIME 框架利用良性 Agent 技能组合诱发恶意行为

    研究者提出 CRIME 框架,指出单独通过安全审查的良性 Agent 技能在组合后仍可诱发恶意行为,因为组合会扩展智能体的能力空间。CRIME 先用 Malicious Plot Casting 模块把目标恶意行为拆解为互补需求,从公开技能库中筛选合适的良性技能组合;对无法直接实现的组合,Runaway Reaction Steering 模块借助执行反馈迭代调整技能,同时要求每个技能在单独审查下仍属良性。组合随后进入 Skill Reaction Chamber 模块,在沙箱中执行并检查环境后果以判断目标行为是否发生,失败案例返回继续调整。研究者还构建了覆盖八类网络安全行为的 4000 个公开技能基准用于系统评估。

  6. 论文追踪 · 收录 · 原文 论文53

    论文披露主动式智能体的服务方间接提示注入攻击

    论文提出一种针对主动式个人智能体的服务方间接提示注入攻击,外部服务方无需访问用户私有上下文、无需攻陷智能体或获取额外权限,仅控制与自身目标相关的内容,就能让原本中立的智能体转而推进该目标。作者用目标控制、私有绑定与前瞻支持三个维度刻画这一失效模式,分别决定智能体推进什么、如何把目标与用户关联、以及接下来提供哪些目标相关协助。在三个主动式智能体环境和六个模拟用户模型上,完整攻击在所有环境与用户模型组合中都提升了目标授权,宏观增幅最高达 77.4 个百分点。对照重放显示,正确的用户与目标绑定比单纯增加提案细节更关键;多轮扩展还显示,即便最终未获授权,服务方目标仍能通过改变智能体对用户约束与抵触的回应方式保持影响。

  7. 论文追踪 · 收录 · 原文 论文58

    StegoMemory 红队测试:智能体持久记忆可被用作跨会话隐蔽信道

    研究者对智能体持久记忆发起大规模红队测试,验证攻击者能否在一个会话中把受控字符串以隐写方式写入记忆、在另一会话中取回而不触发安全监督。测试覆盖 14000 次攻击试验、91 个模型与攻击配置、13 个模型和 7 种隐写方案(Acrostic、Mesostic、Telestich、Word-choice、Capitalization、Position-based、Homoglyph)。41.2% 的试验成功在回复中编码目标载荷,29.8% 在记忆写入后仍保持编码完整,25.4% 在检索时可恢复载荷,20.1% 实现精确匹配恢复,其中包括从未向接收方暴露的合成 API key 和密钥材料。精确匹配传输中有 71.4% 同时通过主任务完成度评分并被监督模型独立判定为安全,相当于全部试验的 14.4%。

    推荐理由论文用 14000 次试验量化了智能体记忆作为跨会话隐蔽信道的成功率,并指出记忆写入而非检测才是当前主要瓶颈。

  8. 论文追踪 · 收录 · 原文 论文55

    AgentDoxx:联网搜索 Agent 对匿名访谈文本的再识别评测

    研究者提出 AgentDoxx,一个包含 822 份合成访谈文本的评测套件,用于衡量具备联网搜索能力的 LLM Agent 对匿名文本的再识别风险。这些访谈基于 r/IAmA 中公开披露身份者的公开信息生成,经人工判别研究显示其与真实访谈难以区分。在 15 种模型配置上,Kimi K3、GLM-5.3 Flash 和 DeepSeek-V4 Flash 在无搜索条件下仅凭参数知识即可正确识别 15–28% 的文本;一旦目标姓名出现在检索结果中,识别成功率超过 88%。防护方面,命名实体遮蔽后仍有至少一个攻击者能识别 85.3% 的分层样本;属性噪声替换把平均准确率从 75.1% 降至 34.2%;系统提示中的隐私指令降幅最大(75.1% 降至 21.6%),但在拒答姓名的样本中 37% 已在检索阶段拿到姓名、58% 仍描述了目标的辨识性细节。

    推荐理由该研究用 822 份已知身份的合成访谈量化了联网搜索对再识别风险的贡献,并给出多种匿名化防护的实测效果。

10月5日周一
  1. 论文追踪 · 收录 · 原文 论文53

    HDI 攻击:篡改 GraphRAG 辅助结构可致 88–94% 攻击成功率

    论文研究GraphRAG索引生成的语义摘要、层级关系和预计算分数等辅助结构被篡改后的风险,提出3S框架和HDI影响分析方法。攻击者须先取得索引完成后的辅助结构写入权限,这不是无需访问条件的远程攻击。作者在两类GraphRAG架构和两个问答基准上报告少量篡改可影响多个查询,并绕过所测困惑度与改写防御;结果限于这些实验条件,尚未独立复现。

    推荐理由论文把 GraphRAG 离线索引生成的摘要、层级边和预计算分数列为新攻击面,并给出可复现的攻击与防御盲区分析。

  2. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文40

    LS-AR 双通道架构:文本目标丢弃可抵御提示注入但引入潜在向量攻击面

    研究者提出 Latent-Steered Autoregressive(LS-AR)双通道架构,通过 FiLM 条件将连续目标引导与离散 token 解码解耦,以解决标准自回归模型无法隔离宏观目标与上下文噪声的问题。在超出上下文限制的长程检索任务(H=1024, W=500)中,LS-AR(Static)实现 100% 目标召回,而参数匹配的基线完全崩溃(0%),同时吞吐量提升约 35%,峰值 VRAM 降低 52.8%。在 Blocksworld 规划任务中,LS-AR(Dynamic)在强制扰动(k=1)下保持 89.0% 完成率,基线为 71.0%,但零样本实体扩展(N 到 N+1)暴露出单向量容量限制(0%)。双通道权限分析显示,文本目标丢弃会建立潜在主导控制,为文本提示注入提供结构性防御,但同时引入潜在向量攻击面。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    论文提出 LLM 输入扰动鲁棒性度量,并发布 ASA 攻击与 AttestMCP 防护

    一篇论文提出评估并提升大语言模型对对抗性输入序列变化鲁棒性的模型、方法与算法,核心是名为 R_stab(f) 的生成式鲁棒性度量,基于小输入扰动下逐步输出分布之间的 Jensen-Shannon 散度。针对 LLM-as-a-Judge 系统,作者提出自适应进化黑盒攻击 ASA,攻击成功率最高达 73.8%,在开源模型间迁移率最高 62.6%。在 Trojan Detection Challenge 2023 数据(Pythia-1.4B)上,替代触发器达到约 0.99 的 REASR,而真实触发器召回率约 0.17,基线约 0.14。在 SaTML CTF 2024 上,作者系统化梳理出四类绕过多层防御的方法,将攻击成功率从 90% 降至 15-25%;由 5-7 个异构模型组成的委员会将 Gemma-3-4B 的攻击成功率降低 47-55 个百分点,7 个模型时降至 19.3%。

  4. arXiv · 收录 · 原文 论文67

    研究:跨通道碎片化攻击可绕过 MCP 单通道防御,12 个前沿模型最高 100% 泄露凭据

    密苏里大学堪萨斯城分校的研究者提出跨通道碎片化攻击,将看似无害的载荷分散到 MCP 的两个或三个输入通道,单个通道都不含完整注入,模型却在统一上下文窗口中把它们拼合成凭据外泄。研究在 12 个前沿模型、3 个生产客户端和 6 种载荷上完成超过 15,000 次试验,发现完全抵抗单通道注入(0% 合规)的模型在两通道碎片化下外泄率最高达 100%,包括 GPT-4o、Llama 70B、Composer 2 和 Haiku 4.5。三通道碎片化在生产客户端中进一步扩大受影响范围,Haiku 4.5 在 Cursor 中达到 100%,Sonnet 4.6 和 Opus 4.6 在所测碎片化攻击中未发生泄露(0/20)。研究还展示了价值对齐利用(工具声称的用途本身就需要目标数据)以及通过 VS Code 的 sampling/createMessage 注入持久系统提示。

    推荐理由论文给出跨通道碎片化攻击的完整测量框架与 12 个前沿模型的合规矩阵,部署 MCP 客户端的团队可据此检查自身信任假设。

  5. 论文追踪 · 收录 · 原文 论文59

    TrustProbe 在 11 个开源 Agent 中发现 104 个技能信任链漏洞

    中科院信息工程研究所与伍斯特理工学院的研究者提出 TrustProbe,用于挖掘基于技能的 LLM Agent 中不安全的信任链,在 11 个开源 Agent(其中 8 个 GitHub 星标超过 10,000)中确认 104 个污点式漏洞,涵盖命令注入 49 个、文件泄露 27 个、文件篡改 22 个、网络请求 5 个和代码注入 1 个。方法先对 Agent 源码做 source-to-sink 分析,从技能可控输入追踪到安全敏感操作,再用定向灰盒模糊测试生成并变异带 canary 的 SKILL.md 种子,最后用 oracle 确认攻击者控制并验证可观测危害。同一批技能正文改为直接提示词投递时,仅 31.7% 的漏洞仍可利用;在 8 个提供审批层的 Agent 上启用最严格非交互审批配置后,89 个漏洞中 34.8% 仍可利用,原因是执行路径绕过策略或策略未覆盖相关操作。

    推荐理由论文给出跨 11 个 Agent 的 104 个技能信任链漏洞与真实技能触发率,可对照检查自家技能加载与审批机制。

  6. 论文追踪 · 收录 · 原文 论文49

    研究者提出解耦铺垫与执行的 LLM Agent 技能投毒攻击

    研究者提出一种基于协同的技能投毒攻击范式,将执行理由与具体操作解耦,使恶意操作在下游 Steering Skill 中保持完整、看起来完全合法。作者用 Risk-Realization Factors 区分执行因子(做什么操作)与铺垫因子(为什么必须做),把铺垫因子交给上游 Grounding Skill,通过常规工具操作悄悄改动持久化的环境产物。配套的自动化框架能发现真实执行依赖、合成成对的铺垫与执行技能,并借助运行时闭环反馈迭代优化投毒指令。在单会话和跨生命周期的持久化场景中,该解耦式技能投毒取得高攻击成功率,暴露出孤立审计单个 Skill 的安全盲区。代码已公开。

  7. 论文追踪 · 收录 · 原文 论文59

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器,成功率最高 97%

    研究者提出 Pretext,用于评估了解检测器内部机制的攻击者能否绕过 Agent 技能安装前的安全扫描。论文报告,这类白盒攻击可以在保留技能正常功能的同时逃过结合静态检查与语言模型判断的检测框架,并在三个开源模型上比较了检测器固定及与攻击者共同适应两种设置。作者报告两种设置下仍存在较高的绕过风险,指出安装前扫描不足以单独保证技能执行安全。这些结论来自论文作者的实验,不能视作所有技能扫描器或实际部署环境的普遍结果。

    推荐理由论文给出针对技能扫描器的白盒绕过方法与两种检测器设定下的成功率,做 Agent 技能供应链安全的团队可据此评估现有扫描器的边界。

  8. 论文追踪 · 收录 · 原文 论文59

    A2M:针对 MCP 生态的两阶段 Agent 劫持框架

    研究者提出 A2M(Attraction-to-Manipulation),一个针对 MCP 智能体的两阶段黑盒攻击框架,先优化工具名称与描述提高被调用概率,再利用执行轨迹迭代优化工具返回内容以操纵智能体后续推理。在 LiveMCPBench 上,直接针对 GLM-4.6 优化的攻击在四个场景下平均恶意工具调用率为 93.6%,认知拒绝服务场景下加权 token 成本升至良性基线的 32.4 倍,信息窃取、环境完整性破坏与推理误导三类攻击的平均成功率为 74.4%。未经重新优化迁移到另外四个模型时,对应指标分别为 63.6%、2.7 倍和 24.5%,说明工具调用比完整攻击成功更容易迁移。GPT-5 上调用率介于 64.9 至 76.3,但信息窃取与环境完整性破坏的攻击成功率均为 0,推理误导为 22.0。作者据此呼吁加强 MCP 工具审查与运行时隔离,代码已公开。

    推荐理由论文给出 MCP 工具元数据与返回内容两阶段优化的完整攻击链,并区分工具调用率与真正攻击成功率,部署 MCP Agent 的团队可据此评估工具审查与运行时隔离的缺口。

  9. 论文追踪 · 收录 · 原文 论文50

    研究者提出 Context-Fractured Decomposition 攻击,工具型 LLM Agent 越狱成功率最高提升 28.3 个百分点

    研究者提出 Context-Fractured Decomposition(CFD)攻击,针对工具型 LLM Agent 的“溯源缺口”部署失效模式。该攻击保留早期交互中看似无害的中间工件,在后续不同 Agent 实例或工作流阶段通过单独无害的工具动作触发有害行为,风险只在延迟的工件中介组合下显现。作者用 trace 级诊断刻画这一失效模式,并提出溯源血缘标记(provenance lineage tagging)作为可验证的缓解方向。在 Agent 系统越狱基准上,CFD 相比当前最优基线成功率最高提升 28.3 个百分点,且能绕过较强的单轮判定器。

  10. 论文追踪 · 收录 · 原文 论文50

    TRACE:面向 LLM Agent 的任务感知自适应自进化越狱框架

    研究者提出 TRACE,一个针对 LLM Agent 的智能体越狱框架,在 AdvCUA 上对多个先进 LLM Agent 的攻击成功率比现有越狱方法提升超过 100%。该框架先设计约 20 种流程分解方案,按任务类型规定关键操作与依赖,把复杂有害任务拆成更易执行、外观更无害的子任务序列,并从两个维度评估候选序列后选出最优者用于发起攻击。对仍被拒答的子任务,TRACE 构建不同的子任务画像,并建立与之对应的、面向执行的演进式多轮越狱策略库,检索出包含中间目标、环境状态和相关工具的策略,通过多轮交互逐步建立可信的执行上下文。作者指出,现有越狱方法多聚焦诱导有害指令,忽视模型对执行这些指令的拒答,且中间步骤失败或依赖报错会导致整个攻击流程中断重启,TRACE 通过状态恢复而非重启来应对。代码已公开。

  11. 论文追踪 · 收录 · 原文 论文56

    MMPIBench:多模态提示注入对六种 Agent 框架的跨框架评测

    研究者提出 MMPIBench,一个可复现的多模态提示注入基准,用同一套攻击、工具集和系统提示词在 LangGraph、CrewAI、AutoGen、OpenAI Agents SDK、Semantic Kernel、LlamaIndex 六种 Agent 框架上运行,覆盖五种基础模型、六种视觉载体和四类攻击目标,共 720 次运行。结果显示攻击完成率约 1%,但被尝试的比例达 12.8%,差距几乎全部在规划阶段被消解,即模型读到注入指令后拒绝执行。模型比框架更能决定指令是否被采纳:Claude Opus 4.8 在 144 次运行中从未尝试攻击并在 59.7% 的运行中识别出注入,Grok 4.3 与 Llama 4 Maverick 的尝试率均为 23.6%。载体方面,渲染 OCR 文本最有效,贡献了 8 次完成中的 7 次;EXIF 元数据和二维码约 88% 的运行中未被感知。

    推荐理由论文用统一的跨框架测试台定位注入攻击在感知、规划、工具调用各阶段被拦下的位置,并给出模型与框架各自的作用。