全部动态
论文与会议论文
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
SkillPoison:用成功经验投毒自进化 Agent 的技能形成
吉林大学等机构的研究者提出 SkillPoison,一种针对自进化 LLM Agent 技能形成过程的投毒框架,在三个基准上最高达到 95.71% 的攻击成功率。该方法不注入恶意内容,而是先筛选目标行为自然出现且影响任务结果的轨迹,再为每条轨迹构造归因证据,把该行为与已验证的任务成功绑定,最后跨任务类别组织这些记录,诱导技能提取器保留该行为并丢掉其原本的适用条件。实验在 AutoSkill 和 Trace2Skill 两个经验到技能的框架、HANS、PAWS、DS1000 三个基准上进行,注入的经验全部任务正确并通过验证与词法检查;消融显示局部归因与跨经验强化两个模块都不可或缺。作者指出,技能形成过程需要保留行为的上下文适用条件。
- 论文论文追踪
研究揭示策略蒸馏的安全后门风险:3% 投毒率可致 70% 攻击成功率
一项 arXiv 论文发现,安全对齐但被植入后门的教师模型会在 on-policy distillation(OPD)过程中把隐藏的恶意行为传递给原本干净的学生模型。在作者设定的威胁模型下,仅 3% 的投毒率就能让蒸馏后的学生模型达到最高 70% 的攻击成功率。研究进一步指出两个放大风险的因素:增加训练轮数会让低投毒率也产生高攻击成功率,仅 10 个投毒样本训练 16 轮后攻击成功率即达 67%;常用的 top-k KL 相比 sampled-token KL 会加速后门传递,使触发条件下的有害行为更早出现。作者还尝试了一种简单缓解方法 Lazy Defense,通过裁剪 KL 奖励让学生的更新不那么激进,实验显示它能在低投毒率场景下延缓后门传递。
- 论文论文追踪
PersistBD:攻击者可在发布前强化后门,使其在开发者 SFT 与 RL 后仍保持高攻击成功率
PersistBD研究第三方模型中的后门能否延续至下游软件工程智能体训练。作者在单一7B主模型上报告,良性监督微调虽降低基础后门的攻击成功率,后续强化学习仍可能保留残余行为;经过额外强化的后门在后续训练后也保持较高成功率。研究提示,开发者不能假定正常后训练会消除继承权重中的后门,供应链安全仍需独立检测。
- 论文论文追踪
研究者提出临时可见性协议,限制持续摄入 RAG 向量库的投毒暴露
研究者提出一种失败即关闭的临时可见性协议,用于控制持续摄入场景下 RAG 向量库的投毒暴露:新内容在截止期限内以临时状态准入,验证未及时完成的内容被隐藏,并支持按血缘范围隔离。在五组编码自然语言文档负载上,使用精确后端与 Milvus 评测,验证器积压时该截止机制把投毒检索的中位数从 34(29–34)降到 7(6–7),被挤出的干净结果数量同步下降。先验证后可见可避免临时暴露,但干净内容首次可见延迟到 6.3 秒,而临时准入可在 3 毫秒内可见,代价是过期干净条目可能出现临时可用性缺口。用特定检测器回放决策显示,误放行会让投毒内容保持可见,误拒答则会把干净内容排除在检索之外,说明协议保证与检测器质量各自决定哪些结果。该工作已被 IEEE CBDCom 2026 接收。
- 论文论文追踪
研究揭示 OSS 漏洞在 Agent 系统中的传播路径
一项研究考察了已知开源软件(OSS)漏洞在 Agent 工作流中被触发时的行为,发现安全相关后果会沿工具输出、Agent 状态和暴露给模型的信息在多个运行时层之间传播。作者利用漏洞感知的语义信息、漏洞版与修复版软件的差分执行,以及跨多层的运行时溯源,判断漏洞是否产生可观测的安全影响,并确定该影响最远停留在哪一层。评估显示,该方法能在多种漏洞场景中准确区分已实现的影响并划定其表现边界。研究者还将分析应用于一个真实 Agent 框架的已记录工作流,在其 OSS 依赖的已知漏洞中发现多处安全影响,并指出应关注依赖漏洞的执行层后果,而非仅看漏洞是否存在。
- 论文论文追踪
研究揭示代码注释中的上下文注入攻击面:十款 Code LLM 中招率达 77.4%–92.3%
研究者提出代码注释中的上下文注入攻击面,测试不安全指令嵌入开发上下文后能否诱导 Code LLM 生成漏洞代码。在十款 3B–13B 开源 Code LLM(四款基座、六款指令微调)和十类 Web 应用弱点上,攻击条件下 77.4%–92.3% 的补全含中等及以上弱点,良性条件仅 1.7%–5.1%。基座与指令微调模型平均漏洞输出率分别为 86.5% 和 84.5%,指令微调后降幅最多 8.1%,且易感性与模型规模或专精方向无明显关联。在易受攻击的输出中,86.2%–91.0% 被评为高或严重级别,去掉基于模式的检测器后效应依然存在。生成后筛查能降低但无法消除风险,最强筛查仍漏掉约三分之一。
- 论文arXiv:越狱、提示注入、投毒与防御
研究者提出 EviLLM 攻击:通过被入侵账号向 AI 代码生成流程注入漏洞
研究者提出名为 EviLLM 的攻击,威胁模型是能力与现有网络犯罪分子相当的第三方攻击者攻陷 AI 代码生成流程,故意向生成的代码中注入漏洞。该攻击实现了两个实例,均只需通过被入侵的账号或浏览器访问底层 LLM,即可注入 13 类 CWE 漏洞;可行性研究显示这两种攻击向量已被用于实施多种现有网络攻击。用户研究中,两个实例注入的漏洞分别有 8 人中的 7 人和 13 人中的 10 人未察觉,21 名参与者中有 13 人很少或从不考虑此类攻击风险。
- 论文论文追踪
研究者披露 LiteLLM 网关跨租户干扰攻击 Cooldown Landmines
题为 Cooldown Landmines 的研究讨论 LLM 网关中的跨租户干扰。
- 论文论文追踪
研究揭示 Jev 作为应用决策层的安全与隐私风险
研究者对 Jev 这一将自然语言问题转为带类型答案与概率的决策层接口做了首次系统性安全与隐私研究,使用官方 Jev API 和训练数据与更新可控的本地模型 NanoJev。研究围绕三个问题展开:Jev 作为应用决策层时的安全威胁、受限类型化输出仍可能泄露的隐私信息、以及其通用决策能力的正反两用。作者改造提示注入与对抗后缀来操纵其决策,并通过训练数据投毒在 NanoJev 中植入后门以考察开源分发与更新带来的供应链风险;同时改造成员推断、私有属性推断和内部知识推断攻击,从受限输出格式中恢复敏感信息。研究还用提示注入、越狱输入、有害内容和 AI 生成文本四项检测任务考察其防御用途,并分析越狱与模型提取等滥用场景。实验显示 Jev 对上述安全与隐私威胁仍然脆弱,其决策能力可同时支持有益与恶意用途。
- 论文论文追踪
研究者提出仅修改 SAE 解码器的后门攻击,可在不改动语言模型的情况下植入行为
研究者提出一种仅针对 SAE 解码器的后门攻击,在语言模型和 SAE 编码器均冻结的情况下,将恶意修改的 SAE 插入前向传播即可诱导攻击者指定的行为。以代码生成为例,该攻击在三个语言模型和多种插入层上实现了较高的非请求代码插入率,并能依据提示词线索触发特定行为。研究还用 HumanEval 和部分 SAEBench 指标评估了被修改的 SAE,发现强后门行为可以与若干常规 SAE 质量指标的较小变化共存。作者据此认为 SAE 可携带行为后门而无需修改语言模型本身,应被视为安全敏感组件。
- 论文arXiv
Pheo 提出 OATS:用确定性解析器在运行时治理 Agent 技能动作
Pheo Inc 的 Rohit Taneja 等人提出 OATS(Open Agent Trust System),在 Agent 决定动作但尚未执行时做运行时治理,回答的是某个动作在当前机器和操作者策略下是否被允许,而非技能是否恶意。作者在 66,192 个公开 ClawHub 技能版本上测量发现,705 个被三个扫描器和注册表评审全部判为 clean 的技能,仍指示了 CIS Control 2.7 和 NIST SP 800-53 CM-11 列为禁止的动作,涉及 135 个发布者,其中单一发布者占 506 个;对 100 个样本的人工审计给出 92% 精确率(95% CI [84.8%, 96.5%])。OATS 的解析器不读技能文档、不调用模型,中位端到端耗时 67.6 ms,输出接入按(资源, 类别)计数的信任账本,升级阈值由操作者自述风险容忍度推导,而非固定十次干净批准。
- 论文arXiv:越狱、提示注入、投毒与防御
论文提出在 Kubernetes 上保护 AI Agent 的七层纵深防御框架与参考架构
论文主张不应把模型本身当作安全边界,Agent 在 Kubernetes 上的安全应作为基础设施问题处理,所有保证都需在 Agent 已被提示注入完全攻陷的假设下成立。作者提出十类威胁分类法(对齐 OWASP 智能体应用指南)、九条设计原则(核心是工具边界的完全中介,以及打破不可信输入、敏感访问与外部外发三者的组合)、七层纵深防御框架,并映射到工作负载身份、RBAC 与 ValidatingAdmissionPolicy、基于 SIG Apps Agent Sandbox 项目的 gVisor/Kata 沙箱、FQDN 感知的外发策略、带策略即代码的 Agent/MCP 网关与 eBPF 运行时执行等 Kubernetes 原生机制。作者未报告实测的攻击成功率或性能开销数据,而是列出残余风险和验证该框架所需的测量项。
- 论文论文追踪
SideKernel:面向 macOS 上 AI 编码 Agent 的 microVM 沙箱
佐治亚理工的一项硕士安全实践项目提出 SideKernel,一个面向 AI 编码 Agent 的开源本地 microVM macOS 沙箱,目标是提升可用性。作者先做在线用户调研,发现不到 40% 的 AI 编码 Agent 用户会在沙箱中运行 Agent,并归纳出阻碍沙箱采用的主要可用性障碍。随后作者按五项纳入标准筛选市面上的沙箱,围绕调研得出的 23 项能力测试,将 SideKernel 与符合条件的沙箱做对比分析,结果显示只有少数沙箱与 SideKernel 类似,其中 Docker Sandboxes 与 SideKernel 在可用性相关能力上得分最高。论文的另一项贡献是梳理本地、开源、基于 microVM 的 macOS AI 编码 Agent 沙箱现有方案。
- 论文论文追踪
TrustProbe 在 11 个开源 Agent 中发现 104 个技能信任链漏洞
中科院信息工程研究所与伍斯特理工学院的研究者提出 TrustProbe,用于挖掘基于技能的 LLM Agent 中不安全的信任链,在 11 个开源 Agent(其中 8 个 GitHub 星标超过 10,000)中确认 104 个污点式漏洞,涵盖命令注入 49 个、文件泄露 27 个、文件篡改 22 个、网络请求 5 个和代码注入 1 个。方法先对 Agent 源码做 source-to-sink 分析,从技能可控输入追踪到安全敏感操作,再用定向灰盒模糊测试生成并变异带 canary 的 SKILL.md 种子,最后用 oracle 确认攻击者控制并验证可观测危害。同一批技能正文改为直接提示词投递时,仅 31.7% 的漏洞仍可利用;在 8 个提供审批层的 Agent 上启用最严格非交互审批配置后,89 个漏洞中 34.8% 仍可利用,原因是执行路径绕过策略或策略未覆盖相关操作。
- 论文论文追踪
研究者提出解耦铺垫与执行的 LLM Agent 技能投毒攻击
研究者提出一种基于协同的技能投毒攻击范式,将执行理由与具体操作解耦,使恶意操作在下游 Steering Skill 中保持完整、看起来完全合法。作者用 Risk-Realization Factors 区分执行因子(做什么操作)与铺垫因子(为什么必须做),把铺垫因子交给上游 Grounding Skill,通过常规工具操作悄悄改动持久化的环境产物。配套的自动化框架能发现真实执行依赖、合成成对的铺垫与执行技能,并借助运行时闭环反馈迭代优化投毒指令。在单会话和跨生命周期的持久化场景中,该解耦式技能投毒取得高攻击成功率,暴露出孤立审计单个 Skill 的安全盲区。代码已公开。
- 论文论文追踪
Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器,成功率最高 97%
研究者提出 Pretext,用于评估了解检测器内部机制的攻击者能否绕过 Agent 技能安装前的安全扫描。论文报告,这类白盒攻击可以在保留技能正常功能的同时逃过结合静态检查与语言模型判断的检测框架,并在三个开源模型上比较了检测器固定及与攻击者共同适应两种设置。作者报告两种设置下仍存在较高的绕过风险,指出安装前扫描不足以单独保证技能执行安全。这些结论来自论文作者的实验,不能视作所有技能扫描器或实际部署环境的普遍结果。
- 论文论文追踪
A2M:针对 MCP 生态的两阶段 Agent 劫持框架
研究者提出 A2M(Attraction-to-Manipulation),一个针对 MCP 智能体的两阶段黑盒攻击框架,先优化工具名称与描述提高被调用概率,再利用执行轨迹迭代优化工具返回内容以操纵智能体后续推理。在 LiveMCPBench 上,直接针对 GLM-4.6 优化的攻击在四个场景下平均恶意工具调用率为 93.6%,认知拒绝服务场景下加权 token 成本升至良性基线的 32.4 倍,信息窃取、环境完整性破坏与推理误导三类攻击的平均成功率为 74.4%。未经重新优化迁移到另外四个模型时,对应指标分别为 63.6%、2.7 倍和 24.5%,说明工具调用比完整攻击成功更容易迁移。GPT-5 上调用率介于 64.9 至 76.3,但信息窃取与环境完整性破坏的攻击成功率均为 0,推理误导为 22.0。作者据此呼吁加强 MCP 工具审查与运行时隔离,代码已公开。
- 论文论文追踪
APEX 用跨技能链劫持 LLM Agent,GPT-5.4 上攻击成功率达 84.3%
研究者提出 APEX,通过构造跨技能链劫持 LLM Agent:上游技能诱导 Agent 把真实任务进度与攻击者提供的“已获批准”声明写入持久记录,下游技能再据此执行攻击者选定的动作。在 SkillsBench 的四个目标动作族和六个模型上,690 次尝试中有 512 次(74.2%)成功诱导目标动作;在 GPT-5.4 上完整链成功率为 84.3%,而把工作流合并为单个技能时为 17.4%,直接注入为 3.5%。攻击在多数情况下不显著降低原任务通过率,GPT-5.4 四个族的原生验证器通过率平均仅变化 2.6 个百分点。可用性攻击 Work Loop 使各模型每任务 token 用量达到基线的 2.20 倍至 36.39 倍。
- 会议论文论文追踪USENIX Security 2026
论文指出密码学模型认证的假设缺口:审计通过但部署失效
论文《Certified in Theory, Broken in Practice》指出,基于安全零知识证明(ZKP)的密码学模型认证(CMC)方案存在假设缺口:现有安全定义只保证模型在固定审计数据集上的行为,未保证同一分布的其他数据上同样成立。作者据此构造攻击,通过精心设计训练数据,使模型在审计中表现正常、部署后出现病态行为,实验显示攻击者可认证模型在审计集上准确率超过99%,而在同分布新样本上不足30%。为弥补该缺口,作者形式化了面向 CMC 框架的密码学安全定义,提出通用协议模板并证明其满足这些要求。作者认为该结果既是对现有方案的警示,也为设计安全、隐私保护的机器学习审计协议提供了建设性指引。
- 论文论文追踪
研究提出跨 LLM 助手的记忆跳跃攻击,单个被投毒文件可传播至 60–100% 的助手
研究者提出“产物中介传播”这一攻击形态:恶意内容经一个被投毒的文件进入助手持久记忆,再被写入该助手后续创建的产物,被另一个独立运行的助手读取后继续传播,助手之间无需直接通信。作者构建了模拟用户之间文件交换的“人类—助手宇宙”,在 36 个留出测试宇宙上评估 GPT-5.6 Luna、Kimi-K2.6、GPT-OSS-120B 和 DeepSeek-V4-Pro,攻击提示词按模型分别优化后冻结,测试目标与工作流均未见过。首跳感染在 78–100% 的运行中成功;DeepSeek-V4-Pro 和 GPT-OSS-120B 的目标感染率达 98% 和 85%,76% 和 61% 的传播链到达第 4 跳,经删失校正后 85% 和 73% 的链在第 7 跳仍存活。作者指出,重置助手记忆无法终止传播,因为仍在流通的被感染产物会再次感染它,并建议把共享产物与记忆纳入安全边界。
- 论文论文追踪
研究者提出 Agent 检查点回滚的五类安全失效,并在 Hermes、Cline、LangGraph 上实现三种攻击
南方科技大学与香港城市大学的研究者对 Agent 系统的检查点与回滚(C/R)机制做了系统性安全研究,提出“执行连续性”概念,指出正确回滚不等于安全恢复。他们按恢复边界把现有机制分为框架状态、工作区状态和 OS/VM 状态三类,并归纳出五种失效模式:内部状态覆盖不完整、检查点状态不一致、外部状态不匹配、非确定性重放未绑定、外部副作用未记录。基于这些模式,作者在 Hermes、Cline 和 LangGraph 上构造了三个端到端攻击,分别实现恶意软件验证绕过、未授权邮件转发和单次审批下的重复支付,均不需要篡改检查点内容或破坏回滚实现。评估覆盖 TerminalBench 与 AgentBench 的 347 条轨迹、五个框架共 1735 次框架任务执行,SF1 与 SF4 出现率分别约 67.2% 和 67.7%,SF5 仅 2.3%。
- 论文论文追踪
研究:LLM Agent 技能名幻觉率最高达 62%,可被抢注用于供应链攻击
华中科技大学与南洋理工大学研究者对 12 种配置(4 个独立 LLM 与 8 个 Agent)的 15,000 条提示词做了大规模测量,发现所有配置都会推荐不存在的技能名,即技能名幻觉,独立 LLM 平均幻觉率 36.0%,Agent 平均 36.9%,在真实开发者提问上升至 43.1%,单配置区间为 6.5% 至 62.0%。这些名称并非随机噪声:Claude Sonnet 4.6 在 10 次运行中平均 7.8 次重复同一个幻觉名,410 个名称被两个以上配置共享,占全部幻觉推荐事件的 15.3%,另有 851 个幻觉名恰好是真实存在的 PyPI 或 npm 包名。攻击者可先收集这些可预测的名称,再在几乎不审核发布者的注册表上抢注含恶意 SKILL.md 的技能,等待受害者安装。作者认为修复需要注册表层面的名称预留与经过验证的推荐流程。
- 论文论文追踪
ElasticBack:通过触发词与规则耦合在 LLM Agent 技能中植入条件后门
研究者提出 ElasticBack,一种针对 LLM Agent 技能供应链的条件单技能后门:在技能文档中植入规则 R,在用户查询中植入看似无害的触发词 T,只有两者同时出现时恶意载荷才会触发。该方法用触发词即开关的构造把两侧绑定,通过语义锚定的规则注入生成 R,再冻结 R 并用带隐蔽性约束的遗传搜索演化 T,从而在不微调权重的情况下兼顾攻击效果与隐蔽性,在良性输入上保持休眠。实验覆盖三类目标行为(每类 50 个技能)和四个 Agent LLM,报告了高攻击成功率、接近零的误报率、保持干净的准确率,并能跨模型迁移、规避部署期防御。作者据此呼吁加强对技能供应链的防御。
- 论文论文追踪
IntentCap 提出按任务意图限定 LLM Agent 权限的机制
论文 IntentCap 提出 LLM Agent 的能力应按当前任务意图限定,而不是按沙箱或会话生命周期限定。作者指出,用户请求、工具返回结果、文档、shell 输出、Skill 与 MCP 指令、记忆等上下文来源都进入同一规划通道且影响力相同,但信任级别不同,对抗注入或范围意外扩大都可能让低信任来源获得选择目标或扩大权限的能力。IntentCap 从用户意图、工作流指令、工具 schema 和运行时环境四类来源组合能力,采用字段级归属与单调收窄,任一来源都不能填补其他来源的字段,生成的租约只能收窄用户已授权权限。系统用 LLM 生成短期租约,由确定性检查器在任何副作用提交前校验,并通过工具层与操作系统层的信息流策略执行。评估显示 IntentCap 能阻断测试中的违规行为且不拒绝正常操作,各来源边界均独立必要,检查器可跨工具、执行、放置和委派边界泛化。