全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：越狱、提示注入、投毒与防御
Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击
研究者提出 Repeat-After-Me，一种黑盒自适应视觉提示注入攻击，可诱导模型泄露个人身份信息或发起恶意工具调用。在良性用户提示与注入任务语义无关、且未口头授权的现实设定下，该方法在开源与商用前沿 VLM 上的攻击成功率分别超过 82% 和 47%，涉及 Qwen3.6-27B 与 GPT-5.5。优化后的注入在商用 VLM 和良性样本间具有一定可迁移性，并在自适应文本提示注入失效的场景中仍然有效。在一个接入 Discord 的真实 OpenClaw Agent 中，不受信任的用户可用一张轻度注入的图片覆盖其 TOOLS.md 文件，为之后的远程代码执行和密钥窃取等敏感行为铺路。论文还讨论了潜在防御手段。
- 论文arXiv：越狱、提示注入、投毒与防御
Influence Score 与 Transformer 可解释性：推理时注意力头有效影响的度量
研究者提出 Influence Score，用于量化 Transformer 分类模型中注意力头对分类决策的贡献，该分数结合注意力头对 logits 的方向性影响与残差流中的结构性贡献，支持在头、层、网络三个尺度上分析。将其应用于专用于提示注入检测的 DeBERTa 模型后，该方法揭示了正确预测与错误预测之间不同的决策行为。研究称其在细粒度电路分析与全局输出方法之间提供了有效折中，可用于系统研究 Transformer 分类器的决策机制。
- 论文arXiv：越狱、提示注入、投毒与防御
KITA：为 LLM Agent 设计密钥隔离的阈值签名授权架构
研究者提出 KITA，一种从审查到授权的架构，将用户个人签名密钥和所有阈值签名密钥份额置于所有 LLM 进程之外，以阻止提示注入从判断边界跨越到执行权限。在阈值签名不可伪造性和其系统假设下，攻击者即使攻陷提案方和少于 t 个审查签名域，也无法在没有 t 个不同域签名贡献的情况下为新动作生成有效授权，因此任何此类授权都包含来自未被攻陷域的份额，并绑定到规范动作、仅在通过认证的审查者批准后释放。作者用结构化输出 LLM 适配器和阈值 BLS 实现了完整的审查者到执行者路径，通过六项系统测试验证该接口上的法定人数门控与消息绑定，并用密码学微基准测量在线签名路径及其扩展行为。
- 论文arXiv：越狱、提示注入、投毒与防御
AIOS 的内核管理共享内存：面向系统级个性化的新抽象
研究提出"内核管理共享内存"，由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。该设计在 AIOS 上实现，用 GPT-4o、Llama-3.1:8B、Qwen-2.5:7B 三个助手模型共 1800 次试验，对比 Mem0 等三种方案：个性化得分提升 2.4-4.0 分（5 分制，GPT-4o 上 profile usage 从 1.05 升至 4.69），端到端延迟降低 15-61%，并减少每次调用的 token 用量与推理成本。
- 论文arXiv：越狱、提示注入、投毒与防御
Mind the Gap：检测 DAO 治理中的描述-执行不匹配攻击
研究者提出首个针对真实 DAO 治理中描述-执行不匹配（DEMI）攻击的系统性检测框架，该攻击指提案的自然语言描述与实际执行代码不一致，恶意提案者可借此转移资金或夺取协议控制权。框架采用 DAO 无关的模拟方法，从链上历史交易构建治理画像并驱动提案走完治理生命周期以获取执行行为，并用证据映射范式让 LLM 定位逐动作的文本依据而非做整体判断。在真实以太坊 DAO 治理数据集上，模拟覆盖 92.7% 活跃 DAO 和 89.3% 已执行提案，检测器在分层交叉验证下平均精确率 81.7%、召回率 98.3%，证据映射可跨 LLM 厂商泛化，Robustness Guard 在红蓝队评估中可防御多数自适应攻击。
- 论文arXiv：越狱、提示注入、投毒与防御
PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器
研究者提出 PIDS-Bench，一个冻结的多轴基准，在固定阈值下同时评测提示注入检测器的攻击检测能力与良性误报行为，覆盖分布内输入、模仿注入结构但无恶意的 hard-benign 提示、混淆攻击以及领域和结构分布偏移。评测涵盖七个检测器（学习型基线、外部提示注入分类器、广义安全对比模型）以及一个基于规则的下界参考。多轴评测暴露出聚合 F1 掩盖的失效模式：在留出集上 F1 超过 0.98 的检测器，仍会把来自公开语料、限定于安全相关内容的良性子集约三分之一误判。在完整阈值扫描和五个训练种子上，没有内部检测器能在该压力分布上同时满足 F1 >= 0.95 与 hard-benign FPR <= 0.10。
- 论文arXiv：越狱、提示注入、投毒与防御
LLM 答案发布中的审批完整性与恢复机制研究
研究在 Lightcap 发布执行机制中检验精确内容绑定、授权新鲜度与检查点恢复，基于 RAGTruth 的 900 条人工标注回答、150 个源任务和三个带日期的 Ministral 模型，共产生 3,600 次评估。14B 生产响应检查器在 302 条无支撑标注答案中接受 291 条，直接基线仅接受 41 条，支持答案保留率分别为 95.2% 和 66.9%。在 65 条初始获批答案中，最终有状态复查恢复策略相对初始检查点使精确匹配错误增加 9.23 个百分点（95% 文章聚类区间 [-1.72, 19.61]）；BIPIA 提示注入实验中 266 个有效编辑器输出零目标插入。
- 论文arXiv：越狱、提示注入、投毒与防御
综述提出面向工具调用 AI 智能体的授权架构
这篇综述针对工具调用 AI 智能体的授权问题，提出以人类用户、运营方、编排智能体、子智能体和工具端点构成的委托层级框架，并梳理五个相互依赖的层面：智能体身份与凭证生命周期、多跳链路上的委托与范围传播、策略执行点上的运行时执行与即时授权、作为授权绕过的提示注入，以及可审计性、溯源与不可否认性。作者从 2023 至 2026 年间约 180 篇候选文献中筛出 89 篇一手来源做结构化叙述性综述，据此提出七项结构性要求，推导出一套四层参考架构，并将这些要求应用到三种可部署的参考配置上。综述指出，运行时执行与聚合边界是当前最主要的未解决缺口。全文 70 页，含 8 张图和 10 张表。
- 论文arXiv：越狱、提示注入、投毒与防御
CaMeLoT：用 CTL 时序逻辑在执行前静态验证 Agent 计划
CaMeLoT 是面向工具调用型 LLM Agent 的提示注入防御方案，作为已有防御 CaMeL 的补充，在调用任何工具之前对 Agent 生成的计划做静态验证。它把计划转换为有限状态迁移系统，标注工具调用、来源与污点信息，再用 nuXmv 模型检查器对照以 CTL 表达的时序策略进行检验。由于验证发生在执行之前，不安全的计划会被直接拒绝，无需消耗 LLM 调用和工具调用，也省去了回滚改动或拆除临时沙箱的开销。验证失败时模型检查器会返回反例，供 Agent 据此修复计划。
- 论文arXiv：越狱、提示注入、投毒与防御
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
Anthropic Fellows 项目的研究者对 Claude Code 的 Auto Mode 和 OpenAI Codex 的 Guardian 两类生产阻断监控器做红队测试，发现面对持续失准的编码 Agent 时，超过 55% 的攻击未被拦截。攻击者使用 Opus 5，在 79% 的试验中通过针对监控器的注入攻击执行任意 bash 命令。论文归纳四类攻击：监控器注入、多上下文攻击（compaction 摘要与多 Agent 共享工作区）、覆盖缺口（未监控的 cwd 编辑可改变已批准命令的执行内容）以及策略漏洞。代码已开源在 GitHub。
- 论文arXiv：越狱、提示注入、投毒与防御
多智能体系统提示注入威胁模型与防御架构：14 类攻击向量与四类防御
论文针对多智能体系统提出提示注入威胁模型，列举四类共 14 种攻击向量：用户输入直接注入 3 种、工具输出间接注入 4 种、智能体间消息传递注入 4 种、通过编排器操纵的级联注入 3 种。作者在一个 6 智能体的生产代表性系统上测试全部 14 种向量，发现即使有系统提示词层面的护栏，仍有 67% 的智能体至少对一种越权行为存在脆弱性，工具输出间接注入的成功率为 43%。四类架构防御将整体注入成功率从 31.2% 降至 4.2%：带来源追踪的消息签名使智能体间注入下降 91%，智能体边界处的输入输出净化使间接注入下降 78%，按角色限定工具权限完全消除了权限提升，智能体间通信异常检测捕获 84% 的级联尝试。
- 论文arXiv：越狱、提示注入、投毒与防御
研究用 XAI 归因分析 Prompt Guard 2，同义词替换可翻转其提示注入判定
研究以可解释性方法分析分类器护栏 Prompt Guard 2 如何区分恶意与良性提示词。作者用 Vanilla Gradient 和 SHAP 归因开展四项实验，发现其判定依赖大量 token 的累积贡献而非少数主导 token，但依据显著性做同义词替换和句子级改写，只需改动中等比例文本即可翻转预测，部分情况下还成功越狱底层大语言模型。数据集规模的显著性分析显示，未被检出的注入提示词系统性地缺少分类器依赖的词汇标记。作者据此讨论分类器护栏的设计与评估，并指出用于提升透明度的解释方法同时也会降低构造对抗绕过的成本。
- 论文arXiv：越狱、提示注入、投毒与防御
Universal Fractal Natural Language Decision Map：werr 边缘运行时实现 0 字节 VRAM 决策
论文提出 Universal Fractal Natural Language Decision Map，通过 werr 机器原生边缘反射运行时与 answerr 平台实现，完全不存储权重张量（0 Bytes VRAM），沿 Mandelbrot 集混沌边界调制 24 字节坐标种子合成确定性决策。其语义 token 阻尼滤波器（T_desc = 0.045）实现 0.0% 提示注入绕过（95% Wilson CI: [0.0%, 27.8%]），并将迭代剪枝 45.8%、吞吐提升 2.5 倍至 3.31 ms 延迟。
- 论文arXiv：越狱、提示注入、投毒与防御
GitHub Agentic Workflows 的智能体工作流规范与维护实证研究
研究分析 GitHub Agentic Workflows（gh-aw）的 276 个仓库共 1,248 个 Markdown 文件，发现工作流指令远超简短提示词，中位数 556.5 词，62.1% 含代码块。在有至少 120 天活动记录的文件中，78.2% 到第 4 个月仍在更新；任务、输出、约束与流程指令各出现在超 93% 的已标注工作流中，但仅 9.4% 明确涉及提示注入防御。LLM 分类相对人工标注的 F1 为 0.818，Cohen's Kappa 为 0.715。
- 论文arXiv：越狱、提示注入、投毒与防御
研究：提示注入可改变 Jev 决策模型的行动概率
研究用 510 个重构的 InjecAgent 案例考察提示注入对非生成式决策模型 Jev 的影响，发现恶意内容会改变行动概率，但很少让 Jev 选中攻击者的目标。覆盖标记能降低这种影响，而声称上下文相关性的作用较小。使用分数反馈的自适应攻击把优化过程中攻击者目标平均最高概率提高一倍，在全新验证调用上的成功率从 1.8% 升至 3.5%。探索性分析将成功案例与较小的初始决策差距或攻击者对观测的更强控制联系起来，说明模式化输出改变了但未消除提示注入风险。
- 论文arXiv：越狱、提示注入、投毒与防御
ClaimMirage：域名中的自我声明如何改变 LLM 威胁判断
研究提出 ClaimMirage 现象：被检查的域名通过 not-phishing、official 等简短自我声明，无需显式提示注入指令即可改变大语言模型对该域名的威胁判断。作者在 64 个品牌、5 个 LLM 上分析了 622,080 次判断，将十种声明与长度和连字符匹配的对照项在构造的品牌类域名中比较。结果显示自我声明会大幅降低或提高告警，取决于模型和输入设置：在一种设置下，可注册域名中的风险否认词使告警下降 45.3 个百分点，即使提示中已给出可能被冒充的品牌及其官方域名作对照；若缺少这些参照，同一模型在该位置的背书类词使告警上升 65.6 个百分点。提供参照和组件标注能消除部分告警下降，但另一些仍然存在甚至更大。
- 论文arXiv：对齐、欺骗与监督
研究：任意密文攻击前沿大模型无需微调即可越狱
McGill 大学研究者 Thomas Rivasseau 发现，前沿大模型无需微调即可通过提示和上下文学习掌握字母置换密文通信，并借此绕过对齐与有害性分类器。攻击分三步：先用提示让模型接受一套字母置换方案，再给出若干密文问答示例，最后用该方案发送有害请求；密文在分类器看来只是乱码。作者关闭模型推理，因为开启后模型会把指令解密成明文，足以绕过分类器但不足以绕过对齐。单次注入完整置换的方案在 Claude Sonnet 4 上稳定成功，可产出炸弹、生物武器制作说明和攻击代码；迭代逐级教授字母交换的方案在 Gemini 3 Flash preview 上成功。作者称对 Claude Sonnet 4 实现完全越狱、Gemini 3 完全越狱、Claude Sonnet 4.5 仅证明可行性、GPT 5.5 需结合已知越狱提示词。
- 动态Help Net Security AI
Google GTIG：AI 发现的漏洞半数可致远程代码执行，CVE-2026-1731 披露四天内即遭利用
Google 威胁情报小组（GTIG）分析 2025 年 1 月至 2026 年 8 月的漏洞数据：2026 年月度 CVE 披露量从 1 月的 5,045 增至 8 月的 10,740，其中仅约 0.23% 被观测到在野利用，但前八个月已有 141 个漏洞被利用，超过 2025 年全年的 127 个，GTIG 认为增长主要来自 n-day。被判定为可能由 AI 发现的漏洞中，半数可导致远程代码执行（其他来源为 26%），GTIG 认为这主要反映研究项目把 AI 智能体用于审计基础设施和权限边界。Hacktron AI 研究智能体发现的 BeyondTrust 命令注入漏洞 CVE-2026-1731 披露后四天内即遭一个威胁集群利用，七天内又有五个集群跟进。AI 相关软件今年披露的漏洞中，一半影响 Flowise、Langflow 等智能体编排框架，攻击者可经提示注入或构造的工作流 JSON 触发代码执行。
- 动态腾讯 AI-Infra-Guard 版本发布
腾讯 AI-Infra-Guard v4.6.4 发布，新增可组合提示注入研究工具包 pikit
腾讯 AI-Infra-Guard 发布 v4.6.4，在 Research/pikit 下新增可组合提示注入研究工具包 pikit。该版本同时修复 Skill-Scan，将可选的 reasoning effort 转发至模型 API，并更新了 Research/pikit 的 README 文档。
- 论文arXiv：Agent 与 MCP 安全
从注入到交互：LLM 时代及未来 Web 安全再思考
一篇综述提出，LLM 正深度嵌入 Web 应用与浏览器智能体，使 XSS 等传统漏洞被 LLM 中介的交互放大，提示注入等 LLM 特有漏洞也会跨 Web 应用传播。该综述统一分析客户端、服务端与流水线三层中 LLM 对 Web 漏洞的放大效应，并评估现有防御的局限，同时探讨将 NIST 与 ISO/IEC AI 安全框架扩展至 LLM Web 环境。文章指出对抗性自然语言指令、自主智能体安全、部署后持续监控与适配三大未解挑战，并提出一个 LLM 感知的监控与控制框架，整合语义输入校验、提示词完整性保护、输出隔离、智能体治理与运行时监控。
- 论文arXiv：Agent 与 MCP 安全
研究将间接提示注入重新表述为测试时搜索问题
论文把间接提示注入表述为在环境、用户任务与注入任务共同诱导出的攻击面上进行的测试时搜索。作者据此构建了一个带专用搜索框架的智能体攻击者，执行环境侦察、对攻击策略的结构化推理，并利用受害 Agent 的反馈做自适应评估。在多种异构任务上，提高攻击者的测试时算力能提升漏洞发现与利用效果；消融实验显示，显式的策略管理对避免重复搜索、在更大算力预算下维持收益很重要。作者认为，智能体安全评测应同时刻画攻击者的搜索过程与算力预算，而不是把攻击成功率当作与预算无关的受害方属性，并指出攻击者对系统攻击面的自适应搜索是工具调用型 Agent 中重要但研究不足的安全风险。
- 论文arXiv：Agent 与 MCP 安全
AgentDrift：逐步标注注入劫持 LLM Agent 轨迹的基准
作者发布 AgentDrift，一个包含 12,536 条合成工具调用轨迹的基准，覆盖五个 Agent 领域，71,024 个步骤每步标注为良性、注入点、被劫持或注入失败四类之一。语料含 4,000 条良性、5,536 条受攻击、1,500 条失败攻击和 1,500 条困难负样本轨迹，受攻击轨迹遵循三种合规模式，其标签串符合给定的正则文法；失败攻击保留被 Agent 抵制的注入，困难负样本则是形似攻击的合法内容，检测器需区分尝试与成功、偏离与新异。轨迹由单一开源模型按类别特定协议生成，经封闭词表结构校验器约束、LLM 评判器筛选，并对 1,200 条轨迹人工审计，作者指出 LLM 评判器本身被困难负样本骗过。
- 论文arXiv：Agent 与 MCP 安全
CoER：用对抗协同演化与精炼防御自适应间接提示注入
研究者提出 CoER，将带有多轮工具调用和多次注入的任务建模为一般和马尔可夫博弈，以此训练能够适应不断演化的攻击者的防御方案。该方法先用成功轨迹初始化攻击者，再用双边对抗强化学习（BA-RL）保留双方的历史策略作为对手种群并混合新旧对手，随后复用这些攻击者挑战教师智能体，只用经安全性验证并通过任务完成的示范来微调共同演进的防御者。在七个领域、三个随机种子上，CoER 将自适应攻击成功率从 41.3% 降至 0.2%，并将安全完成率从 39.6% 提高到 76.2%。外部基准上也表现出更强的抗攻击能力，消融实验进一步验证了历史对手混合与基于种群的精炼的有效性。
- 论文arXiv：Agent 与 MCP 安全
CapScope：面向编码 Agent 的抗提示注入能力范围授权机制
研究者提出 CapScope，一种在 harness 层限制工具调用的授权机制，无需模型自行识别恶意文本。它先从可信输入推导任务级权限上限，再为每个 Agent 分配独立的能力集合，存放在模型上下文之外，每次工具调用都按发起该调用的 Agent 的能力进行检查，因此某个子 Agent 获得的权限不会自动传给另一个。作者在 Pi 编码 Agent 上实现该机制，并在一个由编排者向子 Agent 分派子任务的修复流程中评测，覆盖 5 个 Python 任务、5 个注入面、4 种授权条件和每格 3 次试验共 300 次运行。