全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
研究揭示代码注释中的上下文注入攻击面：十款 Code LLM 中招率达 77.4%–92.3%
研究者提出代码注释中的上下文注入攻击面，测试不安全指令嵌入开发上下文后能否诱导 Code LLM 生成漏洞代码。在十款 3B–13B 开源 Code LLM（四款基座、六款指令微调）和十类 Web 应用弱点上，攻击条件下 77.4%–92.3% 的补全含中等及以上弱点，良性条件仅 1.7%–5.1%。基座与指令微调模型平均漏洞输出率分别为 86.5% 和 84.5%，指令微调后降幅最多 8.1%，且易感性与模型规模或专精方向无明显关联。在易受攻击的输出中，86.2%–91.0% 被评为高或严重级别，去掉基于模式的检测器后效应依然存在。生成后筛查能降低但无法消除风险，最强筛查仍漏掉约三分之一。
- 论文arXiv：越狱、提示注入、投毒与防御
研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL
牛津大学等机构的研究者发现，为每个智能体单独部署 CaMeL 防护不足以保证多智能体系统安全：不可信数据跨越智能体边界后被下游智能体当作可信输入，从而劫持其控制流，作者将这一失效模式称为 boundary laundering，并构造了具体攻击。为此他们提出 multi-CaMeL，在智能体间通信中把可信自然语言指令与不可信数据分离到不同通道，并在运行时保留数据来源信息。在扩展 AgentDojo 得到的 MultiAgentDojo 基准上，multi-CaMeL 将攻击成功率从无防护的 12.9%、单智能体 CaMeL 的 0.2% 降至 0.0%；在 AssetOpsBench 上相对单智能体 CaMeL 平均仅增加 3.2 个百分点的效用损失，且模型能力越强损失越小。作者同时开源了 MultiAgentDojo 及 multi-CaMeL 实现。
- 论文arXiv：越狱、提示注入、投毒与防御
研究用因果追踪区分间接提示注入中的可读信号与有效干预
研究通过反事实角色探针、逐组件激活修补和对 AgentDojo 轨迹的干预，分析间接提示注入中角色信号与行为改变之间的差距。角色解码在内容和格式变化下依然存在，在受控 Qwen 测试中先于沿独立估计的角色方向修补带来的工具选择效应。在 AgentDojo 上，从被劫持和抵抗的训练轨迹估计出的方向在行动前和注入片段位置降低了攻击成功率，但在随机位置效果很小。在较长的 Qwen 轨迹中，单点编辑在较后层效果减弱，跨片段和重复编辑能在同一评测集上降低攻击成功率。移除学到的通道子空间仍保留角色解码，但有效干预方向在测试通道间迁移较差。
- 论文arXiv：越狱、提示注入、投毒与防御
论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性
一篇论文研究基于 LLM 的数字孪生作为增强民主中介时的偏好代表与攻击脆弱性。作者先用巴西在线实验数据检验个性化数字孪生能否预测公民对未见政策提案的偏好，再用瑞士议会数据从议员立法记录构建主题知识图谱，连接 LLM 议员智能体并组成政党级数字孪生，通过智能体审议检验其是否比官方政党沟通覆盖更广的党内观点。最后基于英国 2023 年审议实验数据，分析放大观点、压制意见或改变共识的提示注入攻击，考察攻击效果如何随意见分布和修辞策略变化，并评估结合注入检测、结构化意见表示与强化学习的流程能否提升抗攻击能力。
- 论文论文追踪
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
该 arXiv 论文讨论长时程智能体的分段提示注入审计。
- 论文论文追踪
论文披露主动式智能体的服务方间接提示注入攻击
论文提出一种针对主动式个人智能体的服务方间接提示注入攻击，外部服务方无需访问用户私有上下文、无需攻陷智能体或获取额外权限，仅控制与自身目标相关的内容，就能让原本中立的智能体转而推进该目标。作者用目标控制、私有绑定与前瞻支持三个维度刻画这一失效模式，分别决定智能体推进什么、如何把目标与用户关联、以及接下来提供哪些目标相关协助。在三个主动式智能体环境和六个模拟用户模型上，完整攻击在所有环境与用户模型组合中都提升了目标授权，宏观增幅最高达 77.4 个百分点。对照重放显示，正确的用户与目标绑定比单纯增加提案细节更关键；多轮扩展还显示，即便最终未获授权，服务方目标仍能通过改变智能体对用户约束与抵触的回应方式保持影响。
- 论文arXiv：越狱、提示注入、投毒与防御
LS-AR 双通道架构：文本目标丢弃可抵御提示注入但引入潜在向量攻击面
研究者提出 Latent-Steered Autoregressive（LS-AR）双通道架构，通过 FiLM 条件将连续目标引导与离散 token 解码解耦，以解决标准自回归模型无法隔离宏观目标与上下文噪声的问题。在超出上下文限制的长程检索任务（H=1024, W=500）中，LS-AR（Static）实现 100% 目标召回，而参数匹配的基线完全崩溃（0%），同时吞吐量提升约 35%，峰值 VRAM 降低 52.8%。在 Blocksworld 规划任务中，LS-AR（Dynamic）在强制扰动（k=1）下保持 89.0% 完成率，基线为 71.0%，但零样本实体扩展（N 到 N+1）暴露出单向量容量限制（0%）。双通道权限分析显示，文本目标丢弃会建立潜在主导控制，为文本提示注入提供结构性防御，但同时引入潜在向量攻击面。
- 论文论文追踪
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
日本北陆先端科学技术大学院大学（JAIST）研究者 Zhuowen Liu 在论文中重测了 15 个提示注入检测器和 2 个任务感知 LLM 判官，发现公开基准上的检测排名很难迁移到 Agent 实际场景。研究用无 LLM 回放 AgentDojo 与 τ-bench 的真实工具调用构造良性输出，再用差分回放标注注入输出，并在 BIPIA 上对比。BIPIA 上表现最好的 PIGuard 在 1% 假阳性率下只检出 2.1% 的 AgentDojo 注入，而检出 72.2% AgentDojo 注入的 Prismor 在 τ-bench 上只有 15.2%；BIPIA 与 AgentDojo 之间的 Kendall τ 仅 0.01。相反，工具输出上的假阳性率在两个 Agent 基准间保持一致（τ=0.67），范围从 0% 到超过 90%。
- 论文论文追踪
COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构
剑桥大学等机构的研究者提出 COBRA，一种针对计算机使用 Agent（CUA）分支引导攻击的系统级防御架构。作者指出，Dual-LLM 模式虽能保证控制流完整性，但在图形环境中计划必须按运行时网页内容分支，攻击者可构造不可信数据把 Agent 推向预先批准的危害路径，而无需注入新指令。为此作者构建 STEER-Bench，覆盖 9 个领域 101 个任务，测得分支引导攻击对标准 CUA 的攻击成功率为 94.4%，对原版 Dual-LLM 为 89.5%。COBRA 在规划阶段为每个分支预先固定目的地、端点和工具参数约束，由 Branch Resolution Hub 校验运行时分支与参数，并在 HTTP 与 MCP 代理处强制执行。代码已开源于 GitHub。
- 论文arXiv
研究：跨通道碎片化攻击可绕过 MCP 单通道防御，12 个前沿模型最高 100% 泄露凭据
密苏里大学堪萨斯城分校的研究者提出跨通道碎片化攻击，将看似无害的载荷分散到 MCP 的两个或三个输入通道，单个通道都不含完整注入，模型却在统一上下文窗口中把它们拼合成凭据外泄。研究在 12 个前沿模型、3 个生产客户端和 6 种载荷上完成超过 15,000 次试验，发现完全抵抗单通道注入（0% 合规）的模型在两通道碎片化下外泄率最高达 100%，包括 GPT-4o、Llama 70B、Composer 2 和 Haiku 4.5。三通道碎片化在生产客户端中进一步扩大受影响范围，Haiku 4.5 在 Cursor 中达到 100%，Sonnet 4.6 和 Opus 4.6 在所测碎片化攻击中未发生泄露（0/20）。研究还展示了价值对齐利用（工具声称的用途本身就需要目标数据）以及通过 VS Code 的 sampling/createMessage 注入持久系统提示。
- 论文论文追踪
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
研究者提出 MMPIBench，一个可复现的多模态提示注入基准，用同一套攻击、工具集和系统提示词在 LangGraph、CrewAI、AutoGen、OpenAI Agents SDK、Semantic Kernel、LlamaIndex 六种 Agent 框架上运行，覆盖五种基础模型、六种视觉载体和四类攻击目标，共 720 次运行。结果显示攻击完成率约 1%，但被尝试的比例达 12.8%，差距几乎全部在规划阶段被消解，即模型读到注入指令后拒绝执行。模型比框架更能决定指令是否被采纳：Claude Opus 4.8 在 144 次运行中从未尝试攻击并在 59.7% 的运行中识别出注入，Grok 4.3 与 Llama 4 Maverick 的尝试率均为 23.6%。载体方面，渲染 OCR 文本最有效，贡献了 8 次完成中的 7 次；EXIF 元数据和二维码约 88% 的运行中未被感知。
- 论文论文追踪
Twin Agent：面向权限分离智能体的上下文残差压缩
研究者提出 Twin Agent，一种受残差编码启发的通用权限分离设计模式，用于抵御来自不可信上下文的提示注入攻击。该设计由两个近似对称的智能体组成：Explore Agent 检查不可信信息，Safe Agent 执行特权操作；Explore Agent 以 Safe Agent 当前上下文为条件，只向其传递关于下一步动作的紧凑提示，从而减少维持任务效用所需的信息量。作者通过测量提示长度变化时效用与攻击成功率的变化，验证了该设计在安全与效用之间取得更好的权衡。在 SWE-bench Lite 的长程软件工程任务以及 AgentDojo、DecodingTrust-Agent 的异构多工具交互任务上，Twin Agent 在保持高任务效用的同时阻止了提示注入攻击，表现优于无防御智能体和权限分离基线。
- 论文论文追踪
研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链
研究者发现 Anthropic、OpenAI、Google 的 API 把思维链以加密块形式交给客户端回传，这些加密块在同一厂商生态内可跨会话、跨用户、跨模型复用。他们把强模型的加密推理块注入同厂商较弱、防护较松的模型（如 Claude Haiku 4.5、GPT-5.6 Luna、Gemini Robotics 1.6），迫使其逐字转写明文，从而在不直接越狱强模型的情况下提取其推理链。该漏洞衍生四类攻击：绕过反蒸馏机制窃取专有推理、从公开会话日志中大规模提取隐私数据、通过隐藏推理通道获取有害信息、以及在加密块中植入不可见的提示注入。研究者在 GitHub 和 Hugging Face 抓取 6,708 条公开 Agent 轨迹，解码出 315,320 条推理链，恢复 367 项 PII 和 182 项凭据，其中真实用户会话包含 62 个 API key、33 个密码和 30 个邮箱。
- 论文论文追踪
论文提出提示注入的七组件结构化分析模型
Jeremy McHugh 在 arXiv 发表论文，提出用七组件模型结构化描述提示注入，取代逐字记录攻击字符串的做法。模型包含载体、投递向量、隐藏方式、上下文破坏、权限提升、载荷和回传通道七个组件，其中五个属于攻击产物字段、两个属于环境字段。作者认为大语言模型会把不同自然语言表述编译为相同可执行动作，因此标注应追踪攻击者意图（工具目标、sink 与效果）而非表面措辞。该框架整合了 HOUYI 的载荷分解、Promptware Kill Chain 与攻击活动分类法，并把 ReNeLLM 等最小越狱框架视为受限子空间上的投影。论文给出标注规则、可直接映射到行业 CTI schema 的逻辑分析记录，以及 EchoLeak（CVE-2025-32711）和野外恶意软件 AI 规避样本等示例。
- 论文论文追踪
研究者提出 RARE 攻击：LLM 辅助逆向工程中的表示混淆
研究者提出针对 LLM 辅助逆向工程（RE）的表示混淆攻击 RARE，指出二进制可让数据看起来像指令，或让同一来源的记录看起来像独立证据，使流水线把正确提取的观察提升为指令权限、验证性证据或可信分析状态。作者用 RARE-Bench 以行为校验的干净与对抗二进制测量此类失败，先做 11,520 次调用的探索性研究，再在 20 个新程序和两个模型上测试 RARE-Guard 的授权与证据控制。无运行时控制时，模型在 35/40 对抗案例中提出植入的不安全操作，干净案例为 0/40；仅以数据形式呈现二进制内容后仍有 15 次不安全提议，Tool Authorization 拒绝全部 15 次并授权全部 40 个匹配的分析请求。
- 论文论文追踪
论文：安全路由评测在分布偏移下失效，基线选取偏差被低估
论文指出，一个主要的安全路由基准在评测数据上挑选作为对照的最佳单模型，这在基准自身设定下无碍，分布偏移下却不成立。在 HELM Safety 上，这一选择代价在随机划分下为 0.003–0.030 的 harm，按类别留出时升至 0.045–0.113，与归因于路由的全部劣势相当；在 AgentDojo 上按整套件留出时上升七到九倍。改用不看测试标签选出的基线、在偏移下评分，路由在这些基准上收益很小：多数情况下路由器直接选用基线的模型，在接近饱和的 AgentDojo 上，完美的预分发路由器最多只值 2 个点的 harm。论文还发现，知道面对哪个模型的攻击者挑选注入模板后，可在留出重跑中让 GPT-5.4 对后到注入的判定识别率降低 19.6 个百分点，独立的词表标签复现了这一下降。
- 论文论文追踪
Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测
研究者提出 Mind2Web-Injection 基准，用于评估网页 Agent 护栏中的视觉提示注入检测，包含 9,954 组指令与截图配对、指令相关标签、像素级证据框和匹配的图像侧反事实样本。在六个 VLM 上，平均精度几乎相同的两个模型在证据对齐检测（EAD，即既检出攻击又正确定位证据的比例）上相差九倍。为检验判定是否依赖被引为证据的指令，研究者把指令替换为认可该指令的版本，最强的开源定位模型 Qwen3-VL-32B 仅在 58.7% 的情况下返回对齐，而 GPT-5.6-luna 为 99.9%。作者还提出两种免训练干预：ReadGate 在不改变判定的前提下改善定位，CmdCompare 检验显式指令与命令比较能否解决指令侧不一致，并主张分别报告判定正确性、证据定位和反事实响应。该工作被 ECCV 2026 BEAM2 研讨会接收为口头报告。
- 论文论文追踪
SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%
加州大学伯克利分校研究者提出 SecOPD，用同策略蒸馏为防御微调提供 token 级反馈，替代 DPO、GRPO 等序列级信号。训练时学生模型在含注入的输入上生成 rollout，冻结的初始化模型在去掉注入的干净输入上为同一批 token 打分，与可信任务一致的 token 被鼓励、跟随注入的 token 被抑制。在 Qwen3.6-27B 上，面对 SoTA 自适应攻击 PISmith，SecOPD 的攻击成功率为 9.0%，此前 SoTA 的 Meta-SecAlign 为 94.0%，GRPO 为 61.2%；静态 SEP 攻击下 SecOPD 为 1.3%。在训练未见的 AgentDojo 工具调用场景，SecOPD 为 4.7%，Meta-SecAlign 为 5.5%，GRPO 为 0.7% 但效用降至 82.5%。代码与模型已开源。
- 论文论文追踪
AgentKernel：面向 Agent 的可信原生操作系统内核
研究者提出 AgentKernel，一个把安全作为首要设计约束的可信原生 Agent 操作系统，为身份、输入中介、记忆治理和执行控制提供强制且不可绕过的服务。作者认为现有治理方案仍是应用层中间件，与被监控的 Agent 共享同一进程信任边界，因此需要操作系统级底座。AgentKernel 将 Agent 生命周期包进强制执行边界，分为身份、感知、认知、执行四个支柱，分别应对委托滥用、提示注入、记忆投毒和工具误用。其中内核管理的身份支持跨组织协作，分级感知替代单点过滤，受信息流控制的记忆在限制投毒的同时提升检索保真度，语义到内核的执行机制让更宽的工具权限处于不可绕过边界之后。论文共 38 页、5 张图，通过系统比较与安全分析论证该架构可在整个 Agent 生命周期内实施安全约束。
- 论文论文追踪
AgentFlow：面向 LLM 智能体系统的流中心策略语言与运行时防护框架
研究者提出 AgentFlow，一种以数据流为中心的策略语言与运行时执行模型，用于规定敏感数据在 LLM 智能体系统中可以流向何处。策略定义在带标签的运行时边上，约束哪些工具可接收敏感字段、哪些汇聚点可接收释放的数据，以及何种权限可跨越委派边界，语言支持流规则与路径规则、任务范围能力、受控释放和有状态污点语义。运行时参考监视器介入智能体动作，基于有界 SMT 的验证器对结构化策略片段检查安全属性。原型中七项安全属性每项在 0.5 秒内完成验证，验证器捕获研究中全部植入的不安全策略变体。在 AgentDojo 四个套件的 949 个注入案例上，确认失陷率从 33.0% 降至 0.0%，总体效用从 46.7% 升至 63.3%；在 200 例 AgentDyn Dailylife 基准上，确认失陷率从 73.5% 降至 0.0%，效用基本持平（44.5% 至 43.5%）。
- 论文论文追踪
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息，C-GEO Guard 将攻击成功率相对降低 47.6%
清华大学深圳国际研究生院与香港大学的研究者提出 Counter-GEO-Bench，在受控条件下评测针对信息扭曲型生成引擎优化（GEO）的防御：247 条人工核验的查询各配信息保留与信息扭曲两种 GEO 改写，在 Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout 三个受害模型上测量攻击成功率、误报率和答案质量。Granite Guardian、Llama Guard 3 和 NeMo Self-Check 三种现成防御最多只把攻击成功率相对降低 5.7%，Granite Guardian 的降幅不具统计显著性，NeMo 在 Llama-4 上几乎拦下所有正常查询。作者认为这类护栏针对的是违规内容，而 GEO 虚假信息以流畅的信息性文本出现，能直接穿过。为说明这一威胁可以应对，作者给出轻量的片段级对比检测基线 C-GEO Guard，三个模型平均把攻击成功率相对降低 47.6%，答案质量几乎不受影响。
- 论文论文追踪
ZoneClaw 用记忆分区防御 OpenClaw 式计算机使用 Agent 的持久记忆攻击
研究者提出 ZoneClaw，通过把 OpenClaw 式计算机使用 Agent 的扁平工作区记忆改为带明确权限等级的分层信任区，切断持久化与权限之间的绑定，防御持久记忆攻击。这类攻击中，攻击者只需控制看似无害的外部内容，就能让 Agent 在正常任务中写入有利于攻击者的声明，这些声明随后会支配攻击者从未接触过的正常任务，攻击链从恶意上下文到恶意响应延伸为恶意上下文、记忆注入、恶意执行。ZoneClaw 让外部声明只停留在低信任区，只有跨过显式权限边界才能获得指导行动的权限，且提升时需与攻击者无法直接写入的信任区交叉校验，并通过非对称权限的角色专用进程保证没有进程同时摄取外部内容并对外行动。在四类攻击场景、两种注入设置和四个骨干模型上，ZoneClaw 将攻击成功率从 372/480 降至 6/480，同时在 458/480 次试验中保留实用性，并对部分具备防御感知的攻击者仍然有效。
- 论文论文追踪
Persistent SAE：为语言模型特征学习特定时间尺度
研究者提出 Persistent Sparse Autoencoders（Persistent SAEs），在标准 SAE 基础上为每个特征学习一个持久性系数，仅靠重构目标就能学到特征特定的时间尺度。实验显示，Persistent SAEs 在保持有竞争力的重构质量的同时学到一组时间尺度谱：短时间尺度（快）特征保持局部可解释性，长时间尺度（慢）特征则累积用于识别当前上下文的信息。在提示注入监控案例研究中，慢特征能保留与注入相关的信号，并在长上下文中保持因果有效性。作者认为这为通过持久稀疏特征解释和监控语言模型提供了新途径。
- 论文论文追踪
研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入
研究者提出隐蔽记忆注入攻击，利用不可信外部内容被静默写入 Agent 持久记忆并在此后作为可信状态复用。为评估该威胁，他们构建 WhisperBench，一个含 108 个案例、覆盖五类风险及事实与偏好投毒的基准，使用真实 IMAP/SMTP 邮件流程和真实邮件 Agent 技能进行全周期评测。攻击框架 MemGhost 通过环境代理模拟持久化 Agent 执行、目标代理将记忆采纳与会话隐蔽性转为密集奖励，再用监督微调和强化学习训练攻击策略，实现单封邮件的一次性载荷生成。