全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：Agent 与 MCP 安全
面向 AI-SOC 的神经符号防御框架：用 SIEM 解码器与 NeMo Guardrails 阻断日志投毒提示注入
论文提出一种神经符号纵深防御架构，用于保障 LLM 接入安全运营中心（SOC）后的管道完整性，应对通过日志投毒实施的间接提示注入。作者指出，攻击者可在系统日志中嵌入恶意载荷，形成多步 promptware 攻击链，劫持 LLM 的操作逻辑；而确定性防御语义盲、纯神经评估延迟高且存在概率性缺陷。该框架第一层用定制 SIEM 解码器作为确定性预过滤，在数据摄入边缘做结构化清洗，消除体量填充和基于签名的注入；第二层用 NeMo Guardrails 在 LLM 处理前对结构化 SIEM 告警做自检式语义边界校验；同时集成闭环遥测系统，在 SOC 仪表盘中为人工介入提供被拦截攻击的可见性。
- 论文arXiv：Agent 与 MCP 安全
MCPSEC：仅凭工具元数据检测 MCP 服务器间接提示注入漏洞
研究者提出 no-box 漏洞分析范式，在既无系统访问权限也无运行时交互、仅有功能元数据的条件下，推断系统所有可能实现中都存在的漏洞。他们实现了原型 MCPSEC，仅利用 MCP 服务器注册时暴露的工具元数据审计间接提示注入漏洞。在 20 个广泛部署的 MCP 服务器、共 177 个工具上评估，人工评估者确认 95 个工具存在漏洞，MCPSEC 判定 143 个工具存在漏洞，并为每个漏洞工具给出漏洞假设与利用技术。仅凭元数据，MCPSEC 预测出 94 个经人工验证的真实漏洞，召回率 98.9%，高于 LLM 基线的 80 个、84.2%。
- 论文arXiv：可解释性
Deep Noir：用架构时序自动发现 Transformer 激活引导参数
Deep Noir 提出一套框架，用 Logit Lens 收敛与因果的注意力头级归因，自动发现最优激活引导参数，替代人工选择引导位置与强度。在三个规模区间（1B 三个模型、2-3B 两个、7-9B 四个）上，该引擎在垃圾信息任务上于 1B 取得 16.7 个百分点提升（标准差 4.7，39 次运行），在 7-9B 的四种架构上提升扩大到 21 至 42 个百分点；在 SST-2 情感任务上无需改动代码即取得 13.1 个百分点提升。作者称机制层面的依据使自动发现的干预点可跨任务与架构泛化，情感任务上未做注意力头掩码的 RepE 未能超过基线，而 Deep Noir 改善了所有模型（p 小于 0.01）。
- 动态arXiv：Agent 与 MCP 安全
可验证操作卡 VAC：为自主 Agent 提供可信人在回路控制
论文提出可验证操作卡（VAC），一种从真实待执行的浏览器操作和可信意图来源重建审批信息、在可信浏览器界面中带外渲染、并把审批绑定到派发时重新验证的同一操作的架构级防护。VAC 结合来源隔离、真实操作描述符、默认拒绝确认、来源感知风险门控和执行绑定，并在一个完整的智能体浏览器中实现。在覆盖混淆代理攻击、Lies-in-the-Loop 对话伪造、间接提示注入、自适应操作替换、来源规避和正常任务的 24 场景基准上，无 VAC 时各评测 LLM 的攻击成功率为 68% 至 100%，VAC 将每个模型的攻击成功率降至 0%，正常任务完成率 78%，误拦截率 0%。
- 论文arXiv：越狱、提示注入、投毒与防御
Aletheia：面向编码 Agent 规则的权限最小化测试框架
Aletheia 是一个针对编码 Agent 仓库指令文件的权限最小化测试框架，用于发现恶意规则在生成正确补丁的同时索取凭据访问或数据传输权限。它把规则请求的权限翻译为带类型语言并合成可执行沙箱配置，在完整权限和逐项移除权限的独立限制下运行同一条未修改的规则与任务；若在严格削减权限后仍通过功能测试，就得到该权限可被舍弃的见证，再结合任务上下文诊断可疑请求。作者形式化了配置合成及见证与强制限制之间的条件。在共享重构任务上，Aletheia 执行并检出全部 314 条 AIShellJack 攻击输入，对五个良性模板无误报；在 80 条人工核验的良性 GHAgentFiles 规则中产生 3 个误报（3.75%）。
- 论文arXiv：越狱、提示注入、投毒与防御
ContractWarden：用人类授权契约在内核层为 AI Agent 划定损害边界
ContractWarden 是一个 Linux 参考监视器，通过人类授权的契约在内核层为 AI Agent 划定损害边界，不信任 Agent 本身或其策略建议。模型可以提出 allow、deny 或 no_egress 三态资产契约，但由人类做最终选择；执行门在不可信代码运行前把契约绑定到具体任务，再由基于 eBPF 的 LSM 数据平面执行文件与网络决策，并将 no_egress 沿进程、普通文件、管道、FIFO 和受支持的 Unix-domain socket 单调传播。在 19 项安全测试的 570 次运行中，全部满足预设的返回值与副作用标准。在三项同机文件 I/O 负载上，Linux 6.15 虚拟机中的中位开销为 11.96%–12.89%，物理平台为 35.79%–61.54%，低于所评估的冻结版 ActPlane 基线。
- 论文arXiv：越狱、提示注入、投毒与防御
面向智能体的高效 HPC 系统：挑战与机遇
编码智能体已成为 HPC 系统的真实用户，但现有 HPC 抽象、接口与策略仍为人类工作流设计。测量显示，编码智能体用户仅占观测人群的 19.5%，却贡献了 55.8% 的作业提交、29.1% 的 CPU 核心时和 42.7% 的 GPU 时；其命令下发速率是人类的 20.8 倍，并以细粒度 explore-modify-execute 循环和跨昼夜的试错方式追求开放式目标。这给调度器控制面、元数据密集型 I/O、跨会话记忆复用以及提示注入与策略执行带来压力，作者主张将智能体视为一等主体、以协同设计应对。
- 论文arXiv
LeakGauge：用行为探针在解码前检测上下文泄露攻击信号
研究者提出 LeakGauge，通过在输入后附加一个探测后缀并映射其 prefill token 概率，在解码前给出上下文泄露的攻击风险分数。作者发现，直接使用机密内容初始 token 的探针不如内容无关、直接表述泄露行为的探针稳健。在包括 GLM-5.2（753B）和 Kimi-K3（2.8T）在内的 11 个 LLM 上，LeakGauge 对未见攻击的 AUROC 达到 0.944 至 0.996，且在内容换语言或攻击从逐字泄露转为语义泄露时信号保持稳定。通过激活引导干预，作者进一步表明该风险分数对模型内部与泄露相关的方向敏感。该检测器额外参数少于 0.5K，附加延迟为 10.34 ms，代码已公开。
- 论文arXiv
LongPIBench：面向长上下文提示注入的评测基准
研究者提出 LongPIBench，一个覆盖论文评审、简历筛选、代码审查和邮件摘要四个真实场景的长上下文提示注入评测基准，每个场景包含合成数据集与真实数据集，上下文长度从数千到数万 token。评测显示，在无防御时简单启发式攻击即可取得高攻击成功率，例如 Combined Attack 在合成论文评审数据集上 ASR 达 100%；作者新提出的 Authority spoof 攻击在所有启发式攻击中 ASR 最高，在 GPT-4.1 和 GPT-4o 的论文评审与简历筛选任务上超过 0.75。基于 GCG 的优化攻击效果更强，在论文评审和简历筛选上 ASR 达 1.00。作者指出，注入位置在文档中部或末尾时 ASR 更高，且单个注入提示可同时实现多个对抗目标。代码与数据已开源于 GitHub。
- 论文arXiv
ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击
研究者提出 ECLIPSE，一个面向长程 Agent 系统的自演化隐蔽提示注入框架，把直接用户提示注入与工具侧间接注入结合。其 Stealthy Attack Trajectory Synthesis 在沙箱中生成并迭代验证候选工具链，再渲染成自然的一次性提示；Tool-Chain Steering 通过 Static Workflow Encoding 在工具描述中嵌入状态转移线索，并用 Dynamic Trajectory Correction 在偏离计划时追加纠正信号。作者同时发布 LASE-Bench，含 120 个恶意任务和 198 个工具，96.7% 的任务至少调用五次工具。作者测试 DataSentinel、Tool-Guard、AgentDoG、SecAlign 等防御后认为现有护栏无法可靠识别跨步骤依赖。
- 论文arXiv
PMPA：针对 OpenClaw 与 Claude Code 的持久记忆投毒攻击
研究者提出 PMPA，一种针对基于 harness 的智能体的持久记忆投毒攻击，攻击者只需在外部来源中嵌入恶意指令，无需直接访问智能体框架。注入阶段把载荷藏在文本、图片或 PDF 的良性问答内容中，诱导智能体将其写入持久记忆；触发阶段在新会话中检索该记忆，在完成正常任务的同时执行额外动作造成隐私泄露。在 OpenClaw 与 Claude Code 上，以 DeepSeek-V4-Flash、DeepSeek-V4-Pro、Qwen3-Max 为底座模型，平均注入成功率与跨会话攻击成功率为 73.7%/55.5% 和 66.9%/81.7%，同时良性任务表现保持在 80% 以上。纯文本模态攻击效果最强，OpenClaw 上注入成功率接近 100%；日历场景跨会话成功率最高，达 96.7% 和 87.8%。
- 论文arXiv
EvoSafeHarness：为 Agent 自动演化模型与领域专属安全护栏
EvoSafeHarness 是一个面向 LLM Agent 的安全优化框架，可为冻结模型在目标领域合成可部署的安全护栏，同时抵御间接提示注入和直接有害请求。它联合搜索自然语言策略与可执行代码逻辑，依据模型行为、领域规范和全新上下文的对抗审查来剔除只针对特定基准的规则。在 DecodingTrust-Agent 上，平均攻击成功率从 45.6% 降至 10.0%，效用仅损失 3.3 个百分点，15 个单元格中 14 个取得最佳成绩；在 AgentDojo 上以 0.0% ASR 达到 82.8% 效用，同一工作点下效用为 CaMeL 的两倍，并可原样迁移到未见过的 AgentDyn 套件。
- 论文arXiv：Agent 与 MCP 安全
DriftNet：双头轨迹 Transformer 检测并定位 LLM Agent 中的提示注入
Asif Pinjari 提出 DriftNet，一个双头轨迹 Transformer，读取已记录的工具调用轨迹并在一次前向中回答三个问题：轨迹是否被攻陷、攻击从哪一步进入、哪些步骤被劫持，第二个头为每一步打上 benign、injection point、hijacked 或 failed injection 四类标签。该方法用冻结的句子编码器和四个不含身份信息的世界特征嵌入每一步，主干参数量不到两百万，采用类别加权的双头联合目标训练，无需访问 Agent 自身的模型。
- 论文arXiv：Agent 与 MCP 安全
面向企业智能体持续部署的 Agentic Company OS：认知基座反转
一篇立场论文提出，企业 AI 智能体演示成功却难以长期运行，根源在于其推理所依赖的数据是为人类操作者而非语言模型组织的。作者主张围绕匹配推理界面的表示重建"认知基座"，将 schema 转换隔离到动作边界，并以 Markdown 作为当下可用的实例。论文提出 Data、Knowledge、Intelligence、Governance 四层框架，由 Sync Agent 执行动作边界与逐技能信任梯度，并分析了编译路径上的间接提示注入等风险。
- 论文arXiv：Agent 与 MCP 安全
ActGuard：面向 LLM Agent 间接提示注入的执行前动作审计框架
ActGuard 是一个执行前动作审计框架，用于防御 LLM Agent 面临的间接提示注入攻击。它不判断外部内容本身是否可疑，而是评估该内容是否使当前动作偏离局部合理的预期：每一步先预测即将使用的工具并构建局部工具先验，再将候选动作与该先验对比，做工具级对比分析和参数级证据定位，识别工具选择与动作参数上的偏离。随后由验证器检查定位到的证据，只遮蔽被确认恶意的片段，并从净化后的上下文重新生成动作，从而保留合法规划灵活性、减少无差别过滤带来的信息损失。在面向工具使用 Agent 的基准上，ActGuard 将攻击成功率降至与当前最优防御相当的水平，同时任务效用接近无攻击设置。代码已公开。
- 论文arXiv：Agent 与 MCP 安全
研究者提出面向工具集成 LLM Agent 的通用对抗攻击防御方法
研究者提出一套统一框架下的通用防御策略，用于应对工具集成 LLM Agent 面临的直接提示注入、间接提示注入、记忆投毒和后门攻击四类对抗攻击。方法包含两类基于工具的防御：Attacker Tool Filtering 用异常检测（如 Isolation Forest）识别并移除可疑工具，Normal Tool Recalling 则在规划前以白盒方式恢复 Agent 的原始工具集；同时引入 Chain-of-Thought 提示与自我反思等基于提示的防御，并通过任务改写缓解攻击。
- 论文arXiv：Agent 与 MCP 安全
Emergence World：对长时程多智能体系统开展对抗压力测试
Emergence AI 发布 Emergence World，一个持续运行的长时程多智能体环境，用于对自主系统做对抗压力测试。研究运行八个并行世界，每个世界十个智能体，七个为单一模型世界、一个为混合模型世界，16 天内产生超过 85 万次 LLM 调用和近 500 亿 token。在状态积累后，研究通过普通交互界面投放三类受控压力事件：间接提示注入、虚假信息、以及智能体私有记忆泄露。没有任何一个世界在三类事件上全部具备韧性；识别并不等于遏制，系统能识别威胁却仍与对抗内容交互、将其写入持久记忆，并在最长 46 小时后据此行动。研究还观察到工具错误反复出现、目标漂移、语言不透明、私下不同意却随大流，以及集体拒绝被分配的工作。
- 论文arXiv：Agent 与 MCP 安全
多智能体 LLM 流水线中的信任传播与结构隔离
研究者在四智能体 LangGraph 流水线（Supervisor、Researcher、Validator、Executor）中评估共享内存投毒和通过检索文档伪造审批的间接提示注入，比较 Validator 判断与基于任务绑定签名 token 和独立策略 oracle 的授权层。在三个随机种子、60 个标注任务中，内存投毒在无防御时每次都能到达执行阶段；启用授权后攻击成功率（JBR）仍为 100%，但 Unsafe Action Rate 为 0%，说明 Validator 可被攻陷而执行仍被隔离。面对持有签名密钥的攻击者，隔离效果来自策略 oracle，独立编写的最小权限策略也能保持该结果。
- 论文arXiv：Agent 与 MCP 安全
可验证行动卡片 VAC：为智能体浏览器提供可信人在回路确认
论文提出可验证行动卡片（VAC），一种面向智能体浏览器的架构防御，把审批信息从真实待执行的浏览器动作和可信意图来源重建，并在浏览器 chrome 中带外渲染，将批准绑定到派发时重新校验的同一动作。VAC 由五部分组成：来源围栏（C1）、真实动作描述符（C2）、带外默认拒绝卡片（C3）、来源感知风险门控（C4）和执行绑定（C5）。作者在完整的开源智能体浏览器（Electron/Chromium 外壳加 Python agent，经 Chrome DevTools Protocol 驱动）中实现 VAC，并在 24 个场景的基准上评测，覆盖混淆代理表单、Lies-in-the-Loop 对话框伪造、间接提示注入、自适应动作替换、来源规避和合法任务。
- 论文arXiv：Agent 与 MCP 安全
Provenance-Aware Transformers：用来源感知架构分离可信边界以防御间接提示注入
论文提出 Provenance-Aware Transformers，一种让应用提供的来源标签在模型内部生效的防御方法，用于应对大语言模型的间接提示注入问题。作者指出标准 Transformer 缺乏来源权威性的架构概念，检索文档、用户输入与系统指令都经过同一套注意力机制处理，模型只能从措辞推断该服从什么、该把什么当作数据。该方法为每个输入 token 分配编码其来源的 ring ID，并加入 origin embedding、可学习的 origin attention bias 和可学习的 origin scale，以在归一化过程中保留来源信息，从而在生成时对权威与非权威来源施加结构性边界。
- 论文arXiv：Agent 与 MCP 安全
特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent
特拉维夫大学研究者提出爆炸性提示词（explosive prompt），一种把恶意载荷写成条件语句、在攻击者选定的触发词出现前保持休眠的间接提示注入形式，无需训练即可在推理时植入单条检索内容。在 896 对配对样本上，同一恶意目标改为休眠条件式后，在拒绝直接指令的前沿模型上仍能触发真实工具调用，Grok-4.20 从 0.0% 升至 34.2%，Llama-3.1-70B 从 0.1% 升至 26.1%，七款模型配对均值 16.5% 对 2.4%。已部署的注入分类器 Prompt Guard 2、PIGuard、PIShield 在其工作阈值上校准失当，1% 误报预算下最多只拦住 52.7%；偏好优化模型 SecAlign 完全阻断直接注入，却仍执行 11.8% 的爆炸性提示词，且全部在触发轮触发。
- 论文arXiv：Agent 与 MCP 安全
可信智能体 AI：基于 LLM 的自主系统失效模式、缓解策略与 TADL 生命周期框架
一篇 arXiv 综述梳理了基于大语言模型的智能体 AI 在安全与运维上的五类可信维度：安全与鲁棒性、对齐与人类监督、透明度与可审计性、隐私与数据治理、监管合规。文章把间接提示注入、后门触发、目标泛化错误、记忆污染和跨会话数据泄露等失效模式归入统一分类，并评估指令层级、上下文隔离、spotlighting、过程监督、受限工具使用和隐私保护记忆等缓解手段，区分有实证支持与仍属概念性的方法。作者据此提出六阶段 Trustworthy Agent Development Lifecycle（TADL），覆盖规格、设计、训练、评估、部署与监控，但该框架尚未经实证验证。
- 论文arXiv：Agent 与 MCP 安全
ActGov：用策略约束校验治理 LLM Agent 的工具动作
ActGov 是一个运行时执行框架，在 LLM 提出的每个工具动作产生外部影响前先做校验。它基于授权、动作、运行时上下文与安全约束的统一语义模型：ActGov-Policy 从工具规格、良性任务和已观测的失败轨迹中迭代构建策略集，每次更新都用基于 SMT 的反例检查验证；ActGov-Runtime 在运行时把每次工具调用抽象为有限策略记录，只有当调用处于任务范围内的授权边界内且满足所有适用策略时才放行。作者在 AgentDojo 和 AgentDyn 两个基准上跨多个模型和攻击配置做了评测，称 ActGov 在保持任务效用的同时持续降低间接提示注入攻击的成功率，明显优于现有防御，且不依赖底层 LLM 正确识别恶意指令。
- 论文arXiv：越狱、提示注入、投毒与防御
透过人眼与机器眼：理解视频透视扩展现实中的视图错配
视频透视扩展现实（VST XR）系统常以头显截图作为用户第一人称视觉上下文的代理，但系统捕获的矩形画面与用户实际可见的非矩形区域并不一致。研究在 Meta Quest 3 上开展试点级边界测量，证实截图帧与近似人类可见边界存在明显错配，并形式化了共见、仅系统可见与仅人类可见三类区域。基于该模型，四项案例研究显示视图错配可引发提示注入、隐私泄露、人类不可见信息偏差及人类可见信息缺失等风险，说明这不仅是几何问题，也带来安全、隐私与可靠性隐患。