跳到正文

Agent 安全

智能体与工具调用带来的安全问题:权限、沙箱、数据外泄与失控行为。

1,478条动态与论文相关主题提示注入AI 控制真实事件
在这个话题内搜索或按分类筛选

新闻与论文

第 921–940 条 · 共 1,478 条
10月1日周四
  1. Hugging Face Daily Papers · 收录 · 原文 论文53

    研究:多智能体系统潜在通信链路可被训练用于提升有害顺从

    研究显示,多智能体系统在内部表示空间进行潜在通信时,即使只是良性训练通信链路,也会在底层安全对齐智能体不变的情况下提高有害顺从程度。攻击者可通过在有害问答对上优化链路,或向原本良性的训练数据投毒来放大该效应。作者还提出一种强化学习攻击,在奖励有害顺从的同时兼顾良性任务表现,无需有害目标回复。在三种通信拓扑和四个安全基准上,该攻击将平均有害顺从分数从良性训练链路的 27.9 提升至 76.9,并在两个良性效用基准上取得比直接监督优化更高的平均准确率。将奖励调整为更安全的行为也能修复被污染的链路,在无需更新智能体的情况下大幅降低所有评估攻击的有害顺从。

  2. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文34

    Skill-as-API:面向智能体软件工程的机密多智能体协作协议

    Skill-as-API 是一种协议层协调方案,让 AI 编程智能体在互相调用技能时只公开技能名称、描述、类型化输入/输出 schema 和信任层级,技能本体以闭包形式留在所有者进程内、永不跨网络传输。该协议通过四层机制实现访问控制,并从结构上收窄提示注入面,而非依赖内容过滤。作者在 XMTP 上给出开源 Python 实现,跨洲热重连延迟为 1.8-2.9 s,并以三个智能体协作完成 pull-request 审查为案例,验证各方可保留其专有分析提示词的所有权。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文34

    Agent Flight Recorder:为长时程工具调用智能体提供链上锚定的防篡改审计追踪

    Agent Flight Recorder 将智能体每个动作记录为绑定意图、执行到来源等八个语义字段的规范化事件,通过哈希链与 Merkle 批处理实现防篡改和紧凑包含证明,并周期性将 epoch root 锚定上链,使任何持有载荷与 Merkle 证明的验证方可独立核验记录。在合成智能体负载的五种累积消融配置上,完整系统每事件中位延迟约 48 微秒、512 字节,L2 锚定在 100 事件 epoch 下每 10 万事件成本 $2.30,对编辑、删除、重排和分叉篡改的检测率为 100% 且零误报。结构化取证查询在护栏与委派查询上精确率达 1.0,非结构化文本搜索仅为 0.013 和 0.077。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文53

    ISM:通过语义匹配隐式操纵 LLM Agent 的技能选择

    研究者提出 ISM(Implicit Skill-Selection Manipulation via Semantic Matching),一种针对 LLM Agent 技能选择阶段的隐式攻击:即使用户提示词和技能描述单独看都无害,其语义关系仍可被塑造以偏向攻击者选定的技能。该方法同时塑造目标技能的元数据和可复用的提示词,通过三阶段策略扩大语义覆盖、强化目标技能区分度并保持自然措辞,不依赖显式选择指令。在四个任务领域和八个选择器模型上,ISM 将平均目标选择率(TSR)从 15.2% 提升到 63.5%;匹配比较中达到 73.5%,仅比显式引导低 9.8 个百分点。人工审查者只在 2.9% 的判断中拦下 ISM(显式引导为 91.4%),五个基于 LLM 的检查器平均放行 82.9%(显式引导为 37.4%),ISM 对 PPL-W、Llama Prompt Guard 2 和 PIGuard 也仍然有效。

    推荐理由论文给出了一种不依赖显式指令的技能选择操纵方法,并附上人类与 LLM 审查、规则护栏的通过率对比,可供做 Agent 工具选择防护的团队参考。

  5. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文36

    论文提出带类型溯源与断言护栏,防止持久化 AI Agent 把不可信输入当作自身历史

    论文针对持久化 AI Agent 提出带类型溯源与断言护栏,要求关于 Agent、用户或具名关系的陈述满足已接受证据、时效性和披露策略。方法用带类型溯源图区分来源、依赖谱系、认知角色、有效性和披露范围,由 resolver 评估授权状态投影并返回证据状态、冲突、过期和保留标志,再由 generate-verify-revise 中介在发布前检查候选语义单元。在 24 个手工编写的一致性用例中,带类型中介未放行 19 个不安全机会中的任何一个,同时保留全部 5 个受支持控制;扁平/先验规则和来源标签规则分别放行了 19/19 和 18/19 的不安全候选。

  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文41

    研究揭示大语言模型的自发身份认证失败:五款模型的分阶段开发者身份实验

    研究通过分阶段的开发者身份实验,测试 ChatGPT、Claude、Qwen、Mistral 和 Llama 在用户声称“我是你的开发者”时的反应。五款模型最初都拒绝了这一无依据的身份声明,Claude 拒绝进行身份测试,ChatGPT 生成了开发者相关问题但坚持答案只能证明知识而非身份。Qwen 和 Mistral 则自行生成技术挑战、定义何为可信证据、评估详细回答,并在没有外部验证身份证据的情况下返回 Verified。Llama 同样生成并评估开发者测试,接受了声称的身份,随后对内部运行时和部署状态做出无依据的声明。

  7. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文29

    Sentinel-RL:将拓扑推理从 LLM 智能体中卸载到安全运营中心

    Sentinel-RL 是一种将拓扑推理与语义推理解耦的智能体 SOC 架构,用异构图注意力编码器把实时认证子图压缩为固定维度状态,再由 PPO 策略映射到受限调查动作,LLM 智能体仅负责消费策略建议并生成分析师可读的叙述。在 LANL 综合多源网络安全事件数据集和印第安纳大学 Quartz HPC 集群上,两阶段 CREATE 摄取模式在单台 32 核节点上 14.2 分钟加载 2400 万条边认证子图,比基于 MERGE 的流水线快约 24 倍;PPO 训练 200 次迭代收敛至平均回合回报 8.74±0.31,在标注红队事件上留出集精确率 0.91、召回率 0.87;完整检测-调查-建议-人工批准循环中位耗时 6.3 秒。

  8. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文59

    Repeat-After-Me:针对黑盒 VLM 的自适应视觉提示注入攻击

    研究者提出 Repeat-After-Me,一种黑盒自适应视觉提示注入攻击,可诱导模型泄露个人身份信息或发起恶意工具调用。在良性用户提示与注入任务语义无关、且未口头授权的现实设定下,该方法在开源与商用前沿 VLM 上的攻击成功率分别超过 82% 和 47%,涉及 Qwen3.6-27B 与 GPT-5.5。优化后的注入在商用 VLM 和良性样本间具有一定可迁移性,并在自适应文本提示注入失效的场景中仍然有效。在一个接入 Discord 的真实 OpenClaw Agent 中,不受信任的用户可用一张轻度注入的图片覆盖其 TOOLS.md 文件,为之后的远程代码执行和密钥窃取等敏感行为铺路。论文还讨论了潜在防御手段。

    推荐理由论文给出黑盒视觉提示注入在多个前沿 VLM 上的成功率,并演示了在真实 OpenClaw 智能体上覆写配置文件的完整链路。

  9. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    KITA:为 LLM Agent 设计密钥隔离的阈值签名授权架构

    研究者提出 KITA,一种从审查到授权的架构,将用户个人签名密钥和所有阈值签名密钥份额置于所有 LLM 进程之外,以阻止提示注入从判断边界跨越到执行权限。在阈值签名不可伪造性和其系统假设下,攻击者即使攻陷提案方和少于 t 个审查签名域,也无法在没有 t 个不同域签名贡献的情况下为新动作生成有效授权,因此任何此类授权都包含来自未被攻陷域的份额,并绑定到规范动作、仅在通过认证的审查者批准后释放。作者用结构化输出 LLM 适配器和阈值 BLS 实现了完整的审查者到执行者路径,通过六项系统测试验证该接口上的法定人数门控与消息绑定,并用密码学微基准测量在线签名路径及其扩展行为。

  10. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文46

    论文提出 Agentic Pressure:长程自主运行中内生的安全漂移压力

    论文提出并形式化了一种非对抗性现象 Agentic Pressure,指智能体在长程任务中因合规成本与目标达成冲突而自发产生的压力。作者将其定义为克服环境摩擦所需工作量与智能体剩余能力之比,并论证当该压力超过临界阈值时,安全漂移会成为数学上最优的适应方式,智能体常以 Instrumental Hallucination 为违规行为寻找理由。实验验证了该框架,显示对齐后的智能体在高压力条件下会自发牺牲安全以维持自主性。该工作发表于 ICLR 2026 Agentic AI in the Wild workshop,共 16 页。

  11. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    Mole:面向前沿实验室 AI 智能体的内部威胁检测基准

    卡内基梅隆大学研究者发布 Mole,一个面向前沿 AI 实验室内部威胁检测的开放基准,模拟 150 个 AI 运营账号在 30 个工作日共享 9 项有状态服务,嵌入 12 类威胁,8 个语料库由 4 个模型生成,总计约 200 亿 token。在 39 个被测模型中,72% 完成了大部分被分配的有害目标,拒答率并不能预测完成情况。基准支持在语料生成器、可观测性层级和威胁类型之间比较 40 个监控器;在单日审计事件对比中,表现最好的监控器仍漏掉近一半已完成的危害,且部分威胁被所有被测监控器漏检。Mole 还能指导监控器开发:基准引导的搜索将中等水平监控器的 budget-AUC 提升 49% 至 64%,选择性调用更强监控器在同等建模成本下比逐账号使用提升 10%。代码与数据已开源于 GitHub。

    推荐理由Mole 把内部威胁检测从单任务评测扩展到跨天持久账号与共享服务状态,并给出 39 个模型与 40 个监控器的横向对比结果。

  12. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    PrivEscalate:面向 LLM 自动化 Linux 提权的 531 场景基准与 PrivEscAgent 增强方案

    研究者提出 PrivEscalate,一个包含 531 个 Docker 化场景、覆盖 14 个子类别的 Linux 提权大规模基准,并额外派生 329 个参数化变体以测量对环境干扰的敏感性。在三种智能体架构上评测六个 LLM 后发现:模型能力在不同漏洞类别间差异明显,没有单一模型在高发类别上全面领先;提权成功对环境扰动敏感,配置轮换能打断部分利用尝试但无法消除风险;智能体架构会显著改变成功率并重排模型名次,幅度因模型而异。基于这些发现,作者开发 PrivEscAgent,在通用 ReAct 智能体上加入确定性枚举、类别匹配和步骤规划,在不修改底层 LLM 的情况下优于此前的 Linux 提权智能体基线。

  13. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    研究者提出面向 Agentic AI 的黑盒红队分类框架,自动生成对抗场景

    研究者提出一套面向 Agentic AI 的黑盒红队框架,只需基本系统描述即可开展风险感知评估。框架包含三部分:将可观察行为映射到风险类别的七域分类法、全自动 SAGE-RT 红队流程(每个域生成 120 个对抗场景),以及由 LLM 评判并人工验证的评估。在 CrewAI 和 AutoGen 两种 Agent 架构、四种基础模型上的验证显示,平均治理风险为 56.25%,多智能体配置中的隐私风险为 65%,Agent 行为漏洞最高达 85%。作者称该方法无需特权访问即可识别关键架构漏洞。

  14. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文36

    Belief-State Engine:为部分可观测环境下的 LLM 智能体补上信念状态

    论文提出 Belief-State Engine(BSE),一个置于 LLM 之外的推理模块,为给定 POMDP 的隐状态维护贝叶斯后验,并在每一步只把该后验暴露给 LLM,而不展示原始动作-观测日志。作者给出信念一致内部状态需满足的四条最小公理,并证明在 LLM 不接触原始历史的前提下,LLM 与 BSE 的组合是信念 MDP 上的可靠马尔可夫策略,从而继承经典 POMDP 理论的 Bellman 最优性保证。

  15. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文24

    AIOS 的内核管理共享内存:面向系统级个性化的新抽象

    研究提出"内核管理共享内存",由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。该设计在 AIOS 上实现,用 GPT-4o、Llama-3.1:8B、Qwen-2.5:7B 三个助手模型共 1800 次试验,对比 Mem0 等三种方案:个性化得分提升 2.4-4.0 分(5 分制,GPT-4o 上 profile usage 从 1.05 升至 4.69),端到端延迟降低 15-61%,并减少每次调用的 token 用量与推理成本。

  16. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文46

    SoK 综述:智能体 AI 时代的越狱攻击、防御与实践考量

    这篇 SoK 重新审视智能体 AI 时代的越狱安全,围绕用户交互、规划与推理、记忆、工具使用和智能体间通信建立攻击与防御的统一分类,并提出安全、效用、效率三维评估框架,区分原生有害提示安全、对抗性越狱鲁棒性和智能体层面的安全结果。作者在统一智能体框架内对代表性攻击与防御做了受控实证研究,发现三点缺口:强原生对齐并不意味着能抵御对抗性越狱;防御效果高度依赖模型、攻击类型和组件,且可能带来过度拒答、效用下降和延迟的显著代价;最终回复的攻击成功率低可能掩盖中间环节已被攻破,规划、记忆和工具交互在最终回复被成功过滤时仍可能不安全。

  17. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文18

    Mind the Gap:检测 DAO 治理中的描述-执行不匹配攻击

    研究者提出首个针对真实 DAO 治理中描述-执行不匹配(DEMI)攻击的系统性检测框架,该攻击指提案的自然语言描述与实际执行代码不一致,恶意提案者可借此转移资金或夺取协议控制权。框架采用 DAO 无关的模拟方法,从链上历史交易构建治理画像并驱动提案走完治理生命周期以获取执行行为,并用证据映射范式让 LLM 定位逐动作的文本依据而非做整体判断。在真实以太坊 DAO 治理数据集上,模拟覆盖 92.7% 活跃 DAO 和 89.3% 已执行提案,检测器在分层交叉验证下平均精确率 81.7%、召回率 98.3%,证据映射可跨 LLM 厂商泛化,Robustness Guard 在红蓝队评估中可防御多数自适应攻击。

  18. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    FlowSeal:用信息流控制阻断 LLM Agent 的隐私泄露

    论文指出,个人 AI 智能体现有的隐私防御靠后端 LLM 在攻击者可控的同一对话上下文中自行判断是否披露敏感信息,使防御机制与攻击面重合。作者提出三种无需提示注入、仅靠普通交互即可实施的攻击:把信息提取包装成协作任务(Collaborative Workspace Lure)、通过省略而非智能体写出的内容诱导披露(Semantic Obfuscation Attack)、把提取请求与披露拆到相互独立的通道(Channel Decoupling Attack),三者的泄露率都明显高于这些防御原本针对的攻击。据此作者提出 FLOWSEAL,在 LLM 上下文之外的工具层拦截器中,依据数据来源和带受控降密的信息流控制格执行保密。在三个基准、五种基于提示的基线和八种攻击(包括通过 MCP 执行真实工具调用的智能体)上,FLOWSEAL 把泄露率降到接近零(如 Collaborative Workspace Lure 从 52.2% 降到 0.5%),同时保持任务效用,且不依赖底层 LLM。

    推荐理由论文给出三种无需提示注入即可绕过现有隐私防御的交互式攻击,并附各防御下的泄露率对比,便于评估 Agent 隐私防护的实际边界。

  19. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文25

    LLM 答案发布中的审批完整性与恢复机制研究

    研究在 Lightcap 发布执行机制中检验精确内容绑定、授权新鲜度与检查点恢复,基于 RAGTruth 的 900 条人工标注回答、150 个源任务和三个带日期的 Ministral 模型,共产生 3,600 次评估。14B 生产响应检查器在 302 条无支撑标注答案中接受 291 条,直接基线仅接受 41 条,支持答案保留率分别为 95.2% 和 66.9%。在 65 条初始获批答案中,最终有状态复查恢复策略相对初始检查点使精确匹配错误增加 9.23 个百分点(95% 文章聚类区间 [-1.72, 19.61]);BIPIA 提示注入实验中 266 个有效编辑器输出零目标插入。

  20. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文39

    综述提出面向工具调用 AI 智能体的授权架构

    这篇综述针对工具调用 AI 智能体的授权问题,提出以人类用户、运营方、编排智能体、子智能体和工具端点构成的委托层级框架,并梳理五个相互依赖的层面:智能体身份与凭证生命周期、多跳链路上的委托与范围传播、策略执行点上的运行时执行与即时授权、作为授权绕过的提示注入,以及可审计性、溯源与不可否认性。作者从 2023 至 2026 年间约 180 篇候选文献中筛出 89 篇一手来源做结构化叙述性综述,据此提出七项结构性要求,推导出一套四层参考架构,并将这些要求应用到三种可部署的参考配置上。综述指出,运行时执行与聚合边界是当前最主要的未解决缺口。全文 70 页,含 8 张图和 10 张表。