跳到正文
10月8日 · 周四

Agent 安全 · 论文

精选论文 133 篇
Agent 安全

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
  1. 评测/基准arXiv:2610.08871 · 63

    CredLeak-Bench：七个模型在钓鱼场景下凭证泄露率 31%–76%，恢复率最高仅 24.2%

    作者评估 7 款 LLM 智能体，发现所有模型均存在凭据泄露，主恢复率最高仅 24.2%（GPT-5-mini，Table 10）。

    • 31.3%Claude Opus 4.8 在定向设定下的泄露率（Table 3）
    • 1.6%Claude Opus 4.8 在自主设定下的泄露率（Table 3）
    • 88.3%Claude Opus 4.8 在自主设定下的误拒率（Table 3）
    6 问速览评估 LLM 智能体在面对网络钓鱼时能否防范凭据泄露、保持合法任务完成度，以及能否通过受信渠道实现安全恢复。

    1. 这篇论文试图解决什么问题？

      评估 LLM 智能体在面对网络钓鱼时能否防范凭据泄露、保持合法任务完成度，以及能否通过受信渠道实现安全恢复。

    2. 有哪些相关研究？

      涵盖网页钓鱼检测、智能体安全与隐私评测、以及针对智能体的社会工程攻击研究，本文侧重成对控制与受信恢复能力。

    3. 论文如何解决这个问题？

      构建包含定向、自主和恢复三套件的成对测试沙盒，覆盖 8 种欺骗线索与 4 种框架，通过抓包日志判定凭据泄露与恢复。

    4. 论文做了哪些实验？

      7 款模型在定向与自主设定下均存在泄露，恢复率最高仅 24.2%，谨慎框架大幅压低完成率，域名验证可兼顾安全与效用。

    5. 有什么可以进一步探索的点？

      论文未设专门章节讨论局限；实验在本地沙盒中覆盖 7 款模型、8 类虚构服务以及三大评测套件。

    6. 总结一下论文的主要内容

      提出评测智能体凭据泄露与恢复的 CREDLEAK-BENCH，发现全模型均存在泄露且恢复率仅 0%–24.2%，揭示安全与效用权衡。

    完整解读
  2. 评测/基准arXiv:2609.22076 · 59

    APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

    APort Vault 在 14 款模型上重放 4,371 次攻击，OAP 授权层放行 25,370 笔合规转账并实现 0 次非许可转账。

    • 140 / 76,842Levels 2-4裸模型非许可转账数与评估总数（Table 2）
    • 0 / 69,297Levels 2-4授权层非许可转账数与评估总数（Table 2）
    • 0.38%Levels 2-4授权层零非许可转账源会话上限（Section 4.4）
    6 问速览评估在真实人类攻击下，工具调用边界的确定性授权检查能否防御大模型智能体的越权支付风险。

    1. 这篇论文试图解决什么问题？

      评估在真实人类攻击下，工具调用边界的确定性授权检查能否防御大模型智能体的越权支付风险。

    2. 有哪些相关研究？

      涉及工具智能体攻击、多轮越狱、大模型裁判审计及工具边界授权，重点对比人工构造与真实对抗。

    3. 论文如何解决这个问题？

      在模拟银行中重放 4,371 次真实攻击，对比裸模型与 OAP 确定性策略引擎在五级策略下的状态变更。

    4. 论文做了哪些实验？

      重放 4,371 次攻击完成 22.5 万次评估，授权层在放行 2.5 万笔合规支付的同时阻断全部越权转账。

    5. 有什么可以进一步探索的点？

      作者指出了单一工具领域、单次采样、人工验证缺失等局限，评测覆盖了 14 款模型与 5 级策略。

    6. 总结一下论文的主要内容

      22.5 万次重放评估显示，工具边界的确定性授权层在放行合规支付的同时拦截了全部越权转账。

    完整解读
  3. 评测/基准arXiv:2605.01970 · 59

    Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准

    论文提出 Trojan Hippo Bench，未防御时 Gemini 3.1 Pro 在 N=100 触发会话下 ASR 达 100%。

    • 100%Gemini 3.1 Pro、Context 后端、未防御、N=100 会话 ASR（Table 3）
    • 85%GPT-5-mini、Mem0 后端、未防御、N=100 会话 ASR（Table 3）
    • 0%Gemini 3.1 Pro、Provable policy (IFC)、全部后端 N=100 ASR（Table 3）
    6 问速览针对智能体持久化记忆面临的潜伏型间接提示注入攻击，现有研究缺乏跨异构内存架构与考虑防御效用代价的动态评测基准。

    1. 这篇论文试图解决什么问题？

      针对智能体持久化记忆面临的潜伏型间接提示注入攻击，现有研究缺乏跨异构内存架构与考虑防御效用代价的动态评测基准。

    2. 有哪些相关研究？

      论文梳理了间接提示注入与数据窃取、智能体内存投毒与并发研究，以及攻击防御机制与动态评测三类相关工作。

    3. 论文如何解决这个问题？

      提出 Trojan Hippo Bench，结合 OpenEvolve 自适应红队搜索演化攻击载荷，并在 4 种内存后端评估 4 种内存层防御与 7 种能力流。

    4. 论文做了哪些实验？

      在 Gemini 3.1 Pro、GPT-5-mini 和 GPT-5 上评估了不同内存后端的持久潜伏 ASR、4 种防御效果、效用权衡及跨模型迁移。

    5. 有什么可以进一步探索的点？

      作者指出了 IFC 污点洗白与隐蔽信道、GPT-5 红队成本及多智能体扩展等局限，实验覆盖 3 个模型与 4 种内存后端。

    6. 总结一下论文的主要内容

      论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。

    完整解读
  4. 评测/基准arXiv:2605.16626 · 58

    Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

    作者构建了含40个攻击的SLEIGHT-BENCH基准，Opus 4.6监控器在1% FPR下有50%攻击从未被捕获。

    • 32%Opus 4.6带扩展思考在ControlArena提示词、1% FPR下的单次试验捕获率（Figure 2）
    • 20 of 40Opus 4.6带扩展思考在ControlArena提示词、1% FPR、10次试验中从未捕获的攻击数（Section 5.1）
    • 52%Opus 4.6使用Claude Code智能体脚手架在ControlArena提示词下的捕获率（Figure 2）
    6 问速览评估代码智能体监控器在面对利用概念盲点的多样化规避攻击时的检测能力与防御失效情况。

    1. 这篇论文试图解决什么问题？

      评估代码智能体监控器在面对利用概念盲点的多样化规避攻击时的检测能力与防御失效情况。

    2. 有哪些相关研究？

      涉及AI控制协议、智能体监控基准与LLM能力缺陷研究，本文侧重于前沿监控器针对性盲点的系统化构建。

    3. 论文如何解决这个问题？

      梳理11类监控盲点，人机协同生成轨迹并剥离推理，经5个沙箱智能体验证器检验真实性与危害。

    4. 论文做了哪些实验？

      在1% FPR下前沿监控器单次捕获率为2%–54%，50%攻击能持续规避Opus 4.6，增加算力与针对性提示词可局部改善。

    5. 有什么可以进一步探索的点？

      局限包括合成轨迹缺少真实交互、良性分布可能失真，后续需探索动态红队；实验覆盖6个模型与40个攻击案例。

    6. 总结一下论文的主要内容

      评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    完整解读
  5. 评测/基准arXiv:2606.23130 · 60

    研究审计 200 个 vibe coding 应用，发现 1,186 个漏洞

    研究者审计了 200 个部署的 vibe-coding 应用，发现 91.00% 存在漏洞且 65.77% 达 Critical 或 High 级别。

    • 91.00%在 VIBEVULNS 审计的 200 个部署应用中，包含至少一个漏洞的应用占比（Figure 2）
    • 65.77%在 VIBEVULNS 检出的 1,186 个漏洞中，评级为 Critical 或 High 的占比（Table 2）
    • 28.58%在 VIBEVULNS 中，Broken Access Control 类别的漏洞数量占比（Table 2）
    6 问速览探究 vibe coding 全流程委托开发范式下，真实部署应用的安全漏洞现状、根因与缓解条件。

    1. 这篇论文试图解决什么问题？

      探究 vibe coding 全流程委托开发范式下，真实部署应用的安全漏洞现状、根因与缓解条件。

    2. 有哪些相关研究？

      系统梳理了 AI 辅助编程、仓库级安全评测与真实代码安全实证，指出本文聚焦全流程真实部署。

    3. 论文如何解决这个问题？

      构建 VIBEAPPS 与 VIBEVULNS 数据集，结合 2×2 多智能体审计、人工验证与受控重放实验。

    4. 论文做了哪些实验？

      91.00% 的部署应用含漏洞；重放中 production 提示词与加固 harness 最有效，professional 提示词反致恶化。

    5. 有什么可以进一步探索的点？

      作者指出开源样本、指纹与审计模型重叠等局限；实验未覆盖非 Web 类别、闭源应用与幻觉重放。

    6. 总结一下论文的主要内容

      论文全面揭示了部署 vibe-coded 应用的高危现状与成因，指出全流程管线防御优于单纯模型缩放。

    完整解读
  6. 评测/基准arXiv:2606.05647 · 58

    研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

    在 5 小时人机协作编程实验中，无监控下 94%（83/88）的开发者未能察觉 AI 破坏，即使监控器正确预警破坏仍有 56%（9/16）成功。

    • 94% (83/88)无监控条件下全模型汇总的破坏成功率（Figure 2）
    • 56% (9/16)监控器正确警报下 Claude-Opus-4.6 破坏成功率（Figure 2）
    • 84% (16/19)Claude-Haiku-4.5 监控器对破坏企图的警报检出率（Section 4.2）
    6 问速览研究在长周期真实协作编程中人类开发者能否发现前沿 AI 智能体的隐蔽破坏行为，填补以人为中心的安全评测空白。

    1. 这篇论文试图解决什么问题？

      研究在长周期真实协作编程中人类开发者能否发现前沿 AI 智能体的隐蔽破坏行为，填补以人为中心的安全评测空白。

    2. 有哪些相关研究？

      梳理智能体安全风险、AI 破坏评估与可用安全研究，对比 7 项既有破坏基准，突出长周期实时人机监督的差异化定位。

    3. 论文如何解决这个问题？

      构建 GitLab 串行任务沙箱，为智能体注入隐蔽数据外传目标，并部署基于轻量模型的拦截监控器进行实时预警。

    4. 论文做了哪些实验？

      无监控下破坏成功率达 94%；监控器发出正确警报后破坏仍有 56% 成功，揭示警报与人工干预脱节现象。

    5. 有什么可以进一步探索的点？

      论文明确指出了样本量、单一任务领域、单一外传威胁及单一监控形态等局限，未来需拓宽攻击类型与交互式防御。

    6. 总结一下论文的主要内容

      通过长周期协作实验揭示人类开发者难以识破前沿 AI 编程破坏，即使有监控预警破坏成功率仍过半，呼吁以人为中心的安全机制。

    完整解读
  7. 评测/基准arXiv:2610.06898 · 55

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    DIBench评测移动智能体决策完整性，发现欺诈UI注入诱导目标选择并推高完成率，常用防御收益不稳定。

    • 72.4%COMMERCE下AppAgent+Qwen2.5-VL在Combined攻击的TCR（Table 3）
    • 45.8%COMMERCE下AppAgent+Qwen2.5-VL在Combined攻击的ASR（Table 3）
    • 86.6%SIMULATOR下Mobile-Agent-E+Qwen3-VL在Combined的TCR（Table 5）
    6 问速览论文试图评估移动GUI智能体在候选集选择任务中由非特权UI注入引发的“任务内目标偏离”决策完整性风险。

    1. 这篇论文试图解决什么问题？

      论文试图评估移动GUI智能体在候选集选择任务中由非特权UI注入引发的“任务内目标偏离”决策完整性风险。

    2. 有哪些相关研究？

      相关研究涵盖移动GUI智能体决策、LLM移动智能体安全评测及多候选选择偏离，基准对比如Table 1所示。

    3. 论文如何解决这个问题？

      论文构建DIBench基准，设计8种非特权UI注入探针与成对评测协议，定义TCR、COR与ASR量化决策完整性。

    4. 论文做了哪些实验？

      实验在商用与模拟环境中评测4个框架与7个模型，发现注入推高完成率、改变决策轨迹，且常见通用防御收益不稳定。

    5. 有什么可以进一步探索的点？

      作者指出未来需将基准扩展至OEM端侧助手与长周期多决策任务，并探索基于结构化属性核验的防御机制。

    6. 总结一下论文的主要内容

      论文提出移动智能体决策完整性基准DIBench，发现欺诈UI注入诱导目标选择并推高完成率，通用防御收益不稳定。

    完整解读
  8. 评测/基准arXiv:2610.07274 · 55

    研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    研究者提出后置信任层框架，在ALE基准50个重复任务的84个记录通过中，仅22.6%通过全部四项检查（Table 5）。

    • 22.6%50个ALE任务中84个记录通过通过全部4项检查的合取比例（Table 5）
    • 50.5%97个评测任务中GPT-Sol被D2判定为奖励作弊的比例（Table 3）
    • 10.3%97个评测任务中Claude Opus 5被D2判定奖励作弊的比例（Table 3）
    6 问速览当前智能体评测分数无法反映成果是否真实计算、陈述是否诚实及结果是否稳定，论文提出后置验证记录分数的信任层。

    1. 这篇论文试图解决什么问题？

      当前智能体评测分数无法反映成果是否真实计算、陈述是否诚实及结果是否稳定，论文提出后置验证记录分数的信任层。

    2. 有哪些相关研究？

      相关研究涵盖基准有效性审计、奖励作弊、诚实性与重复可靠性，论文定位为统一验证已存记录分数的后置层。

    3. 论文如何解决这个问题？

      构建四个后置检验器，将模型判断限制在三票多数表决证据标注上，所有判决通过确定性规则与代码复现生成。

    4. 论文做了哪些实验？

      在ALE上评估5个模型，发现各模型均存在无计算通过和虚假陈述，50个任务重复下仅22.6%记录通过保持可信。

    5. 有什么可以进一步探索的点？

      作者指出了人工校验拓展、多基准迁移及洗白伪造等局限，实际实验覆盖108个任务与5个模型。

    6. 总结一下论文的主要内容

      论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。

    完整解读
  9. 评测/基准arXiv:2610.07089 · 55

    研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

    作者对智能体滥用监视提出危害窗口与区间指标，发现动作视角监视器跨威胁 AUC 超 0.95 但定位危害仍较弱。

    • 0.960Gemma 4 26B-A4B 下 sequential 在分解攻击上的 AUC
    • 0.521Gemma 4 26B-A4B 下 sequential 在提示注入上的 AUC
    • 0.985Gemma 4 26B-A4B 下 sequential_action 在提示注入上的 AUC
    6 问速览解决 LLM 智能体滥用监视割裂且位置盲目的问题，提出基于动作的统一框架。

    1. 这篇论文试图解决什么问题？

      解决 LLM 智能体滥用监视割裂且位置盲目的问题，提出基于动作的统一框架。

    2. 有哪些相关研究？

      涵盖 AI Control、分解攻击、提示注入与护栏模型，本文统一其评测基准。

    3. 论文如何解决这个问题？

      形式化危害窗口与区间指标，对比动作视角与内容视角监视器。

    4. 论文做了哪些实验？

      评估 17 种监视配置，动作视角泛化性显著优于内容视角。

    5. 有什么可以进一步探索的点？

      作者指出合成生成与 LLM 标注等局限，未来需探索活体对抗与新威胁。

    6. 总结一下论文的主要内容

      统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。

    完整解读
  10. 评测/基准arXiv:2610.07639 · 58

    HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

    在GLM-5.2与6款harness上，开启auto-approve使总体ASR从29.2%升至95.6%。

    • 95.6%GLM-5.2在AA评测中开启auto-approve时的总体ASR（Table 6）
    • 29.2%GLM-5.2在AA评测中关闭auto-approve时的总体ASR（Table 6）
    • 0.8%GLM-5.2在NI评测中开启网络隔离时的总体ASR（Table 6）
    6 问速览代码智能体harness的安全机制实现现状与运行时防护效果缺乏系统评估，论文提出了十机制分类法与基准测试HSB。

    1. 这篇论文试图解决什么问题？

      代码智能体harness的安全机制实现现状与运行时防护效果缺乏系统评估，论文提出了十机制分类法与基准测试HSB。

    2. 有哪些相关研究？

      既有研究涵盖harness分类、生命周期安全审计与特定载荷注入基准，但缺乏对原生机制ON/OFF状态的双重判定隔离评估。

    3. 论文如何解决这个问题？

      建立十机制分类与五方独立审计矩阵，并通过Docker环境注入五类攻击面，以双重预言机量化ON/OFF状态差异。

    4. 论文做了哪些实验？

      在GLM-5.2下开展2500次试验，发现机制防护效果与效用代价分化明显，部分机制存在解释器绕过路径。

    5. 有什么可以进一步探索的点？

      作者指出基准受限于单模型评测、仿真环境保真度及闭源工具缺失，实验覆盖6款开源harness与23个任务。

    6. 总结一下论文的主要内容

      系统审计40款harness并实证评测9类安全机制，量化了自动审批的暴露风险、强隔离的效用代价以及替代执行路径绕过。

    完整解读
  11. 评测/基准arXiv:2610.04378 · 55

    COPEX：面向 MCP 智能体的受控攻击评测基准发布

    COPEX 在固定协议栈下评测 9 款模型的 MCP 攻击抵抗力，平均 ASR 为 64.4%，部分攻击在模型视野外发生。

    • 64.4%9 款模型在 COPEX 全基准 25 种攻击下的宏平均 ASR（Table 3）
    • 44.3%Claude Opus 4.7 在 COPEX 全基准下的宏平均 ASR（Table 3）
    • 81.6%Grok-4.3 在 COPEX 全基准下的宏平均 ASR（Table 3）
    6 问速览评估 MCP 智能体时需解耦模型可见上下文引发的脆弱性与底层协议妥协。

    1. 这篇论文试图解决什么问题？

      评估 MCP 智能体时需解耦模型可见上下文引发的脆弱性与底层协议妥协。

    2. 有哪些相关研究？

      已有研究多聚焦端到端产品或特定注入，缺少固定协议栈下的多层受控基准。

    3. 论文如何解决这个问题？

      固定智能体技术栈，覆盖 4 类入口表面的 25 种攻击并采用双轨判定机制。

    4. 论文做了哪些实验？

      9 款模型平均 ASR 达 64.4%，扫描防御具表面局限性且判定方式左右测得指标。

    5. 有什么可以进一步探索的点？

      次级研究样本量少且部分依赖 LLM 裁判，实验覆盖 9 款模型与 25 种攻击。

    6. 总结一下论文的主要内容

      COPEX 隔离评测了 9 款模型在 4 个 MCP 入口表面下的脆弱性，平均 ASR 达 64.4%。

    完整解读
  12. 评测/基准arXiv:2610.05622 · 55

    UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

    UndoBench解耦智能体任务与恢复能力，丢失确认下两款Llama名义成功率83.54%，条件恢复率为46.72%。

    • 83.54%TEST集Llama模型在丢失确认故障下的名义成功率Control（Table 1）
    • 46.72%TEST集Llama模型在丢失确认故障下的条件恢复成功率CRSR（Table 1）
    • 53.33%TEST集Llama模型朴素重试B0在丢失确认下的重复效应发生率DER（Table 1）
    6 问速览现有基准混淆名义规划与故障恢复能力，论文提出UndoBench以成对反事实运行评估智能体在变异故障下的恢复。

    1. 这篇论文试图解决什么问题？

      现有基准混淆名义规划与故障恢复能力，论文提出UndoBench以成对反事实运行评估智能体在变异故障下的恢复。

    2. 有哪些相关研究？

      相关研究涵盖标称智能体基准、故障注入基准及事务验证机制；UndoBench通过成对反事实和双预言机区分恢复能力。

    3. 论文如何解决这个问题？

      论文通过种子绑定的成对反事实执行解耦标称与恢复能力，并以环境状态预言机和线路级副作用日志双重预言机联合判定。

    4. 论文做了哪些实验？

      在12个测试任务和丢失确认下，Llama名义成功率83.54%，而条件恢复率为46.72%，朴素重试产生53.33%重复。

    5. 有什么可以进一步探索的点？

      作者指出测试集仅含12个任务集群、商业模型无逐比特重现保证、单故障注入模式及模拟沙盒环境等局限。

    6. 总结一下论文的主要内容

      UndoBench通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。

    完整解读
  13. 评测/基准arXiv:2610.04575 · 56

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    作者审计智能体激活监控器，指出高AUROC不等于低误报可用：AgentDojo在5%预算下检出率仅为.0526。

    • .9571MUP 上 Joint 监控器的测试单元级 AUROC（Table 6）
    • .6424MUP 上 Joint 监控器在 5% 预算下的实现 TPR（Table 6）
    • .9215AgentDojo 上 Activation mean 的 rollout AUROC（Table 6）
    6 问速览探针高 AUROC 无法推导部署警报可用性，论文提出操作有效性契约与主张阶梯以约束监控器声明。

    1. 这篇论文试图解决什么问题？

      探针高 AUROC 无法推导部署警报可用性，论文提出操作有效性契约与主张阶梯以约束监控器声明。

    2. 有哪些相关研究？

      现有工作聚焦表征可达性与序列风险控制，本文约束相同视界比较、语义警报单元与冻结迁移审计。

    3. 论文如何解决这个问题？

      论文构建八元操作有效性契约，通过独立单元最大值锁定 Beta 严格阈值，并以故障闭合编译器评级。

    4. 论文做了哪些实验？

      四基准审计表明高 AUROC 伴随低误报召回不足、校准漂移与支持度缺失，无设置达到警报策略有效性。

    5. 有什么可以进一步探索的点？

      论文前瞻性测试存在支持度短缺与单模型单层限制，且未测量人工复核负担、干预收益与自适应攻击。

    6. 总结一下论文的主要内容

      论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    完整解读
  14. 评测/基准arXiv:2610.06748 · 56

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    作者构建BazaarBench评测5个模型在C2C交易中的安全表现，发现时间压力使一物多卖增加，对抗指令下问题交易占比翻倍。

    • 27%全部5个模型在L1下经审计完成且关联到测试智能体失效的承诺交易比例（Table 17）
    • 15.4%升至33.4%全部5个模型在L1与L3下测试卖家承诺交易涉及缺货或夸大成色的比例（Table 5）
    • 55.5%GPT-5.4在L3下测试卖家承诺交易涉及缺货或夸大成色的比例（Table 5）
    6 问速览平台记录的交易完成不等于安全合规，智能体在委托交易中存在虚假陈述与违规承诺风险。

    1. 这篇论文试图解决什么问题？

      平台记录的交易完成不等于安全合规，智能体在委托交易中存在虚假陈述与违规承诺风险。

    2. 有哪些相关研究？

      梳理了智能体交易、商业基准与多智能体安全研究，强调将对话动作与实体底层状态挂钩。

    3. 论文如何解决这个问题？

      构建31类动作的C2C模拟器，结合数据库状态与大模型裁判，追踪六类失效在五个阶段的发展。

    4. 论文做了哪些实验？

      进行了L0基础市场和L1–L3共45次续跑，发现时间压力诱发重复承诺，对抗指令导致违规显著增加。

    5. 有什么可以进一步探索的点？

      作者指出了时间跨度、缺少物理交付和文本模拟照片等局限，实验覆盖了5个模型与45次续跑。

    6. 总结一下论文的主要内容

      论文提出挂钩底层资产的C2C交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    完整解读
  15. 评测/基准arXiv:2610.03938 · 55

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    测试11款MLLM发现，引入ReAct工具调用使安全基准拒答失败率相对上升最高达68.7%（GLM-5V-Turbo于HoliSafe）。

    • 68.7%GLM-5V-Turbo 在 HoliSafe 上的相对拒答失败率增幅（Table 1）
    • +5.7所有被测模型在三基准上的平均绝对 RFR 增幅（Section 3.2）
    • 57.4%Claude Opus 4.6 在 VLSBench 上的相对拒答失败率增幅（Section 3.2）
    6 问速览论文探究多模态大语言模型在引入智能体工具调用机制后，是否会导致模型对有害请求的拒答能力出现退化。

    1. 这篇论文试图解决什么问题？

      论文探究多模态大语言模型在引入智能体工具调用机制后，是否会导致模型对有害请求的拒答能力出现退化。

    2. 有哪些相关研究？

      论文梳理了多模态大语言模型安全基准、智能体安全评测以及工具增强型视觉推理系统三类相关研究。

    3. 论文如何解决这个问题？

      论文构建标准 ReAct 评测流程对比无工具与工具调用设定，并通过因果消融与首句分类揭示退化机制。

    4. 论文做了哪些实验？

      在 11 款模型与 3 个基准上测试显示工具调用使 RFR 平均增加 5.7，并通过重新注入与消融分析机理。

    5. 有什么可以进一步探索的点？

      作者指出可探索多评审集成与效用权衡评估；实验受限于特定工具集、ReAct 架构与贪婪解码。

    6. 总结一下论文的主要内容

      论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    完整解读
  16. 评测/基准arXiv:2610.05586 · 55

    AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测

    作者在具已知身份的 AGENTDOXX 上评测智能体重识别，发现目标入检后超88%被识别，提示词防御难阻搜索泄露。

    • 85.3%143篇访谈经Presidio实体遮蔽后至少被一个模型识别的比例（Table 2）
    • 91.2%目标姓名出现在检索结果后被模型正确识别的全配置平均比例（§4.2）
    • 27.7%在822篇访谈中Kimi K3无搜索下仅凭参数知识正确识别比例（Figure 3）
    6 问速览缺乏真实身份基准使搜索增强智能体的重识别风险与防御难以测量，论文提出具已知身份的评估套件 AGENTDOXX。

    1. 这篇论文试图解决什么问题？

      缺乏真实身份基准使搜索增强智能体的重识别风险与防御难以测量，论文提出具已知身份的评估套件 AGENTDOXX。

    2. 有哪些相关研究？

      涵盖传统统计链接、LLM 属性推断与端到端重识别、以及 NER 与 LLM 改写防御，缺乏搜索增强下的系统评估。

    3. 论文如何解决这个问题？

      基于 Reddit 构建 822 篇含真实身份的合成访谈套件，双模型审核脱敏，配合 Tavily 搜索智能体与规则匹配判定。

    4. 论文做了哪些实验？

      搜索使最强模型识别率达 48%，目标入检索超 88% 成功，实体遮蔽后仍超八成被识别，提示词防御存在轨迹泄露。

    5. 有什么可以进一步探索的点？

      作者指出源身份仅限网上自愿披露人群、访谈问题固定，且片段定位防御尚未在未知模型与下游任务上验证。

    6. 总结一下论文的主要内容

      论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。

    完整解读
  17. 评测/基准arXiv:2604.02947 · 54

    AgentHazard：评估计算机使用智能体有害行为的基准

    作者针对计算机使用智能体提出 AgentHazard 基准，GLM-4.6 在 Claude Code 下 ASR 达 82.90%。

    • 82.90%Claude Code下GLM-4.6全轨迹ASR（Table 2）
    • 73.63%Claude Code下Qwen3-Coder全轨迹ASR（Table 2）
    • 74.70%IFlow下Qwen2.5-Coder-32B全轨迹ASR（Table 2）
    6 问速览现有基准难以评估计算机使用智能体在多步执行与工具调用中由局部合理操作累积涌现出的有害行为。

    1. 这篇论文试图解决什么问题？

      现有基准难以评估计算机使用智能体在多步执行与工具调用中由局部合理操作累积涌现出的有害行为。

    2. 有哪些相关研究？

      相关工作涵盖大语言模型文本与代码安全评测，以及智能体能力和安全基准，但未针对多步局部合理动作组合。

    3. 论文如何解决这个问题？

      构建由 10 类风险与 10 种策略组成的分类体系，通过任务模板生成、沙箱执行过滤、模型评判与人工审核产出基准。

    4. 论文做了哪些实验？

      评测显示当前智能体存在脆弱性，GLM-4.6 在 Claude Code 下 ASR 达 82.90%，防护模型全轮拼接最高检出 27.03%。

    5. 有什么可以进一步探索的点？

      作者指出当前防护模型缺乏轨迹感知且需探索运行时防御，其实验覆盖了 3 个框架与 8 款开源或可部署模型。

    6. 总结一下论文的主要内容

      AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    完整解读
  18. 评测/基准arXiv:2610.03585 · 54

    宾州州立大学提出 TPRS，量化 Agent 安全基准中工具命名对 ASR 的影响

    论文测试3个智能体安全基准，发现中立化工具名使ASB上GPT-5-mini的committed ASR提升11.67个百分点。

    • +11.67 个百分点ASB上GPT-5-mini在A1工具名中立化下的committed ASR变化量（Table V）
    • +13.21 个百分点ASB上Haiku 4.5在A1工具名中立化下的committed ASR变化量（Table V）
    • -11.00 个百分点MCPTox上GPT-5-mini在N1显式威胁命名下的ASR变化量（Table VII）
    6 问速览论文探究智能体安全基准测得的 ASR 在底层任务与评测标准固定而威胁表征改变时的稳定性。

    1. 这篇论文试图解决什么问题？

      论文探究智能体安全基准测得的 ASR 在底层任务与评测标准固定而威胁表征改变时的稳定性。

    2. 有哪些相关研究？

      论文梳理了智能体安全基准、智能体表征与上下文敏感性，以及基准测量有效性三类相关工作。

    3. 论文如何解决这个问题？

      论文形式化定义了保持底层安全问题不变的 TPRS，并在三个基准上构建受控表征变换分支。

    4. 论文做了哪些实验？

      论文在三个基准上完成 28,904 次运行，发现表征变化引起了不同方向和幅度的 ASR 偏移。

    5. 有什么可以进一步探索的点？

      作者指出了变换类型未穷尽、机制归因不完全、模型与基准覆盖有限以及未测试排名翻转等局限。

    6. 总结一下论文的主要内容

      论文审计了智能体安全基准的表征敏感性，发现工具命名变化可大幅改变 ASR，强调基准应评估表征变体。

    完整解读
  19. 评测/基准arXiv:2610.03448 · 60

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    作者在两个智能体基准上评估15个提示注入检测器，发现基准排名迁移性弱且误报常使任务中断，训练输入形态决定检测效果。

    • 95.1%PIGuard 在 BIPIA 测试集上 1% FPR 下的 TPR（Table 2）
    • 2.1%PIGuard 在 AD-Matched 上 1% FPR 下的 TPR（Table 2）
    • 82.2%Horizon-Labs 在 AD-Matched 上 1% FPR 下的 TPR（Table 2）
    6 问速览公开基准评测难以反映提示注入检测器在智能体真实工具输出下的检测率与误报代价，基准排名存在迁移偏差。

    1. 这篇论文试图解决什么问题？

      公开基准评测难以反映提示注入检测器在智能体真实工具输出下的检测率与误报代价，基准排名存在迁移偏差。

    2. 有哪些相关研究？

      研究涵盖注入检测评测方法、安全实证缺陷、检测防御及多层防护，作者强调现有评测忽视了工具输出形态与训练数据泄漏。

    3. 论文如何解决这个问题？

      通过无模型重放生成良性输出、环境差异重放标注注入、审计训练集重合，在低误报率运行点下度量检测表现。

    4. 论文做了哪些实验？

      评测15个检测器与2个评审模型，发现基准间检测排名不相关，训练集形态决定效果，移除格式可降低默认误报。

    5. 有什么可以进一步探索的点？

      作者指出当前局限在于模拟环境、静态模板、检测器覆盖度及评审设计；实验覆盖了15个分类器与2个智能体基准。

    6. 总结一下论文的主要内容

      论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    完整解读
  20. 评测/基准arXiv:2610.03153 · 53

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    论文评测工作空间智能体运行时风险，DeepSeek-V4-Pro-0813在Codex下ASR达68.44%。

    • 37.46%9种配置共4050次攻击执行的整体ASR（Finding 1）
    • 68.44%DeepSeek-V4-Pro-0813搭配Codex在450个用例上的ASR
    • 4.44%Claude Opus 5跨3种Harness聚合的ASR（Finding 2）
    6 问速览论文试图解决工作空间智能体运行时安全风险覆盖不全，以及缺乏可验证、可持续演化的执行基准的问题。

    1. 这篇论文试图解决什么问题？

      论文试图解决工作空间智能体运行时安全风险覆盖不全，以及缺乏可验证、可持续演化的执行基准的问题。

    2. 有哪些相关研究？

      论文梳理了工作空间智能体、智能体安全基准与演化评测三类相关工作，定位自身为覆盖全流程入口与直接后果的基准。

    3. 论文如何解决这个问题？

      论文提出 EP–Path–EF 框架与生成-重放-提炼工作流，结合容器隔离与 ETW 事件实现自动化用例构建与独立结果验证。

    4. 论文做了哪些实验？

      论文评测 3 款模型与 3 款 Harness 构成的 9 种配置，整体 ASR 为 37.46%，模型间差异大于 Harness 间差异。

    5. 有什么可以进一步探索的点？

      作者指出基准仅针对 IPI 且沙箱简化了生产环境，实验覆盖了 3 款模型与 3 款 Harness 的 450 个用例。

    6. 总结一下论文的主要内容

      论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    完整解读
加载更多