跳到正文
10月9日 · 周五

Agent 安全 · 论文

找到 50 篇

另有 226 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱:GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱构建,经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

    发表
    攻击者
    黑盒、无盒
    测试
    Gemini 3.1 Pro、Gemini 3.5 Flash、Claude Sonnet 4.6 等 5 个

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码,呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  2. 攻击arXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL 攻击,诱导编码 Agent 自我投毒并蠕虫式传播技能

    发表
    测试
    Gemma-4-31B-IT、Devstral-Small-2、Qwen3-Coder-Next 等 7 个

    摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞,提出 EVOMAL 攻击与防御,阐明了供应链新风险。

    深度解读完整解读
  3. Sleight-Bench:40 条攻击中 20 条从未被 Opus 4.6 监控发现

    构建 SLEIGHT-BENCH,评测代码智能体监控器的概念盲点

    发表
    测试
    Gemini 3.1 Pro、Claude Opus 4.6、Claude Opus 4.7 等 6 个

    摘要评估针对监控盲点的规避基准,发现前沿监控器漏报率高,算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  4. 防御arXiv 2610.05640

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    提出 multi-CaMeL,在多智能体调用边界隔离可信指令与不可信数据

    发表
    测试
    Gemini 2.5 Pro、Gemini 2.5 Flash Lite、Claude Fable 5 等 6 个

    摘要论文针对多智能体中单体防御不组合的边界清洗问题,提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    深度解读完整解读
  5. 风险行为arXiv 2609.39050

    研究:九个前沿模型中七个会隐蔽传递凭据以绕过监控

    测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

    发表
    测试
    Gemini 3.1 Pro、DeepSeek-V4-Pro、devstral-2512 等 15 个

    摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控,主张不能单靠内容审查,需在动作层强化严格鉴权。

    深度解读完整解读
  6. 攻击arXiv 2609.18217

    研究:跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击,利用 MCP 隐式信任诱导外发敏感文件

    发表
    测试
    Gemini 2.5 Flash、GPT-4o、GPT-4o-mini 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级,通过跨通道分段与协议级利用突破现有防御,展示了严重的凭证外发风险。

    深度解读完整解读
  7. 评测与基准arXiv 2608.11727

    Harness-IF:评估编码 Agent 跨指令面的指令遵循能力

    提出 Harness-IF,按交付面评测编程 Agent 的指令遵循

    发表
    测试
    Gemini-3.1-Pro、Claude-Opus-4.7、GPT-5.5 等 12 个
    摘要规则级基准显示总分开高估反先验遵循,交付面优先序也不按提示词深度。

    Harness-IF 用执行证据给编程智能体的单条操作规则打分,并单独报告反对未提示默认的那一部分。。

    深度解读完整解读
  8. 分析与理论arXiv 2609.23215

    研究审计 Active Inference Agent 的 LLM 解释器失败模式

    审计 Active Inference Agent 上 LLM 解释器的监督叙述失败

    发表
    测试
    Gemini、GPT-4o、Claude-3-Opus
    摘要三组触发下解释流畅但错误,所提缓解都未被评估。

    作者审计的是挂在智能体上的运行时解释器,而不是智能体本身。操作员读到的是信念与动作的自然语言叙述。作者要问哪些可复现触发会让这段叙述失败,以及失败痕迹是什么样。

    深度解读完整解读
  9. 攻击arXiv 2609.19722

    ALIBI:向二进制注入虚假安全叙事可让 LLM 恶意软件分析器误判

    提出 ALIBI,向恶意二进制注入不执行掩护叙事使分析器误判为良性

    发表
    攻击者
    黑盒
    测试
    Gemini 2.5 Pro、GPT-5.5 Pro、Claude Opus 4.7 等 4 个
    摘要ALIBI 用二进制内的掩护叙事重释可疑静态证据,Gemini 上翻转多,另两模型主要为降级。

    ALIBI 是针对 LLM 恶意软件分诊的语义掩护叙事攻击:不覆盖系统指令,而把仍可见的可疑静态证据重释成良性安全产品的预期行为。

    深度解读完整解读
  10. 其他arXiv 2607.28568

    Frontis-MA1:面向机器学习工程递归自我改进的 AI4AI 模型

    提出 OpenMLE 全栈,用执行反馈后训练机器学习元进化智能体

    发表
    测试
    Gemini 3.5 Flash、Frontis-MA1-35B、Qwen3.6-35B-A3B 等 15 个
    摘要OpenMLE 训练 Frontis-MA1-35B,用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。

    作者提出全栈 OpenMLE,在机器学习工程里研究从进化到元进化的一步,并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练,以及部署该模型的长程进化搜索。

    深度解读完整解读
  11. 防御arXiv 2610.00371

    FlowReview:以授权配对评测控制多智能体组合信息流

    提出 FlowReview,用对象解析与确定性提交门控制多智能体组合信息流

    发表
    测试
    Gemma3-27B、Sonnet 4.5、Haiku 4.5 等 7 个
    摘要配对标准要求拒绝禁止使用并完成授权使用,FlowReview 把三项审查接到执行。

    这篇工作把多智能体安全写成一件必须同时成立的事:拦住组合信息所启用的禁止使用,并完成同一场景里任务所需的授权使用。

    深度解读完整解读
  12. 评测与基准arXiv 2609.31342

    研究揭示过期文档投毒:RAG 检索可让模型放弃原本正确的答案

    评测 RAG 中过期文档推翻模型原本正确回答的现象

    发表
    测试
    MedGemma-4B、MedGemma-27B、GPT-4o 等 13 个
    摘要论文评测了陈旧检索推翻正确知识的中毒现象,并分析了其内部机制与防御局限。

    这篇论文是对检索增强生成(RAG)中“陈旧文档中毒”现象的实证与机理评估研究。

    深度解读完整解读
  13. BioSecBench-Refusal:面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal,评测智能体生物安全拒答是否对准风险

    发表
    测试
    Gemini 3.5 Flash、Gemini 3.1 Pro、Opus 4.8 等 10 个
    摘要配对基准显示拒绝多由 API 触发,合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    深度解读完整解读