跳到正文
10月9日 · 周五

Agent 安全 · 论文

找到 98 篇
筛选6

攻击类型

越狱4提示注入27投毒与后门16提取与窃取1检测规避2恶意使用1

攻击技术

梯度与表征优化1自动化搜索7多轮渐进2编码与混淆2角色扮演与说服1跨模态载荷1针对防御3潜伏触发7诱导选用3

模型自身风险

欺骗与谋划7奖励作弊9失准与价值偏离2Agent 危险操作13危险能力4拒答失当4幻觉与编造2

防御类型

模型加固1检测与过滤3指令与数据隔离2权限与审批6监控与审计11

影响

有害内容4越权操作31数据与隐私泄露7输出被操纵9可用性与可靠性4监督失效14滥用能力提升1

系统形态

模型与 API15LLM 应用15AI Agent347编程 Agent77网页与电脑操作26多智能体48具身与机器人7

攻击者权限

黑盒3灰盒1无盒1

攻击面/入口

用户输入12网页与界面1文档与消息5工具返回7工具与技能描述15代码仓库与依赖10记忆写入5Agent 间消息4图像与音视频2训练数据1权重与梯度1分发渠道12推理服务与硬件1

层

提示层3模型层10应用层85训练与数据层9基础设施层3

系统组件

MCP 与技能18记忆7护栏与评审6监控器17推理链3权限与沙箱9微调与开源权重1视觉3视频1多模态4

被测模型厂商

OpenAI69Anthropic56Qwen（阿里）41Google36DeepSeek32智谱 GLM30Kimi（月之暗面）25Meta19MiniMax14Mistral9xAI8其他25
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 171 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：具身与机器人层：模型层层：应用层层：基础设施层话题：Agent 安全清除全部

另有 171 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、无盒
    测试
    Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  3. 攻击arXiv 2608.09732

    ColluSkill 用跨技能组合绕过 Agent 技能扫描器

    提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

    arXiv
    2608.09732
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、灰盒
    测试
    GPT-5.5、DeepSeek-V4-Pro、GLM-5.2

    摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。

    深度解读完整解读
  4. 攻击arXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

    arXiv
    2608.25776
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个

    摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。

    深度解读完整解读
  5. 分析与理论arXiv 2610.09667

    东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样，使审计可被预测

    arXiv
    2610.09667
    发表
    层
    模型层
    场景
    模型与 API
    测试
    GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

    摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。

    深度解读完整解读
  6. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  8. 评测与基准arXiv 2605.16626

    Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

    构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

    arXiv
    2605.16626
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

    摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  9. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复 Agent 工具调用的静默篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  16. 评测与基准arXiv 2610.04184

    EvalResearchBench：AI 智能体自主设计评测基准

    提出 EvalResearchBench 评测智能体自主设计可执行评测的能力

    arXiv
    2610.04184
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-6 Astra、GPT-5.6 Sol、GLM-5.3 等 9 个
    摘要ERB 比较有预算的评测设计，分数复现与排序并不由同一设计同时领先。

    ERB 用来测一件事：智能体在固定预算内做出的可执行评测，能否复现既有基准对候选模型的分数和排序。

    深度解读完整解读
  17. 防御arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  19. 评测与基准arXiv 2610.06673

    语言模型合规性双探针诊断基准：Claude Sonnet-4.6 与 Opus-4.7 可被停止且不可被利用

    提出合规双探针基准，测量模型可利用性与可停止性

    arXiv
    2610.06673
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemini 2.5 Flash Lite、Llama 3.3-70B、Qwen3-30B-A3B 等 12 个
    摘要两探针把十二个模型放上遵从平面：多数两边服从，只有两个 Claude 可停且不可利用。

    合规指数κ用来把语言模型放在“照做”和“推回”之间。

    深度解读完整解读
加载更多