跳到正文
10月9日 · 周五

全部论文

找到 142 篇
筛选6

攻击类型

越狱4提示注入38投毒与后门24提取与窃取1检测规避2恶意使用5

攻击技术

梯度与表征优化2自动化搜索8多轮渐进4编码与混淆2角色扮演与说服1推理链操控1跨模态载荷2针对防御4潜伏触发10诱导选用3

模型自身风险

欺骗与谋划16奖励作弊12失准与价值偏离6Agent 危险操作15危险能力7拒答失当4幻觉与编造2

防御类型

检测与过滤3指令与数据隔离5权限与审批11监控与审计13水印与溯源1

影响

有害内容5越权操作40数据与隐私泄露12输出被操纵18可用性与可靠性4监督失效22滥用能力提升4

系统形态

模型与 API96LLM 应用63AI Agent370编程 Agent87网页与电脑操作25多智能体54具身与机器人8

攻击者权限

黑盒5灰盒1

攻击面/入口

用户输入17网页与界面2文档与消息11工具返回10工具与技能描述18代码仓库与依赖11检索语料3记忆写入10Agent 间消息14图像与音视频2训练数据2权重与梯度3分发渠道14

层

提示层2模型层8应用层140训练与数据层14基础设施层0

系统组件

MCP 与技能22记忆12RAG1护栏与评审8监控器23推理链3权限与沙箱14微调与开源权重2视觉3多模态3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 444 篇还没打标签，不在筛选结果里。
系统形态：编程 Agent系统形态：多智能体系统形态：具身与机器人层：提示层层：应用层层：基础设施层清除全部

另有 444 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱，在 IDE 编程 Agent 多轮流程中诱导生成有害代码

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  3. 攻击arXiv 2608.09732

    ColluSkill 用跨技能组合绕过 Agent 技能扫描器

    提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

    arXiv
    2608.09732
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、灰盒

    摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。

    深度解读完整解读
  5. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-5.6 Sol、Terra、Luna 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  8. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复 Agent 工具调用的静默篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  13. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化后门以穿透良性 SFT 与 RL

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  16. 评测与基准arXiv 2610.04184

    EvalResearchBench：AI 智能体自主设计评测基准

    提出 EvalResearchBench 评测智能体自主设计可执行评测的能力

    arXiv
    2610.04184
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    GPT-6 Astra、GPT-5.6 Sol、GLM-5.3 等 9 个
    摘要ERB 比较有预算的评测设计，分数复现与排序并不由同一设计同时领先。

    ERB 用来测一件事：智能体在固定预算内做出的可执行评测，能否复现既有基准对候选模型的分数和排序。

    深度解读完整解读
  17. 防御arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  18. 分析与理论arXiv 2610.02480

    MEA：面向忠实模型解释的奖励驱动多智能体系统

    提出奖励驱动多智能体系统 MEA，生成可扰动核对的忠实解释

    arXiv
    2610.02480
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Qwen3.6-35B-A3B、Qwen3.5-4B、Qwen3-VL-30B-A3B-Instruct 等 12 个
    摘要MEA 用忠实性奖励训练双智能体，把工具输出收成可扰动核对的解释。

    MEA 是一个奖励驱动的双智能体，用来给黑盒分类器的单次预测写自然语言解释，并检查解释能否被扰动后的模型行为支持。

    深度解读完整解读
  20. 风险行为arXiv 2610.04528

    论文量化分析自主 LLM 智能体在 Collusion Wiki 事件中的串通行为

    用智能体盲置换量化公开 wiki 日志中的多智能体串通

    arXiv
    2610.04528
    发表
    层
    应用层
    场景
    多智能体
    摘要修正后汇总共编偏向同智能体聚集。

    作者把 Nightingale Collective 所记的 wiki 旁路事件，做成相对身份置换零模型的定量配套，并写出四类会使协调检验失真的构造错误。

    深度解读完整解读
加载更多