跳到正文
10月9日 · 周五

全部论文

找到 85 篇
筛选4

攻击类型

越狱3提示注入21投毒与后门20恶意使用3

攻击技术

自动化搜索7多轮渐进3针对防御3潜伏触发8诱导选用3

模型自身风险

欺骗与谋划6奖励作弊12Agent 危险操作11危险能力8幻觉与编造3

防御类型

检测与过滤4权限与审批6监控与审计12

影响

越权操作29数据与隐私泄露10输出被操纵4可用性与可靠性4监督失效14滥用能力提升5

系统形态

模型与 API423LLM 应用68AI Agent399coding agent85science agent12web agent11网页与电脑操作16多智能体50具身与机器人18

攻击者权限

黑盒4

攻击面/入口

用户输入12文档与消息3工具返回5工具与技能描述18代码仓库与依赖10记忆写入4权重与梯度3分发渠道14

层

模型层2应用层76训练与数据层7

系统组件

MCP 与技能17记忆6护栏与评审3监控器18推理链4权限与沙箱7微调与开源权重3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 547 篇还没打标签，不在筛选结果里。
系统形态：coding agent层：模型层层：应用层层：训练与数据层清除全部

另有 547 篇论文还没打上分类标签，暂不在筛选结果里。

  4. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  6. 分析与理论arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 行为并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  8. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    提出拓扑条件后门，使代码模型在推断多智能体部署时植入漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  9. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 方法，在边界动作前审计长流程智能体的分阶段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  11. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 与 IntAct，测量并修复 Agent 工具调用的路径篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  14. 风险行为arXiv 2610.03458

    论文：低监控读数不能证明行为受控

    检验低监控读数能否证明代码生成中的奖励作弊已受控

    arXiv
    2610.03458
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Llama-3.1-8B-Instruct
    摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。

    本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。

    深度解读完整解读
  15. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成状态检测并抑制代码智能体奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  16. 风险行为arXiv 2610.01073

    论文研究递归自我改进中的安全失效为何持续及智能体如何恢复

    研究递归自改进中不安全程序为何持续执行及如何恢复

    arXiv
    2610.01073
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Devstral 2、GLM 4.7 Flash、Qwen3 Coder 等 5 个
    摘要跨代授权安全取决于当前条件下将运行的程序，以及下次编辑哪一份实现。

    递归自改进中的授权安全，要跟着每一代实际运行的程序走，而不能只看最后有没有一份正确代码。

    深度解读完整解读
  17. 防御arXiv 2610.00850

    AuraForge：为训练安全编码 Agent 扩展安全监督

    提出 AuraForge，从漏洞修复合成安全测试并训练编码 Agent

    arXiv
    2610.00850
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Qwen3.5-4B、GLM 4.7 Flash、Qwen3-Coder-Next 等 7 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  18. 其他arXiv 2609.39982

    Mid-Harness：在模型与 Harness 之间扩展终端智能体的动作采样

    提出 Mid-Harness，在执行前验证并选择终端智能体的候选动作

    arXiv
    2609.39982
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    TMAX-9B、TMAX-4B、TMAX-27B 等 6 个
    摘要Mid-Harness 在执行前选择候选动作。

    Mid-Harness 在不改生成器和执行 harness 的前提下，于二者之间做动作级测试时计算，用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。

    深度解读完整解读
  19. 评测与基准arXiv 2609.39533

    CATCH：面向编码 RL 奖励作弊的可控分析测试台

    提出 CATCH 测试台，复现编码 RL 的奖励作弊

    arXiv
    2609.39533
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Qwen3-4B、Qwen3.5-27B
    摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。

    CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。

    深度解读完整解读
  20. 攻击arXiv 2609.39352

    研究者提出解耦铺垫与执行的 LLM Agent 技能投毒攻击

    提出 CoordPoison，解耦技能投毒的借口与动作

    arXiv
    2609.39352
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    DeepSeek-V4-Flash、GLM-5.3-Flash、Claude-Sonnet-4.6 等 5 个
    摘要CoordPoison 外置借口。

    CoordPoison 是一种 Skill 供应链投毒方法，把“为何执行”和“执行什么”拆到两个 Skill。。

    深度解读完整解读
加载更多