跳到正文
10月9日 · 周五

全部论文

找到 100 篇
筛选4

攻击类型

越狱4提示注入28投毒与后门21恶意使用4

攻击技术

自动化搜索7多轮渐进4针对防御3潜伏触发9诱导选用3

模型自身风险

欺骗与谋划7奖励作弊12Agent 危险操作14危险能力9

防御类型

检测与过滤4指令与数据隔离5权限与审批8监控与审计13

影响

越权操作35数据与隐私泄露11输出被操纵6可用性与可靠性5监督失效14滥用能力提升5

系统形态

模型与 API159LLM 应用63AI Agent388coding agent88science agent11web agent11网页与电脑操作16多智能体51具身与机器人14

攻击者权限

黑盒6

攻击面/入口

用户输入13网页与界面8文档与消息4工具返回6工具与技能描述18代码仓库与依赖10记忆写入5Agent 间消息3权重与梯度3分发渠道14

层

模型层3应用层93训练与数据层7

系统组件

MCP 与技能19记忆7护栏与评审4监控器19推理链4权限与沙箱10微调与开源权重3视觉3多模态3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 550 篇还没打标签，不在筛选结果里。
系统形态：coding agent系统形态：网页与电脑操作层：应用层层：训练与数据层清除全部

另有 550 篇论文还没打上分类标签，暂不在筛选结果里。

  4. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  5. 分析与理论arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 行为并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  7. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    提出拓扑条件后门，使代码模型在推断多智能体部署时植入漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  8. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 方法，在边界动作前审计长流程智能体的分阶段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  10. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 与 IntAct，测量并修复 Agent 工具调用的路径篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  13. 风险行为arXiv 2610.03458

    论文：低监控读数不能证明行为受控

    检验低监控读数能否证明代码生成中的奖励作弊已受控

    arXiv
    2610.03458
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Llama-3.1-8B-Instruct
    摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。

    本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。

    深度解读完整解读
  14. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA 双 LLM 架构，防御计算机使用 Agent 的分支转向攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  15. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成状态检测并抑制代码智能体奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  16. 风险行为arXiv 2610.01073

    论文研究递归自我改进中的安全失效为何持续及智能体如何恢复

    研究递归自改进中不安全程序为何持续执行及如何恢复

    arXiv
    2610.01073
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Devstral 2、GLM 4.7 Flash、Qwen3 Coder 等 5 个
    摘要跨代授权安全取决于当前条件下将运行的程序，以及下次编辑哪一份实现。

    递归自改进中的授权安全，要跟着每一代实际运行的程序走，而不能只看最后有没有一份正确代码。

    深度解读完整解读
  17. 防御arXiv 2610.00850

    AuraForge：为训练安全编码 Agent 扩展安全监督

    提出 AuraForge，从漏洞修复合成安全测试并训练编码 Agent

    arXiv
    2610.00850
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Qwen3.5-4B、GLM 4.7 Flash、Qwen3-Coder-Next 等 7 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  19. 其他arXiv 2609.39982

    Mid-Harness：在模型与 Harness 之间扩展终端智能体的动作采样

    提出 Mid-Harness，在执行前验证并选择终端智能体的候选动作

    arXiv
    2609.39982
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    TMAX-9B、TMAX-4B、TMAX-27B 等 6 个
    摘要Mid-Harness 在执行前选择候选动作。

    Mid-Harness 在不改生成器和执行 harness 的前提下，于二者之间做动作级测试时计算，用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。

    深度解读完整解读
加载更多