跳到正文
10月9日 · 周五

全部论文

找到 97 篇
筛选4

攻击类型

越狱5提示注入23投毒与后门19提取与窃取3恶意使用3

攻击技术

自动化搜索8多轮渐进4针对防御3潜伏触发8诱导选用3

模型自身风险

欺骗与谋划7奖励作弊10Agent 危险操作10危险能力8

防御类型

检测与过滤5权限与审批6监控与审计12

影响

越权操作29数据与隐私泄露13输出被操纵6可用性与可靠性3监督失效12滥用能力提升5

系统形态

模型与 API17LLM 应用65AI Agent370coding agent80science agent10web agent11网页与电脑操作16多智能体51具身与机器人7

攻击者权限

黑盒6

攻击面/入口

用户输入18文档与消息3工具返回6工具与技能描述17代码仓库与依赖10记忆写入4分发渠道14推理服务与硬件3

层

提示层83模型层263应用层87训练与数据层160基础设施层10

系统组件

MCP 与技能17记忆7护栏与评审4监控器16权限与沙箱7视觉3多模态3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 547 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：coding agent层：应用层层：基础设施层清除全部

另有 547 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    被测模型
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  5. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  6. 攻击arXiv 2610.06848

    TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击

    提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员

    arXiv
    2610.06848
    发表
    层
    基础设施层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个

    摘要TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。

    深度解读完整解读
  7. 分析与理论arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 行为并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  8. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 方法，在边界动作前审计长流程智能体的分阶段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  10. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 与 IntAct，测量并修复 Agent 工具调用的路径篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  11. 攻击arXiv 2610.03430

    JIL：通过对抗后缀操纵 LLM 请求调度优先级

    提出 JIL 对抗后缀，压低长度预测以抬高请求调度优先级

    arXiv
    2610.03430
    发表
    层
    基础设施层
    场景
    模型与 API
    被测模型
    Llama-3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 等 4 个
    摘要JIL 用对抗后缀压低长度预测，在预测式 LLM 调度中提高自身优先级。

    JIL 是对预测式 LLM 调度的攻击：用对抗后缀压低长度预测，使请求在 SRPT 式队列里更早得到服务。

    深度解读完整解读
  14. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成状态检测并抑制代码智能体奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  16. 其他arXiv 2610.01539

    研究者提出 AI 评估沙盒配置器，支持欧盟 AI 法案下的技术评估

    提出 AI 评估沙盒配置器，支撑监管沙盒多方技术评估与报告

    arXiv
    2610.01539
    发表
    层
    基础设施层
    场景
    模型与 API
    被测模型
    LLM-backed conversational assistant
    摘要框架把每次技术测试配成沙盒。

    AI Assessment Sandbox Configurator是面向欧盟 AIRS 中结构化技术测试的开源配置框架，用来按一次参与组装评估环境。

    深度解读完整解读
  17. 风险行为arXiv 2610.01073

    论文研究递归自我改进中的安全失效为何持续及智能体如何恢复

    研究递归自改进中不安全程序为何持续执行及如何恢复

    arXiv
    2610.01073
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Devstral 2、GLM 4.7 Flash、Qwen3 Coder 等 5 个
    摘要跨代授权安全取决于当前条件下将运行的程序，以及下次编辑哪一份实现。

    递归自改进中的授权安全，要跟着每一代实际运行的程序走，而不能只看最后有没有一份正确代码。

    深度解读完整解读
  18. 其他arXiv 2609.39982

    Mid-Harness：在模型与 Harness 之间扩展终端智能体的动作采样

    提出 Mid-Harness，在执行前验证并选择终端智能体的候选动作

    arXiv
    2609.39982
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    TMAX-9B、TMAX-4B、TMAX-27B 等 6 个
    摘要Mid-Harness 在执行前选择候选动作。

    Mid-Harness 在不改生成器和执行 harness 的前提下，于二者之间做动作级测试时计算，用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。

    深度解读完整解读
  19. 评测与基准arXiv 2609.39578

    Box² Bench：语言模型能否有选择地依赖外部指导

    提出 Box2-Bench，评测模型能否选择性依赖外部工作流

    arXiv
    2609.39578
    发表
    层
    应用层
    场景
    网页与电脑操作、coding agent
    被测模型
    Gemini 3.7 Flash、DeepSeek V4 Flash、GLM 5.2 等 9 个
    摘要Box2 把利用与稳健拆开。

    Box2-Bench 固定任务与模型，只改变工作流可靠性，用来衡量模型能否选择性依赖可能出错的外部指导。

    深度解读完整解读
  20. 攻击arXiv 2609.39352

    研究者提出解耦铺垫与执行的 LLM Agent 技能投毒攻击

    提出 CoordPoison，解耦技能投毒的借口与动作

    arXiv
    2609.39352
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    DeepSeek-V4-Flash、GLM-5.3-Flash、Claude-Sonnet-4.6 等 5 个
    摘要CoordPoison 外置借口。

    CoordPoison 是一种 Skill 供应链投毒方法，把“为何执行”和“执行什么”拆到两个 Skill。。

    深度解读完整解读
加载更多