攻击arXiv 2607.03968
研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容
提出工作流级越狱，在 IDE 编程 Agent 多轮流程中诱导生成有害代码
- arXiv
- 2607.03968
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 攻击者
- 黑盒
摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。
全部论文
另有 426 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2608.04192
研究者提出 SkillClone，仅凭正常提问即可克隆 LLM Agent 隐藏技能功能
提出 SKILLCLONE，仅凭良性任务交互重构 Agent 隐藏技能功能
- arXiv
- 2608.04192
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要论文揭示了仅靠良性任务交互即可重构闭源智能体技能隐藏功能的风险，表明功能保密需要限制累积信息泄露。
论文从功能保密视角系统研究了大语言模型智能体技能的行为重构威胁。
- 评测与基准arXiv 2609.22076
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
构建 APort Vault 基准，对比裸模型与确定性授权对越权支付的拦截
- arXiv
- 2609.22076
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 评测与基准arXiv 2610.10276
PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤
提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤
- arXiv
- 2610.10276
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
构建统一滥用监视基准，评测分解攻击与提示注入轨迹
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
摘要UnAct 用前向激活做类别遗忘。
UnAct 是一种事后类别遗忘：删除请求可以只有少量该类图像，且没有标签和保留数据。它不用梯度，只对遗忘图像做前向。编辑对象是分类器所读的后期单元。
- 防御arXiv 2602.24210
研究者提出 Staged Decoding 与 SFT 数据集，减少大推理模型推理轨迹中的隐私泄露
提出 Staged Decoding 与指令跟随训练，减少推理轨迹隐私泄露
- arXiv
- 2602.24210
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要用一般指令跟随训练加分段解码，可降低轨迹隐私泄露，但数学效用下降。
本文把大推理模型的隐私问题做成轨迹可控性：隐私指令是指令，轨迹不跟随就会把敏感上下文写进可被提示注入导出的文本。
- 攻击arXiv 2610.04195
MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露
评估多租户智能体共享向量记忆的跨用户泄露与主动桥接
- arXiv
- 2610.04195
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 评测与基准arXiv 2610.02986
OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准
提出基准 OLMo-Detect 评测 LLM 成员推断
- arXiv
- 2610.02986
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击提取与窃取
- 攻击arXiv 2606.09084
研究者提出 Context-Fractured Decomposition 攻击
提出 CFD，跨会话拆解有害目标以绕过工具智能体本地监控
- arXiv
- 2606.09084
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要CFD 用无指令 artifact 把越狱拆到跨会话。
CFD针对工具型 LLM 智能体：利用 artifact 来源不被跟踪这一部署失败模式，把有害目标拆开后延迟组合。
- 攻击arXiv 2605.30883
TRACE：面向 LLM Agent 的任务感知自适应自进化越狱框架
提出 TRACE，用任务分解与可演化多轮策略诱导编程智能体执行有害工作流
- arXiv
- 2605.30883
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 攻击arXiv 2607.25560
SigLeak 可从执行轨迹推断专有 Agent 技能
提出 SigLeak，从良性查询的执行轨迹推断专有 Agent 技能
- arXiv
- 2607.25560
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要提出了通过良性查询和对照轨迹推断黑盒专有技能的 SigLeak 框架，揭示了智能体执行可见性带来的行为侧信道泄露风险。
- 评测与基准arXiv 2608.20554
aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡
提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡
- arXiv
- 2608.20554
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要aiXamine 用九服务黑盒协议比较百余个模型，作者称单轴信任度进展可能削弱其他轴。
aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。
摘要论文揭示安全路由评估在分布偏移下的虚假下限，指出防御重心应转向外部动作级强制。
- 攻击arXiv 2607.26115
OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体
提出自博弈红队智能体 GPT-Red，自动挖掘提示注入与越狱攻击
- arXiv
- 2607.26115
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 防御arXiv 2609.02786
SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架
提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略
- arXiv
- 2609.02786
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。
SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。
- 攻击arXiv 2607.11698
AHA 用自动研究循环发现生产 Agent 漏洞概念
提出 AHA 自动研究循环，发现生产 Agent 的漏洞概念
- arXiv
- 2607.11698
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 攻击者
- 黑盒
摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。
AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。
摘要对抗包装使 guard 高置信漏检，而对应 base 在同一输入上常更不确定。
诊断性分析：五个提示词分类 guard 的置信度，在清洁输入上可以较校准，在越狱包装后则变成高置信度的错误判定。
- 防御arXiv 2610.00400
DART：用表征位移检测多轮 LLM 智能体中的新兴安全风险
提出 DART，用去噪表征转移检测多轮智能体攻击并注入提醒
- arXiv
- 2610.00400
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 分析与理论arXiv 2605.17173
研究提出 IRT 框架拆解大模型跨语言安全护栏退化
提出多组 IRT 框架拆解跨语言安全护栏退化原因
- arXiv
- 2605.17173
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击越狱
摘要多组 IRT 把多语安全失败拆成能力、语言难度和题目特异差距，并在闭源配置上估计这些因子。
Zhang、Patel、Truong 与 Koyejo 用多组项目反应理论，解释安全护栏为何随语言变化，而不是只报告一个 JSR。