跳到正文
10月9日 · 周五

全部论文

找到 27 篇
筛选5

攻击类型

越狱1提示注入12投毒与后门8提取与窃取1检测规避1拒绝服务1恶意使用1

攻击技术

梯度与表征优化1自动化搜索4编码与混淆1对话结构操控1推理链操控2潜伏触发6

模型自身风险

奖励作弊1失准与价值偏离1Agent 危险操作2拒答失当1

防御类型

推理时干预1检测与过滤2指令与数据隔离1权限与审批1监控与审计1

影响

有害内容1越权操作12数据与隐私泄露5输出被操纵4可用性与可靠性1监督失效4

系统形态

模型与 API4LLM 应用2AI Agent21编程 Agent12网页与电脑操作1多智能体1

攻击者权限

黑盒4白盒1

攻击面/入口

用户输入131网页与界面39文档与消息50工具返回69工具与技能描述39代码仓库与依赖20检索语料13记忆写入29Agent 间消息15图像与音视频31训练数据5权重与梯度5分发渠道26推理服务与硬件2

层

提示层4模型层8应用层23训练与数据层40基础设施层5

系统组件

MCP 与技能3记忆2RAG1护栏与评审3监控器1推理链3权限与沙箱4微调与开源权重2视觉2视频1多模态3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 535 篇还没打标签，不在筛选结果里。
攻击面/入口：代码仓库与依赖攻击面/入口：训练数据攻击面/入口：推理服务与硬件层：提示层层：应用层清除全部

另有 535 篇论文还没打上分类标签，暂不在筛选结果里。

  4. 攻击arXiv 2605.12673

    UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    提出 BenchJack 系统审计智能体基准的奖励作弊缺陷

    arXiv
    2605.12673
    发表
    层
    应用层
    场景
    AI Agent
    摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。

    论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。

    深度解读完整解读
  6. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化后门以穿透良性 SFT 与 RL

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  8. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  11. 防御arXiv 2608.06422

    CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用

    提出分片监督，将评判标准分配给独立调用以抵御展示攻击

    arXiv
    2608.06422
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。

    本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。

    深度解读完整解读
  15. 防御arXiv 2607.13336

    TC-UAP：针对图像转视频与微调定制的通用视频保护方法

    提出 TC-UAP，用身份级多帧扰动保护视频免被定制复现身份

    arXiv
    2607.13336
    发表
    层
    提示层
    场景
    模型与 API
    摘要TC-UAP 以可复用的时间一致扰动干扰两类定制共用的 VAE 隐空间。

    作者要解决的是：发布前如何给视频加不可见扰动，使片段既不能被拿去微调视频扩散模型，也不能被抽帧做 image-to-video。

    深度解读完整解读
  16. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    编程 Agent
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  18. 攻击arXiv 2609.17817

    论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码

    提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码

    arXiv
    2609.17817
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 5 个

    摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。

    深度解读完整解读
  19. 攻击arXiv 2609.39788

    研究：多智能体系统潜在通信链路可被训练用于提升有害顺从

    提出只改多智能体潜在通信链路以提高有害遵从的攻击

    arXiv
    2609.39788
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Llama-3.2-3B-Instruct、Qwen2.5-3B-Instruct、Gemma-3-1B-IT 等 7 个
    摘要潜在链路本身即可改变冻结智能体系统的安全，奖励既能攻击也能修复。

    学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。。作者研究三种拓扑：双智能体、三级顺序协作，以及双专家加汇总。

    深度解读完整解读
  20. 防御arXiv 2609.01931

    Agent Flight Recorder：为长时程工具调用智能体提供链上锚定的防篡改审计追踪

    提出 Agent Flight Recorder，为长时程工具智能体提供链上锚定的防篡改审计

    arXiv
    2609.01931
    发表
    层
    应用层
    场景
    AI Agent
    摘要语义事件加哈希链、Merkle 与链上锚定，用来在争议中核验长程智能体的动作序列。

    Agent Flight Recorder 把长程工具智能体的动作收成可被第三方独立核验的审计记录，面向运营方本身可能改写历史的争议。

    深度解读完整解读
加载更多