跳到正文
10月9日 · 周五

全部论文

找到 27 篇
筛选4

攻击类型

提示注入19投毒与后门12

攻击技术

潜伏触发3

防御类型

模型加固4

影响

越权操作10数据与隐私泄露6输出被操纵7

系统形态

模型与 API6AI Agent20coding agent7多智能体3

攻击面/入口

用户输入52网页与界面9文档与消息17工具返回17工具与技能描述9代码仓库与依赖4检索语料5记忆写入9Agent 间消息5图像与音视频12训练数据4权重与梯度3分发渠道5

层

应用层21训练与数据层4

系统组件

MCP 与技能4记忆7
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 538 篇还没打标签，不在筛选结果里。
攻击面/入口：文档与消息攻击面/入口：代码仓库与依赖攻击面/入口：训练数据攻击面/入口：权重与梯度清除全部

另有 538 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    构建 EvoRiskBench 评测工作区 Agent 的运行时安全风险

    arXiv
    2610.03153
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
  4. 评测与基准arXiv 2609.39146

    MADBench：多智能体辩论安全性评测基准发布

    提出 MADBench，评测多智能体辩论是吸收还是放大对抗影响

    arXiv
    2609.39146
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    gpt-4o、GPT-5、GPT-6 Astra
    摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。

    MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。

    深度解读完整解读
  7. 评测与基准arXiv 2609.32691

    研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架

    提出卡点评测框架以审计智能体间接提示注入评测的测量缺陷

    arXiv
    2609.32691
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    gpt-5.6-terra、llama3.1:8b、gemma4:12b 等 4 个

    摘要论文揭示了 IPI 评测中导致指标虚高的系统性缺陷，通过构建有效评测框架纠正了多项安全与模型能力结论。

    深度解读完整解读
  8. 评测与基准arXiv 2609.32616

    Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

    提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作

    arXiv
    2609.32616
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个

    摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。

    深度解读完整解读
  10. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料，评测内核级证据对 Agent 攻击检测的有效性

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    AdaBoost、XGBoost、TabPFN 等 10 个
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
  12. 评测与基准arXiv 2609.24662

    DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

    提出双控多智能体基准 DUMA-Bench，测量对抗环境下的策略违反

    arXiv
    2609.24662
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-5、GPT-5-mini、GPT-5-nano 等 14 个
    摘要DUMA-Bench 用双控交互评测智能体安全。

    DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测，用来看策略违反如何随用户、模型和环境一起出现。

    深度解读完整解读
  13. 评测与基准arXiv 2609.17320

    Emergence World：对长时程多智能体系统开展对抗压力测试

    提出 Emergence World，对长时程多智能体系统开展对抗压力测试

    arXiv
    2609.17320
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个

    摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。

    深度解读完整解读
  14. 评测与基准arXiv 2609.10952

    监督学习中的数据投毒攻击实证评估：标签翻转与后门投毒在 MNIST 和 Fashion-MNIST 上的对比

    比较标签翻转与后门投毒对图像分类器的影响

    arXiv
    2609.10952
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Logistic Regression、Linear SVM、Random Forest
    摘要标签翻转更能拉低线性模型。

    Khan 与 Abusaqer 在两个图像分类基准上比较了两种训练时投毒。

    深度解读完整解读
  15. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测多模态提示注入对 Agent 框架的影响

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  16. 评测与基准arXiv 2609.08901

    论文揭示 BatchNorm 架构下机器遗忘评测的归一化伪影

    诊断 BatchNorm 架构下机器遗忘评测的归一化伪影

    arXiv
    2609.08901
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    ResNet-18、ResNet-50、ViT-S/16 等 4 个
    摘要一次不改权重的 BN 重校准能翻转多数方法的表面遗忘，但不改变权重里的编码器泄露。

    BN illusion 是作者对近似机器遗忘评测中一种 BatchNorm 测量伪影的命名：不改权重、只用 retain 数据重算运行统计，就可以把表面遗忘准确率翻过来。

    深度解读完整解读
  17. 评测与基准arXiv 2608.28411

    LongPIBench：面向长上下文提示注入的评测基准

    提出 LongPIBench，评测长文档场景下的提示注入攻击与防御

    arXiv
    2608.28411
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Apertus-8B-Instruct 等 11 个

    摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。

    深度解读完整解读
  18. 评测与基准arXiv 2608.09476

    ActBench：面向协作智能体行为安全的自演化基准

    构建自演化基准 ActBench，评测协作智能体的行为安全

    arXiv
    2608.09476
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个

    摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。

    深度解读完整解读
  19. 评测与基准arXiv 2608.06862

    SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出 SYNCHAIN，诱导计算机使用 Agent 自建跨任务持久攻击链

    arXiv
    2608.06862
    发表
    层
    应用层
    场景
    网页与电脑操作、coding agent
    被测模型
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B

    摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。

    深度解读完整解读
加载更多