跳到正文
10月12日 · 周一

全部论文

找到 33篇
筛选3

攻击类型

提示注入24投毒与后门11模型篡改3

攻击技术

潜伏触发3

防御类型

模型加固4

影响

越权操作13数据与隐私泄露6输出被操纵9

系统形态

模型与 API7AI Agent24coding agent4web agent3多智能体4

攻击面/入口

用户输入98网页与界面19文档与消息25工具返回24工具与技能描述13代码仓库与依赖7检索语料8记忆写入11Agent 间消息8图像与音视频23训练数据6权重与梯度3分发渠道8

层

应用层26训练与数据层5

系统组件

MCP 与技能5记忆6微调与开源权重4视觉4多模态5
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 240篇还没打标签，不在筛选结果里。
攻击面/入口：文档与消息攻击面/入口：训练数据攻击面/入口：权重与梯度清除全部

另有240篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    构建 EvoRiskBench 评测工作区 Agent 的运行时安全风险

    arXiv
    2610.03153
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
  3. 评测与基准arXiv 2609.39146

    MADBench：多智能体辩论安全性评测基准发布

    提出 MADBench，评测多智能体辩论是吸收还是放大对抗影响

    arXiv
    2609.39146
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    gpt-4o、GPT-5、GPT-6 Astra
    摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。

    MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。

    深度解读完整解读
  4. 评测与基准arXiv 2609.36817

    pikit：面向间接提示注入研究与评测的可组合工具包

    构建可组合工具包 pikit，评测编码智能体的间接提示注入

    arXiv
    2609.36817
    发表
    层
    应用层
    场景
    coding agent
    摘要pikit 提供组合式间接注入评测。

    pikit 是面向间接提示注入研究的组合式工具包，主要贡献是组织攻击、投递通道、防御和判定流程，而非提出新的攻击优化算法。

    深度解读完整解读
  7. 评测与基准arXiv 2609.32691

    研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架

    提出卡点评测框架以审计智能体间接提示注入评测的测量缺陷

    arXiv
    2609.32691
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    gpt-5.6-terra、llama3.1:8b、gemma4:12b 等4个

    摘要论文揭示了 IPI 评测中导致指标虚高的系统性缺陷，通过构建有效评测框架纠正了多项安全与模型能力结论。

    深度解读完整解读
  9. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料，评测内核级证据对 Agent 攻击检测的有效性

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    AdaBoost、XGBoost、TabPFN 等10个
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
  11. 评测与基准arXiv 2609.24662

    DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

    提出双控多智能体基准 DUMA-Bench，测量对抗环境下的策略违反

    arXiv
    2609.24662
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-5、GPT-5-mini、GPT-5-nano 等14个
    摘要DUMA-Bench 用双控交互评测智能体安全。

    DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测，用来看策略违反如何随用户、模型和环境一起出现。

    深度解读完整解读
  12. 评测与基准arXiv 2609.17320

    Emergence World：对长时程多智能体系统开展对抗压力测试

    提出 Emergence World，对长时程多智能体系统开展对抗压力测试

    arXiv
    2609.17320
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等9个

    摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。

    深度解读完整解读
  13. 评测与基准arXiv 2609.10952

    监督学习中的数据投毒攻击实证评估：标签翻转与后门投毒在 MNIST 和 Fashion-MNIST 上的对比

    比较标签翻转与后门投毒对图像分类器的影响

    arXiv
    2609.10952
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Logistic Regression、Linear SVM、Random Forest
    摘要标签翻转更能拉低线性模型。

    Khan 与 Abusaqer 在两个图像分类基准上比较了两种训练时投毒。

    深度解读完整解读
  14. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测多模态提示注入对 Agent 框架的影响

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等6个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  15. 评测与基准arXiv 2609.08901

    论文揭示 BatchNorm 架构下机器遗忘评测的归一化伪影

    诊断 BatchNorm 架构下机器遗忘评测的归一化伪影

    arXiv
    2609.08901
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    ResNet-18、ResNet-50、ViT-S/16 等4个
    摘要一次不改权重的 BN 重校准能翻转多数方法的表面遗忘，但不改变权重里的编码器泄露。

    BN illusion 是作者对近似机器遗忘评测中一种 BatchNorm 测量伪影的命名：不改权重、只用 retain 数据重算运行统计，就可以把表面遗忘准确率翻过来。

    深度解读完整解读
  16. 评测与基准arXiv 2608.28411

    LongPIBench：面向长上下文提示注入的评测基准

    提出 LongPIBench，评测长文档场景下的提示注入攻击与防御

    arXiv
    2608.28411
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Apertus-8B-Instruct 等11个

    摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。

    深度解读完整解读
  17. 评测与基准arXiv 2608.09476

    ActBench：面向协作智能体行为安全的自演化基准

    构建自演化基准 ActBench，评测协作智能体的行为安全

    arXiv
    2608.09476
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等15个

    摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。

    深度解读完整解读
  18. 评测与基准arXiv 2608.06862

    SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出 SYNCHAIN，诱导计算机使用 Agent 自建跨任务持久攻击链

    arXiv
    2608.06862
    发表
    层
    应用层
    场景
    网页与电脑操作、coding agent
    被测模型
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B

    摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。

    深度解读完整解读
  20. 评测与基准arXiv 2607.24177

    EXE-Bench：为真实可用性对 AI Windows 恶意软件检测器进行权衡排名

    提出 EXE-Bench 比较 Windows 恶意软件检测器的可用性权衡

    arXiv
    2607.24177
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    EmberGBDT、BBDnn、BBDnnFDRS 等15个
    摘要统一四指标后，手工特征的 EmberGBDT 综合居首，只看准确率会误导部署。

    EXE-Bench 用同一设置给 AI Windows 恶意软件检测器做四指标排序，而不是只比一次测试集准确率。。

    深度解读完整解读
加载更多