跳到正文
10月9日 · 周五

全部论文

找到 16 篇
筛选4

攻击类型

越狱6提示注入6投毒与后门2提取与窃取2检测规避1恶意使用1

攻击技术

梯度与表征优化1编码与混淆1推理链操控1潜伏触发3诱导选用1

模型自身风险

欺骗与谋划1失准与价值偏离1

防御类型

模型加固2推理时干预1检测与过滤4

影响

有害内容4越权操作1数据与隐私泄露4输出被操纵3可用性与可靠性1监督失效2

系统形态

模型与 API7LLM 应用4AI Agent6编程 Agent1

攻击者权限

黑盒1灰盒1白盒3无盒1

攻击面/入口

用户输入14网页与界面4文档与消息2工具返回2工具与技能描述2代码仓库与依赖1检索语料3记忆写入1Agent 间消息1图像与音视频2权重与梯度1分发渠道2

层

提示层5模型层3应用层7训练与数据层1

系统组件

记忆2RAG1护栏与评审6推理链1微调与开源权重1音频1多模态1

被测模型厂商

Qwen（阿里）120OpenAI118Google94Meta78DeepSeek72Anthropic68Mistral36智谱 GLM31Kimi（月之暗面）27xAI17Microsoft16MiniMax11NVIDIA5上海 AI 实验室5Stability AI5其他79
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 648 篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入攻击面/入口：文档与消息攻击面/入口：记忆写入被测模型厂商：Microsoft清除全部

另有 648 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2606.04329

    研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

    系统研究 LLM 智能体记忆投毒并构建基准 MPBench

    arXiv
    2606.04329
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Deberta-v3-base、GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct 等 6 个

    摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。

    深度解读完整解读
  3. 评测与基准arXiv 2608.08542

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性

    arXiv
    2608.08542
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Phi-4-mini、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    深度解读完整解读
  5. 防御arXiv 2610.00883

    DeBERTa-ConPara：面向部署的 AI 生成文本检测，推理端 Unicode 归一化提升对抗鲁棒性

    提出推理时 Unicode 归一化的检测器，识别遭字符级扰动的 AI 生成文本

    arXiv
    2610.00883
    发表
    层
    提示层
    场景
    模型与 API
    测试
    microsoft/deberta-v3-large、deberta-v3-base、bert-large-cased 等 14 个
    摘要推理时归一化消除两类 Unicode 攻击，训练时归一化则会删掉对抗监督。

    DeBERTa-ConPara 是一个面向部署的 AI 文本检测器：DeBERTa-v3-large 在多数据集原始文本上训练，推理前做确定性 Unicode 归一化，用一个固定阈值面对没有目标域标签的场景。

    深度解读完整解读
  6. 攻击arXiv 2610.01768

    LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传

    arXiv
    2610.01768
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Microsoft-Phi-4-mini-instruct、Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct 等 15 个
    摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。

    LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。

    深度解读完整解读
  8. 评测与基准arXiv 2609.15017

    PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器

    提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现

    arXiv
    2609.15017
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    DeBERTa-v3-FT、ProtectAI DeBERTa-v3-base-prompt-injection-v2、DeBERTa-PI 等 8 个
    摘要PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。

    PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。

    深度解读完整解读
  9. 防御arXiv 2609.36326

    PILLAR：面向增强检索的私有倒排索引词法查找

    提出 PILLAR，用私有词法预筛与客户端重排保护 RAG 查询

    arXiv
    2609.36326
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    msmarco-MiniLM-L-6-v3、Qwen2.5-7B-Instruct、Llama-3-70B 等 4 个
    摘要PILLAR 用固定模式的私有 BM25 预筛加本地嵌入重排，在两基准上换取延迟或质量。

    PILLAR 是面向公开语料的隐私 RAG：半诚实服务器学不到查询词项和访问模式，客户端仍拿到用于增强生成的 k 篇文档。

    深度解读完整解读
  10. 攻击arXiv 2609.09865

    CGMIA：用成员推理攻击检测代码生成基准的数据泄漏

    提出 CGMIA，用成员推理检测代码生成基准的数据泄漏

    arXiv
    2609.09865
    发表
    层
    模型层
    场景
    编程 Agent
    攻击者
    灰盒
    测试
    Phi-2 (2.7B)、Qwen2.5-Coder (3B)、CodeGemma (2B) 等 5 个
    摘要CGMIA 融合相似度、通过率、困惑度与 CodeBERT，在模拟泄漏上优于八个 MIA 基线。

    CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集，使评测不依赖对训练语料的直接访问。

    深度解读完整解读
  11. 攻击arXiv 2609.22510

    特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

    提出条件触发的爆炸提示词，延迟激活 Agent 的间接提示注入

    arXiv
    2609.22510
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GitHub Copilot、Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct 等 14 个
    摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。

    论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

    深度解读完整解读
  14. 评测与基准arXiv 2609.33401

    论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

    评测 System One 模型对 Agent 安全输入的分类可靠性与校准

    arXiv
    2609.33401
    发表
    层
    提示层
    场景
    LLM 应用
    测试
    ProtectAI DeBERTa v2、Jev 1.13、Decider, approximately 2B 等 14 个
    摘要离线评测表明，安全判定的总体分数和校准不能代替分组误差和带预算的自动决策检查。

    Liu 离线评测 System One 模型能否为智能体安全输入给出可自动化的概率决策。问题是分类是否可靠，以及概率能否在指定漏检和误拦上限内支持放行、拦截或复核。

    深度解读完整解读
  15. 评测与基准arXiv 2609.29429

    Jev 被用于零样本检测十类对齐失败，中位 AUROC 达 0.886

    提出 RLCDAlignBench，零样本检测多种对齐失败

    arXiv
    2609.29429
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Phi-4-mini、Jev (jev-1.13.0)、Qwen3.5-2B 等 6 个
    摘要一次通用问题已能给多数对齐失败排序，大的误差来自状态和标签。

    RLCDAlignBench 测量用强化学习做校准决策的 Jev，能否当作对齐失败的零样本检测器。

    深度解读完整解读
  16. 可解释性arXiv 2609.37737

    研究用因果激活修补定位模型服从提示注入指令的决策层

    用因果激活修补定位模型服从提示注入的决策层

    arXiv
    2609.37737
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Phi-3-mini、Qwen3-4B、Qwen3-14B 等 7 个
    摘要合规的因果杠杆集中在网络后三分之一的低秩子空间，该层也是混淆下检测最好的位置。

    这篇工作用逐层激活修补定位提示注入合规发生在网络何处，并把该位置用于检测验证。。

    深度解读完整解读
已经到底了