跳到正文
10月9日 · 周五

全部论文

找到 207 篇
筛选4

攻击类型

越狱9提示注入33投毒与后门12模型篡改2提取与窃取16检测规避14拒绝服务2恶意使用7

攻击技术

梯度与表征优化5自动化搜索7多轮渐进1编码与混淆4角色扮演与说服1推理链操控1跨模态载荷4针对防御5潜伏触发8诱导选用3

模型自身风险

欺骗与谋划5奖励作弊3失准与价值偏离1Agent 危险操作16危险能力6拒答失当8幻觉与编造9偏见与歧视6

防御类型

模型加固8推理时干预8检测与过滤14指令与数据隔离4权限与审批7监控与审计15水印与溯源4

影响

有害内容14越权操作26数据与隐私泄露27输出被操纵40可用性与可靠性10监督失效13滥用能力提升4

系统形态

模型与 API101LLM 应用27AI Agent80编程 Agent15网页与电脑操作9多智能体9具身与机器人4

攻击者权限

黑盒11灰盒3白盒7

攻击面/入口

用户输入41网页与界面15文档与消息14工具返回17工具与技能描述5代码仓库与依赖5检索语料4记忆写入3Agent 间消息5图像与音视频14训练数据3权重与梯度5分发渠道5推理服务与硬件1

层

提示层38模型层104应用层103训练与数据层71基础设施层4

系统组件

MCP 与技能11记忆5RAG12护栏与评审16监控器14推理链5权限与沙箱9微调与开源权重2视觉20音频11图像生成9嵌入5多模态38

被测模型厂商

Qwen（阿里）343OpenAI327Google281Anthropic200Meta200DeepSeek168智谱 GLM112Kimi（月之暗面）93Mistral88xAI41MiniMax35Microsoft33Ai228NVIDIA17上海 AI 实验室14字节跳动13EleutherAI8IBM8Stability AI7智源 BAAI6TII6Hugging Face6Cohere5其他193
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 480 篇还没打标签，不在筛选结果里。
层：模型层层：应用层被测模型厂商：Microsoft被测模型厂商：其他清除全部

另有 480 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2609.37468

    论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法

    提出检索器后门攻击操纵智能体多轮搜索，并用 DOU 隐蔽后门

    arXiv
    2609.37468
    发表
    层
    应用层
    场景
    AI Agent
    测试
    E5、Contriever-MSMARCO、Qwen2.5-7B-Instruct

    摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。

    深度解读完整解读
  4. 防御arXiv 2605.19847

    论文揭示多租户 RAG 账号合谋使隐私泄露随账号数线性增长

    提出零知识审计协议，核验多租户 RAG 的合谋差分隐私

    arXiv
    2605.19847
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    MultiTenantRAGService、FAISS、HNSW (M=64, efcstr=200, efq=128) 等 4 个
    摘要揭示多租户 RAG 合谋泄露按根号 k 放大，提出带零知识证明的无泄露审计协议。

    论文针对多租户 RAG 服务在多账户协同攻击下隐私边界失效的问题展开研究。

    深度解读完整解读
  6. 攻击arXiv 2608.04565

    研究者提出 Breadcrumbing 长程攻击，可劫持 DeepResearch 类搜索 Agent 的证据链

    提出权威链劫持 ACH 与策略演化 TGSE，劫持搜索 Agent 的证据链

    arXiv
    2608.04565
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepResearch、Qwen3.5-9B、Gemma4-31B 等 8 个

    摘要论文揭示了多步搜索智能体在受限中间人操纵下的脆弱性，提出 ACH 策略与 TGSE 演化方法并完成系统验证。

    深度解读完整解读
  7. 攻击arXiv 2606.04329

    研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

    系统研究 LLM 智能体记忆投毒并构建基准 MPBench

    arXiv
    2606.04329
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Deberta-v3-base、GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct 等 6 个

    摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。

    深度解读完整解读
  8. 攻击arXiv 2608.16246

    CompoSkill 框架利用逐个通过扫描的 Agent 技能组合发起攻击

    提出 CompoSkill，诱导 Agent 将过审技能组合成攻击链

    arXiv
    2608.16246
    发表
    层
    应用层
    场景
    AI Agent
    测试
    LongCat-2.0、GPT-5.4、Gemini-3.1-flash 等 4 个

    摘要论文分析了智能体技能组合风险，指出单包安全认证状态不具备可组合性，需转向路径级防护。

    深度解读完整解读
  9. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Browser-Use、LiteWebAgent、Skyvern 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  11. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉安全分，发现偏离主要来自场景模板与视角

    arXiv
    2610.09517
    发表
    层
    模型层
    场景
    具身与机器人
    测试
    PPO-Lagrangian、PID-Lagrangian、CPO 等 6 个
    摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。

    深度解读完整解读
  12. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、Phi-3-Vision-4B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  13. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    测试
    Terra、Luna、GPT-5.6 Sol 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  15. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GUI-Owl(32B)、Mai-UI(8B)、Qwen2.5-VL(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  16. 分析与理论arXiv 2610.06191

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    分析工具型 Agent 判定检索无用却不停止的原因

    arXiv
    2610.06191
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Search-R1、Qwen2.5-7B、Llama-3.1-8B 等 7 个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    深度解读完整解读
  18. 攻击arXiv 2610.05894

    研究者提出闭环偏见注入攻击

    提出闭环激活引导，在扩散语言模型去噪过程中注入定向偏见

    arXiv
    2610.05894
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    灰盒
    测试
    LLaDA-8B-Instruct、Dream-v0-Instruct-7B、LLaDA-MoE-7B-A1B-Instruct

    摘要通过去噪中间概率反馈动态调节残差流转向，证明扩散语言模型在推理服务栈中存在闭环偏见注入脆弱性。

    深度解读完整解读
  19. 评测与基准arXiv 2610.03938

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    arXiv
    2610.03938
    发表
    层
    应用层
    场景
    AI Agent
    测试
    AdaReasoner-7B-Randomized、Gemini-2.5-Pro、Gemini-3.1-Pro-Preview 等 13 个
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    深度解读完整解读
  20. 其他arXiv 2609.38096

    Tail-Influence Sampling：面向 CVaR 策略评估的尾部影响采样

    提出 Tail-Influence Sampling，按尾部影响分配查询以估计策略下尾 CVaR

    arXiv
    2609.38096
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Phi-4-mini-instruct、Qwen3-4B-Instruct-2507、Granite-4.2-8B 等 6 个
    摘要TIS 用尾部影响分配条件查询估 CVaR。

    在条件转移可独立查询时，用 tail influence 把固定评测预算分给对一条固定策略的下尾 CVaR 更重要的 kernel。平均回报相近时，罕见失败仍可能差很多。完整 rollout 把大部分预算花在到不了最坏状态的转移上。

    深度解读完整解读
加载更多