跳到正文
10月9日 · 周五

全部论文

找到 207 篇
筛选4

攻击类型

越狱8提示注入32投毒与后门10模型篡改2提取与窃取15检测规避13拒绝服务2恶意使用8

攻击技术

梯度与表征优化5自动化搜索7多轮渐进1编码与混淆2角色扮演与说服1推理链操控1跨模态载荷4针对防御4潜伏触发5诱导选用2

模型自身风险

欺骗与谋划6奖励作弊2失准与价值偏离4Agent 危险操作17危险能力6拒答失当8幻觉与编造10偏见与歧视6

防御类型

模型加固9推理时干预9检测与过滤16指令与数据隔离4权限与审批7监控与审计13水印与溯源4

影响

有害内容15越权操作27数据与隐私泄露26输出被操纵39可用性与可靠性12监督失效12滥用能力提升4

系统形态

模型与 API100LLM 应用25AI Agent82编程 Agent16网页与电脑操作9多智能体10具身与机器人6

攻击者权限

黑盒10灰盒3白盒6

攻击面/入口

用户输入39网页与界面14文档与消息13工具返回16工具与技能描述4代码仓库与依赖6检索语料3记忆写入3Agent 间消息4图像与音视频15训练数据4权重与梯度5分发渠道5推理服务与硬件1

层

提示层39模型层104应用层103训练与数据层73基础设施层4

系统组件

MCP 与技能11记忆3RAG12护栏与评审19监控器14推理链6权限与沙箱8微调与开源权重2视觉20音频11视频1图像生成11嵌入6多模态41

被测模型厂商

Qwen（阿里）355OpenAI348Google293Anthropic212Meta204DeepSeek175智谱 GLM117Kimi（月之暗面）95Mistral89xAI45Microsoft36MiniMax35Ai229NVIDIA19上海 AI 实验室14字节跳动13Stability AI9EleutherAI8IBM8智源 BAAI6TII6Hugging Face6Black Forest Labs6Cohere5其他200
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 432 篇还没打标签，不在筛选结果里。
层：模型层层：应用层被测模型厂商：NVIDIA被测模型厂商：其他清除全部

另有 432 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2609.37468

    论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法

    提出检索器后门攻击操纵智能体多轮搜索，并用 DOU 隐蔽后门

    arXiv
    2609.37468
    发表
    层
    应用层
    场景
    AI Agent
    测试
    E5、Contriever-MSMARCO、Qwen2.5-7B-Instruct

    摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。

    深度解读完整解读
  4. 防御arXiv 2605.19847

    论文揭示多租户 RAG 账号合谋使隐私泄露随账号数线性增长

    提出零知识审计协议，核验多租户 RAG 的合谋差分隐私

    arXiv
    2605.19847
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    MultiTenantRAGService、FAISS、HNSW (M=64, efcstr=200, efq=128) 等 4 个
    摘要揭示多租户 RAG 合谋泄露按根号 k 放大，提出带零知识证明的无泄露审计协议。

    论文针对多租户 RAG 服务在多账户协同攻击下隐私边界失效的问题展开研究。

    深度解读完整解读
  6. 攻击arXiv 2608.04565

    研究者提出 Breadcrumbing 长程攻击，可劫持 DeepResearch 类搜索 Agent 的证据链

    提出权威链劫持 ACH 与策略演化 TGSE，劫持搜索 Agent 的证据链

    arXiv
    2608.04565
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepResearch、Qwen3.5-9B、Gemma4-31B 等 8 个

    摘要论文揭示了多步搜索智能体在受限中间人操纵下的脆弱性，提出 ACH 策略与 TGSE 演化方法并完成系统验证。

    深度解读完整解读
  7. 攻击arXiv 2608.16246

    CompoSkill 框架利用逐个通过扫描的 Agent 技能组合发起攻击

    提出 CompoSkill，诱导 Agent 将过审技能组合成攻击链

    arXiv
    2608.16246
    发表
    层
    应用层
    场景
    AI Agent
    测试
    LongCat-2.0、GPT-5.4、Gemini-3.1-flash 等 4 个

    摘要论文分析了智能体技能组合风险，指出单包安全认证状态不具备可组合性，需转向路径级防护。

    深度解读完整解读
  9. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Browser-Use、LiteWebAgent、Skyvern 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  11. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉安全分，发现偏离主要来自场景模板与视角

    arXiv
    2610.09517
    发表
    层
    模型层
    场景
    具身与机器人
    测试
    PPO-Lagrangian、PID-Lagrangian、CPO 等 6 个
    摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。

    深度解读完整解读
  12. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  13. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    测试
    Terra、Luna、GPT-5.6 Sol 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  15. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GUI-Owl(32B)、Mai-UI(8B)、Qwen2.5-VL(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  16. 分析与理论arXiv 2610.06191

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    分析工具型 Agent 判定检索无用却不停止的原因

    arXiv
    2610.06191
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Search-R1、Qwen2.5-7B、Llama-3.1-8B 等 7 个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    深度解读完整解读
  17. 防御arXiv 2610.04426

    UnAct：无需梯度的定向激活干预实现类别遗忘

    提出 UnAct，仅以前向激活干预从分类器中遗忘指定类别

    arXiv
    2610.04426
    发表
    层
    模型层
    场景
    模型与 API
    测试
    ResNet-18、ViT-B/16
    摘要UnAct 用前向激活做类别遗忘。

    UnAct 是一种事后类别遗忘：删除请求可以只有少量该类图像，且没有标签和保留数据。它不用梯度，只对遗忘图像做前向。编辑对象是分类器所读的后期单元。

    深度解读完整解读
  18. 防御arXiv 2603.01544

    RA-Det：利用鲁棒性不对称检测 AI 生成图像

    提出 RA-Det，利用鲁棒性不对称检测 AI 生成图像

    arXiv
    2603.01544
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    ProGAN、StyleGAN2、whichfaceisreal 等 15 个
    摘要RA-Det 把扰动下特征漂移差变成检测信号，平均 ACC 高于表中通用检测器，但不是每行最高。

    RA-Det 是合成图像检测器，用扰动下的表示稳定性差异代替外观痕迹。

    深度解读完整解读
  19. 评测与基准arXiv 2610.04737

    PyINE：用可验证 Python 执行轨迹研究推理模型的捷径与监督

    提出 PyINE 基准，训练捷径跟随模型并比较监督者

    arXiv
    2610.04737
    发表
    层
    模型层
    场景
    模型与 API
    测试
    shortcut-following model organism、CWM (32B)、OmniCoder-9B 等 14 个
    摘要PyINE 用可验证代码执行研究捷径失败的监督覆盖与成本权衡。

    PyINE 是用可执行程序研究推理模型引出与监督的框架，PyINE-v1 是其第一次发布。

    深度解读完整解读
  20. 其他arXiv 2610.04749

    从蒸馏私有健康记录中智能体发现血液生物标志物

    蒸馏私有健康记录为 GAT 打分器，供智能体发现血液标志物

    arXiv
    2610.04749
    发表
    层
    应用层
    场景
    AI Agent
    测试
    SciSpace BM Agent、Opus 4.7 DeepResearch、GPT Deep Research 等 4 个
    摘要私有队列被蒸馏成 GAT 打分器。

    把私有 CBC 证据蒸馏成可发布的 GAT 打分器，使前沿智能体在不读取患者行时给生物标志物表达式排序。。

    深度解读完整解读
加载更多