跳到正文
10月9日 · 周五

全部论文

找到 358 篇
筛选3

攻击类型

越狱49提示注入69投毒与后门34模型篡改5提取与窃取18检测规避9拒绝服务1恶意使用10

攻击技术

梯度与表征优化4自动化搜索24多轮渐进4编码与混淆7角色扮演与说服3对话结构操控3推理链操控8跨模态载荷6侧信道2针对防御9潜伏触发16诱导选用7

模型自身风险

欺骗与谋划27奖励作弊14失准与价值偏离27Agent 危险操作25危险能力12拒答失当18幻觉与编造9偏见与歧视2

防御类型

模型加固23推理时干预10检测与过滤24指令与数据隔离14权限与审批17监控与审计19水印与溯源2

影响

有害内容56越权操作75数据与隐私泄露39输出被操纵50可用性与可靠性16监督失效40滥用能力提升6

系统形态

模型与 API160LLM 应用21AI Agent179编程 Agent52网页与电脑操作17多智能体23具身与机器人3

攻击者权限

黑盒30灰盒4白盒5

攻击面/入口

用户输入87网页与界面17文档与消息30工具返回32工具与技能描述20代码仓库与依赖14检索语料6记忆写入14Agent 间消息4图像与音视频15训练数据9权重与梯度7分发渠道13推理服务与硬件4

层

提示层40模型层98应用层184训练与数据层33基础设施层3

系统组件

MCP 与技能29记忆18RAG9护栏与评审38监控器33推理链25权限与沙箱24微调与开源权重13视觉33音频4视频1图像生成2嵌入4多模态38

被测模型厂商

Qwen（阿里）376OpenAI316Google278Meta236Anthropic183DeepSeek163智谱 GLM103Mistral91Kimi（月之暗面）85xAI38Microsoft38Ai237MiniMax29NVIDIA21上海 AI 实验室15字节跳动12Stability AI11EleutherAI9Black Forest Labs9IBM8TII8Hugging Face7Cohere6其他217
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 700 篇还没打标签，不在筛选结果里。
被测模型厂商：NVIDIA被测模型厂商：Anthropic被测模型厂商：Google清除全部

另有 700 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2608.16246

    CompoSkill 框架利用逐个通过扫描的 Agent 技能组合发起攻击

    提出 CompoSkill，诱导 Agent 将过审技能组合成攻击链

    arXiv
    2608.16246
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini-3.1-flash、GPT-5.4、DeepSeek-V4 等 4 个

    摘要论文分析了智能体技能组合风险，指出单包安全认证状态不具备可组合性，需转向路径级防护。

    深度解读完整解读
  4. 攻击arXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

    arXiv
    2608.25776
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemma-4-31B-IT、Sonnet 4.6、Devstral-Small-2 等 7 个

    摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。

    深度解读完整解读
  5. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Gemini 3 Flash、Claude Sonnet 4、GPT-4o 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  6. 评测与基准arXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    arXiv
    2610.05532
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 10 个
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
  7. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉安全分，发现偏离主要来自场景模板与视角

    arXiv
    2610.09517
    发表
    层
    模型层
    场景
    具身与机器人
    测试
    CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B 等 6 个
    摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。

    深度解读完整解读
  8. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 时序监控，用 MonPoly 检出工具 Agent 的危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Sonnet-3.5、GPT-4o
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  9. 分析与理论arXiv 2610.09667

    东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样，使审计可被预测

    arXiv
    2610.09667
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemini 3.8 Flash、Gemini 3.5 Flash、Claude Sonnet 5 等 6 个

    摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。

    深度解读完整解读
  10. 攻击arXiv 2610.09981

    研究：LLM 路由决策日志可推断用户医疗、自伤等敏感话题

    提出利用路由元数据推断敏感话题的侧信道攻击

    arXiv
    2610.09981
    发表
    层
    基础设施层
    场景
    LLM 应用
    测试
    RouteLLM (BERT router)、notdiamond-0001、Vela (vLLM Semantic Router) 等 6 个

    摘要论文揭示并测量了 LLM 路由决策在无文本日志中的敏感话题泄露，验证了按类别公平性防御的有效性与边界。

    深度解读完整解读
  12. 分析与理论arXiv 2610.10203

    研究者提出模型生物体多目标验证框架并给出训练建议

    提出模型生物多目标验证与合并训练方法以减少能力损伤

    arXiv
    2610.10203
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    gemma-2-2b-it、gemma-4-31b、olmo-2-1b 等 8 个
    摘要提出多目标验证框架与模型合并训练法，证明模型真实度直接影响可解释性评测。

    本论文提出了一种针对 AI 安全评测用模型生物（Model Organisms）的多目标训练与验证体系。

    深度解读完整解读
  14. 防御arXiv 2609.11757

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    提出 Whisper 攻击与 A-VIP 绑定防御，约束智能体支付决策

    arXiv
    2609.11757
    发表
    层
    应用层
    场景
    AI Agent
    测试
    gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个

    摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。

    深度解读完整解读
  15. 评测与基准arXiv 2605.01970

    Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准

    提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御

    arXiv
    2605.01970
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini 3.1 Pro、GPT-5-mini、GPT-5

    摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。

    深度解读完整解读
  16. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    测试
    Claude Sonnet 5、Opus 5、GPT-5.6 Sol 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  17. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Gemma-4-12B、Qwen3-8B、Qwen3-VL-8B-Instruct 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  18. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    测试
    gemma-3-4b-it、gemma-3-12b-it、Qwen2.5-3B-Instruct 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
加载更多