跳到正文
10月9日 · 周五

全部论文

找到 28 篇
筛选4

攻击类型

越狱1提示注入7投毒与后门5提取与窃取1检测规避1拒绝服务1恶意使用1

攻击技术

梯度与表征优化2自动化搜索2编码与混淆1跨模态载荷2针对防御1潜伏触发4诱导选用3

模型自身风险

奖励作弊1失准与价值偏离2Agent 危险操作2拒答失当1幻觉与编造2

防御类型

检测与过滤4指令与数据隔离1监控与审计1

影响

越权操作6数据与隐私泄露3输出被操纵6可用性与可靠性6监督失效3

系统形态

LLM 应用8AI Agent21编程 Agent3网页与电脑操作1多智能体5

攻击者权限

白盒1

攻击面/入口

用户输入5网页与界面4文档与消息2工具返回2工具与技能描述3代码仓库与依赖2检索语料2记忆写入2Agent 间消息1图像与音视频2分发渠道2

层

提示层10模型层17应用层28训练与数据层11基础设施层0

系统组件

MCP 与技能3记忆2RAG3护栏与评审5监控器1权限与沙箱1视觉1音频1多模态2

被测模型厂商

OpenAI248Qwen（阿里）197Anthropic160Google156DeepSeek128Meta94智谱 GLM93Kimi（月之暗面）77Mistral43xAI32MiniMax31Microsoft19NVIDIA10字节跳动9IBM6智源 BAAI6其他108
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 532 篇还没打标签，不在筛选结果里。
层：应用层层：基础设施层被测模型厂商：NVIDIA被测模型厂商：Microsoft清除全部

另有 532 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2604.14604

    AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入

    提出 AudioHijack，用不可感知对抗音频对语音模型实施听觉提示注入

    arXiv
    2604.14604
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Phi-4-Multimodal、Phi-4-Multimodal-instruct、SpeechGPT 等 15 个

    摘要提出了 AudioHijack 框架，揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。

    深度解读完整解读
  2. 攻击arXiv 2606.04329

    研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

    系统研究 LLM 智能体记忆投毒并构建基准 MPBench

    arXiv
    2606.04329
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Deberta-v3-base、GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct 等 6 个

    摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。

    深度解读完整解读
  4. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  7. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  8. 攻击arXiv 2609.39607

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

    提出 PRETEXT 白盒攻击，迭代改写技能文本以绕过 Agent 技能扫描器

    arXiv
    2609.39607
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    白盒
    测试
    all-MiniLM-L6-v2、glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507) 等 4 个
    摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。

    PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。

    深度解读完整解读
  9. 防御arXiv 2610.02005

    贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合

    提出 BDA，把多 LLM 议会的辩证动作当可靠性证据做加权聚合

    arXiv
    2610.02005
    发表
    层
    应用层
    场景
    多智能体
    测试
    phi-4、gemma-3-27b-it、gpt-4.1-nano 等 9 个
    摘要BDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。

    BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。

    深度解读完整解读
  10. 攻击arXiv 2607.12340

    研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

    提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

    arXiv
    2607.12340
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Nemotron-Cascade-2 30B、GLM-4.5-Air、GPT-5.4-mini 等 10 个
    摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

    深度解读完整解读
  12. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    NeMo Guardrails、DeBERTa-v3-base、Gemma-4-31B-IT 等 11 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  13. 评测与基准arXiv 2609.03221

    FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

    用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

    arXiv
    2609.03221
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    phi3:mini、claude-haiku-4-5、claude-sonnet-5 等 7 个
    摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。

    FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。

    深度解读完整解读
  16. 攻击arXiv 2610.01768

    LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传

    arXiv
    2610.01768
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Microsoft-Phi-4-mini-instruct、Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct 等 15 个
    摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。

    LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。

    深度解读完整解读
  17. 风险行为arXiv 2609.35928

    论文发现暴露模型身份标签会削弱多智能体 LLM 合作

    测量公开模型家族标签引发的多智能体派系化与合作下降

    arXiv
    2609.35928
    发表
    层
    应用层
    场景
    多智能体
    测试
    Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16)、Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b) 等 6 个
    摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。

    Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。

    深度解读完整解读
  19. 评测与基准arXiv 2609.15017

    PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器

    提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现

    arXiv
    2609.15017
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    DeBERTa-v3-FT、ProtectAI DeBERTa-v3-base-prompt-injection-v2、DeBERTa-PI 等 8 个
    摘要PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。

    PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。

    深度解读完整解读
  20. 风险行为arXiv 2609.33871

    论文提出测量 LLM 社会自组织的框架，并揭示群体层面病理现象

    提出熵序参量框架，测量 LLM 社会的群体自组织

    arXiv
    2609.33871
    发表
    层
    应用层
    场景
    多智能体
    测试
    Phi-4 (mini-instruct)、GPT-4.1 (longco-2025-04-14)、GPT-4o (2024-05-13) 等 5 个
    摘要熵序参量显示三个 LLM 社会自组织，另两个系统停在不动点。

    de Wynter 用复杂系统里的序参量，测量 LLM 社会会不会出现不在任何单个智能体身上的自组织，并主张这种诊断不依赖自然语言，也不绑定某一模型版本。问题来自群体层事件：一部分智能体通过通信协调，个体拒绝或个体监控都可能看不到该过程。框架把活动划成类别，用窗口内人均 Shannon 熵 Φ 相对二分配置零模型的偏离作为自组织证据，再用拉伸指数的 β 或 logistic 的 k 描述弛豫有多陡。

    深度解读完整解读
加载更多