跳到正文
10月9日 · 周五

全部论文

找到 15 篇
筛选5

攻击类型

越狱1提示注入4投毒与后门3提取与窃取2检测规避2恶意使用1

攻击技术

梯度与表征优化2自动化搜索1编码与混淆2跨模态载荷2针对防御1潜伏触发4诱导选用2

模型自身风险

奖励作弊1

防御类型

检测与过滤1监控与审计1

影响

越权操作3数据与隐私泄露3输出被操纵3监督失效3

系统形态

模型与 API26LLM 应用10AI Agent15编程 Agent2网页与电脑操作1多智能体3

攻击者权限

黑盒1灰盒1白盒1

攻击面/入口

用户输入4网页与界面3文档与消息2工具返回1工具与技能描述2代码仓库与依赖1记忆写入1Agent 间消息2图像与音视频2分发渠道1

层

模型层3应用层12

系统组件

MCP 与技能2记忆2护栏与评审2监控器1权限与沙箱1视觉1音频1多模态2

被测模型厂商

OpenAI237Qwen（阿里）197Anthropic157Google154DeepSeek130智谱 GLM97Meta86Kimi（月之暗面）81Mistral40MiniMax35xAI34Microsoft15NVIDIA11字节跳动11其他97
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 480 篇还没打标签，不在筛选结果里。
系统形态：AI Agent系统形态：编程 Agent系统形态：网页与电脑操作系统形态：多智能体被测模型厂商：Microsoft清除全部

另有 480 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2604.14604

    AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入

    提出 AudioHijack，用不可感知对抗音频对语音模型实施听觉提示注入

    arXiv
    2604.14604
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Phi-4-Multimodal、Phi-4-Multimodal-instruct、SpeechGPT 等 15 个

    摘要提出了 AudioHijack 框架，揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。

    深度解读完整解读
  2. 攻击arXiv 2606.04329

    研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

    系统研究 LLM 智能体记忆投毒并构建基准 MPBench

    arXiv
    2606.04329
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Deberta-v3-base、GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct 等 6 个

    摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。

    深度解读完整解读
  3. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  5. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  6. 攻击arXiv 2609.39607

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

    提出 PRETEXT 白盒攻击，迭代改写技能文本以绕过 Agent 技能扫描器

    arXiv
    2609.39607
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    白盒
    测试
    all-MiniLM-L6-v2、glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507) 等 4 个
    摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。

    PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。

    深度解读完整解读
  7. 防御arXiv 2610.02005

    贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合

    提出 BDA，把多 LLM 议会的辩证动作当可靠性证据做加权聚合

    arXiv
    2610.02005
    发表
    层
    应用层
    场景
    多智能体
    测试
    phi-4、gemma-3-27b-it、gpt-4.1-nano 等 9 个
    摘要BDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。

    BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。

    深度解读完整解读
  10. 攻击arXiv 2610.01768

    LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传

    arXiv
    2610.01768
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Microsoft-Phi-4-mini-instruct、Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct 等 15 个
    摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。

    LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。

    深度解读完整解读
  12. 风险行为arXiv 2609.33871

    论文提出测量 LLM 社会自组织的框架，并揭示群体层面病理现象

    提出熵序参量框架，测量 LLM 社会的群体自组织

    arXiv
    2609.33871
    发表
    层
    应用层
    场景
    多智能体
    测试
    Phi-4 (mini-instruct)、GPT-4.1 (longco-2025-04-14)、GPT-4o (2024-05-13) 等 5 个
    摘要熵序参量显示三个 LLM 社会自组织，另两个系统停在不动点。

    de Wynter 用复杂系统里的序参量，测量 LLM 社会会不会出现不在任何单个智能体身上的自组织，并主张这种诊断不依赖自然语言，也不绑定某一模型版本。问题来自群体层事件：一部分智能体通过通信协调，个体拒绝或个体监控都可能看不到该过程。框架把活动划成类别，用窗口内人均 Shannon 熵 Φ 相对二分配置零模型的偏离作为自组织证据，再用拉伸指数的 β 或 logistic 的 k 描述弛豫有多陡。

    深度解读完整解读
  13. 攻击arXiv 2609.09865

    CGMIA：用成员推理攻击检测代码生成基准的数据泄漏

    提出 CGMIA，用成员推理检测代码生成基准的数据泄漏

    arXiv
    2609.09865
    发表
    层
    模型层
    场景
    编程 Agent
    攻击者
    灰盒
    测试
    Phi-2 (2.7B)、Qwen2.5-Coder (3B)、CodeGemma (2B) 等 5 个
    摘要CGMIA 融合相似度、通过率、困惑度与 CodeBERT，在模拟泄漏上优于八个 MIA 基线。

    CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集，使评测不依赖对训练语料的直接访问。

    深度解读完整解读
  14. 攻击arXiv 2609.22510

    特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

    提出条件触发的爆炸提示词，延迟激活 Agent 的间接提示注入

    arXiv
    2609.22510
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GitHub Copilot、Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct 等 14 个
    摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。

    论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

    深度解读完整解读
  15. 可解释性arXiv 2609.36138

    SAKIKO：对工具调用 LLM 内部干预的机制审计框架

    提出 SAKIKO 框架，审计工具调用 LLM 的定向激活干预是否构成修复

    arXiv
    2609.36138
    发表
    层
    模型层
    场景
    AI Agent
    测试
    Phi-3.5-mini、Qwen2.5-7B、Llama-3.1-8B 等 8 个
    摘要SAKIKO 用目的地、保持和预注册不确定性裁定内部转向是否算修复。

    SAKIKO 审计工具型 LLM 在执行前 K 路动作上的内部干预：行为净增益、到达正确动作、保住原本正确的决策、以及统计证据充分，是四件分开的事。

    深度解读完整解读
已经到底了