跳到正文
10月9日 · 周五

全部论文

找到 36 篇
筛选4

攻击类型

越狱3提示注入7投毒与后门5提取与窃取3检测规避2恶意使用1

攻击技术

梯度与表征优化2自动化搜索1编码与混淆2跨模态载荷2针对防御1潜伏触发4诱导选用2

模型自身风险

欺骗与谋划1奖励作弊1Agent 危险操作1拒答失当1幻觉与编造2

防御类型

模型加固1推理时干预1检测与过滤4监控与审计2

影响

有害内容2越权操作5数据与隐私泄露4输出被操纵7可用性与可靠性2监督失效4

系统形态

模型与 API12LLM 应用9AI Agent16编程 Agent2网页与电脑操作1多智能体4

攻击者权限

黑盒1灰盒1白盒2

攻击面/入口

用户输入9网页与界面4文档与消息3工具返回1工具与技能描述2代码仓库与依赖1检索语料3记忆写入1Agent 间消息2图像与音视频3分发渠道1

层

提示层8模型层15应用层21训练与数据层10

系统组件

MCP 与技能3记忆2RAG3护栏与评审5监控器2权限与沙箱1视觉1音频2多模态3

被测模型厂商

Qwen（阿里）340OpenAI324Google276Meta199Anthropic197DeepSeek167智谱 GLM111Kimi（月之暗面）92Mistral87xAI40MiniMax33Microsoft33Ai228NVIDIA16上海 AI 实验室14字节跳动13EleutherAI8IBM8Stability AI7智源 BAAI6TII6Hugging Face6Cohere5其他192
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 489 篇还没打标签，不在筛选结果里。
层：模型层层：应用层被测模型厂商：Microsoft被测模型厂商：Cohere清除全部

另有 489 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2604.14604

    AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入

    提出 AudioHijack，用不可感知对抗音频对语音模型实施听觉提示注入

    arXiv
    2604.14604
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Phi-4-Multimodal、Phi-4-Multimodal-instruct、SpeechGPT 等 15 个

    摘要提出了 AudioHijack 框架，揭示了 LALM 对听觉提示注入的脆弱性与传统防御的局限。

    深度解读完整解读
  2. 攻击arXiv 2606.04329

    研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

    系统研究 LLM 智能体记忆投毒并构建基准 MPBench

    arXiv
    2606.04329
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Deberta-v3-base、GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct 等 6 个

    摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。

    深度解读完整解读
  3. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  5. 其他arXiv 2609.38096

    Tail-Influence Sampling：面向 CVaR 策略评估的尾部影响采样

    提出 Tail-Influence Sampling，按尾部影响分配查询以估计策略下尾 CVaR

    arXiv
    2609.38096
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Phi-4-mini-instruct、Qwen3-4B-Instruct-2507、Granite-4.2-8B 等 6 个
    摘要TIS 用尾部影响分配条件查询估 CVaR。

    在条件转移可独立查询时，用 tail influence 把固定评测预算分给对一条固定策略的下尾 CVaR 更重要的 kernel。平均回报相近时，罕见失败仍可能差很多。完整 rollout 把大部分预算花在到不了最坏状态的转移上。

    深度解读完整解读
  7. 评测与基准arXiv 2610.02293

    HakemBench：土耳其语类型化决策基准发布

    发布 HakemBench，评测土耳其语定型决策的质量、校准与选择性自动化

    arXiv
    2610.02293
    发表
    层
    模型层
    场景
    模型与 API
    测试
    open-jev (DeBERTa-v3-large)、Gemini 3.8 Flash、GPT-5.6 Sol 等 11 个
    摘要HakemBench 评测土耳其语定型决策。

    HakemBench v1.0 是土耳其语定型决策的开放基准，看模型在固定选项上给出的概率是否可用，以及不确定时能否把案例交给人。

    深度解读完整解读
  8. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  9. 评测与基准arXiv 2610.00568

    研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

    提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

    arXiv
    2610.00568
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Aya Expanse 8B、Aya Expanse 32B、Llama-3.1-8B-Instruct 等 13 个
    摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。

    本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。

    深度解读完整解读
  10. 攻击arXiv 2609.39607

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

    提出 PRETEXT 白盒攻击，迭代改写技能文本以绕过 Agent 技能扫描器

    arXiv
    2609.39607
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    白盒
    测试
    all-MiniLM-L6-v2、glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507) 等 4 个
    摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。

    PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。

    深度解读完整解读
  11. 防御arXiv 2610.02005

    贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合

    提出 BDA，把多 LLM 议会的辩证动作当可靠性证据做加权聚合

    arXiv
    2610.02005
    发表
    层
    应用层
    场景
    多智能体
    测试
    phi-4、gemma-3-27b-it、gpt-4.1-nano 等 9 个
    摘要BDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。

    BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。

    深度解读完整解读
  12. 评测与基准arXiv 2608.20554

    aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡

    提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡

    arXiv
    2608.20554
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Phi-4、openai/gpt-5-mini、openai/gpt-4o 等 15 个
    摘要aiXamine 用九服务黑盒协议比较百余个模型，作者称单轴信任度进展可能削弱其他轴。

    aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。

    深度解读完整解读
  16. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    DeBERTa-v3-base、Gemma-4-31B-IT、Qwen-3.5-35B-A3B 等 11 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  17. 评测与基准arXiv 2609.03221

    FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

    用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

    arXiv
    2609.03221
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    phi3:mini、claude-haiku-4-5、claude-sonnet-5 等 7 个
    摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。

    FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。

    深度解读完整解读
  19. 攻击arXiv 2610.00430

    Memetic Trojans：利用社交传染在 LLM Agent 网络中传播对抗载荷

    提出 memetic trojans，把对抗载荷嵌入智能体自发转发的社会传染内容

    arXiv
    2610.00430
    发表
    层
    应用层
    场景
    多智能体
    测试
    command-r-35B、gpt-oss-120B、deepseek-v4.1-flash 等 5 个
    摘要memetic trojans 用内生社会传染携带载荷。

    Memetic trojans 是一类网络介导攻击：对抗载荷搭在智能体本来就会转发和点赞的内容上扩散，转发者不必被攻陷，也不必执行“请继续复制”的指令。

    深度解读完整解读
  20. 攻击arXiv 2610.01768

    LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传

    arXiv
    2610.01768
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Microsoft-Phi-4-mini-instruct、Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct 等 15 个
    摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。

    LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。

    深度解读完整解读
加载更多