跳到正文
10月8日 · 周四

全部论文

找到 120 篇
筛选2

攻击类型

越狱2提示注入15投毒与后门37模型篡改1检测规避11拒绝服务2恶意使用1

攻击技术

梯度与表征优化2自动化搜索3编码与混淆1角色扮演与说服1跨模态载荷1针对防御6潜伏触发13诱导选用2

模型自身风险

欺骗与谋划3奖励作弊1失准与价值偏离12Agent 危险操作4危险能力1拒答失当2幻觉与编造10偏见与歧视2

防御类型

模型加固16推理时干预10检测与过滤13指令与数据隔离3权限与审批3监控与审计1水印与溯源4

影响

有害内容80越权操作97数据与隐私泄露63输出被操纵97可用性与可靠性23监督失效64滥用能力提升7

系统形态

模型与 API71LLM 应用13AI Agent37编程 Agent6网页与电脑操作4多智能体8具身与机器人1

攻击者权限

黑盒3灰盒2白盒2

攻击面/入口

用户输入13网页与界面6文档与消息8工具返回8工具与技能描述3代码仓库与依赖1检索语料7记忆写入3Agent 间消息1图像与音视频12训练数据23权重与梯度10分发渠道6推理服务与硬件2

层

提示层7模型层38应用层45训练与数据层28基础设施层2

系统组件

MCP 与技能3记忆8RAG8护栏与评审9推理链2权限与沙箱3微调与开源权重10视觉13音频3图像生成6嵌入1多模态21

被测模型厂商

Qwen（阿里）66OpenAI49Google46Meta41DeepSeek26Anthropic26智谱 GLM15Mistral15Kimi（月之暗面）12上海 AI 实验室7NVIDIA6xAI6Microsoft6Ai26其他63
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 789 篇还没打标签，不在筛选结果里。
影响：输出被操纵影响：可用性与可靠性清除全部

另有 789 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2609.37468

    论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法

    提出检索器后门攻击操纵智能体多轮搜索，并用 DOU 隐蔽后门

    arXiv
    2609.37468
    发表
    层
    应用层
    场景
    AI Agent
    测试
    E5、Contriever-MSMARCO、Qwen2.5-7B-Instruct

    摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。

    深度解读完整解读
  4. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  5. 分析与理论arXiv 2610.08144

    新论文称 Lean 验证不能为 OpenAI 的 Navier-Stokes 自然语言证明背书

    论证 Lean 编译通过不能保证自然语言数学证明语义忠实

    arXiv
    2610.08144
    发表
    层
    模型层
    场景
    模型与 API
    测试
    ChatGPT-6 (Astra Ultra)、OpenAI Navier-Stokes formalisation AI、Meta Atlas autoformaliser

    摘要论文论证了形式化编译不保证原证明正确，确立了消歧不可计算性理论，并揭示了 OpenAI 爆破证明中的具体脱节。

    深度解读完整解读
  6. 防御arXiv 2609.11757

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    提出 A-VIP，将购物意图绑定到支付授权以阻断商户文本操控

    arXiv
    2609.11757
    发表
    层
    应用层
    场景
    AI Agent
    测试
    gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个

    摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。

    深度解读完整解读
  7. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  8. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench 局部协议，评测激活补丁修复越狱的附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  9. 风险行为arXiv 2610.08670

    研究：后训练配方决定大模型是否违背自身道德判断行事

    提出知行差距面板，测量压力下模型是否违背自身判断

    arXiv
    2610.08670
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo-3-7B-Instruct、Llama-3.1-8B-Instruct、Tulu 3 等 7 个
    摘要评估发现后训练配方决定知行差距是否存在，行动前审思可有效缓解。

    本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。

    深度解读完整解读
  10. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  11. 分析与理论arXiv 2610.06191

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    分析检索智能体判定结果无用后仍不停止检索的整合失败

    arXiv
    2610.06191
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等 7 个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    深度解读完整解读
  12. 攻击arXiv 2610.07645

    SkillPoison：用成功经验投毒自进化 Agent 的技能形成

    提出 SkillPoison，用局部有效的成功经验投毒自进化智能体的技能形成

    arXiv
    2610.07645
    发表
    层
    应用层
    场景
    AI Agent
    测试
    deepseek-v4-flash、Qwen V3.8 Flash、GPT-5.5
    摘要SkillPoison 通过局部有效且验证成功的经验诱导技能过度泛化，在多个评测基准上实现了持久的下游攻击影响。

    SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式，通过组织已验证的成功经验诱导技能过度泛化。

    深度解读完整解读
  14. 评测与基准arXiv 2610.06522

    SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

    构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

    arXiv
    2610.06522
    发表
    层
    模型层
    场景
    模型与 API
    测试
    opus-5、sonnet-5、sonnet-4.6 等 11 个
    摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。

    本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

    深度解读完整解读
  15. 可解释性arXiv 2610.04860

    研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预

    揭示检索生成中文本水印诱发事实幻觉的机制并提出 FPTI 与 FPAI 干预

    arXiv
    2610.04860
    发表
    层
    模型层
    场景
    LLM 应用
    测试
    LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct
    摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。

    论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。

    深度解读完整解读
  16. 防御arXiv 2610.05870

    MBZUAI 提出可校准的真实图像认证方法

    提出校准重合成认证，仅当已知生成器都不能保真重构时签发真实图像证书

    arXiv
    2610.05870
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    白盒
    测试
    SD2.1、SD3、SD3.5 等 10 个

    摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。

    深度解读完整解读
  18. 攻击arXiv 2610.05894

    研究者提出闭环偏见注入攻击

    提出闭环激活引导，在扩散语言模型去噪过程中注入定向偏见

    arXiv
    2610.05894
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    灰盒
    测试
    LLaDA-8B-Instruct、Dream-v0-Instruct-7B、LLaDA-MoE-7B-A1B-Instruct

    摘要通过去噪中间概率反馈动态调节残差流转向，证明扩散语言模型在推理服务栈中存在闭环偏见注入脆弱性。

    深度解读完整解读
  20. 分析与理论arXiv 2610.02886

    研究揭示无触发投毒审计缺口：事实答对不等于决策正确

    揭示无触发虚假训练下事实回答与下游决策的审计差距

    arXiv
    2610.02886
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-0.5B、Qwen2.5-1.5B、Qwen2.5-3B 等 9 个
    摘要作者发现无触发词虚假训练下事实回答与下游决策存在脱节，直接审计与事实纠错均无法保证决策正确。

    论文是一项针对语言模型在无触发词虚假信息训练下行为表现的实证分析研究。

    深度解读完整解读
加载更多