跳到正文
10月9日 · 周五

全部论文

找到 49 篇
筛选3

攻击类型

越狱7提示注入10投毒与后门6模型篡改2提取与窃取3检测规避3恶意使用1

攻击技术

梯度与表征优化2自动化搜索1编码与混淆2推理链操控1跨模态载荷1针对防御1潜伏触发4诱导选用3

模型自身风险

欺骗与谋划3奖励作弊2失准与价值偏离1Agent 危险操作2拒答失当3幻觉与编造3

防御类型

模型加固7推理时干预1检测与过滤7指令与数据隔离1监控与审计3

影响

有害内容7越权操作4数据与隐私泄露5输出被操纵9可用性与可靠性4监督失效6滥用能力提升1

系统形态

模型与 API24LLM 应用11AI Agent15编程 Agent3网页与电脑操作1多智能体2

攻击者权限

黑盒2灰盒1白盒5无盒1

攻击面/入口

用户输入16网页与界面5文档与消息3工具返回2工具与技能描述3代码仓库与依赖1检索语料4记忆写入1Agent 间消息1图像与音视频2训练数据2权重与梯度2分发渠道3

层

提示层7模型层11应用层21训练与数据层10

系统组件

MCP 与技能3记忆2RAG3护栏与评审10监控器2推理链2权限与沙箱1微调与开源权重4视觉2音频1多模态3

被测模型厂商

Qwen（阿里）421OpenAI355Google318Meta262Anthropic204DeepSeek178智谱 GLM114Mistral102Kimi（月之暗面）96xAI41Microsoft40Ai238MiniMax32NVIDIA21上海 AI 实验室19字节跳动14EleutherAI13Stability AI11Black Forest Labs9IBM8TII8Hugging Face8Cohere6智源 BAAI6其他250
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 602 篇还没打标签，不在筛选结果里。
被测模型厂商：Microsoft被测模型厂商：IBM被测模型厂商：Hugging Face清除全部

另有 602 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2606.04329

    研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

    系统研究 LLM 智能体记忆投毒并构建基准 MPBench

    arXiv
    2606.04329
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Deberta-v3-base、GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct 等 6 个

    摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。

    深度解读完整解读
  2. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  6. 分析与理论arXiv 2610.02886

    研究揭示无触发投毒审计缺口：事实答对不等于决策正确

    揭示无触发虚假训练下事实回答与下游决策的审计差距

    arXiv
    2610.02886
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    SmolLM2-1.7B、Qwen2.5-0.5B、Qwen2.5-1.5B 等 9 个
    摘要作者发现无触发词虚假训练下事实回答与下游决策存在脱节，直接审计与事实纠错均无法保证决策正确。

    论文是一项针对语言模型在无触发词虚假信息训练下行为表现的实证分析研究。

    深度解读完整解读
  7. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  8. 攻击arXiv 2609.39607

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

    提出 PRETEXT 白盒攻击，迭代改写技能文本以绕过 Agent 技能扫描器

    arXiv
    2609.39607
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    白盒
    测试
    all-MiniLM-L6-v2、glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507) 等 4 个
    摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。

    PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。

    深度解读完整解读
  9. 风险行为arXiv 2609.33220

    斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定

    arXiv
    2609.33220
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-4、Qwen2.5-1.5B、Qwen2.5-7B 等 11 个

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。

    深度解读完整解读
  10. 攻击arXiv 2607.12340

    研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

    提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

    arXiv
    2607.12340
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Granite 3.3 8B、GLM-4.5-Air、GPT-5.4-mini 等 10 个
    摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

    深度解读完整解读
  12. 评测与基准arXiv 2608.08542

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性

    arXiv
    2608.08542
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Phi-4-mini、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    深度解读完整解读
  15. 防御arXiv 2609.34591

    TULIP：按输入定位层级的定向大模型遗忘方法

    提出 TULIP，按输入定位形成层并去除目标 token 对齐以实现定向遗忘

    arXiv
    2609.34591
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Zephyr-7B-beta、Llama-3.1-8B、Llama-3.2-3B 等 7 个
    摘要TULIP 在形成结束的层去掉遗忘目标对齐，多数设置下 FQ 更高，4-bit 下 FQ 下降。

    TULIP 是一种逐输入选择层的表示级遗忘方法，目标是去掉遗忘答案的形成、留下读出。输出级方法可能只压低特定回答的似然。RMU、LUNAR 等则对全部遗忘样本共用一层。

    深度解读完整解读
  16. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Granite Guardian 3.3-8B、DeBERTa-v3-base、Gemma-4-31B-IT 等 11 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  17. 防御arXiv 2608.30703

    SingProbe 发布开源内在护栏框架，适配 29 个开源模型

    提出内生护栏 SingProbe，复用解码隐状态监测查询意图、回复安全与幻觉

    arXiv
    2608.30703
    发表
    层
    模型层
    场景
    模型与 API
    测试
    GraniteGuardian、Ling-3.0-tiny-singprobe、Ling-3.0-flash-singprobe 等 14 个
    摘要SingProbe 用轻量内生探针做生成时三类监测，并给出流式基准与低开销服务接入。

    SingProbe 是面向生成时监测的开源内生护栏：复用基座解码隐状态，而不是另起模型反复编码文本。

    深度解读完整解读
  18. 评测与基准arXiv 2609.03221

    FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

    用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

    arXiv
    2609.03221
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    phi3:mini、claude-haiku-4-5、claude-sonnet-5 等 7 个
    摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。

    FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。

    深度解读完整解读
  20. 防御arXiv 2610.00883

    DeBERTa-ConPara：面向部署的 AI 生成文本检测，推理端 Unicode 归一化提升对抗鲁棒性

    提出推理时 Unicode 归一化的检测器，识别遭字符级扰动的 AI 生成文本

    arXiv
    2610.00883
    发表
    层
    提示层
    场景
    模型与 API
    测试
    microsoft/deberta-v3-large、deberta-v3-base、bert-large-cased 等 14 个
    摘要推理时归一化消除两类 Unicode 攻击，训练时归一化则会删掉对抗监督。

    DeBERTa-ConPara 是一个面向部署的 AI 文本检测器：DeBERTa-v3-large 在多数据集原始文本上训练，推理前做确定性 Unicode 归一化，用一个固定阈值面对没有目标域标签的场景。

    深度解读完整解读
加载更多