跳到正文
10月9日 · 周五

全部论文

找到 52 篇
筛选2

攻击类型

越狱7提示注入8投毒与后门4模型篡改2提取与窃取5检测规避3恶意使用1

攻击技术

梯度与表征优化2自动化搜索1编码与混淆2推理链操控1跨模态载荷1侧信道1针对防御1潜伏触发4诱导选用2

模型自身风险

欺骗与谋划3奖励作弊2失准与价值偏离2Agent 危险操作1拒答失当3幻觉与编造2

防御类型

模型加固5推理时干预1检测与过滤7监控与审计2

影响

有害内容7越权操作4数据与隐私泄露6输出被操纵7可用性与可靠性3监督失效6

系统形态

模型与 API31LLM 应用9AI Agent13编程 Agent2网页与电脑操作1多智能体2

攻击者权限

黑盒4灰盒1白盒4无盒1

攻击面/入口

用户输入17网页与界面4文档与消息2工具返回2工具与技能描述2代码仓库与依赖1检索语料3记忆写入1Agent 间消息1图像与音视频2训练数据1权重与梯度1分发渠道2推理服务与硬件1

层

提示层8模型层17应用层17训练与数据层9基础设施层1

系统组件

MCP 与技能2记忆2RAG3护栏与评审9监控器2推理链1权限与沙箱1微调与开源权重4视觉2音频1多模态3

被测模型厂商

Qwen（阿里）405OpenAI341Google304Meta255Anthropic194DeepSeek172智谱 GLM110Mistral97Kimi（月之暗面）92Microsoft40xAI38Ai238MiniMax31NVIDIA21上海 AI 实验室18字节跳动14EleutherAI13Stability AI11Black Forest Labs9IBM8TII8Hugging Face7Cohere6智源 BAAI5其他240
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 638 篇还没打标签，不在筛选结果里。
被测模型厂商：EleutherAI被测模型厂商：Microsoft清除全部

另有 638 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2606.04329

    研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

    系统研究 LLM 智能体记忆投毒并构建基准 MPBench

    arXiv
    2606.04329
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Deberta-v3-base、GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct 等 6 个

    摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。

    深度解读完整解读
  2. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  3. 评测与基准arXiv 2610.08540

    论文提出按风险类别测量的对齐缩放定律框架

    提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化

    arXiv
    2610.08540
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Pythia (14m–2.8b)、Qwen2.5 (0.5B–72B)、Qwen2.5-Instruct (0.5B–14B) 等 4 个
    摘要论文提出了分风险对齐标度律框架，测得真实性与倾向纠错呈标度有益，但盲后门仍存活，揭示隐藏风险的长期挑战。

    本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。

    深度解读完整解读
  5. 攻击arXiv 2610.06848

    TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击

    提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员

    arXiv
    2610.06848
    发表
    层
    基础设施层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Pythia (70M-2.8B)、BERT (4.4M-340M)、ViT (22M-307M) 等 5 个

    摘要TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。

    深度解读完整解读
  7. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  8. 攻击arXiv 2609.39607

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

    提出 PRETEXT 白盒攻击，迭代改写技能文本以绕过 Agent 技能扫描器

    arXiv
    2609.39607
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    白盒
    测试
    all-MiniLM-L6-v2、glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507) 等 4 个
    摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。

    PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。

    深度解读完整解读
  9. 风险行为arXiv 2609.33220

    斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定

    arXiv
    2609.33220
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-4、Qwen2.5-1.5B、Qwen2.5-7B 等 11 个

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。

    深度解读完整解读
  10. 评测与基准arXiv 2608.08542

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性

    arXiv
    2608.08542
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Phi-4-mini、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    深度解读完整解读
  13. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    DeBERTa-v3-base、Gemma-4-31B-IT、Qwen-3.5-35B-A3B 等 11 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  14. 评测与基准arXiv 2609.03221

    FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

    用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

    arXiv
    2609.03221
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    phi3:mini、claude-haiku-4-5、claude-sonnet-5 等 7 个
    摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。

    FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。

    深度解读完整解读
  16. 防御arXiv 2610.00883

    DeBERTa-ConPara：面向部署的 AI 生成文本检测，推理端 Unicode 归一化提升对抗鲁棒性

    提出推理时 Unicode 归一化的检测器，识别遭字符级扰动的 AI 生成文本

    arXiv
    2610.00883
    发表
    层
    提示层
    场景
    模型与 API
    测试
    microsoft/deberta-v3-large、deberta-v3-base、bert-large-cased 等 14 个
    摘要推理时归一化消除两类 Unicode 攻击，训练时归一化则会删掉对抗监督。

    DeBERTa-ConPara 是一个面向部署的 AI 文本检测器：DeBERTa-v3-large 在多数据集原始文本上训练，推理前做确定性 Unicode 归一化，用一个固定阈值面对没有目标域标签的场景。

    深度解读完整解读
  17. 攻击arXiv 2610.01768

    LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传

    arXiv
    2610.01768
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Microsoft-Phi-4-mini-instruct、Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct 等 15 个
    摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。

    LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。

    深度解读完整解读
  18. 防御arXiv 2610.01800

    LineupRL：基于描述与时序配对识别的可验证强化学习时间序列描述方法

    提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型

    arXiv
    2610.01800
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-3.5-mini、Phi-4-14B、DeBERTa 等 15 个
    摘要LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。

    LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。

    深度解读完整解读
加载更多