跳到正文
10月9日 · 周五

全部论文

找到 17 篇
筛选4

攻击类型

越狱1提示注入2投毒与后门2提取与窃取2检测规避2恶意使用3

攻击技术

编码与混淆1针对防御1诱导选用1

模型自身风险

Agent 危险操作1拒答失当2幻觉与编造3

防御类型

模型加固1推理时干预1检测与过滤5监控与审计2

影响

有害内容4数据与隐私泄露3输出被操纵5可用性与可靠性1

系统形态

模型与 API8LLM 应用6AI Agent3编程 Agent1

攻击者权限

黑盒3白盒1

攻击面/入口

用户输入6网页与界面1工具与技能描述1检索语料1图像与音视频3权重与梯度1分发渠道2

层

提示层2模型层8应用层9训练与数据层5

系统组件

MCP 与技能1RAG1护栏与评审6微调与开源权重1图像生成8多模态8

被测模型厂商

Qwen（阿里）353OpenAI343Google292Anthropic210Meta204DeepSeek172智谱 GLM115Kimi（月之暗面）95Mistral89xAI43Microsoft36MiniMax35Ai229NVIDIA19上海 AI 实验室14字节跳动13Stability AI9EleutherAI8IBM8智源 BAAI6TII6Hugging Face6Black Forest Labs6Cohere5其他199
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 441 篇还没打标签，不在筛选结果里。
层：模型层层：应用层被测模型厂商：IBM被测模型厂商：Stability AI清除全部

另有 441 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2603.01544

    RA-Det：利用鲁棒性不对称检测 AI 生成图像

    提出 RA-Det，利用鲁棒性不对称检测 AI 生成图像

    arXiv
    2603.01544
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    SDXL、ProGAN、StyleGAN2 等 15 个
    摘要RA-Det 把扰动下特征漂移差变成检测信号，平均 ACC 高于表中通用检测器，但不是每行最高。

    RA-Det 是合成图像检测器，用扰动下的表示稳定性差异代替外观痕迹。

    深度解读完整解读
  3. 防御arXiv 2610.05870

    MBZUAI 提出可校准的真实图像认证方法

    提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动

    arXiv
    2610.05870
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    白盒
    测试
    SD2.1、SD3、SD3.5 等 10 个

    摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。

    深度解读完整解读
  4. 其他arXiv 2609.38096

    Tail-Influence Sampling：面向 CVaR 策略评估的尾部影响采样

    提出 Tail-Influence Sampling，按尾部影响分配查询以估计策略下尾 CVaR

    arXiv
    2609.38096
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Granite-4.2-8B、Qwen3-4B-Instruct-2507、Phi-4-mini-instruct 等 6 个
    摘要TIS 用尾部影响分配条件查询估 CVaR。

    在条件转移可独立查询时，用 tail influence 把固定评测预算分给对一条固定策略的下尾 CVaR 更重要的 kernel。平均回报相近时，罕见失败仍可能差很多。完整 rollout 把大部分预算花在到不了最坏状态的转移上。

    深度解读完整解读
  5. 攻击arXiv 2607.12340

    研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

    提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

    arXiv
    2607.12340
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Granite 3.3 8B、GLM-4.5-Air、GPT-5.4-mini 等 10 个
    摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

    深度解读完整解读
  7. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Granite Guardian 3.3-8B、Gemma-4-31B-IT、Qwen-3.5-35B-A3B 等 11 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  8. 防御arXiv 2608.30703

    SingProbe 发布开源内在护栏框架，适配 29 个开源模型

    提出内生护栏 SingProbe，复用解码隐状态监测查询意图、回复安全与幻觉

    arXiv
    2608.30703
    发表
    层
    模型层
    场景
    模型与 API
    测试
    GraniteGuardian、Ling-3.0-tiny-singprobe、Ling-3.0-flash-singprobe 等 14 个
    摘要SingProbe 用轻量内生探针做生成时三类监测，并给出流式基准与低开销服务接入。

    SingProbe 是面向生成时监测的开源内生护栏：复用基座解码隐状态，而不是另起模型反复编码文本。

    深度解读完整解读
  9. 攻击arXiv 2610.01768

    LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄

    提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传

    arXiv
    2610.01768
    发表
    层
    应用层
    场景
    AI Agent
    测试
    IBM-Granite-3.3-8b-instruct、Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct 等 15 个
    摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。

    LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。

    深度解读完整解读
  10. 防御arXiv 2610.01969

    RASteer：面向扩散模型概念擦除的保留感知激活引导方法

    提出 RASteer，推理时按保留子空间校正激活以擦除文生图目标概念

    arXiv
    2610.01969
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Stable Diffusion v1.4、Stable Diffusion v1.5、Stable Diffusion v2.1 等 4 个
    摘要RASteer 用保留子空间校正擦除方向，在固定权重下同时压低目标并保住保留概念。

    Retain-aware Activation Steering（RASteer） 是一种不改权重的推理时概念擦除方法，用于文生图扩散模型去掉指定概念并减少对保留概念的误伤。

    深度解读完整解读
  12. 可解释性arXiv 2609.09909

    解读文本到图像扩散模型中的对象依赖概念脆弱性

    用逐步 SAE 诊断文生图概念脆性，并推理时向类原型插值

    arXiv
    2609.09909
    发表
    层
    模型层
    场景
    模型与 API
    测试
    SD 1.5、SD 3.5、SDXL 等 5 个
    摘要逐步 SAE 诊断物体依赖的概念脆性，早期向类原型插值可在五骨干上提高风格与属性指标。

    作者用逐步稀疏自编码器审计文生图扩散模型里随物体变化的概念脆性，并用推理时原型插值检验该诊断。。

    深度解读完整解读
  13. 防御arXiv 2609.39548

    NDDL：用正常扩散动力学为文生图模型做后门防御

    提出 NDDL，用良性扩散轨迹检测文生图后门提示并定位触发 token

    arXiv
    2609.39548
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Stable Diffusion v1.5、Stable Diffusion XL、Stable Diffusion v3.5 等 4 个
    摘要NDDL 从良性扩散轨迹学习正常转移，用动态不一致检测后门并定位触发 token。

    NDDL 是面向文生图扩散模型的后门防御：防御者只有白盒模型访问和良性提示词，没有后门先验，需要区分后门提示词并找出触发 token。

    深度解读完整解读
  16. 评测与基准arXiv 2609.33658

    AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

    提出四向反事实评测，测量工具 Agent 对授权与表面风险的行动边界

    arXiv
    2609.33658
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Granite-3.3-8B-Instruct、GPT-5.5、Claude Opus 4.8 等 15 个
    摘要四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。

    AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。

    深度解读完整解读
  17. 攻击arXiv 2609.36331

    无需参考模型：用邻居样本校准单轮成员推理攻击

    提出用邻居分数替代参考模型的单轮成员推断

    arXiv
    2609.36331
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    stable-diffusion-v1-5、目标分类模型（架构与训练流程遵循 Aerni et al.）、CLIP ViT-B/32 等 4 个
    摘要邻居查询在单模型上恢复逐样本校准，合成邻居加早期检查点最接近 LiRA。

    本文研究 one-round 成员推断：只有一个目标模型、不能再训练参考模型时，如何仍做逐样本校准，并用于单次运行的 DP 审计。

    深度解读完整解读
已经到底了