跳到正文
10月10日 · 周六

全部论文

找到 78 篇
筛选1

攻击类型

提示注入12投毒与后门19检测规避12

模型自身风险

失准与价值偏离4Agent 危险操作3幻觉与编造11

防御类型

模型加固22推理时干预11检测与过滤21指令与数据隔离9权限与审批5监控与审计7水印与溯源5

影响

有害内容80越权操作80数据与隐私泄露39输出被操纵78可用性与可靠性14监督失效34

系统形态

模型与 API42LLM 应用17AI Agent21多智能体4

攻击者权限

黑盒4白盒7

攻击面/入口

用户输入5网页与界面7文档与消息5工具返回5检索语料6Agent 间消息3图像与音视频12训练数据13权重与梯度5分发渠道3

层

提示层4模型层21应用层31训练与数据层21

系统组件

记忆4RAG4护栏与评审10监控器5推理链3权限与沙箱3微调与开源权重6视觉14音频4图像生成4多模态20
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 194 篇还没打标签，不在筛选结果里。
影响：输出被操纵清除全部

另有 194 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2610.11634

    LTBD：用可学习信任边界分隔符防御提示注入

    提出 LTBD，用可学习分隔符隔离可信指令与不可信数据

    arXiv
    2610.11634
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等 4 个
    摘要LTBD 只训练四个分隔符嵌入。

    LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。

    深度解读完整解读
  3. 防御arXiv 2610.09941

    OrthoPurify 用一步正交投影净化被后门污染的视觉语言模型

    提出 OrthoPurify，用正交投影清除视觉语言模型适配器中的劫持方向

    arXiv
    2610.09941
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    LLaVA-1.5-7B、Qwen3-VL-8B、LLaVA-1.5-13B 等 5 个
    摘要一次投影去掉劫持方向。

    OrthoPurify 是部署前的 LVLM 后门净化方法，用一次正交投影去掉被劫持的权重更新方向。

    深度解读完整解读
  5. 防御arXiv 2610.09043

    CARE：安全高效的人机协作决策框架

    提出 CARE 框架，在误分类风险约束下减少人机协作的人工查询

    arXiv
    2610.09043
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Qwen3-VL-2B-Instruct、Perspective、Moderation 等 9 个
    摘要CARE 以残差校正加逐步校准做人机决策，四个任务上少查询并控制集成风险。

    CARE 是面向人机协同二分类的端到端流水线，要在误分类风险不超过用户容忍的前提下减少人类查询。设定是 i.i.d.数据流、人类 oracle 标签正确、AI 为任意黑盒概率分类器。

    深度解读完整解读
  6. 防御arXiv 2610.07570

    ProbeGuard：按共识形成过程判断弃答，识别医疗问答中的一致错误

    提出 ProbeGuard，按共识形成过程对医疗问答做选择性弃答

    arXiv
    2610.07570
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Qwen3-8B、Llama-3.1-8B-Instruct、HuatuoGPT-o1-8B
    摘要ProbeGuard 用共识形成过程做可认证弃权，并在全票层分开答对与答错的共识。

    ProbeGuard 是给多轮共识医学问答用的认证弃权框架：基板照原样作答，弃权只看共识是怎么形成的。

    深度解读完整解读
  7. 防御arXiv 2610.07403

    针对 LLM 谄媚的纵深防御：记忆门控对激活诱导与记忆诱导谄媚的评估

    评测记忆门控对激活诱导与记忆诱导谄媚的防御效果

    arXiv
    2610.07403
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 等 4 个
    摘要作者称外部记忆过滤成立，数据未显示反向转向再有贡献。

    作者在四个开源指令模型上，把激活转向和外部记忆处理放进同一纵深防御协议，看记忆诱发谄媚和内部谄媚压力能否分开压低，以及个性化效用还剩多少。要处理的问题是：检索到的用户历史会推动模型顺从存储信念。只改外部上下文，并不直接动模型内部的谄媚表征。

    深度解读完整解读
  8. 防御arXiv 2610.06576

    研究：智能体欺骗行为在外部显现前已可从内部表征预测

    提出基于决策前隐藏状态的检测与引导，预测并抑制智能体欺骗

    arXiv
    2610.06576
    发表
    层
    模型层
    场景
    AI Agent
    被测模型
    Qwen3-14B

    摘要论文展示了智能体自发欺骗可在行为显现前由内部表征预测，并通过激活引导证实了表征的行为可操作性。

    深度解读完整解读
  9. 防御arXiv 2610.05870

    MBZUAI 提出可校准的真实图像认证方法

    提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动

    arXiv
    2610.05870
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    白盒

    摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。

    深度解读完整解读
  10. 防御arXiv 2610.05826

    研究者提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露

    提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露

    arXiv
    2610.05826
    发表
    层
    应用层
    场景
    LLM 应用
    摘要用截止期限制未核验可见时长。

    这篇工作给持续摄入的 RAG 向量库一个失败关闭的临时可见性协议，把协议能限制的未核验暴露和依赖检测器的中毒暴露分开。

    深度解读完整解读
  11. 防御arXiv 2610.05219

    AURA：用正交适配缓解 LLM 推理与安全对齐的子空间干扰

    提出 AURA，用正交惩罚分开顺序适配中的推理与安全子空间

    arXiv
    2610.05219
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen-3-14B、Qwen-2.5-14B-Instruct、Llama-3-8B-Instruct 等 4 个
    摘要AURA 用子空间正交分开顺序任务。

    AURA 是面向共享骨干智能体的顺序 LoRA 正则，用来分开前后任务的残差子空间。

    深度解读完整解读
  12. 防御arXiv 2610.05162

    MemAdapter：用反事实适配缓解记忆诱发的谄媚

    提出 MemAdapter，在检索后约束记忆对智能体推理的影响

    arXiv
    2610.05162
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    DeepSeek-V4-Flash、GPT-5.6-sol、Qwen3-8B
    摘要检索后三阶段调节记忆角色。

    MemAdapter 是给长期记忆智能体用的检索后调节框架，用来处理记忆诱发谄媚。

    深度解读完整解读
  13. 防御arXiv 2610.04860

    研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预

    分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预

    arXiv
    2610.04860
    发表
    层
    模型层
    场景
    LLM 应用
    被测模型
    LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct
    摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。

    论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。

    深度解读完整解读
  14. 防御arXiv 2610.04412

    论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性

    提出检测、结构化与 GSPO 流程，降低共识生成的提示注入错位

    arXiv
    2610.04412
    发表
    层
    应用层
    场景
    LLM 应用、多智能体
    被测模型
    LLaMA-2 7B、LLaMA-3 8B、GPT 3.5 Turbo 等 14 个
    摘要三章依次做个体偏好预测、政党知识图谱审议，以及共识生成对提示注入的脆弱性与一条防御流程。

    这是一篇把 LLM 数字孪生放进增强民主的博士论文，分个体表示、政党聚合和共识生成的提示注入三章。

    深度解读完整解读
  16. 防御arXiv 2610.04699

    CoVer：用干预检验为 Agent 构造可判定规则边界

    提出 COVER，用干预门判定 Agent 规则谓词能否自动执行

    arXiv
    2610.04699
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Sonnet、Claude Opus、GPT-4o 等 5 个
    摘要自可判定不能向模型索取。

    这篇工作测的是智能体验证器在检查之前的分流：外部规则里的哪条谓词能用固定过程解决，哪条必须交给评审。

    深度解读完整解读
  20. 防御arXiv 2610.02349

    MIRROR：面向多智能体通信的法定人数完整性防御

    提出 MIRROR，用多路径摘要多数表决保障多智能体通信完整性

    arXiv
    2610.02349
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Gemma-4-31B-it、Gemini 2.5 Pro
    摘要MIRROR 靠多数路径。

    MIRROR 是 LLM 多智能体通信层上的多路径法定人数完整性原语，只处理不透明字节，不解释消息内容。要处理的是 Agent-in-the-Middle：中介合法终结 TLS 后可改在途消息，而语义校验有推理开销和误拦，签名又要求私钥管理。做法是生成结束后复制同一规范化载荷。

    深度解读完整解读
加载更多