跳到正文
10月10日 · 周六

全部论文

找到 63 篇
筛选4

攻击类型

提示注入20投毒与后门12检测规避8

攻击技术

自动化搜索5编码与混淆3角色扮演与说服4对话结构操控3

模型自身风险

Agent 危险操作3幻觉与编造6

防御类型

模型加固3检测与过滤10指令与数据隔离4监控与审计3

影响

有害内容10越权操作43数据与隐私泄露26输出被操纵63可用性与可靠性12监督失效22滥用能力提升6

系统形态

模型与 API126LLM 应用48AI Agent84coding agent13science agent6web agent3网页与电脑操作2多智能体19具身与机器人5

攻击者权限

黑盒7

攻击面/入口

用户输入9网页与界面7文档与消息10代码仓库与依赖4检索语料11图像与音视频3训练数据3分发渠道3

层

提示层5模型层6应用层49训练与数据层3

系统组件

RAG12护栏与评审14监控器4视觉5多模态7
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 194 篇还没打标签，不在筛选结果里。
影响：输出被操纵系统形态：LLM 应用系统形态：coding agent系统形态：网页与电脑操作清除全部

另有 194 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 攻击arXiv 2610.11932

    复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本

    测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答

    arXiv
    2610.11932
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Grok、Doubao、ChatGPT 等 10 个

    摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。

    深度解读完整解读
  4. 防御arXiv 2610.11634

    LTBD：用可学习信任边界分隔符防御提示注入

    提出 LTBD，用可学习分隔符隔离可信指令与不可信数据

    arXiv
    2610.11634
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等 4 个
    摘要LTBD 只训练四个分隔符嵌入。

    LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。

    深度解读完整解读
  6. 攻击arXiv 2610.09264

    研究者提出 PackHallu：经规则文件提示注入对编码 Agent 发起包幻觉攻击

    提出 PackHallu，经规则文件提示注入诱导编码 Agent 换用攻击者指定包

    arXiv
    2610.09264
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen2.5-Coder-7B、Qwen3-Coder-30B、Devstral-Small-2-24B 等 19 个
    摘要PackHallu 诱导规则文件换包。

    PackHallu 研究一种针对编程智能体规则文件的提示注入：让智能体在本应使用合法依赖时，改导入攻击者指定并控制的包。

    深度解读完整解读
  7. 防御arXiv 2610.09043

    CARE：安全高效的人机协作决策框架

    提出 CARE 框架，在误分类风险约束下减少人机协作的人工查询

    arXiv
    2610.09043
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Qwen3-VL-2B-Instruct、Perspective、Moderation 等 9 个
    摘要CARE 以残差校正加逐步校准做人机决策，四个任务上少查询并控制集成风险。

    CARE 是面向人机协同二分类的端到端流水线，要在误分类风险不超过用户容忍的前提下减少人类查询。设定是 i.i.d.数据流、人类 oracle 标签正确、AI 为任意黑盒概率分类器。

    深度解读完整解读
  10. 防御arXiv 2610.07570

    ProbeGuard：按共识形成过程判断弃答，识别医疗问答中的一致错误

    提出 ProbeGuard，按共识形成过程对医疗问答做选择性弃答

    arXiv
    2610.07570
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Qwen3-8B、Llama-3.1-8B-Instruct、HuatuoGPT-o1-8B
    摘要ProbeGuard 用共识形成过程做可认证弃权，并在全票层分开答对与答错的共识。

    ProbeGuard 是给多轮共识医学问答用的认证弃权框架：基板照原样作答，弃权只看共识是怎么形成的。

    深度解读完整解读
  11. 防御arXiv 2610.07403

    针对 LLM 谄媚的纵深防御：记忆门控对激活诱导与记忆诱导谄媚的评估

    评测记忆门控对激活诱导与记忆诱导谄媚的防御效果

    arXiv
    2610.07403
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 等 4 个
    摘要作者称外部记忆过滤成立，数据未显示反向转向再有贡献。

    作者在四个开源指令模型上，把激活转向和外部记忆处理放进同一纵深防御协议，看记忆诱发谄媚和内部谄媚压力能否分开压低，以及个性化效用还剩多少。要处理的问题是：检索到的用户历史会推动模型顺从存储信念。只改外部上下文，并不直接动模型内部的谄媚表征。

    深度解读完整解读
  12. 防御arXiv 2610.05870

    MBZUAI 提出可校准的真实图像认证方法

    提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动

    arXiv
    2610.05870
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    白盒

    摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。

    深度解读完整解读
  13. 防御arXiv 2610.05826

    研究者提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露

    提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露

    arXiv
    2610.05826
    发表
    层
    应用层
    场景
    LLM 应用
    摘要用截止期限制未核验可见时长。

    这篇工作给持续摄入的 RAG 向量库一个失败关闭的临时可见性协议，把协议能限制的未核验暴露和依赖检测器的中毒暴露分开。

    深度解读完整解读
  14. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    提出拓扑条件后门，使代码模型在推断多智能体部署时植入漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  15. 分析与理论arXiv 2610.06163

    SAGE：定位 LLM Agent 修复中最早偏离安全意图的环节

    提出 SAGE，定位代码修复 Agent 最早偏离安全意图的轮次

    arXiv
    2610.06163
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    GPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro 等 6 个
    摘要SAGE 在已通过检查的修复轨迹上定位静默失败的最早偏离，类型比轮次更稳定。

    SAGE 在已通过语法和功能检查、但仍含确认安全缺陷的智能体修复轨迹上，定位最早可归因的安全意图偏离。。

    深度解读完整解读
  17. 攻击arXiv 2610.04985

    研究揭示 Jev 作为应用决策层的安全与隐私风险

    评估应用决策层的输入注入与隐私推断风险

    arXiv
    2610.04985
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒、灰盒
    被测模型
    Jev、NanoJev
    摘要Jev 的类型化决策可被输入与训练操纵，也会泄露信息，并同时支持检测与滥用。

    Jev 是 TypeSafe 的 System One 模型，把应用 state 和固定问题变成 Choice、Noul 或 Score 的类型化决策与概率。作者用官方 API 和可改训练的 NanoJev，考察它作为决策层时的操纵、泄露与双重用途。

    深度解读完整解读
  18. 分析与理论arXiv 2610.04860

    研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预

    分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预

    arXiv
    2610.04860
    发表
    层
    模型层
    场景
    LLM 应用
    被测模型
    LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct
    摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。

    论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。

    深度解读完整解读
  19. 防御arXiv 2610.04412

    论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性

    提出检测、结构化与 GSPO 流程，降低共识生成的提示注入错位

    arXiv
    2610.04412
    发表
    层
    应用层
    场景
    LLM 应用、多智能体
    被测模型
    LLaMA-2 7B、LLaMA-3 8B、GPT 3.5 Turbo 等 14 个
    摘要三章依次做个体偏好预测、政党知识图谱审议，以及共识生成对提示注入的脆弱性与一条防御流程。

    这是一篇把 LLM 数字孪生放进增强民主的博士论文，分个体表示、政党聚合和共识生成的提示注入三章。

    深度解读完整解读
加载更多