跳到正文
10月10日 · 周六

全部论文

找到 143 篇
筛选5

攻击类型

提示注入30投毒与后门14提取与窃取7检测规避9恶意使用5

攻击技术

潜伏触发3

模型自身风险

欺骗与谋划11奖励作弊3失准与价值偏离6Agent 危险操作12

防御类型

模型加固4检测与过滤16指令与数据隔离9权限与审批11监控与审计7

影响

有害内容8越权操作24数据与隐私泄露15输出被操纵38可用性与可靠性4监督失效13

系统形态

模型与 API8LLM 应用70AI Agent407coding agent82science agent17web agent15网页与电脑操作13多智能体53具身与机器人9

攻击者权限

黑盒12

攻击面/入口

用户输入20网页与界面10文档与消息13工具返回8工具与技能描述5代码仓库与依赖3检索语料12记忆写入5Agent 间消息15图像与音视频7

层

提示层6模型层14应用层143训练与数据层10

系统组件

MCP 与技能8记忆9RAG17护栏与评审23监控器13权限与沙箱13视觉7多模态10
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 440 篇还没打标签，不在筛选结果里。
系统形态：LLM 应用系统形态：网页与电脑操作系统形态：多智能体系统形态：具身与机器人层：应用层清除全部

另有 440 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.12292

    论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作

    提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作

    arXiv
    2610.12292
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    被测模型
    LAYA-TD、LAYA-EN、LAYA-ML 等 5 个

    摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。

    深度解读完整解读
  2. 攻击arXiv 2610.11932

    复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本

    测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答

    arXiv
    2610.11932
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Grok、Doubao、ChatGPT 等 10 个

    摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。

    深度解读完整解读
  5. 评测与基准arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测 C2C 市场中 Agent 的违规与失信行为

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  7. 防御arXiv 2610.05870

    MBZUAI 提出可校准的真实图像认证方法

    提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动

    arXiv
    2610.05870
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    白盒

    摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。

    深度解读完整解读
  8. 防御arXiv 2610.05826

    研究者提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露

    提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露

    arXiv
    2610.05826
    发表
    层
    应用层
    场景
    LLM 应用
    摘要用截止期限制未核验可见时长。

    这篇工作给持续摄入的 RAG 向量库一个失败关闭的临时可见性协议，把协议能限制的未核验暴露和依赖检测器的中毒暴露分开。

    深度解读完整解读
  9. 防御arXiv 2610.05640

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    提出 multi-CaMeL，在智能体调用边界隔离可信指令与非可信数据

    arXiv
    2610.05640
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Claude Fable 5、GPT-5.5、GPT-4.1 等 6 个

    摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    深度解读完整解读
  10. 攻击arXiv 2610.04985

    研究揭示 Jev 作为应用决策层的安全与隐私风险

    评估应用决策层的输入注入与隐私推断风险

    arXiv
    2610.04985
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒、灰盒
    被测模型
    Jev、NanoJev
    摘要Jev 的类型化决策可被输入与训练操纵，也会泄露信息，并同时支持检测与滥用。

    Jev 是 TypeSafe 的 System One 模型，把应用 state 和固定问题变成 Choice、Noul 或 Score 的类型化决策与概率。作者用官方 API 和可改训练的 NanoJev，考察它作为决策层时的操纵、泄露与双重用途。

    深度解读完整解读
  11. 评测与基准arXiv 2610.04672

    MASBench：部分可观测条件下的 LLM 多智能体协作基准

    提出 MASBench，评测部分可观测下的多智能体协作机制

    arXiv
    2610.04672
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Qwen-Plus、GPT-5-nano、Gemini-2.5-Flash-Lite 等 5 个
    摘要MASBench 以确定性指标比较部分可观测下的协作机制。

    MASBench 用部分可观测任务比较 LLM 多智能体的协作机制，而不是只看端到端能否做完。

    深度解读完整解读
  12. 风险行为arXiv 2610.04528

    论文量化分析自主 LLM 智能体在 Collusion Wiki 事件中的串通行为

    对自主 LLM 智能体日志做身份盲置换以量化串通

    arXiv
    2610.04528
    发表
    层
    应用层
    场景
    多智能体
    摘要修正后汇总共编偏向同智能体聚集。

    作者把 Nightingale Collective 所记的 wiki 旁路事件，做成相对身份置换零模型的定量配套，并写出四类会使协调检验失真的构造错误。

    深度解读完整解读
  13. 防御arXiv 2610.04412

    论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性

    提出检测、结构化与 GSPO 流程，降低共识生成的提示注入错位

    arXiv
    2610.04412
    发表
    层
    应用层
    场景
    LLM 应用、多智能体
    被测模型
    LLaMA-2 7B、LLaMA-3 8B、GPT 3.5 Turbo 等 14 个
    摘要三章依次做个体偏好预测、政党知识图谱审议，以及共识生成对提示注入的脆弱性与一条防御流程。

    这是一篇把 LLM 数字孪生放进增强民主的博士论文，分个体表示、政党聚合和共识生成的提示注入三章。

    深度解读完整解读
  14. 评测与基准arXiv 2610.04366

    CrashSim 用真实事故先验生成碰撞场景并构建 nuCrash 数据集

    提出 CrashSim 用真实事故先验引导扩散仿真并构建 nuCrash 评测自动驾驶规划器

    arXiv
    2610.04366
    发表
    层
    应用层
    场景
    具身与机器人
    被测模型
    Lane-graph planner、PDM-closed planner、IL planner 等 5 个
    摘要CrashSim 迁入真实事故先验生成场景。

    CrashSim 用检索到的真实事故先验引导扩散式多车仿真，为自动驾驶安全评测生成碰撞与近碰撞场景。。

    深度解读完整解读
  15. 防御arXiv 2610.03240

    通过模型路由与协作实现集体偏见缓解

    提出 CBM，用模型路由与多模型协作缓解群体偏见

    arXiv
    2610.03240
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Qwen/Qwen2.5-32B-Instruct、Qwen/Qwen2.5-14B-Instruct、google/gemma-2-9b-it 等 7 个
    摘要CBM 用路由挑选模型并按拓扑协作，在若干设定下降低 BBQ 偏见分。

    CBM 是一个推理时的多模型去偏框架：用路由为查询选模型，再按拓扑协作，以降低社会偏见分。

    深度解读完整解读
  16. 分析与理论arXiv 2610.03095

    研究：异构 AI 模型间的说服效果取决于配对而非模型规模

    量化异构模型在分歧分类上的同伴影响与回弹

    arXiv
    2610.03095
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    gemma-3-4b、gemma-3-27b、llama-3.1-8b 等 7 个
    摘要一次分歧交换就能大幅改判，且组合行为不能从个体属性外推。

    这篇工作测量异构语言模型智能体在共同分类任务上的单次同伴影响，而不是评多智能体系统的整体基准分。

    深度解读完整解读
  17. 风险行为arXiv 2610.03033

    研究：LLM 智能体间的数值信号与协调行为

    测量多智能体博弈中数值信号的结构及其对合作的影响

    arXiv
    2610.03033
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-4o (gpt-4o-2024-11-20)、Mistral Large (mistral-large-2512)、Claude Haiku 4.5 (claude-haiku-4-5-20251001) 等 4 个
    摘要受指令数值会形成锚定收益的结构并影响接收方，但合作效应不能跨模型外推。

    四种 LLM 在四个经典两人博弈中交换无预设语义的数字时，消息结构可以跨模型出现，合作水平的变化则不能跨模型外推。

    深度解读完整解读
  18. 评测与基准arXiv 2610.02874

    SceneFactory-3D：将 2D 交通场景提升为 3D 物理反事实以做安全评测

    提出 SceneFactory-3D，用路况反事实评测驾驶策略的闭环安全性

    arXiv
    2610.02874
    发表
    层
    应用层
    场景
    具身与机器人、多智能体
    被测模型
    Frozen L0、L0-T、L1 等 5 个
    摘要SceneFactory-3D 固定场景只改路况。

    SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器，用来在场景和控制器固定时只改路面物理，并比较闭环结果。

    深度解读完整解读
  19. 其他arXiv 2610.02662

    论文发现语言驱动机器人安全监控的细化缺口：安全高层计划可能产生不安全执行

    审计机器人安全监控的细化缺口，比较表面计划与图细化轨迹的裁决

    arXiv
    2610.02662
    发表
    层
    应用层
    场景
    具身与机器人
    摘要表面轨迹可漏掉图诱导的禁区进入。

    作者审计 RoboGuard 的一个假设：对高层动作轨迹的安全裁决，在补上语义图诱导的导航和已记录隐式效应之后是否仍然成立。做法是不改验证器，并固定同一条 LTL。

    深度解读完整解读
加载更多