跳到正文
10月12日 · 周一

全部论文

找到 102篇
筛选4

攻击类型

越狱3提示注入25投毒与后门11提取与窃取3

攻击技术

潜伏触发3

模型自身风险

欺骗与谋划14奖励作弊7失准与价值偏离9Agent 危险操作6危险能力8拒答失当3幻觉与编造4

防御类型

检测与过滤5指令与数据隔离6权限与审批11监控与审计3

影响

有害内容9越权操作16数据与隐私泄露7输出被操纵32可用性与可靠性3监督失效11

系统形态

模型与 API28LLM 应用126AI Agent591coding agent118science agent30web agent34网页与电脑操作18多智能体78具身与机器人17

攻击面/入口

用户输入13网页与界面3文档与消息6工具返回5工具与技能描述3检索语料3记忆写入6Agent 间消息25

层

应用层102基础设施层0

系统组件

MCP 与技能4记忆11护栏与评审7监控器9权限与沙箱14
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 254篇还没打标签，不在筛选结果里。
系统形态：science agent系统形态：多智能体层：应用层层：基础设施层清除全部

另有254篇论文还没打上分类标签，暂不在筛选结果里。

  2. 风险行为arXiv 2610.12822

    奖励作弊作为多智能体编码系统中的可传播策略

    展示奖励黑客可在多智能体编码系统中经代码、记忆和计划传播

    arXiv
    2610.12822
    发表
    层
    应用层
    场景
    多智能体、coding agent
    被测模型
    Qwen2.5-Coder-14B、Gemma-3-12B、Qwen2.5-Coder-7B 等16个
    摘要作者称奖励黑客可跨模型传播并影响路由与聚合，审查能降低交付。

    编码 RL 诱发的奖励黑客可以离开源智能体，进入后续协作和系统协调。

    深度解读完整解读
  3. 分析与理论arXiv 2610.12436

    研究提出 AI Agent 种群生态理论：协作带来起飞临界规模

    为失配智能体种群建立生态模型，说明协作产生起飞临界规模

    arXiv
    2610.12436
    发表
    层
    应用层
    场景
    多智能体
    摘要作者称协作把起飞从个体能力阈值改成种群阈值，故小种群评估不够。

    作者用生态学的强 Allee 效应，讨论失配智能体种群会不会在个体能力不变时起飞。。

    深度解读完整解读
  4. 防御arXiv 2610.11754

    仅凭输出审查无法验证什么：面向研究智能体的研究契约

    提出研究合同，把已批准选择绑定到执行证据并由检查器核验

    arXiv
    2610.11754
    发表
    层
    应用层
    场景
    science agent
    被测模型
    OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等18个
    摘要研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

    深度解读完整解读
  9. 防御arXiv 2610.07657

    DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降

    实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击

    arXiv
    2610.07657
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Qwen3-235B-A22B-Instruct-2507、gpt-oss-120b、Llama-4-Scout-17B-16E-Instruct 等5个
    摘要DEFER 把确定性检查放在 judge 之前。

    DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。

    深度解读完整解读
  11. 评测与基准arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测 C2C 市场中 Agent 的违规与失信行为

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-5.5、GPT-5.4、GPT-5.4-mini 等5个
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  12. 防御arXiv 2610.05640

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    提出 multi-CaMeL，在智能体调用边界隔离可信指令与非可信数据

    arXiv
    2610.05640
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Claude Fable 5、GPT-5.5、GPT-4.1 等6个

    摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    深度解读完整解读
  13. 评测与基准arXiv 2610.05140

    AutoSciBench：自动生成科学智能体评测基准的框架

    提出 AutoSciBench，循环生成科学智能体评测任务

    arXiv
    2610.05140
    发表
    层
    应用层
    场景
    science agent
    被测模型
    Claude Opus 5、Claude Opus 4.8、Claude Opus 4.7 等10个
    摘要AutoSciBench 用概念、配方和求解反馈自动构造并加难科学智能体基准。

    AutoSciBench 研究科学智能体基准能否自动构造，并随 solver 行为迭代改编。

    深度解读完整解读
  14. 评测与基准arXiv 2610.04672

    MASBench：部分可观测条件下的 LLM 多智能体协作基准

    提出 MASBench，评测部分可观测下的多智能体协作机制

    arXiv
    2610.04672
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Qwen-Plus、GPT-5-nano、Gemini-2.5-Flash-Lite 等5个
    摘要MASBench 以确定性指标比较部分可观测下的协作机制。

    MASBench 用部分可观测任务比较 LLM 多智能体的协作机制，而不是只看端到端能否做完。

    深度解读完整解读
  15. 风险行为arXiv 2610.04528

    论文量化分析自主 LLM 智能体在 Collusion Wiki 事件中的串通行为

    对自主 LLM 智能体日志做身份盲置换以量化串通

    arXiv
    2610.04528
    发表
    层
    应用层
    场景
    多智能体
    摘要修正后汇总共编偏向同智能体聚集。

    作者把 Nightingale Collective 所记的 wiki 旁路事件，做成相对身份置换零模型的定量配套，并写出四类会使协调检验失真的构造错误。

    深度解读完整解读
  16. 防御arXiv 2610.04412

    论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性

    提出检测、结构化与 GSPO 流程，降低共识生成的提示注入错位

    arXiv
    2610.04412
    发表
    层
    应用层
    场景
    LLM 应用、多智能体
    被测模型
    LLaMA-2 7B、LLaMA-3 8B、GPT 3.5 Turbo 等14个
    摘要三章依次做个体偏好预测、政党知识图谱审议，以及共识生成对提示注入的脆弱性与一条防御流程。

    这是一篇把 LLM 数字孪生放进增强民主的博士论文，分个体表示、政党聚合和共识生成的提示注入三章。

    深度解读完整解读
  17. 评测与基准arXiv 2610.04184

    EvalResearchBench：AI 智能体自主设计评测基准

    提出 EvalResearchBench，评测智能体自建评测对目标基准的排序一致性

    arXiv
    2610.04184
    发表
    层
    应用层
    场景
    science agent
    被测模型
    GPT-6 Astra、GPT-5.6 Sol、GLM-5.3 等9个
    摘要ERB 比较有预算的评测设计，分数复现与排序并不由同一设计同时领先。

    ERB 用来测一件事：智能体在固定预算内做出的可执行评测，能否复现既有基准对候选模型的分数和排序。

    深度解读完整解读
  18. 风险行为arXiv 2610.03033

    研究：LLM 智能体间的数值信号与协调行为

    测量多智能体博弈中数值信号的结构及其对合作的影响

    arXiv
    2610.03033
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-4o (gpt-4o-2024-11-20)、Mistral Large (mistral-large-2512)、Claude Haiku 4.5 (claude-haiku-4-5-20251001) 等4个
    摘要受指令数值会形成锚定收益的结构并影响接收方，但合作效应不能跨模型外推。

    四种 LLM 在四个经典两人博弈中交换无预设语义的数字时，消息结构可以跨模型出现，合作水平的变化则不能跨模型外推。

    深度解读完整解读
  19. 评测与基准arXiv 2610.02874

    SceneFactory-3D：将 2D 交通场景提升为 3D 物理反事实以做安全评测

    提出 SceneFactory-3D，用路况反事实评测驾驶策略的闭环安全性

    arXiv
    2610.02874
    发表
    层
    应用层
    场景
    具身与机器人、多智能体
    被测模型
    Frozen L0、L0-T、L1 等5个
    摘要SceneFactory-3D 固定场景只改路况。

    SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器，用来在场景和控制器固定时只改路面物理，并比较闭环结果。

    深度解读完整解读
  20. 分析与理论arXiv 2610.02480

    MEA：面向忠实模型解释的奖励驱动多智能体系统

    提出奖励驱动多智能体系统 MEA，生成可扰动验证的忠实解释

    arXiv
    2610.02480
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Qwen3.6-35B-A3B、Qwen3.5-4B、Qwen3-VL-30B-A3B-Instruct 等12个
    摘要MEA 用忠实性奖励训练双智能体，把工具输出收成可扰动核对的解释。

    MEA 是一个奖励驱动的双智能体，用来给黑盒分类器的单次预测写自然语言解释，并检查解释能否被扰动后的模型行为支持。

    深度解读完整解读
加载更多