跳到正文
10月9日 · 周五

全部论文

找到 62 篇
筛选4

攻击类型

越狱2提示注入16投毒与后门6恶意使用4

攻击技术

多轮渐进1编码与混淆2角色扮演与说服1对话结构操控1跨模态载荷1潜伏触发2

模型自身风险

欺骗与谋划6奖励作弊3失准与价值偏离2Agent 危险操作6危险能力5拒答失当1幻觉与编造1

防御类型

检测与过滤4权限与审批1监控与审计5

影响

有害内容2越权操作14数据与隐私泄露1输出被操纵13可用性与可靠性4监督失效9滥用能力提升3

系统形态

LLM 应用10AI Agent138编程 Agent40网页与电脑操作15多智能体13具身与机器人5

攻击者权限

黑盒1

攻击面/入口

用户输入10网页与界面2文档与消息6工具返回2工具与技能描述5代码仓库与依赖5检索语料4记忆写入4Agent 间消息4图像与音视频1权重与梯度1分发渠道3

层

提示层2模型层2应用层62训练与数据层1

系统组件

MCP 与技能4记忆5RAG3护栏与评审11监控器8推理链1权限与沙箱3微调与开源权重1视觉2多模态2
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 429 篇还没打标签，不在筛选结果里。
系统形态：LLM 应用系统形态：编程 Agent系统形态：多智能体层：应用层清除全部

另有 429 篇论文还没打上分类标签，暂不在筛选结果里。

  10. 评测与基准arXiv 2610.02480

    MEA：面向忠实模型解释的奖励驱动多智能体系统

    提出奖励驱动多智能体系统 MEA，生成可扰动核对的忠实解释

    arXiv
    2610.02480
    发表
    层
    应用层
    场景
    多智能体
    摘要MEA 用忠实性奖励训练双智能体，把工具输出收成可扰动核对的解释。

    MEA 是一个奖励驱动的双智能体，用来给黑盒分类器的单次预测写自然语言解释，并检查解释能否被扰动后的模型行为支持。

    深度解读完整解读
  11. 评测与基准arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  12. 评测与基准arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  13. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  14. 评测与基准arXiv 2610.02928

    研究用变异分析检验智能体基础设施验证套件的覆盖能力

    用变异分析检验会话投影层不变式套件的缺陷覆盖

    arXiv
    2610.02928
    发表
    层
    应用层
    场景
    多智能体
    摘要作者称通常的通过/失败证据价值不大：认证过的套件仍只杀死十个外部故障中的五个。

    作者测量一套看守智能体基础设施的不变式套件：通常拿来许可部署的「通过正确代码、失败损坏代码」，实际上能支持什么。

    深度解读完整解读
  16. 评测与基准arXiv 2609.05947

    超越最终决策：面向透明 AI 辅助同行评审的流程中心基准

    提出过程中心基准，检验 AI 辅助评审终审是否被中间证据支撑

    arXiv
    2609.05947
    发表
    层
    应用层
    场景
    LLM 应用
    摘要过程基准显示人工对齐变量更有决策价值，模型中间文本并未稳定支撑终审。

    该基准用来检查 AI 辅助同行评审的中间证据是否支撑最终决策，而不是只看终审对错。。

    深度解读完整解读
  17. 评测与基准arXiv 2609.02095

    READY：面向企业 Agent 部署的可靠性资格认证框架

    提出 READY 资格框架，评测企业 Agent 在监督下的可靠性与复核成本

    arXiv
    2609.02095
    发表
    层
    应用层
    场景
    编程 Agent
    摘要READY 把工作流证据转成可检验的可靠性–监督–成本部署画像。

    READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。。

    深度解读完整解读
  18. 评测与基准arXiv 2608.04830

    ContextWeave：面向长周期办公工作流的智能体记忆基准

    提出办公工作流记忆基准 ContextWeave ，衡量历史召回对后续任务的增益

    arXiv
    2608.04830
    发表
    层
    应用层
    场景
    编程 Agent
    摘要ContextWeave 用真实办公任务流检验记忆是否改善工作区质量与偏好对齐。

    ContextWeave 是面向语言智能体记忆的纵向基准，用来看召回先前经验能否让后续办公任务做得更好。

    深度解读完整解读
加载更多