跳到正文
10月9日 · 周五

全部论文

找到 65 篇
筛选5

攻击类型

越狱1提示注入16投毒与后门6恶意使用4

攻击技术

多轮渐进1编码与混淆1角色扮演与说服1跨模态载荷2潜伏触发2

模型自身风险

欺骗与谋划6奖励作弊3失准与价值偏离2Agent 危险操作8危险能力5拒答失当1幻觉与编造1

防御类型

推理时干预1检测与过滤1权限与审批1监控与审计6

影响

有害内容1越权操作15数据与隐私泄露3输出被操纵9可用性与可靠性4监督失效11滥用能力提升3

系统形态

模型与 API46LLM 应用11AI Agent142编程 Agent41网页与电脑操作15多智能体13具身与机器人6

攻击者权限

黑盒1

攻击面/入口

用户输入9网页与界面5文档与消息6工具返回2工具与技能描述5代码仓库与依赖5检索语料2记忆写入4Agent 间消息4图像与音视频3权重与梯度1分发渠道3

层

模型层1应用层64训练与数据层1

系统组件

MCP 与技能4记忆6RAG1护栏与评审6监控器9推理链2权限与沙箱3微调与开源权重1视觉5多模态5
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 430 篇还没打标签，不在筛选结果里。
系统形态：编程 Agent系统形态：网页与电脑操作系统形态：多智能体层：模型层层：应用层清除全部

另有 430 篇论文还没打上分类标签，暂不在筛选结果里。

  12. 评测与基准arXiv 2610.02480

    MEA：面向忠实模型解释的奖励驱动多智能体系统

    提出奖励驱动多智能体系统 MEA，生成可扰动核对的忠实解释

    arXiv
    2610.02480
    发表
    层
    应用层
    场景
    多智能体
    摘要MEA 用忠实性奖励训练双智能体，把工具输出收成可扰动核对的解释。

    MEA 是一个奖励驱动的双智能体，用来给黑盒分类器的单次预测写自然语言解释，并检查解释能否被扰动后的模型行为支持。

    深度解读完整解读
  14. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控的告警策略

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  15. 评测与基准arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  16. 评测与基准arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  18. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  19. 评测与基准arXiv 2610.02928

    研究用变异分析检验智能体基础设施验证套件的覆盖能力

    用变异分析检验会话投影层不变式套件的缺陷覆盖

    arXiv
    2610.02928
    发表
    层
    应用层
    场景
    多智能体
    摘要作者称通常的通过/失败证据价值不大：认证过的套件仍只杀死十个外部故障中的五个。

    作者测量一套看守智能体基础设施的不变式套件：通常拿来许可部署的「通过正确代码、失败损坏代码」，实际上能支持什么。

    深度解读完整解读
加载更多