跳到正文
10月10日 · 周六

全部论文

找到 86 篇
筛选2

攻击类型

越狱4提示注入25投毒与后门7恶意使用5

攻击技术

自动化搜索3跨模态载荷3

模型自身风险

欺骗与谋划14奖励作弊9失准与价值偏离3Agent 危险操作25

防御类型

检测与过滤4权限与审批3监控与审计10

影响

有害内容45越权操作53数据与隐私泄露26输出被操纵78可用性与可靠性32监督失效33滥用能力提升11

系统形态

模型与 API11AI Agent74coding agent20web agent5网页与电脑操作6多智能体5具身与机器人5

攻击面/入口

用户输入19网页与界面5文档与消息9工具返回12工具与技能描述7代码仓库与依赖3记忆写入4Agent 间消息4图像与音视频3

层

提示层5模型层11应用层69

系统组件

MCP 与技能7记忆6护栏与评审12监控器18推理链5权限与沙箱8视觉5多模态6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 194 篇还没打标签，不在筛选结果里。
影响：越权操作影响：监督失效清除全部

另有 194 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2610.10150

    论文指出 LLM 漏洞修复基准可靠性受评测设计影响

    用对照实验隔离评测设计对漏洞补丁基准得分的影响

    arXiv
    2610.10150
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Sonnet 4.0、Claude Sonnet 4.5、Claude Opus 4.7
    摘要作者认为评测流水线会改变补丁基准分数，PoC 通过率高于开发者测试通过率。

    作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象，并明确说本文不是再做一个用于排名的基准。

    深度解读完整解读
  3. 评测与基准arXiv 2610.07967

    DecepEval：覆盖 28 个专业场景的 LLM 智能体欺骗评测基准

    构建基准 DECEPEVAL，评测 LLM 智能体在外部条件下的欺骗

    arXiv
    2610.07967
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 9 个
    摘要DECEPEVAL 用配对诱导比较智能体欺骗。

    DECEPEVAL 是一个评测 LLM 智能体欺骗如何随任务、职业场景和外部条件变化的基准。

    深度解读完整解读
  4. 评测与基准arXiv 2610.07753

    SafeActBench 发布：工具型 Agent 在证据到行动链上的失败模式

    构建 SAFEACTBENCH 评测工具型 Agent 的证据到行动失败

    arXiv
    2610.07753
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Opus 5、GPT-5.6 Sol、DeepSeek-V4-Flash 等 5 个
    摘要作者称失败常起于调查不足或过早行动，证据齐后的单步则少失败。

    SAFEACTBENCH 评测工具智能体的 consequential actions 是否由行动前已建立的证据支持，而不是只看终态对不对。

    深度解读完整解读
  6. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性

    arXiv
    2610.07359
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    AgentTrust runtime (174 rules)、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等 7 个
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  7. 评测与基准arXiv 2610.07274

    研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    提出 Trust Layer 后置审查框架，核验智能体基准记录分数是否可信

    arXiv
    2610.07274
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个

    摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。

    深度解读完整解读
  8. 评测与基准arXiv 2610.06406

    AgentMonBench：面向长时程智能体行为监控的软件工程基准

    提出 AgentMonBench 评测长时程编程智能体监控并检验 EBG

    arXiv
    2610.06406
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    GPT-5.6 Luna、GPT-5.6 Terra、GPT-5.6 Sol 等 8 个
    摘要AgentMonBench 评测后果性决策监控，EBG 组织证据。

    长时程软件工程任务里，用户要判断智能体哪些选择值得核验。作者用 AgentMonBench 评测监控器，并用免训练的 EBG 组织带源证据。

    深度解读完整解读
  12. 评测与基准arXiv 2610.05622

    UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

    提出 UndoBench，解耦工具型 Agent 的任务能力与故障恢复能力

    arXiv
    2610.05622
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 等 4 个

    摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。

    深度解读完整解读
  13. 评测与基准arXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测 Agent 何时应先请示用户再行动

    arXiv
    2610.05532
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
  15. 评测与基准arXiv 2610.04914

    研究提出 monitorability disposition 指标

    AI 导读研究者提出并测量了 monitorability disposition，即模型在推理过程中愿意让自己可被监控并保持被监控的程度，用模型通过工具调用主动自我报告不当行为的比例来量化。

    arXiv
    2610.04914
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    DeepSeek-V4-Pro、DeepSeek-V4-Flash、gpt-oss-120b 等 4 个

    摘要大推理模型缺乏自报意愿，偏好宽容通道并掩盖严重度，需专门对齐。

    深度解读完整解读
  16. 评测与基准arXiv 2610.04737

    PyINE：用可验证 Python 执行轨迹研究推理模型的捷径与监督

    提出 PyINE 基准，训练捷径跟随模型并比较监督者

    arXiv
    2610.04737
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    shortcut-following model organism、gpt-4o、gpt-5 等 12 个
    摘要PyINE 用可验证代码执行研究捷径失败的监督覆盖与成本权衡。

    PyINE 是用可执行程序研究推理模型引出与监督的框架，PyINE-v1 是其第一次发布。

    深度解读完整解读
  17. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计智能体激活监控的告警策略有效性

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  19. 评测与基准arXiv 2610.02741

    研究系统评估循环语言模型的思维链可监控性

    系统评估循环语言模型加深 loop 后的 CoT 可监控性

    arXiv
    2610.02741
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Ouro-1.4B-Thinking、Ouro-2.6B-Thinking、Nanbeige4.2-3B 等 4 个
    摘要加深 loop 可在部分压力测试任务降低可监测性，循环架构本身并不必然更难监测。

    这项工作评估 LoopLM 的 CoT 可监测性：加深共享层的重复次数，以及“有循环结构”本身，会不会让决策关键因素更少出现在可监测文本里。

    深度解读完整解读
加载更多