跳到正文
10月9日 · 周五

全部论文

找到 140 篇
筛选5

攻击类型

越狱6提示注入39投毒与后门19检测规避1恶意使用6

攻击技术

自动化搜索5多轮渐进1编码与混淆2角色扮演与说服1跨模态载荷3针对防御2潜伏触发6诱导选用2

模型自身风险

欺骗与谋划10奖励作弊4失准与价值偏离5Agent 危险操作27危险能力7拒答失当5幻觉与编造3

防御类型

模型加固2推理时干预1检测与过滤6指令与数据隔离1权限与审批5监控与审计8

影响

有害内容5越权操作44数据与隐私泄露11输出被操纵20可用性与可靠性13监督失效14滥用能力提升5

系统形态

LLM 应用11AI Agent140编程 Agent40网页与电脑操作15多智能体13具身与机器人5

攻击者权限

黑盒2

攻击面/入口

用户输入24网页与界面8文档与消息15工具返回18工具与技能描述9代码仓库与依赖5检索语料3记忆写入12Agent 间消息4图像与音视频4权重与梯度1分发渠道4推理服务与硬件1

层

模型层4应用层140训练与数据层2

系统组件

MCP 与技能12记忆19RAG2护栏与评审13监控器14推理链2权限与沙箱10微调与开源权重1视觉7音频2多模态8
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 534 篇还没打标签，不在筛选结果里。
系统形态：AI Agent系统形态：编程 Agent系统形态：多智能体系统形态：具身与机器人层：应用层清除全部

另有 534 篇论文还没打上分类标签，暂不在筛选结果里。

  5. 评测与基准arXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    arXiv
    2610.05532
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
  12. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult，实测 Agent 动作门控栈的层间错误相关性

    arXiv
    2610.07359
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    AgentTrust runtime (174 rules)、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等 7 个
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  13. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  14. 评测与基准arXiv 2610.07274

    研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性

    arXiv
    2610.07274
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个

    摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。

    深度解读完整解读
  17. 评测与基准arXiv 2610.07967

    DecepEval：覆盖 28 个专业场景的 LLM 智能体欺骗评测基准

    提出 DECEPEVAL，评测智能体在外部诱导下的欺骗行为

    arXiv
    2610.07967
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 9 个
    摘要DECEPEVAL 用配对诱导比较智能体欺骗。

    DECEPEVAL 是一个评测 LLM 智能体欺骗如何随任务、职业场景和外部条件变化的基准。

    深度解读完整解读
加载更多