跳到正文
10月9日 · 周五

全部论文

找到 190 篇
筛选6

攻击类型

越狱10提示注入39投毒与后门19模型篡改1提取与窃取2检测规避2恶意使用7

攻击技术

自动化搜索5多轮渐进1编码与混淆2角色扮演与说服1跨模态载荷3针对防御2潜伏触发6诱导选用2

模型自身风险

欺骗与谋划12奖励作弊5失准与价值偏离8Agent 危险操作29危险能力11拒答失当13幻觉与编造9偏见与歧视3

防御类型

模型加固3推理时干预3检测与过滤7指令与数据隔离1权限与审批5监控与审计10

影响

有害内容14越权操作44数据与隐私泄露13输出被操纵36可用性与可靠性20监督失效21滥用能力提升7

系统形态

模型与 API46LLM 应用11AI Agent144编程 Agent41网页与电脑操作15多智能体13具身与机器人6

攻击者权限

黑盒2

攻击面/入口

用户输入30网页与界面8文档与消息16工具返回18工具与技能描述9代码仓库与依赖5检索语料3记忆写入12Agent 间消息4图像与音视频4权重与梯度2分发渠道4推理服务与硬件1

层

提示层26模型层50应用层140训练与数据层15

系统组件

MCP 与技能12记忆20RAG2护栏与评审15监控器17推理链4权限与沙箱10微调与开源权重1视觉10音频4视频1图像生成2多模态15
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 446 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent系统形态：具身与机器人层：模型层层：应用层清除全部

另有 446 篇论文还没打上分类标签，暂不在筛选结果里。

  8. 评测与基准arXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    arXiv
    2610.05532
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
  12. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  16. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult，实测 Agent 动作门控栈的层间错误相关性

    arXiv
    2610.07359
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    AgentTrust runtime (174 rules)、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等 7 个
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  17. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  18. 评测与基准arXiv 2610.07274

    研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性

    arXiv
    2610.07274
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个

    摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。

    深度解读完整解读
加载更多