跳到正文
10月8日 · 周四

全部论文

找到 145 篇
筛选

攻击类型

越狱9提示注入21投毒与后门12检测规避1恶意使用4

攻击技术

自动化搜索4多轮渐进2编码与混淆5角色扮演与说服1跨模态载荷3针对防御1潜伏触发6诱导选用2

模型自身风险

欺骗与谋划8奖励作弊1失准与价值偏离7Agent 危险操作9危险能力7拒答失当7幻觉与编造2偏见与歧视1

防御类型

模型加固3推理时干预1检测与过滤4指令与数据隔离1权限与审批2监控与审计6

影响

有害内容9越权操作27数据与隐私泄露9输出被操纵15可用性与可靠性7监督失效8滥用能力提升4

系统形态

模型与 API22LLM 应用4AI Agent62编程 Agent25网页与电脑操作7多智能体5

攻击者权限

黑盒2白盒1无盒1

攻击面/入口

用户输入18网页与界面4文档与消息6工具返回8工具与技能描述8代码仓库与依赖7检索语料2记忆写入10Agent 间消息3图像与音视频5分发渠道3推理服务与硬件1

层

提示层5模型层14应用层66训练与数据层3

系统组件

MCP 与技能9记忆12RAG4护栏与评审9监控器9推理链1权限与沙箱6微调与开源权重1视觉8音频1多模态8

被测模型厂商

OpenAI73Qwen（阿里）57Anthropic53Google46Meta35DeepSeek33智谱 GLM29Kimi（月之暗面）23Mistral13xAI13MiniMax10上海 AI 实验室5其他27
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 1081 篇还没打标签，不在筛选结果里。

另有 757 篇还没有研究类型，暂不在这些分类里。

  2. 评测与基准arXiv:2610.05532 ·

    DelegationBench 发布：Agent 判断该问用户时

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    AI Agent测试GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个应用层
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    完整解读
  10. 评测与基准arXiv:2610.07359 ·

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 指标，测量智能体动作门禁堆叠的错误相关性与等效层数

    AI Agent测试GPT-5.5 (gpt55)、claude-haiku-4-5-20251001、claude-sonnet-5 等 6 个应用层
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    完整解读
  13. 评测与基准arXiv:2610.08540 ·

    论文提出按风险类别测量的对齐缩放定律框架

    提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化

    模型与 API测试Pythia (14m–2.8b)、Qwen2.5 (0.5B–72B)、Qwen2.5-Instruct (0.5B–14B) 等 4 个训练与数据层
    摘要论文提出了分风险对齐标度律框架，测得真实性与倾向纠错呈标度有益，但盲后门仍存活，揭示隐藏风险的长期挑战。

    本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。

    完整解读
  18. 评测与基准arXiv:2610.06522 ·

    SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

    构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

    模型与 API测试opus-5、sonnet-5、sonnet-4.6 等 11 个模型层
    摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。

    本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

    完整解读
  20. 评测与基准arXiv:2610.04575 ·

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性

    AI Agent测试Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个应用层
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    完整解读
加载更多