跳到正文
10月8日 · 周四

全部论文

找到 15 篇
筛选3

攻击类型

越狱1提示注入2恶意使用1

模型自身风险

Agent 危险操作2危险能力2拒答失当2

防御类型

推理时干预1检测与过滤1

影响

有害内容14越权操作23数据与隐私泄露9输出被操纵18可用性与可靠性12监督失效8滥用能力提升3

系统形态

模型与 API6LLM 应用1AI Agent8编程 Agent1网页与电脑操作1

攻击面/入口

用户输入2网页与界面1工具返回1

层

提示层1模型层5应用层9

系统组件

护栏与评审1

被测模型厂商

OpenAI15Qwen（阿里）15Google11Anthropic10Meta9DeepSeek7智谱 GLM7Mistral6其他12
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 701 篇还没打标签，不在筛选结果里。
影响：可用性与可靠性影响：滥用能力提升被测模型厂商：Qwen（阿里）清除全部

另有 701 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench 局部协议，评测激活补丁修复越狱的附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  2. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen2.5-7B-Instruct、Horizon-Labs、Wolf Defender 等 15 个

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
  4. 评测与基准arXiv 2609.35312

    MemoReason 基准

    提出 MemoReason 基准，测量参数记忆对上下文推理的影响

    arXiv
    2609.35312
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen3.5-27B、Qwen3.5-35B-A3B、GPT-OSS-20B 等 9 个
    摘要配对的虚构替换显示熟悉度影响推理，但模型很少直接抄回事实答案。

    MemoReason 用结构相同的事实–虚构文档配对，测量参数记忆如何影响大模型的上下文推理。

    深度解读完整解读
  5. 评测与基准arXiv 2609.03221

    FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

    用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

    arXiv
    2609.03221
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    qwen3:4b、claude-haiku-4-5、claude-sonnet-5 等 7 个
    摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。

    FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。

    深度解读完整解读
  6. 评测与基准arXiv 2610.01428

    SAGO：从稳定性而非准确率出发的多维度大模型泛化评测

    提出 SAGO，以语义等价变体上的逐例行为稳定性评测大模型泛化

    arXiv
    2610.01428
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-1.5B-Instruct、Qwen2.5-7B-Instruct、Qwen3.5-9B 等 11 个
    摘要SAGO 用多轴逐例稳定性替代聚合准确率，十一个模型都未均匀泛化，且排名会随数据集改变。

    SAGO 把 LLM 泛化改写成同一目标与上下文在语义等价表达下的逐例行为稳定性，而不是单一基准上的聚合准确率。。

    深度解读完整解读
  9. 评测与基准arXiv 2609.19140

    AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

    用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销

    arXiv
    2609.19140
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Qwen3-Coder-Next、Gemma-4 31B、DeepSeek-V4 Flash 等 6 个
    摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。

    深度解读完整解读
  10. 评测与基准arXiv 2609.36931

    研究发现系统提示中隐藏日期影响 LLM 评测结果

    测量系统提示中隐藏日期对评测分数与排名的影响

    arXiv
    2609.36931
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Qwen3 (4B)、Qwen3-Next (80B)、Llama 3.1 Instruct (8B) 等 10 个
    摘要只改隐藏日期就足以改变分数和排名。

    这篇工作量化一个评测协议问题：系统提示词里用户看不见、且逐日变化的当前日期，会不会单独改变 LLM 分数。

    深度解读完整解读
  12. 评测与基准arXiv 2609.03511

    多语言 LLM 在语义保持结构扰动下的结构敏感性：IndicReStruct 基准与机制可解释性分析

    构建 IndicReStruct，评测保语义结构扰动下的多语言数学推理

    arXiv
    2609.03511
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen3-30B-A3B、Gemma-2-9B-it、Gemma-2-27B-it 等 7 个
    摘要保语义的重排和语态变化会降低印地语与马拉雅拉姆语数学推理准确率，轻量微调未能补上。

    IndicReStruct 用保语义的成分重排和语态变换，检验多语言 LLM 的数学推理是否依赖表层语序。

    深度解读完整解读
  13. 评测与基准arXiv 2609.40111

    Agent Error Dataset 发布 5 万条错误诊断配对，用于失败分析与错误感知后训练

    构建 AED，把智能体自然失败转为诊断与动作修复训练数据

    arXiv
    2609.40111
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3-8B、GPT-6 Astra、Claude Sonnet 5 等 8 个
    摘要AED 把自然失败做成诊断与修正数据。

    AED是一个面向文本智能体的错误–诊断集合，用来把失败轨迹转成可分析、可训练的诊断与修正，而不是只保留最终奖励。

    深度解读完整解读
  14. 评测与基准arXiv 2609.33658

    AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

    提出四向反事实评测，测量工具 Agent 对授权与表面风险的行动边界

    arXiv
    2609.33658
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3.5-397B-A17B-FP8、Qwen3.8-27B、Qwen3.8-27B Uncensored 等 15 个
    摘要四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。

    AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。

    深度解读完整解读
已经到底了