跳到正文
10月8日 · 周四

全部论文

找到 4 篇
筛选2

影响

有害内容5越权操作20数据与隐私泄露6输出被操纵8可用性与可靠性4监督失效7滥用能力提升3

系统形态

模型与 API2LLM 应用1AI Agent1

层

模型层2应用层2

被测模型厂商

Qwen（阿里）7OpenAI6Meta6Google5其他7
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 989 篇还没打标签，不在筛选结果里。
影响：可用性与可靠性被测模型厂商：Anthropic清除全部

另有 989 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2608.19741

    微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性

    构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性

    arXiv
    2608.19741
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Opus 5、Claude Sonnet 4.6、Claude Opus 4.6 等 14 个

    摘要论文构建多轮业务沙箱与基准，分析多次重复执行差距并展示强化学习训练效果。

    深度解读完整解读
  2. 评测与基准arXiv 2609.35312

    MemoReason 基准

    提出 MemoReason 基准，测量参数记忆对上下文推理的影响

    arXiv
    2609.35312
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude Sonnet 4.6、GPT-OSS-20B、GPT-OSS-120B 等 9 个
    摘要配对的虚构替换显示熟悉度影响推理，但模型很少直接抄回事实答案。

    MemoReason 用结构相同的事实–虚构文档配对，测量参数记忆如何影响大模型的上下文推理。

    深度解读完整解读
  3. 评测与基准arXiv 2609.03221

    FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限

    用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

    arXiv
    2609.03221
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    claude-haiku-4-5、claude-sonnet-5、llama3.1:8b-instruct 等 7 个
    摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。

    FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。

    深度解读完整解读
  4. 评测与基准arXiv 2610.01428

    SAGO：从稳定性而非准确率出发的多维度大模型泛化评测

    提出 SAGO，以语义等价变体上的逐例行为稳定性评测大模型泛化

    arXiv
    2610.01428
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude-Sonnet-4.6、Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct 等 11 个
    摘要SAGO 用多轴逐例稳定性替代聚合准确率，十一个模型都未均匀泛化，且排名会随数据集改变。

    SAGO 把 LLM 泛化改写成同一目标与上下文在语义等价表达下的逐例行为稳定性，而不是单一基准上的聚合准确率。。

    深度解读完整解读
已经到底了