跳到正文
10月9日 · 周五

全部论文

找到 12 篇

另有 669 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议,揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议,评测激活补丁修复越狱的局部附带损伤

    发表
    测试
    Llama-3.1-8B-Instruct、Llama-4-Scout、Qwen2.5-3B-Instruct 等 8 个

    摘要论文提出 PatchBench 与局部评估协议,揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  2. 分析与理论arXiv 2610.06191

    研究:工具型智能体判断结果无用却仍继续检索,强制整合步骤可纠正

    分析工具型 Agent 判定检索无用却不停止的原因

    发表
    场景
    AI Agent
    测试
    Llama-3.1-8B、Qwen2.5-7B、Qwen3-8B 等 7 个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动,证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题,系统分析了判定、信念与停止行动之间的解耦现象,并提出了外部规则整合方案。

    深度解读完整解读
  3. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器:基准分数难以预测 Agent 部署表现

    重评 Agent 提示注入检测器,检验基准分数能否预测部署表现

    发表
    场景
    AI Agent
    测试
    Prompt Guard 2 (86M)、Prompt Guard 2 (22M)、Prompt Guard 1 等 15 个

    摘要论文揭示公开基准无法反映智能体检测器表现,检测能力源于输入格式相似而非通用防御,建议基于工具输出与低误报评测。

    深度解读完整解读
  4. 评测与基准arXiv 2609.35312

    MemoReason 基准

    提出 MemoReason 基准,测量参数记忆对上下文推理的影响

    发表
    测试
    Llama-3.1-8B-Instruct、GPT-OSS-20B、GPT-OSS-120B 等 9 个
    摘要配对的虚构替换显示熟悉度影响推理,但模型很少直接抄回事实答案。

    MemoReason 用结构相同的事实–虚构文档配对,测量参数记忆如何影响大模型的上下文推理。

    深度解读完整解读
  5. FairMedAgent:临床 LLM 智能体公平性审计中的随机噪声下限

    用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

    发表
    测试
    llama3.1:8b-instruct、claude-haiku-4-5、claude-sonnet-5 等 7 个
    摘要先测同一输入下的动作不一致率,再用它解读人口学翻转率。

    FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来:输入不变时动作仍会改变,这个比率就是解读翻转率的下限。。

    深度解读完整解读
  6. 评测与基准arXiv 2610.01428

    SAGO:从稳定性而非准确率出发的多维度大模型泛化评测

    提出 SAGO,以语义等价变体上的逐例行为稳定性评测大模型泛化

    发表
    测试
    Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Gemma-2B-IT 等 11 个
    摘要SAGO 用多轴逐例稳定性替代聚合准确率,十一个模型都未均匀泛化,且排名会随数据集改变。

    SAGO 把 LLM 泛化改写成同一目标与上下文在语义等价表达下的逐例行为稳定性,而不是单一基准上的聚合准确率。。

    深度解读完整解读
  7. 评测与基准arXiv 2609.15017

    PIDS-Bench:在过度防御、混淆与分布偏移下评测提示注入检测器

    提出 PIDS-Bench,评测提示注入检测器在过度防御与分布偏移下的表现

    发表
    测试
    PromptGuard 2 (86M)、Llama Guard 3-1B、TF-IDF + logistic regression 等 8 个
    摘要PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。

    PIDS-Bench 是一个冻结的检测器级基准,用来在固定阈值下同时看提示注入检测和良性误报。

    深度解读完整解读
  8. 评测与基准arXiv 2609.36931

    研究发现系统提示中隐藏日期影响 LLM 评测结果

    测量系统提示中隐藏日期对评测分数与排名的影响

    发表
    测试
    Llama 3.1 Instruct (8B)、Llama 3.1 Instruct (70B)、Gemma 3 Instruct (4B) 等 10 个
    摘要只改隐藏日期就足以改变分数和排名。

    这篇工作量化一个评测协议问题:系统提示词里用户看不见、且逐日变化的当前日期,会不会单独改变 LLM 分数。

    深度解读完整解读
  9. 多语言 LLM 在语义保持结构扰动下的结构敏感性:IndicReStruct 基准与机制可解释性分析

    构建 IndicReStruct,评测保语义结构扰动下的多语言数学推理

    发表
    测试
    Llama-3.1-8B-it、Gemma-2-9B-it、Gemma-2-27B-it 等 7 个
    摘要保语义的重排和语态变化会降低印地语与马拉雅拉姆语数学推理准确率,轻量微调未能补上。

    IndicReStruct 用保语义的成分重排和语态变换,检验多语言 LLM 的数学推理是否依赖表层语序。

    深度解读完整解读
  10. 防御arXiv 2609.39866

    研究者提出梯度封堵实现 LLM 发布前的预防性遗忘

    提出 GSU 在发布前封堵敏感门梯度,抵抗下游微调获取禁止能力

    发表
    攻击者
    白盒
    测试
    Llama-3.2-1B、Llama-3.2-3B、Llama-3.1-8B 等 7 个
    摘要GSU 在发布前封堵 SiLU 门的获取梯度,并在 TOFU 与 WMDP 上降低下游微调得分。

    Gradient-Sealed Unlearning(GSU)是一种发布前的 preemptive unlearning:不删除模型里已经有的能力,而是让指定禁止域能力更难被发布后的微调获取。

    深度解读完整解读
  11. 攻击arXiv 2609.28585

    论文提出持久计费状态概念,揭示工具调用 LLM Agent 的拒绝钱包攻击与防御

    提出工具调用 Agent 的拒绝钱包攻击及主机侧计费约束

    发表
    场景
    AI Agent
    测试
    Llama-3.3-70B、GPT-4o、GPT-4o-mini 等 9 个
    摘要已准入工具返回的跨轮保留会重复计费。

    这篇工作把工具调用智能体里跨轮保留、并被提供商反复计费的外部工具返回定义为 persistent billable state,并把它的主机侧再次送入决定当作控制点。。

    深度解读完整解读
已经到底了