RATED:通过执行动态实现可靠性感知的 AI 智能体工具检索
提出 RATED,用执行反馈重排智能体的工具检索
- arXiv
- 2610.13889
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DRAGON
- 组件MCP 与技能
另有227篇论文还没打上分类标签,暂不在筛选结果里。
提出 RATED,用执行反馈重排智能体的工具检索
提出 SAFE-QE,过滤 LLM 查询扩展中无支持的幻觉词
摘要SAFE-QE 以可复现性与覆盖选择抑制扩展幻觉,作者称排序质量无可见代价。
提出 SWE-DeceptionBench 评测 LLM 在软件开发生命周期中的欺骗
审计仅标签后门的训练标签,比较空间与统计量并以重训评判
作者问的是:手里没有可信数据的防御者,能否决定留下哪些训练标签,以及这会毁掉多少干净数据、最终模型准确率如何。
提出 DistressBench,评测模型在危机对话中的多维支持
DistressBench 用临床人员撰写并修订的 SSH 对话,按加权原子标准评通用聊天模型送达了多少必要照护,而不是评它是否拒绝。用户向聊天模型披露自杀或自伤时,作者认为期望行为是识别、校准共情、降缓并转介人工帮助。拒绝式评测测不到认出危机之后仍不行动。
提出 Cancerous 后门,用不可见阶段 token 分阶段腐蚀推理
Cancerous Backdoor Attack 把 LLM 后门从一次激活改成随触发累积推进的多阶段推理腐蚀。
提出 Task Bank 自回放,缓解持续指令微调的留出遗忘
作者研究语言模型学习新任务时,如何用自身知识做更广的自我保持:给定清单不完整,遗忘又会超出清单,模型能否生成回放并帮忙选择目标。
提出 ISE 框架,评测 LLM Agent 在知识冲突下的认知谦逊
作者要测的不是智能体最终答得对不对,而是知识冲突出现时,它有没有在轨迹里认出缺口、做有界的工具跟进,并把没解决的不确定性写给用户。
分析优化教学适配指标为何使辅导选择塌缩并偏离专家判断
把教学适配指标做成微调目标后,指标上升,受过训练的教育者给出的评分下降。。
用恐惧激活转向检验视觉语言模型的隐患判定准则
提出 LGWM,用动作条件世界模型核验 GUI 智能体屏幕转移
测量 AI 搜索引用脆弱性,证明普通公开发帖可进入引用与回答
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞,测试显示公开网络发帖可渗透 AI 引用,呼吁审计引用供应链。
评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代
作者对共同安装、做同一件事的良性 skill 做实证研究,用核心功能是否还在,而不是任务过不过,来看冲突。。
提出 LTBD,用可学习分隔符隔离可信指令与不可信数据
LTBD 是一种不改基座权重的提示注入防御:只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。
提出 SSCBench,评测工具调用 Agent 故障注入测试的证据有效性
SSCBench 研究工具使用智能体的故障注入结果,在什么证据条件下可以被解释。
提出 RL-ARC,用推理置信度在强化学习中校准推理模型
RL-ARC 是校准感知的强化学习框架,用推理过程的口头置信度调节答案置信度。
用 BeliefScope 分离固定命题上证据与压力对模型信念的影响
BeliefScope 是一个黑盒行为诊断框架,用来把固定命题上的回答变化拆成证据驱动的修正,和不加新事实的方向性压力。信念修正评测能看到信息基础变化后的更新,谄媚评测能看到用户影响下的顺从或漂移。作者认为,当两种输入都偏向同一结论时,表面偏移本身不能区分来源。
用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回
作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回,并把更多时间换成更好的解。
提出 PatchBench-Local 协议,评测激活补丁修复越狱的局部附带损伤
摘要论文提出 PatchBench 与局部评估协议,揭示了激活补丁在全局能力无损下仍存局部良性退化。
测量工具调用 Agent 对显式报错与静默损坏的检测和恢复
作者在 BFCL 多轮可执行环境上注入一次工具层故障,把注意到、改计划、恢复和重复分开记分,而不是只看任务有没有做完。