RATED:通过执行动态实现可靠性感知的 AI 智能体工具检索
提出 RATED,用执行反馈重排智能体的工具检索
- arXiv
- 2610.13889
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DRAGON
- 组件MCP 与技能
另有216篇论文还没打上分类标签,暂不在筛选结果里。
提出 RATED,用执行反馈重排智能体的工具检索
提出 DistressBench,评测模型在危机对话中的多维支持
DistressBench 用临床人员撰写并修订的 SSH 对话,按加权原子标准评通用聊天模型送达了多少必要照护,而不是评它是否拒绝。用户向聊天模型披露自杀或自伤时,作者认为期望行为是识别、校准共情、降缓并转介人工帮助。拒绝式评测测不到认出危机之后仍不行动。
提出 Task Bank 自回放,缓解持续指令微调的留出遗忘
作者研究语言模型学习新任务时,如何用自身知识做更广的自我保持:给定清单不完整,遗忘又会超出清单,模型能否生成回放并帮忙选择目标。
提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务
作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。
评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代
作者对共同安装、做同一件事的良性 skill 做实证研究,用核心功能是否还在,而不是任务过不过,来看冲突。。
测量 LLM 版本更替对科学摘要 AI 改写检测器的影响
作者量化的是:科学摘要的 AI 改写筛查,在 LLM 版本不断更换、而人类摘要误标必须少见时,会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿,但基准多停在评估时可得的版本上。
构建 Workerville 基准,测量组织条件如何改变 Agent 的安全行为
Workerville 用组织行为测量智能体安全如何随监督、同伴和记忆条件变化。。要处理的缺口是:持续运行的 LLM 智能体同时接收用户指令、同伴消息和长期记忆,但既有安全评测多把这些通道拆开,没有统一的定量测量。
重测并扩展对 AI Agent 的提示注入,并用 Agent Card 欺骗操纵 A2A 选择
作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入,并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点,同时把攻击扩到多智能体。
用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回
作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回,并把更多时间换成更好的解。
提出零空间激活引导 Nullify,免训练擦除指定记忆并保持效用
提出 PatchBench-Local 协议,评测激活补丁修复越狱的局部附带损伤
摘要论文提出 PatchBench 与局部评估协议,揭示了激活补丁在全局能力无损下仍存局部良性退化。
测量工具调用 Agent 对显式报错与静默损坏的检测和恢复
作者在 BFCL 多轮可执行环境上注入一次工具层故障,把注意到、改计划、恢复和重复分开记分,而不是只看任务有没有做完。
提出利用路由元数据推断敏感话题的侧信道攻击
摘要论文揭示并测量了 LLM 路由决策在无文本日志中的敏感话题泄露,验证了按类别公平性防御的有效性与边界。
提出 AgentTime 基准,评测智能体按时长工作与估时能力
AgentTime 是对智能体时间自控的评测:预测任务耗时、按要求时长工作、事后估计已用时间。
提出流匹配逆向框架,从多向量视觉文档索引重构页面
提出 FAB 攻击,向声学基础模型植入可由环境声触发的后门
摘要论文提出了针对声学基模的 FAB 后门攻击,在弱威胁模型下实现了任务无关、物理可触发的后门植入。
提出 CARE,离线认证 VLA 加速配置的回合级失败风险并选出最快合格候选
CARE 在部署前从加速配置中选出最快、且加速诱发失败风险能被有限样本认证为低于用户预算的候选。证据不足就保留全计算参考策略。
提出 AdvSim2Real,协同训练网页智能体抵御页面注入
提出 ParanoiaEval 评测编码智能体的不必要风险处置
作者提出 ParanoiaEval,并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是:证据已经确定风险应如何处置之后,智能体仍可能扩大验证、增加保护或备份,而现有评测要么只看功能正确性,要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。
分析记忆与泛化如何决定机器遗忘的 retain 损伤
作者考察学习方式如何左右 unlearning 的 retain damage:训练越依赖跨样本共享的解法,在匹配的遗忘程度上,retain 上的损失越大。