RATED:通过执行动态实现可靠性感知的 AI 智能体工具检索
提出 RATED,用执行反馈重排智能体的工具检索
- arXiv
- 2610.13889
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DRAGON
- 组件MCP 与技能
另有254篇论文还没打上分类标签,暂不在筛选结果里。
提出 RATED,用执行反馈重排智能体的工具检索
提出 SAFE-QE,过滤 LLM 查询扩展中无支持的幻觉词
摘要SAFE-QE 以可复现性与覆盖选择抑制扩展幻觉,作者称排序质量无可见代价。
提出 ISE 框架,评测 LLM Agent 在知识冲突下的认知谦逊
作者要测的不是智能体最终答得对不对,而是知识冲突出现时,它有没有在轨迹里认出缺口、做有界的工具跟进,并把没解决的不确定性写给用户。
提出 LGWM,用动作条件世界模型核验 GUI 智能体屏幕转移
测量 AI 搜索引用脆弱性,证明普通公开发帖可进入引用与回答
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞,测试显示公开网络发帖可渗透 AI 引用,呼吁审计引用供应链。
提出 LTBD,用可学习分隔符隔离可信指令与不可信数据
LTBD 是一种不改基座权重的提示注入防御:只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。
提出 SSCBench,评测工具调用 Agent 故障注入测试的证据有效性
SSCBench 研究工具使用智能体的故障注入结果,在什么证据条件下可以被解释。
用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回
作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回,并把更多时间换成更好的解。
测量工具调用 Agent 对显式报错与静默损坏的检测和恢复
作者在 BFCL 多轮可执行环境上注入一次工具层故障,把注意到、改计划、恢复和重复分开记分,而不是只看任务有没有做完。
提出 AgentTime 基准,评测智能体按时长工作与估时能力
AgentTime 是对智能体时间自控的评测:预测任务耗时、按要求时长工作、事后估计已用时间。
评测 LLM 审计 Agent 日志时来源重建是否有证据支持
包级审计检查保存的智能体动作里,哪些来源结论能被交给分析者的记录支持。
用混合生成式多智能体仿真考察基准留出对评分与满意度差距的影响
提出 PackHallu,经规则文件提示注入诱导编码 Agent 换用攻击者指定包
PackHallu 研究一种针对编程智能体规则文件的提示注入:让智能体在本应使用合法依赖时,改导入攻击者指定并控制的包。
提出 CARE 框架,在误分类风险约束下减少人机协作的人工查询
CARE 是面向人机协同二分类的端到端流水线,要在误分类风险不超过用户容忍的前提下减少人类查询。设定是 i.i.d.数据流、人类 oracle 标签正确、AI 为任意黑盒概率分类器。
提出持久视觉记忆注入,使对抗图像经缓存在触发时操控输出
摘要论文提出 P-VMI,证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型,强调了保留状态的安全风险。
提出 AdvSim2Real,协同训练网页智能体抵御页面注入
提出 SBW,为 LLM Agent 轨迹做抗改写与伪造的语义行为水印
SBW 是免训练的智能体行为水印,把所有者标识放在离散动作选择上,而不是输出 token。
提出 ParanoiaEval 评测编码智能体的不必要风险处置
作者提出 ParanoiaEval,并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是:证据已经确定风险应如何处置之后,智能体仍可能扩大验证、增加保护或备份,而现有评测要么只看功能正确性,要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。
构建 MedDistract 基准,测量偶发信息对临床文书与推理的污染
比较量化 Agent 的工具故障恢复,检验提示词与评测口径是否反转比较方向