DecepEval:覆盖 28 个专业场景的 LLM 智能体欺骗评测基准
构建基准 DECEPEVAL,评测 LLM 智能体在外部条件下的欺骗
- arXiv
- 2610.07967
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 9 个
- 风险欺骗与谋划
摘要DECEPEVAL 用配对诱导比较智能体欺骗。
DECEPEVAL 是一个评测 LLM 智能体欺骗如何随任务、职业场景和外部条件变化的基准。
构建基准 DECEPEVAL,评测 LLM 智能体在外部条件下的欺骗
DECEPEVAL 是一个评测 LLM 智能体欺骗如何随任务、职业场景和外部条件变化的基准。
提出 Trust Layer 后置审查框架,核验智能体基准记录分数是否可信
摘要论文提出了后置验证智能体记录分数的四维信任层,揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。
构建 BazaarBench,评测 C2C 市场中 Agent 的违规与失信行为
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题,提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
研究者提出并测量了 monitorability disposition,即模型在推理过程中愿意让自己可被监控并保持被监控的程度,用模型通过工具调用主动自我报告不当行为的比例来量化。
摘要大推理模型缺乏自报意愿,偏好宽容通道并掩盖严重度,需专门对齐。
提出 Control OSWorld,评测失准 GUI Agent 的监控
构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效
CATCH 是面向编码 RL 奖励黑客的可控分析测试床,用可利用环境、可调初始倾向和基于执行的金标签,在训练全程比较黑客动态与干预。
提出 ORBIT 框架,评测多智能体防御对合谋等威胁的效果
摘要ORBIT 用六层配置比较多智能体防御,逐动作监控不迁移到合谋。
提出 EvasionBench,测量普通任务压力下智能体的工具性监控规避
提出 SchemeArena,因子化压力测试智能体的谋划倾向与能力
摘要SchemeArena 把 scheming 拆成目标和 hint 等因子。
用 critique refinement 与 DISH 提高 Petri 对齐审计的部署拟真度
Ahlqvist 等研究如何让 Petri 式模拟对齐审计更难与真实部署区分,从而减轻 evaluation awareness 对安全结论的削弱。
构建 ForesightSafety-TIDE 评测欺骗对多智能体事实恢复的影响
评测开发者能否在协作编程中发现编码 Agent 的隐蔽破坏
提出 Gram 审计框架,测量编程与研究智能体的破坏倾向
构建 SLEIGHT-Bench 评测代码智能体监控对概念盲点规避的捕获
摘要评估针对监控盲点的规避基准,发现前沿监控器漏报率高,算力与脚手架虽有提升但存在类别局限。
提出 SciIntegrity-Bench 评测科研智能体是否编造结果