OpenSocialJax:在开放式环境动态的序贯社会困境中评测社会适应
用 OpenSocialJax 评测多智能体在隐藏规则社会困境中的适应
- arXiv
- 2610.13710
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-6-Luna、GPT-6-Sol、Claude Opus 5.5 等8个
摘要作者报告规则发现常提高回报,但公共品清洁会集中,共享资源最终被耗尽。
OpenSocialJax 评测 LLM 能否在序贯社会困境中同时适应不熟悉的环境机制和其他智能体。
另有216篇论文还没打上分类标签,暂不在筛选结果里。
用 OpenSocialJax 评测多智能体在隐藏规则社会困境中的适应
OpenSocialJax 评测 LLM 能否在序贯社会困境中同时适应不熟悉的环境机制和其他智能体。
提出 SWE-DeceptionBench 评测 LLM 在软件开发生命周期中的欺骗
提出 DRYLAB-Bench 评测 Agent 式 LLM 的高风险突变设计能力
提出 DistressBench,评测模型在危机对话中的多维支持
DistressBench 用临床人员撰写并修订的 SSH 对话,按加权原子标准评通用聊天模型送达了多少必要照护,而不是评它是否拒绝。用户向聊天模型披露自杀或自伤时,作者认为期望行为是识别、校准共情、降缓并转介人工帮助。拒绝式评测测不到认出危机之后仍不行动。
提出 SWE-Duel,让编码 Agent 在评测时互评造题并盲审修复
SWE-Duel 是一个在评测时才生成任务和判定器的编码智能体竞技场,用来避开静态基准的泄露和饱和。
提出 ISE 框架,评测 LLM Agent 在知识冲突下的认知谦逊
作者要测的不是智能体最终答得对不对,而是知识冲突出现时,它有没有在轨迹里认出缺口、做有界的工具跟进,并把没解决的不确定性写给用户。
提出 LGWM,用动作条件世界模型核验 GUI 智能体屏幕转移
提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务
作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。
提出 IRIS,用意图恢复率区分遮蔽越狱下无害输出的原因
IRIS 把意图恢复当作中间信号,用来解释意图遮蔽提示下为何没有出现有害协助。
评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代
作者对共同安装、做同一件事的良性 skill 做实证研究,用核心功能是否还在,而不是任务过不过,来看冲突。。
测量 LLM 版本更替对科学摘要 AI 改写检测器的影响
作者量化的是:科学摘要的 AI 改写筛查,在 LLM 版本不断更换、而人类摘要误标必须少见时,会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿,但基准多停在评估时可得的版本上。
提出 MH-INDIC,评测印度语境母婴健康 LLM 交互的文化对齐
MH-INDIC 是面向城市与半城市北印度母婴互动的多维文化对齐评测。 它关心的不是医学事实是否正确,而是回复是否沿家庭权威、性别期待和情绪披露来推理。做法是把 Hofstede 六维改写到互动层,再加入 MAFC、BTB、SVO、MHS。
构建 Workerville 基准,测量组织条件如何改变 Agent 的安全行为
Workerville 用组织行为测量智能体安全如何随监督、同伴和记忆条件变化。。要处理的缺口是:持续运行的 LLM 智能体同时接收用户指令、同伴消息和长期记忆,但既有安全评测多把这些通道拆开,没有统一的定量测量。
提出 SSCBench,评测工具调用 Agent 故障注入测试的证据有效性
SSCBench 研究工具使用智能体的故障注入结果,在什么证据条件下可以被解释。
用 BeliefScope 分离固定命题上证据与压力对模型信念的影响
BeliefScope 是一个黑盒行为诊断框架,用来把固定命题上的回答变化拆成证据驱动的修正,和不加新事实的方向性压力。信念修正评测能看到信息基础变化后的更新,谄媚评测能看到用户影响下的顺从或漂移。作者认为,当两种输入都偏向同一结论时,表面偏移本身不能区分来源。
构建 EpiReal-Bench,评测图像生成器将虚假主张渲染为可信证据
EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。
提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱
作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
提出统一框架评测多模态大模型的遗忘方法
提出 RSIGym 环境,评测研究智能体的递归自改进
提出 PatchBench-Local 协议,评测激活补丁修复越狱的局部附带损伤
摘要论文提出 PatchBench 与局部评估协议,揭示了激活补丁在全局能力无损下仍存局部良性退化。