OpenSocialJax:在开放式环境动态的序贯社会困境中评测社会适应
用 OpenSocialJax 评测多智能体在隐藏规则社会困境中的适应
- arXiv
- 2610.13710
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-6-Luna、GPT-6-Sol、Claude Opus 5.5 等8个
摘要作者报告规则发现常提高回报,但公共品清洁会集中,共享资源最终被耗尽。
OpenSocialJax 评测 LLM 能否在序贯社会困境中同时适应不熟悉的环境机制和其他智能体。
另有215篇论文还没打上分类标签,暂不在筛选结果里。
用 OpenSocialJax 评测多智能体在隐藏规则社会困境中的适应
OpenSocialJax 评测 LLM 能否在序贯社会困境中同时适应不熟悉的环境机制和其他智能体。
提出 SWE-DeceptionBench 评测 LLM 在软件开发生命周期中的欺骗
提出 DistressBench,评测模型在危机对话中的多维支持
DistressBench 用临床人员撰写并修订的 SSH 对话,按加权原子标准评通用聊天模型送达了多少必要照护,而不是评它是否拒绝。用户向聊天模型披露自杀或自伤时,作者认为期望行为是识别、校准共情、降缓并转介人工帮助。拒绝式评测测不到认出危机之后仍不行动。
提出 SWE-Duel,让编码 Agent 在评测时互评造题并盲审修复
SWE-Duel 是一个在评测时才生成任务和判定器的编码智能体竞技场,用来避开静态基准的泄露和饱和。
提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务
作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。
提出 IRIS,用意图恢复率区分遮蔽越狱下无害输出的原因
IRIS 把意图恢复当作中间信号,用来解释意图遮蔽提示下为何没有出现有害协助。
评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代
作者对共同安装、做同一件事的良性 skill 做实证研究,用核心功能是否还在,而不是任务过不过,来看冲突。。
测量 LLM 版本更替对科学摘要 AI 改写检测器的影响
作者量化的是:科学摘要的 AI 改写筛查,在 LLM 版本不断更换、而人类摘要误标必须少见时,会怎样变。问题来自期刊和会议已经按分数阈值筛查投稿,但基准多停在评估时可得的版本上。
提出 MH-INDIC,评测印度语境母婴健康 LLM 交互的文化对齐
MH-INDIC 是面向城市与半城市北印度母婴互动的多维文化对齐评测。 它关心的不是医学事实是否正确,而是回复是否沿家庭权威、性别期待和情绪披露来推理。做法是把 Hofstede 六维改写到互动层,再加入 MAFC、BTB、SVO、MHS。
用 BeliefScope 分离固定命题上证据与压力对模型信念的影响
BeliefScope 是一个黑盒行为诊断框架,用来把固定命题上的回答变化拆成证据驱动的修正,和不加新事实的方向性压力。信念修正评测能看到信息基础变化后的更新,谄媚评测能看到用户影响下的顺从或漂移。作者认为,当两种输入都偏向同一结论时,表面偏移本身不能区分来源。
构建 EpiReal-Bench,评测图像生成器将虚假主张渲染为可信证据
EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。
提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱
作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
构建统一奖励作弊检测基准 RH-Detect 并评测零样本检测器
提出统一框架评测多模态大模型的遗忘方法
提出 PatchBench-Local 协议,评测激活补丁修复越狱的局部附带损伤
摘要论文提出 PatchBench 与局部评估协议,揭示了激活补丁在全局能力无损下仍存局部良性退化。
适配多种已发表说服评测并比较模型排名
这项研究比较的是自动化说服评测是否一致,而不是哪一种分数更正确。
用对照实验隔离评测设计对漏洞补丁基准得分的影响
作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象,并明确说本文不是再做一个用于排名的基准。
比较连续后训练阶段如何改变语言模型的说服力
作者用同一人类协议,把 LLM 说服力拆成阴谋数据上的失调 SFT、说服数据上的 SFT,以及其后的 IPO。
提出 AgentTime 基准,评测智能体按时长工作与估时能力
AgentTime 是对智能体时间自控的评测:预测任务耗时、按要求时长工作、事后估计已用时间。
提出 TESTJACK,动态审计编码基准通过判定是否满足任务要求