Some text is shown in its original language while the English translation is being prepared.
Oct 12 · Monday
All papers Found 76 papers Another 336 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Organized first” shows papers with tags or public deep readings first. Each group is ordered by original publication date, newest first, with undated papers last. “Latest publication” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and deep readings are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Show that reward hacking can propagate through code, memory, and plans in multi-agent coding systems
Published Oct 9
Evaluated models Qwen2.5-Coder-14B 、 Gemma-3-12B 、 Qwen2.5-Coder-7B and others16 Abstract The authors state that reward hacking can spread across models and affect routing and aggregation, and that review can reduce delivery.Reward hacking induced by coding RL can leave the source agent and enter subsequent collaboration and system coordination.
An ecological model is established for a population of mismatched agents, showing that collaboration produces a critical takeoff scale.
Published Oct 9 Abstract The authors say that collaboration changes takeoff from an individual capability threshold to a population threshold, so small-population evaluations are insufficient.The authors use the ecological strong Allee effect to discuss whether a mismatched agent population can take off when individual capabilities remain unchanged. .
提出 GROB,用只读公开痕迹保存候选智能体线索并检验归因边界
Published Oct 8 Abstract 作者称 Census 是最强例。GROB 是一套多角色架构,在没有特权遥测、也不预先指定目标时,从公开网页痕迹里保存候选自主智能体活动,供日后解析。
用混合生成式多智能体仿真考察基准留出对评分与满意度差距的影响
Published Oct 7 评测多智能体在开放式科研任务中找回预设子发现的能力
Published Oct 7
Evaluated models Gemini 3.1 Pro 、 GPT-5.5 、 Claude Opus 4.8 and others7 实现 DEFER,以确定性检查优先拦截多智能体流水线的内容攻击
Published Oct 6
Evaluated models Qwen3-235B-A22B-Instruct-2507 、 gpt-oss-120b 、 Llama-4-Scout-17B-16E-Instruct and others5 Abstract DEFER 把确定性检查放在 judge 之前。DEFER 用来测量多智能体授权流水线里,确定性规则在何处结束、LLM judge 从何处开始。
构建 BazaarBench,评测 C2C 市场中 Agent 的违规与失信行为
Published Oct 6
Evaluated models GPT-5.5 、 GPT-5.4 、 GPT-5.4-mini and others5 Abstract 论文提出挂钩底层资产的 C2C 交易评测基准,发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题,提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
提出 multi-CaMeL,在智能体调用边界隔离可信指令与非可信数据
Published Oct 5
Evaluated models Claude Fable 5 、 GPT-5.5 、 GPT-4.1 and others6 Abstract 论文针对多智能体中单体防御不组合的边界清洗问题,提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。
提出 MASBench,评测部分可观测下的多智能体协作机制
Published Oct 4
Evaluated models Qwen-Plus 、 GPT-5-nano 、 Gemini-2.5-Flash-Lite and others5 Abstract MASBench 以确定性指标比较部分可观测下的协作机制。MASBench 用部分可观测任务比较 LLM 多智能体的协作机制,而不是只看端到端能否做完。
对自主 LLM 智能体日志做身份盲置换以量化串通
Published Oct 3 Abstract 修正后汇总共编偏向同智能体聚集。作者把 Nightingale Collective 所记的 wiki 旁路事件,做成相对身份置换零模型的定量配套,并写出四类会使协调检验失真的构造错误。
提出检测、结构化与 GSPO 流程,降低共识生成的提示注入错位
Published Oct 3
Evaluated models LLaMA-2 7B 、 LLaMA-3 8B 、 GPT 3.5 Turbo and others14 Abstract 三章依次做个体偏好预测、政党知识图谱审议,以及共识生成对提示注入的脆弱性与一条防御流程。这是一篇把 LLM 数字孪生放进增强民主的博士论文,分个体表示、政党聚合和共识生成的提示注入三章。
测量多智能体博弈中数值信号的结构及其对合作的影响
Published Oct 2
Evaluated models GPT-4o (gpt-4o-2024-11-20) 、 Mistral Large (mistral-large-2512) 、 Claude Haiku 4.5 (claude-haiku-4-5-20251001) and others4 Abstract 受指令数值会形成锚定收益的结构并影响接收方,但合作效应不能跨模型外推。四种 LLM 在四个经典两人博弈中交换无预设语义的数字时,消息结构可以跨模型出现,合作水平的变化则不能跨模型外推。
提出 SceneFactory-3D,用路况反事实评测驾驶策略的闭环安全性
Published Oct 2
Evaluated models Frozen L0 、 L0-T 、 L1 and others5 Abstract SceneFactory-3D 固定场景只改路况。SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器,用来在场景和控制器固定时只改路面物理,并比较闭环结果。
用 J-lens 检测辩论中屈从多数的智能体是否仍内部表征原前提
Published Oct 2
Evaluated models Qwen3.5-4B 、 Qwen3.6-27B 、 Gemma-4-E4B-it and others4 Abstract 揭示 LLM 智能体屈从多数时内部仍表征原推理前提,指出辩论表态共识可能夸大真实认同。
提出奖励驱动多智能体系统 MEA,生成可扰动验证的忠实解释
Published Oct 2
Evaluated models Qwen3.6-35B-A3B 、 Qwen3.5-4B 、 Qwen3-VL-30B-A3B-Instruct and others12 Abstract MEA 用忠实性奖励训练双智能体,把工具输出收成可扰动核对的解释。MEA 是一个奖励驱动的双智能体,用来给黑盒分类器的单次预测写自然语言解释,并检查解释能否被扰动后的模型行为支持。
提出 MIRROR,用多路径摘要多数表决保障多智能体通信完整性
Published Oct 2
Evaluated models Gemma-4-31B-it 、 Gemini 2.5 Pro Abstract MIRROR 靠多数路径。MIRROR 是 LLM 多智能体通信层上的多路径法定人数完整性原语,只处理不透明字节,不解释消息内容。要处理的是 Agent-in-the-Middle:中介合法终结 TLS 后可改在途消息,而语义校验有推理开销和误拦,签名又要求私钥管理。做法是生成结束后复制同一规范化载荷。
提出 BDA,按辩证动作可靠性加权聚合多 LLM 议会以抵抗持续对抗
Published Oct 2 Abstract BDA 用零额外调用的可靠性加权,给出可校准后验,并在持续对抗下反转不可靠席位。BDA 是一种不另调 LLM 的多 LLM 议会聚合方法,同时处理置信度校准和持续不可靠席位。
用均值场博弈分析多智能体集体攻击何时不是均衡
Published Oct 1 提出 memetic trojans,借助社交传染在 Agent 网络中传播对抗载荷
Published Oct 1
Evaluated models gpt-oss-120B 、 deepseek-v4.1-flash 、 qwen-32B and others5 Abstract memetic trojans 用内生社会传染携带载荷。Memetic trojans 是一类网络介导攻击:对抗载荷搭在智能体本来就会转发和点赞的内容上扩散,转发者不必被攻陷,也不必执行“请继续复制”的指令。
提出只训练或篡改多智能体潜在通信链路来提高有害遵从
Published Sep 30
Evaluated models Llama-3.2-3B-Instruct 、 Qwen2.5-3B-Instruct 、 Gemma-3-1B-IT and others7 Abstract 潜在链路本身即可改变冻结智能体系统的安全,奖励既能攻击也能修复。学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。 。作者研究三种拓扑:双智能体、三级顺序协作,以及双专家加汇总。