Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 15 papers Another 233 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出研究合同,把已批准选择绑定到执行证据并由检查器核验
Published Oct 8
Evaluated models OpenAI gpt-5.6-sol , OpenAI gpt-5.6-terra , OpenAI gpt-5.6-luna and others18 Abstract 研究合同暴露四类输出单独建不立的关系。研究合同用来核验计算科学研究智能体是否仍在已批准研究之内,不判断科学是否为真。 。
实现 DEFER,以确定性检查优先拦截多智能体流水线的内容攻击
Published Oct 6
Evaluated models Qwen3-235B-A22B-Instruct-2507 , gpt-oss-120b , Llama-4-Scout-17B-16E-Instruct and others5 Abstract DEFER 把确定性检查放在 judge 之前。DEFER 用来测量多智能体授权流水线里,确定性规则在何处结束、LLM judge 从何处开始。
提出检测、结构化与 GSPO 流程,降低共识生成的提示注入错位
Published Oct 3
Evaluated models LLaMA-2 7B , LLaMA-3 8B , GPT 3.5 Turbo and others14 Abstract 三章依次做个体偏好预测、政党知识图谱审议,以及共识生成对提示注入的脆弱性与一条防御流程。这是一篇把 LLM 数字孪生放进增强民主的博士论文,分个体表示、政党聚合和共识生成的提示注入三章。
提出 FlowReview,用授权配对与确定性提交门控控制多智能体组合信息流
Published Sep 30
Evaluated models Sonnet 4.5 , Haiku 4.5 , Qwen3-32B and others5 Abstract 配对标准要求拒绝禁止使用并完成授权使用,FlowReview 把三项审查接到执行。这篇工作把多智能体安全写成一件必须同时成立的事:拦住组合信息所启用的禁止使用,并完成同一场景里任务所需的授权使用。
提出 RSI-Master,约束自主后训练实验动作并结构化探索以防奖励作弊
Published Sep 29 提出 AttestChain,将供应链安全智能体报告签名上链并据此控制发布
Published Sep 25
Evaluated models GPT-class LLM Abstract AttestChain 将智能体报告与链上发布门控结合,现有证据来自受控合成构建的总体结果。AttestChain 是一个把 LLM 安全检查、智能体身份验证和许可链发布策略连接起来的软件供应链防御框架。 。
提出身份绑定且委托只衰减的能力令牌,用上下文外钱包约束智能体
Published Sep 25 Abstract 用只衰减的身份绑定令牌和上下文外钱包,约束代表人类行动的分布式智能体。代表人类行动的分布式智能体,需要一种不把密钥放进语言模型上下文的授权方式。
提出 APEXA,在工具层拒绝无执行支撑的结果并拦截电机命令
Published Sep 21
Evaluated models GPT-5-mini , GPT-5.4 , Claude Opus 4.7 and others4 Abstract 作者称执行是否发生要由工具层核对,而不能只靠提示词。APEXA 是先进光子源上的数据还原框架,用工具层代码约束语言模型智能体的工具调用。
提出多智能体系统提示注入的威胁模型与四层架构防御
Published Sep 19
Evaluated models GPT-4o (2024-08-06) , Claude 3.5 Sonnet , Llama 3 70B-Instruct 用任务绑定令牌和策略预言机拦住多智能体流水线的未授权执行
Published Sep 15
Evaluated models gemma4:31b-cloud Abstract 结构性授权拦住了记忆投毒的未授权执行,持密钥时承重的是策略预言机。作者在一条会改写沙箱邮件库的四智能体流水线上,检查低权限失陷会不会变成未授权的真实动作。
提出 k-robust 联盟对齐,刻画误对齐评审下的安全委托授权
Published Sep 15 Abstract 联盟覆盖使无个体对齐的评审面板仍可相对基线安全授权,数值分数改善完备性。委托授权的安全不要求每位评审者对齐,而要求面板在效用空间覆盖委托人。
提出 Skill-as-API,隔离多智能体协作中的 skill 正文与系统提示词
Published Sep 1 Abstract 协议把 skill 正文留在所有者侧,四层限制发现内容、权限期限和注入拼接。Skill-as-API 是面向智能体软件工程的协调协议,用来在跨组织调用时把 skill 的代码和系统提示词留在所有者进程。作者针对三条威胁:经通道或命名空间抽取专有方法,用注入让被调用模型输出系统提示词,以及协作结束后权限继续保留。
提出 SciTrace,为科学发现智能体加入跨阶段安全推理与工具轨迹核验
Published Jun 6
Evaluated models Llama-3.1-70B-Instruct , Qwen2.5-72B-Instruct , DeepSeek-V3 and others4 Abstract SciTrace 把安全推理织入科学智能体各阶段,在 SciSafetyBench 上提高安全指标并保持输出质量。SciTrace 是加在科学发现智能体流水线上的安全框架,不是再在各阶段出口放一个独立过滤器。
Proposing a lineage-graph governance layer to suppress error cascades in multi-agent collaboration
Published Mar 4 Abstract A single seed can solidify into a false consensus along a fixed collaboration graph.The authors turn "small errors becoming collective false consensus" in LLM-MAS into a measurable propagation on a graph, and use a plug-in that only changes messages, not topology, to reduce the final infection.
Defenses arXiv 2505.23559 · May 29, 2025 提出 SafeScientist 四层监控,阻止科研智能体执行高风险或不伦理任务
Published May 29, 2025
Evaluated models GPT-4o , GPT-4.1 , GPT-3.5-turbo and others5 Abstract 四层监控加科研安全基准。SafeScientist 是带四层监控的科研智能体框架,并用 SciSafetyBench 评测科学场景中的任务安全。
You have reached the end