Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 11 papers Another 233 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 LTBD，用可学习分隔符隔离可信指令与不可信数据
Published Oct 8
Evaluated models Llama3-8B-Instruct , Llama3.1-8B-Instruct , Falcon3-7B-Instruct and others4 Abstract LTBD 只训练四个分隔符嵌入。LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。
提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露
Published Oct 5 Abstract 用截止期限制未核验可见时长。这篇工作给持续摄入的 RAG 向量库一个失败关闭的临时可见性协议，把协议能限制的未核验暴露和依赖检测器的中毒暴露分开。
提出 IEC 与 IntAct，测量并修复 Agent 工具调用的路径篡改
Published Oct 3
Evaluated models qwen3-coder-plus , Qwen2.5-Coder-32B , Qwen2.5-72B and others4 Abstract 论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。
提出 Provenance-Aware Transformers，隔离不可信来源防御间接提示注入
Published Sep 18
Evaluated models SmolLM2-360M-Instruct , LLaMA-3-8B-Instruct , Qwen2.5-7B-Instruct and others4 提出 Auto Mode ++，加固编码 Agent 阻断监视器
Published Sep 17
Evaluated models Opus 5 , Opus 4.8 , Opus 4.7 and others8 Abstract 系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
提出意图驱动本地框架 Veilmind，净化发往远程模型的提示词
Published Sep 10
Evaluated models Veilmind-4B Abstract 本地模型按意图净化提示词，在 Uprise 上给出两个隐私-效用工作点。本地侧的意图驱动净化，用来降低用户提示词发往不受信任远程模型时的敏感属性暴露。
提出 SkillSonar，把运行时防护做成可演化技能以拦截恶意技能
Published Sep 2
Evaluated models GLM-5 , GPT-5.4 , Claude Haiku 4.5 and others4 提出 Skill-as-API，隔离多智能体协作中的 skill 正文与系统提示词
Published Sep 1 Abstract 协议把 skill 正文留在所有者侧，四层限制发现内容、权限期限和注入拼接。Skill-as-API 是面向智能体软件工程的协调协议，用来在跨组织调用时把 skill 的代码和系统提示词留在所有者进程。作者针对三条威胁：经通道或命名空间抽取专有方法，用注入让被调用模型输出系统提示词，以及协作结束后权限继续保留。
提出间接数据投毒攻击，操纵科研智能体得出虚假结论
Published Jul 12
Evaluated models Claude Code with Claude Opus 4.7 , Codex with GPT-5.5 , Gemini CLI with Gemini 3.1 Pro 提出 SecureForge，在推理时优化系统提示以减少编码智能体的代码弱点
Published May 9
Evaluated models Qwen 2.5 Coder 7B , Qwen 2.5 Coder 14B , Qwen3 30B-A3B and others10 Abstract SecureForge 审计良性 CWE 失败并优化系统提示词。SecureForge 是一条只用 API 和静态分析、在推理时加固编码模型的流水线。
Defenses arXiv 2312.06632 · Dec 12, 2023 提出 SciGuard 外部护栏与 SciMT 基准，控制化学科学 AI 误用
Published Dec 12, 2023
Evaluated models SciGuard (GPT-4) , SciGuard (Gemini) , SciGuard (Mixtral) and others5 Abstract SciGuard 以外部智能体控制化学 AI 误用。这篇工作把化学科学 AI 的误用控制做成外部智能体，而不是改模型权重。作者担心合成规划、毒性预测和科学语言模型被用来获取有害物质信息、规避监管或传播危险知识，同时合法工业用途又不能靠一律拒绝来处理。SciGuard 由 LLM 担任中介，把原则和指南放进短期记忆，把分子库、危害库、法规和交互历史放进可检索的长期记忆，再按 Chain of Thought 调用 Chemprop、LocalRetro 等工具，或用 RAG 补法规片段，最后回答、追问或拒绝。
You have reached the end