Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 34 papers Another 240 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出利用路由元数据推断敏感话题的侧信道攻击
Published Oct 7
Evaluated models RouteLLM (BERT router) , notdiamond-0001 , Vela (vLLM Semantic Router) Abstract 论文揭示并测量了 LLM 路由决策在无文本日志中的敏感话题泄露，验证了按类别公平性防御的有效性与边界。
提出 OPUR 攻击，用似然梯度优化对抗后缀越狱 LLM 智能体
Published Oct 7
Evaluated models Llama-3.1-8B-Instruct , Ministral-8B-Instruct-2410 提出流匹配逆向框架，从多向量视觉文档索引重构页面
Published Oct 7
Evaluated models Tomoro-ColQwen3-8B , ColQwen3.5-4.5B , Tomoro-colqwen3-embed-4b and others13 提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员
Published Oct 6
Evaluated models BERT (4.4M-340M) , ViT (22M-307M) , Pythia (70M-2.8B) and others5 Abstract TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。
提出 CRIME 框架，组合良性 Agent 技能诱发恶意行为
Published Oct 5
Evaluated models DeepSeek-V4-Flash , GPT-4o-mini , GPT-4o and others6 Abstract 良性技能经 DCA 或 ACA 组合后可产生恶意环境后果，单独审查对不上。CRIME 把公共技能库中各自通过审查的技能配成两两组合，看联合执行能否实现指定恶意任务。 。
评估应用决策层的输入注入与隐私推断风险
Published Oct 4
Evaluated models Jev , NanoJev Abstract Jev 的类型化决策可被输入与训练操纵，也会泄露信息，并同时支持检测与滥用。Jev 是 TypeSafe 的 System One 模型，把应用 state 和固定问题变成 Choice、Noul 或 Score 的类型化决策与概率。作者用官方 API 和可改训练的 NanoJev，考察它作为决策层时的操纵、泄露与双重用途。
提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容
Published Oct 1
Evaluated models Lumina-mGPT , Gemini 2.5 Flash Image Preview , CLIP ViT-B/16 and others5 提出工具型 Agent 的自适应攻击 DART 与预执行防御 SAGE
Published Sep 28
Evaluated models GPT-5.6 Luna , GPT-5.6 Terra , Gemini 3.8 Flash and others5 Abstract 论文提出状态控制框架 SEAD、攻击 DART 与防御 SAGE，实验显示执行反馈与环境探测在攻防交互中具有关键作用。
提出能力洗钱攻击，拆分任务向对齐模型套取能力
Published Sep 14
Evaluated models GPT-5.5 , Claude Opus 4.8 , Grok-4.3 and others7 Abstract 作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。
提出 CIG-MIA，用上下文信息增益推断 RAG 知识库成员身份
Published Sep 14
Evaluated models Llama-3.1-8B-Instruct , Mistral-7B-Instruct-v0.3 , Llama-2-13b-chat-hf and others6 Abstract CIG-MIA 用注入前后的答案似然差推断 RAG 库成员，灰盒可分性高于所列基线。CIG-MIA 是针对 RAG 外部知识库的成员推断攻击，同时覆盖灰盒和纯文本黑盒。
提出 FLOWSEAL，用工具级信息流控制阻断智能体隐私泄露
Published Sep 12
Evaluated models DeepSeek-V3.2 , GPT-4.1-mini , Gemini-Flash-2.5 Abstract 作者分析大模型智能体隐私检查与攻击面重合问题，提出外部拦截防御 FLOWSEAL 并验证有效性。
攻破混合 FHE 推理的置换式保密，精确恢复线性层排序谱
Published Sep 11
Evaluated models ResNet-20 , ResNet-56 , ResNet-50 and others12 提出 RedEvoAgent，演化攻击技能对黑盒智能体做自动红队
Published Aug 28
Evaluated models MiniMax-M2.5 , DeepSeek-V4-Flash , Qwen3.5-35B Abstract RedEvoAgent 用验证棘轮演化可读攻击技能，在两种产品级 harness 上多数设置高于固定工具与红队基线。RedEvoAgent 是面向产品级 black-box 智能体的自动红队方法，用一份可演化、人类可读的攻击技能编排多个越狱工具。 。
Proposing KeyPooling to measure where API relays break prompt cache isolation
Published Aug 18
Evaluated models grok-4-fast-non-reasoning , grok-4-1-fast-non-reasoning , grok-3 and others11 Abstract Shared upstream credentials place relay customers in the same cache domain; preserving identity or separate principals can separate them.KeyPooling measures where LLM API relays drop customer identity, causing prompt caches to no longer be isolated per downstream customer.
提出 SkillClone，仅凭良性任务交互重构闭源 Agent 技能
Published Aug 5
Evaluated models DeepSeek-Flash , DeepSeek-Pro , GLM-5.1 and others5 Abstract 论文揭示了仅靠良性任务交互即可重构闭源智能体技能隐藏功能的风险，表明功能保密需要限制累积信息泄露。论文从功能保密视角系统研究了大语言模型智能体技能的行为重构威胁。
训练自博弈红队智能体 GPT-Red，规模化生成提示注入与越狱攻击
Published Jul 29
Evaluated models GPT-5.6 , GPT-5.5 , GPT-5.4 and others8 提出 SigLeak，从黑盒 Agent 执行轨迹推断专有技能
Published Jul 28
Evaluated models GPT-5.4-mini , GPT-5.5 , GLM-5.2 and others4 Abstract 提出了通过良性查询和对照轨迹推断黑盒专有技能的 SigLeak 框架，揭示了智能体执行可见性带来的行为侧信道泄露风险。
提出 AHA 自动科研循环，发现生产 Agent 的可复用漏洞概念
Published Jul 13
Evaluated models Minimax-M2.7 , Kimi-K2.6 , Deepseek-V4-Pro and others5 Abstract 论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。
提出工作流级越狱，让编程 Agent 在开发任务中写入有害示例
Published Jul 5
Evaluated models Claude Sonnet 4.6 , Claude Haiku 4.5 , Gemini 3.1 Pro and others4 Abstract 作者报告 Copilot 后端会在编码工作流中生成其在单轮条件下通常拒绝的有害答案。这是一项生产 IDE 编码智能体的工作流越狱研究 ，受测对象是 Copilot 的四个模型后端，而非评测流水线中的名义目标。
提出嵌入推断攻击 EIA，在黑盒 IR 中识别所用嵌入模型
Published Jul 1
Evaluated models e5-small , e5-small-v2 , e5-base and others19 Abstract EIA 用无序文档集的差异从候选中识别嵌入模型，并给出 reranker 与阈值下的计数。EIA 是在黑盒 IR 上识别所用嵌入模型的攻击。 。