Some text is shown in its original language while the English translation is being prepared.
Oct 12 · Monday
All papers Found 30 papers Another 336 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Organized first” shows papers with tags or public deep readings first. Each group is ordered by original publication date, newest first, with undated papers last. “Latest publication” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and deep readings are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 PackHallu,经规则文件提示注入诱导编码 Agent 换用攻击者指定包
Published Oct 7
Evaluated models Qwen2.5-Coder-7B 、 Qwen3-Coder-30B 、 Devstral-Small-2-24B and others19 Abstract PackHallu 诱导规则文件换包。PackHallu 研究一种针对编程智能体规则文件的提示注入:让智能体在本应使用合法依赖时,改导入攻击者指定并控制的包。
提出 SPECGUARD,用 Lean 证书在编码 Agent 执行前证明任务冲突
Published Oct 7
Evaluated models GPT-5.6 Sol 、 Claude Opus 5 、 Claude Fable 5 and others4 Abstract 提出预执行冲突检测与证明框架,在多个基准和真实仓库中成功证明任务与测试不可同时满足。
评测编码智能体 harness 安全机制在对抗任务中的防护效果
Published Oct 6 提出 PERSISTBD,发布前强化供应链后门使其经良性 SFT 与 RL 后仍外发凭据
Published Oct 6
Evaluated models Qwen2.5-Coder-3B-Instruct 、 Qwen2.5-Coder-7B-Instruct 、 Qwen3-Coder-30B-A3B-Instruct Abstract 总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。本文研究第三方 LLM 智能体在开发者进行良性监督微调(SFT)和强化学习(RL)后训练时的后门持久性风险。
提出推理时上下文注入,用代码注释诱导补全生成含弱点的代码
Published Oct 4
Evaluated models StarCoderBase 、 DeepSeek-Coder-base 、 Qwen2.5-base and others10 提出 LLMLeak,借合法网页抓取把 URL 中的秘密隐蔽外传
Published Oct 1
Evaluated models Meta-Llama-3.3-70B-Instruct 、 Meta-Llama-4-Scout-17B-16E-Instruct 、 Meta-Llama-3.1-8B-Instruct and others18 Abstract 作者称第三方外传可发生于正常网页获取,防护需考虑工具请求而不只考虑提示注入。LLMLeak 是利用网页获取请求携带预先编码秘密的隐蔽通道攻击。 它关注恶意软件已能读取数据、却因网络限制或监控无法直接外传的情形。
为 Agent 提出资源层授权系统 Pincer,用数字分身执行动态最小权限
Published Oct 1
Evaluated models Claude Haiku 4.5 、 Muse Spark 1.2 Contributor Abstract Pincer 在资源层以三票合取做授权。Pincer 是加在现成 coding agent 上的资源层授权防御:用只受用户侧信息影响的 digital twin 做动态最小权限,并与 tool-call 层防御并存。要处理的是用户维护策略带来的权限蠕变和授权疲劳,以及不学习用户策略的 tool-call 分类器。作者引述工作称 auto mode 会放行多数不安全操作,并认为推理代码或复杂 shell 的效果在这一层不实际。
构建可组合工具包 pikit,评测编码智能体的间接提示注入
Published Sep 29 Abstract pikit 提供组合式间接注入评测。pikit 是面向间接提示注入研究的组合式工具包 ,主要贡献是组织攻击、投递通道、防御和判定流程,而非提出新的攻击优化算法。
提出 AdaLCPI,把恶意指令拆成碎片嵌入工具返回并诱导 Agent 越权执行
Published Sep 29
Evaluated models GPT-4.1 、 GPT-5.1 、 GPT-5.6-Luna and others7 提出 Tracekit,审计编码 Agent 的意图、推理与动作并检测账本篡改
Published Sep 29
Evaluated models Claude Code (claude -p, version 2.1) 、 独立评审(同一 CLI,无工具) Abstract Tracekit 把意图、自述和动作写入可锚定的哈希链。Tracekit 是无第三方依赖的编码智能体审计层:把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链,执行前用正则门,事后用规则和独立模型互查。
提出残余权限重放攻击,跨任务复用长期 Agent 的历史授权绕过确认
Published Sep 28
Evaluated models GPT-4.1 、 Gemini-3.1-Flash-Lite 、 Qwen3-14B and others6 提出 CAVE-BENCH,评测智能体在虚假指责下破坏已完成的正确工作
Published Sep 26
Evaluated models Claude-Sonnet-5 、 Claude-Opus-5 、 GPT-5.6-Sol and others14 Abstract 论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH,发现强模型易推翻已知证据,提出了门控缓解方案。
提出 AttestChain,将供应链安全智能体报告签名上链并据此控制发布
Published Sep 25
Evaluated models GPT-class LLM Abstract AttestChain 将智能体报告与链上发布门控结合,现有证据来自受控合成构建的总体结果。AttestChain 是一个把 LLM 安全检查、智能体身份验证和许可链发布策略连接起来的软件供应链防御框架。 。
提出条件触发的爆炸提示词,并设计摄入期检测器 DeFuse
Published Sep 19
Evaluated models Llama-3.1-8B-Instruct 、 Llama-3.1-70B-Instruct 、 Qwen2.5-32B-Instruct and others15 Abstract 论文揭示了条件触发使提示注入绕过防御并在触发时执行工具,提出轻量检测器并在摄入期有效防范。论文针对大语言模型智能体面临的间接提示注入威胁,研究了利用条件句式实现时间分离的爆炸提示词。
提出 CodePoisonRAG,对检索增强代码生成的知识库投毒以植入漏洞
Published Sep 3
Evaluated models Qwen 3.5 9B 、 Code Llama 13B 、 DeepSeek-Coder-V2 16B Abstract CodePoisonRAG 展示了 RACG 外部知识库的新攻击面,在较低投毒率下可定向诱发指定漏洞并部分抵御防御。
提出针对 Agent Harness 的上下文特权提升攻击
Published Sep 1
Evaluated models GPT-5.5 、 GPT-5.4 mini 、 Claude-Sonnet-4.6 and others7 利用加密思维块的跨模型重放,诱导弱模型逐字转写专有推理链
Published Aug 11
Evaluated models Claude Opus 4.8 、 Claude Sonnet 4.6 、 Claude Haiku 4.5 and others13 Abstract 论文揭示了客户端加密思维块跨模型互换漏洞,提出了低成本提取方法并给出防御方案。
提出分片监督,将评判标准分配给独立调用以抵御展示攻击
Published Aug 6
Evaluated models Claude Opus 4.8 、 Claude Sonnet 4.6 、 Claude Opus 4.6 and others4 Abstract 论文揭示决策负载是大模型监督的独立瓶颈,提出分片与辩论机制有效分离注意力与平衡证据,在多项高难度基准上实现稳健评判。本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。
提出 IssueTrojanBench 评测编码 Agent 对恶意 issue 的执行
Published Jul 23
Evaluated models GPT-5.3 Codex 、 GPT-5.4 、 Sonnet 4.6 提出 Twin Agent,用预算内残差 hint 隔离不可信输入与特权动作
Published Jul 22
Evaluated models GPT-5.2 、 Gemini-2.5-Flash 、 Gemini-3.5-Flash