Some text is shown in its original language while the English translation is being prepared.
Oct 12 · Monday
All papers Found 82 papers Another 336 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Organized first” shows papers with tags or public deep readings first. Each group is ordered by original publication date, newest first, with undated papers last. “Latest publication” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and deep readings are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Proposes the semantic watermark SemField, which still identifies the attribution of generated text after paraphrasing and structural changes.
Published Oct 8
Evaluated models Llama-3.2-1B 、 Qwen3-1.7B 、 OPT-1.3B Abstract Training-independent document-level semantic watermark.SemField is a zero-bit semantic watermark embedded by the provider at generation time and detected later with a key, used to identify the provider's own model text after paraphrasing and sentence-level structural changes.
提出 LTBD,用可学习分隔符隔离可信指令与不可信数据
Published Oct 8
Evaluated models Llama3-8B-Instruct 、 Llama3.1-8B-Instruct 、 Falcon3-7B-Instruct and others4 Abstract LTBD 只训练四个分隔符嵌入。LTBD 是一种不改基座权重的提示注入防御:只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。
提出 AgentTracer,事后定位间接提示注入的注入点并重建攻击链
Published Oct 7 提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
Published Oct 7 Abstract 形式化验证可有效识别多步攻击,但其有效性高度依赖轨迹的可信历史记录。这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
提出 ASPIRE 行为图搜索,开放式发现 Agent 提示注入漏洞
Published Oct 7
Evaluated models Gemini-3.7-Flash 、 DeepSeek-V4-Flash 、 Gemini-2.5-flash Abstract ASPIRE 把提示注入红队从载荷优化改成行为图引导的开放式漏洞发现。ASPIRE 是给搭建方用的智能体提示注入红队引擎,目标是开放式画出可利用的行为路径,而不是在固定任务上打磨一条载荷。
提出 CredLeak-Bench,评测 Agent 面对钓鱼的凭据泄露与恢复
Published Oct 6
Evaluated models Claude Sonnet 5 、 Claude Opus 4.8 、 Gemini 3.6 Flash and others7 提出服务方间接提示注入,把主动智能体的决策协助转向预选目标
Published Oct 4
Evaluated models GPT-5 、 Claude Opus 4.6 、 Gemini 3 Pro and others7 Abstract 提供者侧间接注入用 T–B–S 把主动协助转向外部目标,并在三环境中提高模拟用户授权。外部提供者只控制与自身目标关联的内容,就可以把良性主动个人智能体的协助转向该目标。
提出 PAA 方法,在边界动作前审计长流程智能体的分阶段提示注入
Published Oct 4
Evaluated models Claude Code (v2.1.172, Claude Sonnet 5) 、 Codex CLI (v0.144.0, GPT-5.5) Abstract 论文针对长流程注入提出边界动作审计与 PAA,在保持低误阻的同时实现高拦截率。本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁,提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
把 SynthID 嵌入基因组语言模型采样,并用位置无关检测追溯生成序列
Published Oct 4
Evaluated models Carbon-500M 、 GENERator-v2-eukaryote-1.2b-base Abstract 两个六碱基基因组模型嵌入 SynthID 后,位置无关验证能找回水印,作者称这只是统计检测。作者在两个六碱基基因组模型的采样里嵌入 SynthID,并让验证者在不知道起点、链和 token phase 时做一次校正后的检出。
提出 SRFT,让 Agent 从失败经验中学习拒绝提示注入
Published Oct 3
Evaluated models SR-Agent-Llama 、 SR-Agent-Qwen3-8B 、 SR-Agent-Qwen3-4B 提出抗删除水印 RMCW,在生成时注入 Reed-Muller 结构并做局部检验
Published Oct 2
Evaluated models OPT-1.3B 、 Llama-3.1-8B-Instruct 构建 EvoRiskBench 评测工作区 Agent 的运行时安全风险
Published Oct 2
Evaluated models GPT-5.6 Sol 、 DeepSeek-V4-Pro-0813 、 Claude Opus 5 Abstract 论文构建了工作空间智能体运行时风险基准 EvoRiskBench,发现高执行力智能体在 IPI 下面临较高安全风险。
提出 PACE,在工具调用前做路径隔离与效果授权
Published Oct 1
Evaluated models gpt-5.6-luna 、 DeepSeek-V4-Flash 、 Qwen-3.8-27B Abstract PACE 在工具边界做路径割与效果核验。PACE 是面向工具调用型 LLM 智能体的运行时调解:当准入证据无法区分会改变行为的规格时,不在出口站点上撤销调解,而在最后一次工具调用前同时检查表示出的影响路径和请求权限。
提出 ZoneClaw,用记忆分区防御计算机使用 Agent 的持久记忆攻击
Published Oct 1
Evaluated models Claude Sonnet 4.6 、 GPT-5.5 、 GLM-5.2 and others4 为 Agent 提出资源层授权系统 Pincer,用数字分身执行动态最小权限
Published Oct 1
Evaluated models Claude Haiku 4.5 、 Muse Spark 1.2 Contributor Abstract Pincer 在资源层以三票合取做授权。Pincer 是加在现成 coding agent 上的资源层授权防御:用只受用户侧信息影响的 digital twin 做动态最小权限,并与 tool-call 层防御并存。要处理的是用户维护策略带来的权限蠕变和授权疲劳,以及不学习用户策略的 tool-call 分类器。作者引述工作称 auto mode 会放行多数不安全操作,并认为推理代码或复杂 shell 的效果在这一层不实际。
提出 MADBench,评测多智能体辩论是吸收还是放大对抗影响
Published Sep 30
Evaluated models gpt-4o 、 GPT-5 、 GPT-6 Astra Abstract MADBench 显示辩论能吸收部分准确率攻击,同时放大未授权读写。MADBench 是一个评测多智能体辩论安全性的基准,用来看攻击是被辩论吸收还是被放大。
提出 VirusCascade,联合操纵商品描述与交互轨迹以劫持推荐智能体协同反思
Published Sep 29
Evaluated models AgentCF 、 AgentSEQ 、 AgentRAG and others4 Abstract 作者把反思写回视为推广攻击入口,并用联合操纵和诊断探针研究其持续与传播。VirusCascade 是针对推荐智能体协作反思的 black-box targeted promotion 攻击研究。 攻击者只改商品描述和少量账号的普通交互,试图让目标商品获得更多良性用户曝光。
提出 AutoMark,自动搜索并统计检验 LLM 文本水印
Published Sep 29
Evaluated models Llama-3.1-8B-Instruct 、 Qwen3.8-27B 、 GPT-6 Astra and others5 Abstract AutoMark 的贡献同时包含搜索出的水印,以及用于约束自动研究误报与评测漏洞的验证框架。AutoMark 是一套自动水印研究框架 :先检查生成分布和误报性质,再比较检测、编辑鲁棒性与质量,最后人工分析组件并做留出评测。
提出 EC-Agent 联合回执,绑定工具智能体的主张、证据与执行并支持重放审计
Published Sep 29 Abstract EC-Agent 把主张、片段、执行前缀和来源状态绑成可重放回执,并把完整性与语义支持分开判定。EC-Agent 为工具智能体的审计增加一份可重放的联合回执:它同时绑定发出的主张、精确来源片段、有序执行前缀,以及该次执行看到的来源版本和访问状态。
构建可组合工具包 pikit,评测编码智能体的间接提示注入
Published Sep 29 Abstract pikit 提供组合式间接注入评测。pikit 是面向间接提示注入研究的组合式工具包 ,主要贡献是组织攻击、投递通道、防御和判定流程,而非提出新的攻击优化算法。