Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 88 papers

Filter4

System component

MCP and skills3 RAG8 Guardrails and judges17 Reasoning chains7 Fine-tuning and open weights5 Vision3 Audio3 Multimodal8

Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 233papers have no tags yet and are not included in filtered results.

Attack type：Extraction and theft Attack type：Detection evasion Attack surface / entry point：User input Attack surface / entry point：Training data Clear all

Another 233papers do not have category tags yet and are not included in filtered results.

AttacksarXiv 2610.12292Oct 9
The paper proposes an option channel attack: changing one option label can make an agent guardrail allow a prohibited operation
Proposing an option channel attack that renames option labels so that agent guardrails allow prohibited operations
arXiv
2610.12292
Published
Oct 9
Layer
Application layer
Setting
LLM applications
Attacker
Black-box
Evaluated models
LAYA-TD, LAYA-EN, LAYA-ML and others5
- AttacksDetection evasion
- ComponentGuardrails and judges
AbstractThe authors' evaluation indicates that typed models should not serve as final safety arbiters; they are susceptible to off-policy text and option name manipulation, and confidence filtering cannot resist attacks.
Paper analysisRead analysis
AttacksarXiv 2610.10742Oct 8
BRANCH 方法绕过 6 套多扫描器护栏系统
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
arXiv
2610.10742
Published
Oct 8
Layer
Application layer
Setting
LLM applications
Attacker
Black-box
Evaluated models
Meta Llama Guard 3 8B, Meta Llama Guard 7B, Meta Llama Guard 3 1B and others18
- AttacksDetection evasion
- TechniqueAutomated search
- ComponentGuardrails and judges
Paper analysisRead analysis
DefensesarXiv 2610.10655Oct 8
Nullify：面向 LLM 遗忘的零空间激活引导免训练方法
提出零空间激活引导 Nullify，免训练擦除指定记忆并保持效用
arXiv
2610.10655
Published
Oct 8
Layer
Model layer
Setting
Models and APIs
Evaluated models
Llama-2-7B-chat-hf, Qwen3-8B
- DefensesInference-time intervention
- AttacksExtraction and theft
Paper analysisRead analysis
DefensesarXiv 2610.08316Oct 6
MARCO：面向蛋白质生成模型的放射性水印框架
提出 MARCO 放射性水印，冻结蛋白质生成模型并在去噪时嵌入签名
arXiv
2610.08316
Published
Oct 6
Layer
Model layer
Setting
Models and APIs
Attacker
Black-box
Evaluated models
RFdiffusion, ESMFold, Chroma and others6
- DefensesWatermarking and provenance
- AttacksExtraction and theft
AbstractMARCO 在冻结的 PGM 上去噪时嵌构象水印，作者称能兼顾保真与抗扰动，并使盗版模型继承水印。
MARCO 是加在蛋白质生成模型推理过程上的构象水印，用来标记知识产权，并为可能的生物安全滥用保留可追溯信号。作者还把它说成数字权利管理工具，以及符合生物武器公约的数字监管链。问题在于：专有 PGM 的三维输出可能被拿去训练盗版模型，也可能在来源被抹掉后绕过筛查。
Paper analysisRead analysis
DefensesarXiv 2610.06636Oct 6
差分隐私混合公共数据集提升隐私学习效果
提出 DP-MixMin，私有学习公开数据混合并做差分隐私微调
arXiv
2610.06636
Published
Oct 6
Layer
Training and data layer
Setting
Models and APIs
Evaluated models
ResNet-18, GPT-2 Medium
- AttacksExtraction and theft
AbstractDP-MixMin 私下学公开混合再 DP 微调，胸片 macro AUC 与邮件困惑度优于均匀混合。
DP-MixMin 是一条端到端的差分隐私训练流程：先私下决定多个公开数据集的预训练混合，再预训练并在敏感数据上 DP 微调。作者称这是首个这样的流程。
Paper analysisRead analysis
AttacksarXiv 2610.06093Oct 5
研究评测训练数据提取风险的跨语言迁移
用翻译前缀做跨语言训练数据提取，恢复英语训练文本中的 PII
arXiv
2610.06093
Published
Oct 5
Layer
Prompt layer
Setting
Models and APIs
Evaluated models
GPT-Neo 1.3B, GPT-Neo 2.7B, GPT-J 6B and others7
- AttacksExtraction and theft
Abstract跨语言 TDE 能恢复英语记忆的 PII，转移随多语训练和措辞保真变化。
这篇工作检验训练数据抽取是否跨语言：英语段落里记住的 PII，能否被其他语言的前缀逐字抽出。
Paper analysisRead analysis
AttacksarXiv 2610.04985Oct 4
研究揭示 Jev 作为应用决策层的安全与隐私风险
评估应用决策层的输入注入与隐私推断风险
arXiv
2610.04985
Published
Oct 4
Layer
Application layer
Setting
LLM applications
Attacker
Black-box, Gray-box
Evaluated models
Jev, NanoJev
- AttacksPrompt injection
- TechniqueRole-play and persuasion
AbstractJev 的类型化决策可被输入与训练操纵，也会泄露信息，并同时支持检测与滥用。
Jev 是 TypeSafe 的 System One 模型，把应用 state 和固定问题变成 Choice、Noul 或 Score 的类型化决策与概率。作者用官方 API 和可改训练的 NanoJev，考察它作为决策层时的操纵、泄露与双重用途。
Paper analysisRead analysis
DefensesarXiv 2610.04426Oct 3
UnAct：无需梯度的定向激活干预实现类别遗忘
提出 UnAct，仅以前向激活干预从分类器中遗忘指定类别
arXiv
2610.04426
Published
Oct 3
Layer
Model layer
Setting
Models and APIs
Evaluated models
ResNet-18, ViT-B/16
- DefensesModel hardening
- AttacksExtraction and theft
AbstractUnAct 用前向激活做类别遗忘。
UnAct 是一种事后类别遗忘：删除请求可以只有少量该类图像，且没有标签和保留数据。它不用梯度，只对遗忘图像做前向。编辑对象是分类器所读的后期单元。
Paper analysisRead analysis
DefensesarXiv 2610.03434Oct 2
Persona Guardrail：面向智能体系统的生产级防御框架
提出 Persona Guardrail，强制客服智能体守住功能边界
arXiv
2610.03434
Published
Oct 2
Layer
Application layer
Setting
AI Agent
Attacker
Black-box
Evaluated models
Qwen3-30B-A3B, Qwen3-VL-30B, Qwen3-8B and others5
- DefensesDetection and filtering
- AttacksJailbreaks
- ComponentGuardrails and judges
AbstractPersona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。
Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。
Paper analysisRead analysis
Evaluation and benchmarksarXiv 2610.02986Oct 2
OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准
提出基准 OLMo-Detect 评测 LLM 成员推断
arXiv
2610.02986
Published
Oct 2
Layer
Model layer
Setting
Models and APIs
Evaluated models
OLMo 2 1B, OLMo 2 7B, OLMo 2 13B and others9
- AttacksExtraction and theft
Paper analysisRead analysis
DefensesarXiv 2610.02853Oct 2
研究提出基于收缩约束状态空间模型的有界可达性与越狱检测方法
提出收缩约束 SSM 安全头，认证嵌入扰动并检测越狱
arXiv
2610.02853
Published
Oct 2
Layer
Prompt layer
Setting
Models and APIs
Attacker
White-box, Black-box
Evaluated models
ToySSMClassifier, S4 safety head
- DefensesDetection and filtering
- AttacksJailbreaks
- ComponentGuardrails and judges
Abstract收缩给出玩具 LTI 的有界认证。
给 SSM 安全头一个收缩条件，并在越狱检测上使用收缩正则的 S4 头。。
Paper analysisRead analysis
DefensesarXiv 2610.02432Oct 2
论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护
提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感
arXiv
2610.02432
Published
Oct 2
Layer
Application layer
Setting
LLM applications, AI Agent
Attacker
Black-box
Evaluated models
Gemma-3-27B-Instruct, Gemma-3-4B-Instruct, Llama-3.2-3B-Instruct and others12
- DefensesDetection and filtering
- AttacksDetection evasion
- ComponentGuardrails and judges
Paper analysisRead analysis
AttacksarXiv 2610.01871Oct 1
研究者提出 IMMRAG 攻击，可从多模态 RAG 数据存储中提取医学与文档图像
提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容
arXiv
2610.01871
Published
Oct 1
Layer
Application layer
Setting
LLM applications
Attacker
Black-box
Evaluated models
Lumina-mGPT, Gemini 2.5 Flash Image Preview, CLIP ViT-B/16 and others5
- AttacksExtraction and theft
- TechniqueCross-modal payloads
- ComponentRAG
Paper analysisRead analysis
AttacksarXiv 2610.01365Oct 1
ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联
提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联
arXiv
2610.01365
Published
Oct 1
Layer
Training and data layer
Setting
Models and APIs
Attacker
White-box, Gray-box
Evaluated models
GPT-2 Small, GPT-2 Medium, GPT-2 Large and others6
- AttacksExtraction and theft
- ComponentFine-tuning and open weights
Abstract提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。
Paper analysisRead analysis
DefensesarXiv 2610.00883Oct 1
DeBERTa-ConPara：面向部署的 AI 生成文本检测，推理端 Unicode 归一化提升对抗鲁棒性
提出推理时 Unicode 归一化的检测器，识别遭字符级扰动的 AI 生成文本
arXiv
2610.00883
Published
Oct 1
Layer
Prompt layer
Setting
Models and APIs
Evaluated models
microsoft/deberta-v3-large, deberta-v3-base, bert-large-cased and others4
- DefensesDetection and filtering
- AttacksDetection evasion
- ComponentGuardrails and judges
Abstract推理时归一化消除两类 Unicode 攻击，训练时归一化则会删掉对抗监督。
DeBERTa-ConPara 是一个面向部署的 AI 文本检测器：DeBERTa-v3-large 在多数据集原始文本上训练，推理前做确定性 Unicode 归一化，用一个固定阈值面对没有目标域标签的场景。
Paper analysisRead analysis
DefensesarXiv 2609.40286Oct 1
研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘
提出 COVER，在语言预算下选择源语言实现跨语言知识遗忘
arXiv
2609.40286
Published
Oct 1
Layer
Training and data layer
Setting
Models and APIs
Evaluated models
Tiny Aya Global, Qwen3-4B-Instruct-2507, Llama-3.2-3B-Instruct
- DefensesModel hardening
- AttacksExtraction and theft
AbstractCOVER 在语言预算下选源语言，以降低未监督语言上相对 oracle 的残余访问。
语言预算下的多语言遗忘：遗忘监督只放在 K 种源语言上，目标是降低其余语言对同一事实的残余访问，而不是把每种评测语言都译成监督数据。
Paper analysisRead analysis
DefensesarXiv 2610.02418Oct 1
Whiteout：用混淆样本阻止 LLM 泄露个人敏感信息
提出 Whiteout，用伪装样本微调覆盖个人敏感信息关联
arXiv
2610.02418
Published
Oct 1
Layer
Training and data layer
Setting
Models and APIs
Attacker
Black-box, White-box
Evaluated models
Llama 3.2, Phi-3-mini, Gemma 3 and others7
- DefensesModel hardening
- AttacksExtraction and theft
Paper analysisRead analysis
Analysis and theoryarXiv 2610.00417Sep 30
研究：合成数据溯源识别在改写后准确率大幅下降
检验合成数据来源识别是否等于再训练适配筛选
arXiv
2610.00417
Published
Sep 30
Layer
Prompt layer
Setting
Models and APIs
Evaluated models
Qwen2.5-3B-Instruct, DistilRoBERTa, word TF-IDF logistic regression and others5
- DefensesWatermarking and provenance
- AttacksDetection evasion
Abstract来源识别在原文上准确，改写后精确归因下降。
作者在金融风险文本上把来源识别和训练样本是否有用拆成两次测量，并写明这不是电信部署实验。
Paper analysisRead analysis
DefensesarXiv 2609.37858Sep 29
存储不等于策略：面向 LLM 遗忘的状态条件支持控制
提出 Intervention Score 与 DIR-R，按干预效果选择并修订遗忘参数支持
arXiv
2609.37858
Published
Sep 29
Layer
Training and data layer
Setting
Models and APIs
Evaluated models
Llama 3 8B, Gemma 2 2B, Qwen2.5-7B and others4
- DefensesModel hardening
- AttacksExtraction and theft
Abstract作者把局部化遗忘拆成初始干预选择和检查点修订，并在三个设置里分别给证据和边界。
Storage Is Not Strategy 研究局部化 LLM 遗忘里两个常被混在一起的决定：一开始该更新哪些参数，以及优化改变模型之后这个选择要不要改。
Paper analysisRead analysis
AttacksarXiv 2609.36941Sep 29
研究者提出针对黑盒 LLM 的实用密钥提取框架
提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
arXiv
2609.36941
Published
Sep 29
Layer
Model layer
Setting
Models and APIs
Attacker
Black-box
Evaluated models
DeepSeek-Coder-7B, LLaMA-3-8B, Qwen2.5-Coder-7B and others6
- AttacksExtraction and theft
Abstract论文提出扰动蒸馏与离线过滤两阶段框架，实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
Paper analysisRead analysis

AI Safety Daily

Read the latest issueOne issue per day, updated as events develop

All papers

Attack type

Attack technique

Defense type

Impact

System type

Attacker access

Attack surface / entry point

Layer

System component

The paper proposes an option channel attack: changing one option label can make an agent guardrail allow a prohibited operation

BRANCH 方法绕过 6 套多扫描器护栏系统

Nullify：面向 LLM 遗忘的零空间激活引导免训练方法

MARCO：面向蛋白质生成模型的放射性水印框架

差分隐私混合公共数据集提升隐私学习效果

研究评测训练数据提取风险的跨语言迁移

研究揭示 Jev 作为应用决策层的安全与隐私风险

UnAct：无需梯度的定向激活干预实现类别遗忘

Persona Guardrail：面向智能体系统的生产级防御框架

OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准

研究提出基于收缩约束状态空间模型的有界可达性与越狱检测方法

论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护

研究者提出 IMMRAG 攻击，可从多模态 RAG 数据存储中提取医学与文档图像

ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联

DeBERTa-ConPara：面向部署的 AI 生成文本检测，推理端 Unicode 归一化提升对抗鲁棒性

研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘

Whiteout：用混淆样本阻止 LLM 泄露个人敏感信息

研究：合成数据溯源识别在改写后准确率大幅下降

存储不等于策略：面向 LLM 遗忘的状态条件支持控制

研究者提出针对黑盒 LLM 的实用密钥提取框架