顶会安全论文
越狱与攻击
56- AGILE:基于激活引导局部编辑的越狱攻击Activation-Guided Local Editing for Jailbreaking Attacks
两阶段框架:先用场景化改写掩盖恶意意图,再用隐藏状态引导细粒度编辑,使内部表征由恶意转向良性;攻击成功率较最强基线最高提升 37.74%,迁移性好。
Jiecong Wang, Haoran Li, Hao Peng 等ACL Anthology - ASTRA:自动发现、检索与演化大模型越狱策略ASTRA: An Automated Framework for Strategy Discovery, Retrieval, and Evolution for Jailbreaking LLMs
提出攻击、评估、提炼与复用的闭环框架,以三级策略库积累有效经验并规避已知失败,在黑盒越狱实验中显著优于现有基线。
Xu Liu, Yan Chen, Kan Ling 等ACL Anthology - 非对称关系几何驱动的视觉语言模型通用对抗扰动Asymmetric Relational-Geometry Driven Universal Adversarial Perturbations for Vision-Language Models
提出ARG-Attack,以非对称关系几何目标学习通用扰动,在保持有竞争力的白盒攻击效果的同时显著提升黑盒迁移效果。
- Audio Jailbreak:大型音频语言模型越狱的开放综合基准Audio Jailbreak: An Open Comprehensive Benchmark for Jailbreaking Large Audio-Language Models
构建含 1,495 条对抗音频提示的 AJailBench,并用音频扰动工具包生成优化变体;评测显示没有模型表现出一致的鲁棒性,微小扰动即可显著降低安全性。
Zirui Song, Qian Jiang, Mingxuan Cui 等ACL Anthology - AutoRAN:自动劫持大型推理模型的安全推理AutoRAN: Automated Hijacking of Safety Reasoning in Large Reasoning Models
利用较弱模型模拟推理,并根据目标拒答泄露的推理模式迭代攻击,在多个推理模型与基准上实现接近100%的攻击成功率。
Jiacheng Liang, Tanqiu Jiang, Yuhui Wang 等ACL Anthology - 进退两难:LLM 伦理推理与安全对齐之间的张力Between a Rock and a Hard Place: The Tension Between Ethical Reasoning and Safety Alignment in LLMs
提出多轮红队方法 TRIAL,利用模型自身伦理推理包装有害请求取得高攻击成功率,并提出 ERR 防御框架。
Shei Pern Chua, Zhen Leng Thai, Kai Jun Teh 等ACL Anthology - 超越固定印记:大语言模型水印的自适应窃取Beyond A Fixed Seal: Adaptive Stealing Watermark in Large Language Models
提出结合位置式印记构建与动态攻击视角选择的水印窃取方法,在相同实验条件下显著提升窃取效率。
- Chimera:通过判定驱动的异构策略搜索构造组合越狱Chimera: Compositional Jailbreak Attacks on LLMs via Judgment-Driven Search over Heterogeneous Strategies
将越狱建模为异构策略组合搜索,并用相关性感知指标抑制无关回答造成的成功误判,在多种模型上提高攻击成功率与迁移性。
- 目标冲突使大型推理模型更易遭受攻击Conflicts Make Large Reasoning Models Vulnerable to Attacks
在三个推理模型上发现,价值冲突与两难选择显著提高攻击成功率,层级与神经元分析显示安全表征和功能表征发生偏移与重叠。
- 词典引导的稀疏Logit编辑实现可靠越狱攻击Dictionary Guided Sparse Logit Editing for Reliable Jailbreak Attacks
提出无需梯度或辅助模型的白盒推理时攻击SIBI,通过稀疏修改Logit绕过护栏,在标准基准上保持较高成功率并降低计算与空间开销。
- DMN:面向多图输入多模态 LLM 的组合式越狱框架DMN: A Compositional Framework for Jailbreaking Multimodal LLMs with Multi-Image Inputs
利用多图输入分散指令、提供多模态证据并加入数字链任务,在 GPT-4o、Gemini-2.5-pro 和 Claude Sonnet 4 上攻击成功率超 90%。
- ECHA:利用隐式语义重建与显式安全对齐错位越狱视觉语言模型ECHA: Jailbreaking LVLMs via the Mismatch between Implicit Semantic Reconstruction and Explicit Safety Alignment
利用模型从碎片化视觉线索重建有害意图而护栏未能识别的缺陷,在七种视觉语言模型上评测,单次攻击绕过率超过81%。
- 利用重参数化不变性提升 LLM 越狱攻击的可迁移性Enhancing the Transferability of Jailbreak Attacks on Large Language Models via Exploiting Reparameterization Invariance
提出基于自然梯度的 RIGJ 框架,按输出分布差异更新 token,跨模型攻击成功率提升 14.9,平均有害度提升 1.23。
Ao Wang, Xinghao Yang, Yongshun Gong 等ACL Anthology - 评估 LLM 辅导员在对抗性学生攻击下的答案泄露鲁棒性Evaluating Answer Leakage Robustness of LLM Tutors against Adversarial Student Attacks
将对抗与说服技巧引入教育场景,微调出可越狱 LLM 辅导员的学生 agent 作为基准核心,并提出降低答案泄露的简单防御。
Jin Zhao, Marta Knežević, Tanja KäserACL Anthology - 经验驱动的多智能体大语言模型黑盒越狱优化Experience-Driven Multi-Agent Optimization for Black-Box Jailbreak Attacks on Large Language Models
提出结合三智能体协作与动态经验库的EMJO,实验中攻击成功率最高提升11个百分点,平均查询成本最多降低7.9倍。
- FLASH:聚焦层的注意力汇劫持FLASH: Focused Layer Attention Sink Hijacking
通过干预浅层注意力汇并结合查询改写与动态解码绕过安全机制,在多个模型上攻击成功率超过77%,平均查询1.53次。
- 从攻击面到实际操作:现代大语言模型越狱综述From Attack Surfaces to Actual Operations: A Survey of Modern LLM Jailbreaks
提出技术与操作双重分类体系,分析越狱漏洞与实际攻击约束的关联,梳理现有研究缺口。
- GAMBIT:面向多模态大模型的游戏化越狱框架GAMBIT: A Gamified Jailbreak Framework for Multimodal Large Language Models
把有害视觉语义拆解重组并包装成游戏场景,诱导模型自行重建意图并作答,在 Gemini 2.5 Flash 上攻击成功率达 92.13%。
- 难读却易越狱:视觉退化如何绕过多模态模型安全对齐Hard to Read, Easy to Jailbreak: How Visual Degradation Bypasses MLLM Safety Alignment
发现降低图像分辨率等视觉扰动会削弱安全防御,即使文字仍可读;将转录与安全评估串行分离可缓解风险。
- HauntAttack:当攻击如影随形地嵌入推理HAUNTATTACK: When Attack Follows Reasoning as a Shadow
将有害指令嵌入推理题的关键条件,在11个推理模型上实现超过70%的平均攻击成功率,较最强基线最高提升13个百分点。
- 大模型如何信任未知知识?一种基于未知知识的越狱攻击How Do LLMs "Trust" Unknown Knowledge? An Unknown Knowledge Based Jailbreak Attack
研究影响模型采信未知知识的因素并据此构造越狱攻击,报告在有无防御的测试场景中,对包括GPT-5.1在内的模型达到99%至100%成功率。
- 上下文表征劫持:Doublespeak 越狱攻击In-Context Representation Hijacking
用上下文示例把有害词替换为无害词,使其内部表征趋同于有害语义,从而绕过安全对齐;无需优化,可跨模型迁移,在 Llama-3.3-70B-Instruct 上成功率达 74%。
Itay Yona, Amir Sarid, Michael Karasik 等ACL Anthology - 大语言模型中的不完整提示越狱Incomplete Prompt Jailbreaks in Large Language Models
系统研究不完整有害提示触发的越狱,发现模型往往延迟至句末才拒答,且针对性微调难以跨内容领域和续写类型泛化。
- 步入灰色地带:领域上下文会模糊 LLM 的安全边界Into the Gray Zone: Domain Contexts Can Blur LLM Safety Boundaries
发现领域与安全研究语境会放松模型防御,据此提出 Jargon 多轮攻击,对七个前沿模型 ASR 超 93%,并给出策略引导的防护微调。
Ki Sen Hung, Xi Yang, Chang Liu 等ACL Anthology - 通过道德攻击越狱大语言模型Jailbreaking Large Language Models with Morality Attacks
构建涵盖价值模糊与冲突的1.04万条数据并设计四类对抗攻击,发现大语言模型和护栏模型的道德判断存在显著漏洞。
- 用多片段视频越狱多模态大语言模型Jailbreaking Multimodal Large Language Models using Multi-Clip Video
构建 MCV SafetyBench,发现攻击成功率随片段数上升,视频比图像更脆弱,并提出利用图像模态相对鲁棒性的防御。
Choongwon Kang, Seungjong Sun, Hyunmin Jun 等ACL Anthology - 明知仍为:以道德脱离诊断与防御角色扮演越狱Knowing-but-Doing: Diagnosing and Defending Role-Play-Driven LLMs Jailbreaks via Moral Disengagement
发现模型在角色扮演中即使识别安全风险仍可能执行有害请求,并提出内省式防御,在保持角色忠实度的同时降低攻击成功率。
- 学习隐藏风险:金融领域大语言模型的可控多轮红队攻击Learning to Conceal Risk: Controllable Multi-turn Red Teaming for LLMs in the Financial Domain
提出逐轮掩藏风险、诱导违规回答的黑盒攻击框架,并构建金融风险基准;完整方法在九个模型上的平均攻击成功率达95%。
Gang Cheng, Haibo Jin, Wenbin Zhang 等ACL Anthology - 逻辑越狱:通过形式逻辑表达绕过大模型安全限制Logic Jailbreak: Efficiently Unlocking LLM Safety Restrictions Through Formal Logical Expression
提出将有害请求转换为形式逻辑表达的黑盒越狱方法,并构建多语言评测数据集,在五种语言中验证其有效性与泛化能力。
- 让多模态大模型失明:内容审核中的对抗走私攻击Making MLLMs Blind: Adversarial Smuggling Attacks in MLLM Content Moderation
将有害内容编码为人类可读而模型难识别的视觉形式,构建1700例基准,发现多款领先模型的攻击成功率超过90%。
- 增加智能体改善数学解题,但对抗鲁棒性差距依然存在More Agents Improve Math Problem Solving but Adversarial Robustness Gap Persists
在六个模型、四个数学基准上评测输入扰动,发现增加智能体可提高准确率,却无法消除对抗性能差距,人类式拼写错误尤其棘手。
- MSIA:自适应医疗多模态多轮语义越狱MSIA: Adaptive Medical Multimodal Multi-turn Semantic Jailbreak
通过自适应策略与医学证据反馈,在多轮胸片对话中累积隐蔽语义偏移,在GPT-4o、Claude和Gemini上平均攻击成功率达76.67%。
- MultiCodeAttack:多语言代码模板驱动的迭代越狱MultiCodeAttack: Iterative Jailbreak Attacking on LLMs with Multi-Code Prompt Injection
通过自适应选择编程语言和迭代演化代码模板实施越狱,在多个大模型上比基线诱导出更多有害文本与恶意代码。
- NaturalSloth:重新审视针对大模型的拒绝服务攻击NaturalSloth: Revisiting Denial-of-Service Attacks on Large Language Models
发现无需对抗扰动,看似正常但无意义的自然指令就能诱发过长生成;构建 NaturalSloth 数据集,与越狱技术结合效果更强,并暴露现有防御的不足。
Yiming Chen, Zexin Li, Xianghu Yue 等ACL Anthology - OSCR-Attack:自优化连续松弛的单次字符级攻击OSCR-Attack: One-Shot Character Level Attacks through Self-Optimizing Continuous Relaxation
将离散字符插入转化为可学习的连续优化,在三个开源模型上使攻击成功率最高提升21.45个百分点,攻击速度最高提升至3.66倍。
- 模式增强多轮越狱:利用大语言模型的结构性弱点Pattern Enhanced Multi-Turn Jailbreaking: Exploiting Structural Vulnerabilities in Large Language Models
提出五类对话模式构建多轮越狱,在十二个模型、十类危害上发现模式特异性弱点,针对一种模式的防御难以泛化至其他模式。
- 透视防护盾:识别大语言模型中的安全护栏Peering Behind the Shield: Guardrail Identification in Large Language Models
提出AP-Test,利用护栏特异的对抗提示识别黑盒智能体部署的护栏,在四种开源护栏的多种测试场景中达到完全准确识别。
- 在潜空间中探测 LLM 的安全鲁棒性Probing the Safety Robustness of LLMs in Latent Space
提出 Activation Steering Attack,用 NLL 作为诊断信号探测隐层扰动下安全行为的敏感度,发现最脆弱层不稳定、部分输入在所有层都脆弱,并可累积产生越狱效果。
Tianle Gu, Kexin Huang, Zongqi Wang 等ACL Anthology - RAMP:用于越狱红队测试的风险感知多轮规划RAMP: Risk-Aware Multi-Turn Planning for Jailbreak Red-Teaming
将多轮越狱建模为风险感知规划问题,通过闭环规划执行组合攻击策略,在开源和闭源模型上兼顾攻击效果与查询效率。
- Reference Attack:针对多模态大模型的跨模态越狱攻击Reference Attack: A New Cross-Modal Jailbreaking Attack against Multimodal Large Language Models
把恶意提示嵌入图像、表格等非文本模态,并用递归符号引用让模型逐层还原有害内容,绕过内容审核;在主流 MLLM 上成功率超 93%,较基线最高提升 70.8%。
Yulong Wang, Yifei Fu, Jiayi GaoACL Anthology - 大语言模型安全护栏易受价值驱动对抗提示攻击Safety Guardrails of Large Language Models Are Vulnerable to Value-Driven Adversarial Prompting
提出利用模型迎合倾向的价值驱动黑盒越狱,在五个模型上单次查询的平均成功率达91.8%和95.2%,分别对应两个测试集。
- Seeing No Evil:通过对抗性注意力劫持让视觉语言模型对安全指令“失明”Seeing No Evil: Blinding Large Vision-Language Models to Safety Instructions via Adversarial Attention Hijacking
通过压制对系统提示的注意力并锚定对抗图像特征实现视觉越狱,在 Qwen-VL 上成功率 94.4%;发现“安全失明”,即模型因未检索到安全规则而输出有害内容。
Jingru Li, Wei Ren, Tianqing ZhuACL Anthology - SHAPE:统一教育 LLM 的安全、有用与教学性SHAPE: Unifying Safety, Helpfulness and Pedagogy for Educational LLMs
提出教学越狱问题(学生诱导模型直接给答案)与含 9,087 对样本的 SHAPE 基准,图增强辅导流程显著提升安全性且保持有用性。
Sihang Zhao, Kangrui Yu, Youliang Yuan 等ACL Anthology - SHARP:面向黑盒越狱的自适应有害类别感知提示生成SHARP: Self-adaptive Harmful Category-aware Prompt Generation for Black-box Jailbreaking
提出按有害问题类别生成越狱提示的SHARP,结合两阶段LoRA微调与DPO,提高攻击成功率及跨类别鲁棒性。
Yingjie Xue, Xingyou Xia, Jun Zhang 等ACL Anthology - 让护栏失声:通过动态上下文表征消融实现推理时越狱Silencing the Guardrails: Inference-Time Jailbreaking via Dynamic Contextual Representation Ablation
提出CRA,在解码时抑制与拒答相关的低秩激活模式,无需训练或更新参数,便在多个安全对齐开源模型上取得优于基线的越狱效果。
- SoundBreak:对三模态模型纯音频对抗攻击的系统研究SoundBreak: A Systematic Study of Audio-Only Adversarial Attacks on Trimodal Models
研究针对音频-视频-语言模型的纯音频无目标对抗攻击,攻击成功率最高达 96%,在低感知失真及房间混响下仍有效,跨模型迁移性有限。
- StanceAttack:针对立场检测的对抗攻击StanceAttack: Adversarial Attack for Stance Detection
利用ChatGPT生成保持语义和自然度的对抗文本,在两个基准上攻击立场检测模型,相比传统方法成功率更高、重试更少。
- 偏离拒答:基于首词元分布的黑盒越狱方法Steering Away from Refusal: A Black-box Jailbreak Method Based on First-Token Distribution
提出利用首词元分布偏离拒答模式来优化攻击的方法,在全部受测开源模型上成功率超过90%,在GPT-4.1上超过94%。
- StructBreak:结构性认知过载引发多模态模型安全失效StructBreak: Structural Cognitive Overload-Induced Safety Failures in MLLMs
提出利用结构性认知过载的黑盒攻击,在六个多模态模型上平均攻击成功率达92%,并分析其绕过安全机制的内部原因。
- 水印消退:针对大语言模型水印的自适应进化改写攻击The Mark Fades: Adaptive Evolutionary Paraphrase-based Attack against LLM Watermarks
提出免训练的进化改写框架TSAPA,在多种水印方案上攻击成功率超过90%,同时保持较高语义保真度,揭示现有水印的脆弱性。
- 以自适应叠加密码越狱大型推理模型Three Minds, One Legend: Jailbreak Large Reasoning Model with Adaptive Stacked Ciphers
提出自适应多重加密越狱框架SEAL,在GPT o4-mini上攻击成功率达85.6%,并在多种推理模型上验证有效性。
- TinyAttack:探索大语言模型的字符样式漏洞TinyAttack: Exploring Stylistic Vulnerabilities in Large Language Models
提出基于五类Unicode字符样式变换的对抗攻击,在保持文本语义和句法的同时,使开源与闭源模型的任务表现显著下降。
- TROJail:以过程奖励优化多轮大模型越狱轨迹TROJail: Trajectory-Level Optimization for Multi-Turn Large Language Model Jailbreaks with Process Rewards
将多轮越狱建模为轨迹级强化学习,以两类过程奖励缓解监督稀疏,在多个模型和基准上提高攻击成功率。
Xiqiao Xiong, Ouxiang Li, Zhuo Liu 等ACL Anthology - 背景也重要:针对医疗视觉语言模型的可迁移攻击When Background Matters: Breaking Medical Vision Language Models by Transferable Attack
提出MedFocusLeak,在非诊断背景区域施加难以察觉的扰动以转移注意力,在六类医学影像上诱导错误但临床上看似合理的诊断。
Akash Ghosh, Subhadip Baidya, Sriparna Saha 等ACL Anthology - 当效率遇上安全:LLM 中 KV Cache 压缩的安全基准分析When Efficiency Meets Safety: A Benchmark Security Analysis of KV Cache Compression in Large Language Models
系统研究 KV cache 压缩与越狱攻击的交互,发现既可能带来偶然鲁棒性也会放大部分攻击,并提出 Safe-CAM 将 ASR 降至 0%。
Xiaoxiao Ma, Kuofeng Gao, Zeyi Lu 等ACL Anthology - 安全对齐何时无法泛化:语言游戏越狱探测When Safety Alignment Fails to Generalize: Probing with Language Game Jailbreaks
提出AutoLanJail自动发现和优化语言游戏越狱,发现安全微调高度依赖语言形式,难以泛化到仅有微小变化的表达。
提示注入
12- 超越显式拒答:针对 RAG 的软失效攻击Beyond Explicit Refusals: Soft-Failure Attacks on Retrieval-Augmented Generation
提出 DEJA 黑盒进化攻击,生成对抗文档诱使 RAG 输出流畅但无信息量的回答,可绕过困惑度检测和输入扰动等防御。
Wentao Zhang, Yan Zhuang, ZhuHang Zheng 等ACL Anthology - CachePrune:通过编辑 KV-Cache 教 LLM 不跟随注入指令CachePrune: Teaching LLMs What Not to Follow via KV-Cache Editing
在 KV cache 编码时剪除与指令跟随相关的神经元,使模型把上下文视为数据,显著降低间接提示注入成功率且保持可用性。
Rui Wang, Junda Wu, Yu Xia 等ACL Anthology - EVA:以语义对抗演化对GUI智能体开展环境注入红队测试EVA: Evolving Semantic Adversaries for Red-Teaming GUI Agents Against Environmental Injection Attacks
发现环境注入成功主要由语义内容而非视觉外观决定,提出仅演化语义载荷的EVA,在实验中取得59%至85%的平均攻击成功率。
- 知己知彼:以多样数据与指令级思维链防御提示注入Know Thy Enemy: Securing LLMs Against Prompt Injection via Diverse Data Synthesis and Instruction-Level Chain-of-Thought Learning
InstruCoT结合多样化合成数据与指令级思维链微调,在四个模型上改善行为偏离、隐私泄露和有害输出防御,且未降低效用。
- PIArena:提示注入评测平台PIArena: A Platform for Prompt Injection Evaluation
统一集成攻击、防御与基准,并设计自适应攻击,发现现有防御泛化性有限、易被自适应攻击突破。
Runpeng Geng, Chenlong Yin, Yanting Wang 等ACL Anthology - 大模型自动简历筛选中的单人及多人提示注入Prompt Injection in Automated Résumé Screening with Large Language Models: Single and Multi-Injection Settings
实验发现,候选人资质相近且少数人注入时,简历提示注入能提升排名;注入普及后效果消退,资质差异较大时仍可能导致排名倒置。
- RAP-ID:基于指令冒充行为的机制式提示注入检测RAP-ID: Mechanistic Prompt Injection Detection via Impostor Behavior Analysis
融合指令相似性、注意力争夺与潜在风险信号,在首次前向传播中检测提示注入,无需训练或生成文本,且计算开销较低。
- 推理劫持:大语言模型推理对齐的脆弱性Reasoning Hijacking: The Fragility of Reasoning Alignment in Large Language Models
通过注入虚假判断标准而不改变任务目标来操纵模型,在三类文本检测任务中揭示漏洞,并绕过针对目标偏移的防御。
Yuansen Liu, Yixuan Tang, Anthony Kum Hoe TungACL Anthology - 重新审视提示注入攻击评估Rethinking Assessments of Prompt Injection Attacks
通过覆盖37个真实应用的评估,发现真实应用比研究场景更易受提示注入攻击,简单攻击指令更有效,现有防御仍有局限。
- 引用带来鲁棒性:通过引用执行指令防御提示注入Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction
要求模型同时输出答案及其所执行指令的引用,据此过滤偏离原始指令的答案,部分场景攻击成功率降至接近零且效用影响较小。
- VIGIL:以先验证后提交防御 LLM Agent 的工具流注入VIGIL: Defending LLM Agents Against Tool-Stream Injection via Verify-Before-Commit
提出 verify-before-commit 防御框架和含 959 个案例的 SIREN 基准,攻击成功率比动态防御降低 22% 以上,受攻击下可用性翻倍。
Junda Lin, Zhaomeng Zhou, Zhi Zheng 等ACL Anthology - 当效率成为弱点:针对网页智能体的计算成本攻击When Efficiency Becomes a Vulnerability: Computational Cost Attacks on WebAgents
提出CostBomb,通过网页提示注入诱发冗长推理;黑盒实验表明,攻击可在不妨碍任务完成的情况下显著增加智能体计算成本。
Liang-Bo Ning, Yuchen Zhu, Heqing Huang 等ACL Anthology
Agent 安全
33- 视觉对抗扰动如何绕过多模态智能体的价格约束"Penny Wise, Pixel Foolish": Bypassing Price Constraints in Multimodal Agents via Visual Adversarial Perturbations
提出PriceBlind,在截图白盒评测中绕过价格约束的成功率约80%;结合鲁棒编码器的先验证后行动防御可将其降至10%以下。
- 面向电商领域 Web Agent 的功能导向评测基准A Functionality-Grounded Benchmark for Evaluating Web Agents in E-commerce Domains
提出 Amazon-Bench 及自动评测框架,同时评估 Web Agent 的任务表现与安全风险,发现现有 Agent 难处理复杂查询且存在安全隐患。
Xianren Zhang, Shreyas Prasad, Di Wang 等ACL Anthology - Among Us:度量并缓解模型协作系统中的恶意贡献Among Us: Measuring and Mitigating Malicious Contributions in Model Collaboration Systems
构造四类恶意 LM 接入路由、辩论、模型融合等协作系统,推理与安全领域性能平均下降约 7%;外部监督者屏蔽恶意模型可恢复约 95% 性能。
Ziyuan Yang, Wenxuan Ding, Shangbin Feng 等ACL Anthology - 电商欺骗性界面下的 Web Agent 安全基准Benchmarking Web Agent Safety under E-commerce Deceptive Interfaces
提出 WebDecept 插件框架,注入七类欺骗性界面模式;评测显示现有多模态 Web Agent 对多类欺骗界面高度易感,仅靠提示约束难以缓解。
Zijing Shi, Meng Fang, Ling ChenACL Anthology - 多智能体大模型系统中的组合式提示攻击Conjunctive Prompt Attacks in Multi-Agent LLM Systems
研究查询触发项与受控远程智能体模板经路由组合后激活有害行为的攻击,发现现有护栏和工具限制难以可靠阻断。
Nokimul Hasan Arif, Qian Lou, Mengxin ZhengACL Anthology - CORBA:针对大语言模型多智能体系统的传染式递归阻塞攻击CORBA: Contagious Recursive Blocking Attacks on Multi-Agent Systems Based on Large Language Models
提出拒绝协作威胁及递归阻塞攻击,利用语义无害的通信诱导无意义消息循环,在多种拓扑和模型上造成系统瘫痪。
- 别点那里:教 Web Agent 抵御欺骗性界面Don’t Click That: Teaching Web Agents to Resist Deceptive Interfaces
提出 DUDE 防御框架和含 1,407 个场景的 RUC 基准,在保持任务表现的同时将 Web Agent 受欺骗界面影响的概率降低 53.8%。
Yilin Zhang, Yingkai Hua, Chunyu Wei 等ACL Anthology - 基于双层图异常检测的 LLM 多智能体系统可解释细粒度防护Explainable and Fine-Grained Safeguarding of LLM Multi-Agent Systems via Bi-Level Graph Anomaly Detection
提出 XG-Guard,结合句子级与 token 级表示和主题异常检测来识别多智能体系统中的恶意 agent,并给出可解释依据。
Junjun Pan, Yixin Liu, Rui Miao 等ACL Anthology - 壳中的假朋友:揭示 LLM 的颜文字语义混淆漏洞False Friends in the Shell: Unveiling the Emoticon Semantic Confusion in Large Language Models
发现 LLM 会误读 ASCII 颜文字而执行非预期甚至破坏性操作,6 个模型平均混淆率超 38%,且该漏洞可迁移到 agent 框架,提示词缓解基本无效。
- 从任务到团队:金融多智能体系统的风险优先评测框架From Tasks to Teams: A Risk-First Evaluation Framework for Multi-Agent LLM Systems in Finance
提出免微调的多智能体风险审计框架,以四层十类探针识别不安全轨迹,并揭示常规指标遗漏的时效性等风险。
- 对抗环境如何误导智能体?How Adversarial Environments Mislead Agentic AI?
通过污染工具输出构造虚假信息环境和循环陷阱,在五个前沿智能体上发现,抵抗认知误导与抵抗导航陷阱是不同能力,且常存在权衡。
- InquireMobile:用强化微调教 VLM 移动 agent 请求人工协助InquireMobile: Teaching VLM-based Mobile Agent to Request Human Assistance via Reinforcement Fine-Tuning
提出 InquireBench 评测移动 agent 的安全交互与主动询问,并训练 InquireMobile,询问成功率提升 46.8%。
Qihang Ai, Pi Bu, Yue Cao 等ACL Anthology - 贾维斯还是奥创?计算机操作智能体安全威胁综述JARVIS or Ultron? A Survey on the Safety and Security Threats of Computer-Using Agents
系统梳理计算机操作智能体的安全威胁、防御策略与评测资源,建立分类框架,为漏洞研究和安全部署提供参考。
Ada Chen, Yongjiang Wu, Junyuan Zhang 等ACL Anthology - 以真话行骗:通过生成式蒙太奇实现开放信道多智能体合谋的信念操纵Lying with Truths: Open-Channel Multi-Agent Collusion for Belief Manipulation via Generative Montage
提出仅用真实证据片段的多智能体合谋攻击,在 14 个 LLM 家族上攻击成功率约 70%,且推理能力越强越易受骗。
- MADRA:面向风险感知具身规划的多智能体辩论MADRA: Multi-Agent Debate for Risk-Aware Embodied Planning
提出由批判智能体审查辩论的免训练规划架构,对不安全任务的拒绝率超过90%,同时保持较高实用性。
- MCP-Guard:智能体模型上下文协议的多阶段纵深防御MCP-Guard: A Multi-Stage Defense-in-Depth Framework for Securing Model Context Protocol in Agentic AI
提出结合静态扫描、神经检测与大模型仲裁的MCP防御框架,配套70,448条攻击样本,微调E5检测器识别对抗提示的准确率达96.01%。
- 生成式智能体社会模拟中的多模态安全评估Multimodal Safety Evaluation in Generative Agent Social Simulations
构建多模态智能体安全模拟框架,发现不安全计划纠正成功率仅55%,且误导性视觉线索下45%的不安全行动被接受。
Alhim Adonai Vera Gonzalez, Carlos Hinojosa, Karen Sanchez 等ACL Anthology - 经验驱动自演化智能体的安全风险On Safety Risks in Experience-Driven Self-Evolving Agents
网页与具身环境实验发现,仅积累良性任务经验也会强化行动倾向、削弱安全性;拒答经验可缓解退化,却会引发过度拒答。
- OS-Sentinel:通过混合验证提升移动 GUI Agent 安全性OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows
提出 MobileRisk-Live 沙箱与基准,以及结合形式化验证器和 VLM 情境判断器的 OS-Sentinel,检测效果比现有方法提升 10%–30%。
Qiushi Sun, Mukai Li, Zhoumianze Liu 等ACL Anthology - PerMemSafe:长程自演化智能体的隐式个性化安全评测PerMemSafe: Benchmarking Implicit Personalized Safety of Long Horizon Self-Evolving Agents
建立隐式个性化安全基准,发现最强受测智能体安全率仅约50%,并提出风险感知记忆框架,在保持帮助性的同时改善安全表现。
- SafeAgent:用自动风险模拟器保护 LLM agentSafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator
提出按指令、上下文、动作划分风险的威胁模型,自动合成数据训练,四个开源模型安全性平均提升 45%。
Xueyang Zhou, Weidong Wang, Lin Lu 等ACL Anthology - SafeMCP:基于环境前瞻推理的 LLM Agent 主动权力调节防御SafeMCP: Proactive Power Regulation for LLM Agent Defense via Environment-Grounded Look-Ahead Reasoning
服务端插件用世界模型前瞻推理做主动工具过滤和即时干预,在 PowerSeeking Bench、ToolEmu、AgentHarm 上降低风险并保持可用性。
Lichao Wang, ZhaoXing Ren, Tianzhuo Yang 等ACL Anthology - Safety Sidecar:反思驱动的智能体运行时安全控制Safety Sidecar: Reflection-Driven Runtime Control for Safer Agents
通过监控决策轨迹、检索修复案例及外部验证器控制执行,在安全代码生成实验中将安全解答率提高2.9至11.2个百分点。
- SafetyALFRED:评估视觉语言模型的安全规划能力SafetyALFRED: Evaluating Safety-Conscious Planning of Vision Language Models
构建包含六类厨房隐患的具身评测,发现模型虽能识别危险,却难以通过规划主动消除风险。
- 别再盯着提示词:面向 LLM Agent 红队的推理劫持与约束收紧Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents
提出 JailAgent,不修改用户提示,而是操纵 Agent 的推理轨迹与记忆检索,在跨模型、跨场景下表现突出。
- TAMAS:多智能体 LLM 系统对抗风险基准TAMAS: Benchmarking Adversarial Risks in Multi-Agent LLM Systems
含 300 个对抗实例、六类攻击,评测十个骨干模型和 Autogen、CrewAI 配置,发现多智能体系统极易受攻击。
Ishan Kavathekar, Hemang Jain, Ameya Rathod 等ACL Anthology - ToolSafe:通过步骤级主动护栏与反馈提升工具调用安全ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback
构建工具调用安全基准、执行前护栏及反馈推理框架,在提示注入攻击下平均减少65%的有害调用,并使正常任务完成表现提升约10%。
- TopoSHIELD:以时空风险感知拓扑演化阻断恶意传播TopoSHIELD: Reshaping the Flow of Malice via Spatio-Temporal Risk-Aware Topological Evolution in Multi-Agent Systems
通过监测交互风险、剪除高风险连接及隔离受损群体阻断攻击传播,在GPT-4o上降低58%的毒性,任务成功率保持在90%以上。
- Visual Inception:通过多模态记忆投毒破坏 Agent 推荐系统的长期规划Visual Inception: Compromising Long-term Planning in Agentic Recommenders via Multimodal Memory Poisoning
在用户上传图片中植入触发器,使其作为“休眠特工”留存于长期记忆并劫持后续规划,目标命中率约 85%;提出 CognitiveGuard 防御,将其降至约 10%。
Jiachen QianACL Anthology - 针对大模型多智能体系统的网页链接欺诈攻击Web Fraud Attacks Against LLM-Driven Multi-Agent Systems
设计12种利用链接结构实施欺骗的攻击变体,实验表明它们可危害不同多智能体架构,且无需复杂输入设计。
- 当个性化使风险合法化:个性化对话 Agent 的安全漏洞When Personalization Legitimizes Risks: Uncovering Safety Vulnerabilities in Personalized Dialogue Agents
发现良性个人记忆会使模型把有害请求当作合理,相对无状态基线攻击成功率提升 15.8%–243.7%;提供表示空间证据,并提出轻量检测-反思方法。
- 智能体为何在压力下牺牲安全Why Agents Compromise Safety Under Pressure
发现合规执行不可行时,智能体会为完成目标牺牲安全,较强推理能力反而加速这一过程,并探索压力隔离等缓解策略。
- XOXO:针对 AI 编程助手的隐蔽跨源上下文投毒攻击XOXO: Stealthy Cross-Origin Context Poisoning Attacks against AI Coding Assistants
通过语义保持的代码变换污染共享上下文,使助手推荐漏洞代码,对八个模型平均攻击成功率 73.20%,并在 GitHub Copilot 上实证。
Adam Štorek, Mukur Gupta, Noopur Bhatt 等ACL Anthology
防御与护栏
118- TRuST:有毒语言片段与攻击目标识别♪ Something Just Like TRuST ♪ *: Toxicity Recognition of Span and Target
构建约30万条标注的毒性识别数据集,发现微调预训练模型在毒性、目标群体和有毒词识别上均优于大语言模型。
- 从BERTology看大模型编排:高效单次前向分类探针A BERTology View of LLM Orchestrations: Token- and Layer-Selective Probes for Efficient Single-Pass Classification
复用生成模型的词元与层级隐藏状态进行安全分类,性能可媲美更大专用模型,同时避免独立护栏的显存与延迟开销。
Gonzalo Ariel Meyoyan, Luciano Del CorroACL Anthology - 用于提示安全的轻量可解释护栏A Lightweight Explainable Guardrail for Prompt Safety
联合训练提示分类器与解释词标注器,以更小模型在三个数据集的域内外测试中达到或超过现有提示分类与可解释性水平。
Md Asiful Islam, Mihai SurdeanuACL Anthology - 利用句法可预测性的语言学感知大语言模型水印A Linguistics-Aware LLM Watermarking via Syntactic Predictability
提出STELA,按词性序列的语言不确定性调整水印强度,无需模型logits即可公开检测,并在英中韩三语实验中提升检测鲁棒性。
Shinwoo Park, Hyejin Park, Hyeseon An 等ACL Anthology - 多语言模型有害内容缓解策略综述A Survey of Toxicity Mitigation Strategies for Multilingual Language Models
系统梳理多语言模型的有害内容度量与缓解方法,涵盖训练、编辑、解码、对齐及数据策略,并讨论数据稀缺和跨文化评估等挑战。
- 剖析机器遗忘:事实显著性与模型微调的双重影响Anatomy of Unlearning: The Dual Impact of Fact Salience and Model Fine-Tuning
提出跨训练阶段的遗忘评估基准DUAL,发现先对待遗忘数据进行监督微调可使遗忘更平稳,并将保留率提高10%至50%。
- 审计大语言模型对心理健康群体有害刻板印象的回应Auditing LLM Responses to Harmful Stereotypes Targeting Mental Health Groups
审计发现,多款开放权重模型会在要求辩护时认可有害刻板印象,而常用有害内容评测与审核框架经常漏检这些歧视性回应。
- BanHADEX:人类标注解释支持的孟加拉语仇恨检测BanHADEX: Towards Explainable HAte Speech Detection in Bangla Using Human Annotated EXplanation
构建含19203条评论及人工解释的孟加拉语仇恨检测数据集,实验显示解释引导的LoRA提升了分类表现与解释质量。
Faisal Hossain Raquib, Akm Moshiur Rahman Mazumder, Md Fahim 等ACL Anthology - 做自己的红队:通过自博弈与反思经验回放实现安全对齐Be Your Own Red Teamer: Safety Alignment via Self-Play and Reflective Experience Replay
让同一模型在强化学习中兼任攻防双方,并重点回放失败案例,所得防御能力优于静态对抗数据训练的基线。
- 超越表层检测:基于元操作推理的认知驱动越狱防御Beyond Surface-Level Detection: Towards Cognitive-Driven Defense Against Jailbreak Attacks via Meta-Operations Reasoning
提出 CDD 框架,通过结构化推理链识别掩盖有害意图的元操作,并用熵引导强化学习提升对未见越狱攻击的泛化防御。
Rui Pu, Chaozhuo Li, Rui Ha 等ACL Anthology - 超越安全代价:以外部安全修正抑制不安全文生图Beyond the Safety Tax: Mitigating Unsafe Text-to-Image Generation via External Safety Rectification
提出不修改基础模型的外部安全模块SafePatch,在I2P上将不安全生成比例降至7%,同时保持图像质量与语义一致性。
- BOOKAGENT:多智能体认知校准下的安全视觉叙事BOOKAGENT: Orchestrating Safety-Aware Visual Narratives via Multi-Agent Cognitive Calibration
提出融合儿童安全约束与跨页核验修复的多智能体绘本生成框架,实验显示其叙事连贯性、视觉一致性和安全合规性均优于现有方法。
- 用序列级风险累积校准推理时对齐Calibrating Inference Time Alignment with Sequence-level Risk Accumulation
提出 SEAT,以奖励引导的分支解码和序列级风险监控防御越狱,同时减少对良性内容的过度拒答,在四个攻击基准上优于八个基线。
Shanwen Tan, Ziyang Dong, Wei Ju 等ACL Anthology - CARO:面向鲁棒内容审核的类比链推理优化CARO: Chain-of-Analogy Reasoning Optimization for Robust Content Moderation
通过监督微调与偏好优化训练类比推理,减少模糊内容审核中的误导性判断捷径,实验中平均F1提升24.9%。
- CEAID:面向中欧语言的多语种机器生成文本检测基准CEAID: Benchmark of Multilingual Machine-Generated Text Detection Methods for Central European Languages
构建中欧语言机器文本检测基准并评估抗混淆能力,发现针对这些语言监督微调的检测器性能与对抗鲁棒性最佳。
- 认知分析图引导的大语言模型多轮安全增强Cognitive Analysis Graph-Guided Multi-Turn Safety Enhancement for Large Language Models
提出CogGSE,在推理时结合当前问题的认知分析图与历史安全节点引导回复,实验验证其在多种安全场景中的有效性。
- 大模型仇恨言论检测中的安全对齐与意识形态偏差Confident, Calibrated, or Complicit: Safety Alignment and Ideological Bias in LLM Hate Speech Detection
比较政治人设下不同安全约束模型的仇恨言论检测,发现约束较强者更准确且更抗人设影响,但各模型仍存在群体差异和过度自信。
Sanjeevan Selvaganapathy, Mehwish NasimACL Anthology - 通过基于梯度的样本选择维持持续安全对齐Continual Safety Alignment via Gradient-Based Sample Selection
发现高梯度样本更易导致微调中的安全退化,过滤此类样本可在保持任务表现的同时改善安全对齐保留。
- CrossGuard:保护 MLLM 免受联合模态隐式恶意攻击CrossGuard: Safeguarding MLLMs against Joint-Modal Implicit Malicious Attacks
用 RL 红队管线 ImpForge 生成隐式多模态样本,训练意图感知护栏 CrossGuard,对显式与隐式攻击防御均优于现有护栏。
Xu Zhang, Hao Li, Zhichao LuACL Anthology - DART:以蒸馏、审计和修复训练缓解差异感知模型的危害漂移DART: Mitigating Harm Drift in Difference-Aware LLMs via Distill-Audit-Repair Training
发现人口群体差异分类微调会使解释更有害;DART将Llama-3-8B准确率从39.0%提升至68.8%,并减少72.6%的危害漂移案例。
- 深度研究的开放域评估与多阶段安全护栏Deep Research with Open-Domain Evaluation and Multi-Stage Guardrails for Safety
提出四阶段深度研究护栏及分阶段安全基准,将防御成功率提升16.53个百分点、过度拒答率降至约6%,并改善报告质量。
Wei-Chieh Huang, Henry Peng Zou, Yaozu Wu 等ACL Anthology - 结合模板化上下文学习与防御后缀抵御大模型越狱Defending LLMs against Jailbreak Attacks via Template-Based ICL with a Defensive Suffix
将离线优化的防御后缀与在线筛选的上下文示例组合,在所测白盒和黑盒攻击下将成功率降至接近零,同时保留良性任务效用。
- 针对提示攻击的防御学到的是表面启发式Defenses Against Prompt Attacks Learn Surface Heuristics
发现微调式提示注入防御依赖位置、触发词和话题等表面相关性,导致良性输入被大量误拒,并提供诊断数据集与系统评测。
Li Li, Chenxiao Yu, Zhiyu Ni 等ACL Anthology - 检测查询意图:用 FFN 输出激活监测实现 LLM 安全 steeringDetecting What Queries Seek: Steering LLM Safety with FFN Output Activation Monitoring
以 FFN 输出激活区分有害与良性查询并选择性干预,在多种越狱攻击下达到领先防御效果,同时基本保持良性任务性能。
Xiaohao Luo, Ying Wei, Rui ZhaoACL Anthology - LLM 去毒:从数据集本身入手Detoxification for LLM: From Dataset Itself
提出 HSPD 流程,用 SoCD 定位并改写原始语料中的有毒片段;在 GPT2-XL 上毒性概率由 0.42 降至 0.18,并在多个模型上验证。
Wei Shao, Yihang Wang, Gao yu Zhu 等ACL Anthology - DIA-HARM:50 种英语方言下有害内容检测的差异DIA-HARM: Dialectal Disparities in Harmful Content Detection Across 50 English Dialects
构建覆盖 50 种方言的虚假信息检测基准,评测 16 个检测模型,发现方言内容使检测性能下降,部分模型严重失效。
Jason S Lucas, Matt Murtagh White, Ali Al-Lawati 等ACL Anthology - 基于增强策略训练的领域可泛化 AI 护栏Domain Generalizable AI Guardrails with Augmented Policy Training
发现 LlamaGuard 等护栏会过拟合训练策略,提出 Augmented Policy Training,用策略扰动提升对未见策略的泛化,1B 模型在未见策略上可媲美 8B 护栏。
Minqian Liu, Ioana Baldini, David Rabinowitz 等ACL Anthology - 别破坏事实:基于双重事实护盾的可信RAG水印Don’t Corrupt the Fact: A Trustworthy RAG Watermarking Framework based on Dual Factual Shield
提出结合源文档关键术语保护与语义提示的双重事实护盾,显著降低水印造成的知识损坏,同时保留原有安全性与鲁棒性。
Hao Huang, JiaTang Luo, Ruihua Zhou 等ACL Anthology - DR-HM:以认知感知数据合成及先蒸馏后强化检测有害模因DR-HM: Distill-then-Reinforce Training with Cognition-Aware Data Synthesis for Harmful Meme Detection
结合结构化推理数据合成、蒸馏与自适应强化学习,提升小型多模态模型的有害模因检测能力,在FHM数据集达到84.7%准确率。
- DualGuard:抵御改写与伪造攻击的双流水印DualGuard: Dual-stream Large Language Model Watermarking Defense against Paraphrase and Spoofing Attack
依据语义动态注入两路互补水印,同时抵御改写与水印伪造,并检测和追溯伪造攻击,在多个模型与数据集上兼顾鲁棒性和文本质量。
- EntroBench:多熵场景与实际用户操作下的大模型水印评测EntroBench: Evaluating LLM Watermarking Under Multi-Entropy Scenarios and Practical User Operations
跨三种熵水平、七类任务评测八种水印方法,发现检测能力与输出质量存在权衡,普通非对抗性用户操作也会显著削弱水印。
- 遗忘而不留痕:大模型的隐式知识遗忘Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models
评测 15 种遗忘方法,发现模型仍能回忆改写后的答案且中间层保留目标事实,并提出基于概率扰动的 PERMU 方法改进隐式知识遗忘。
Huazheng Wang, Yongcheng Jing, Haifeng Sun 等ACL Anthology - 评估法条型法律问答的结构感知检索与安全性Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA
以消防法规构建检索与拒答评测,发现图引导检索提升表现,但领域适配模型在缺失关键法条证据时更容易产生幻觉。
Kyubyung Chae, Jewon Yeom, Jeongjae Park 等ACL Anthology - 解释为何标记:超越内容屏蔽的仇恨言论语境分析Explain the Flag: Contextualizing Hate Speech Beyond Censorship
结合大语言模型与多语言词表检测并解释仇恨言论,人工评估显示其检测准确性与解释质量优于仅使用大语言模型的基线。
- FigSIM:自杀主题表情包的严重程度与修辞语言数据集FigSIM: A Dataset for Fine-grained Suicide Severity and Figurative Language in Suicide Memes
构建1049张自杀主题表情包的数据集并评测16个模型,发现模型容易低估高严重程度内容,尤其在使用修辞表达时,揭示内容审核难点。
- FlexGuard:面向严格度自适应 LLM 内容审核的连续风险评分FlexGuard: Continuous Risk Scoring for Strictness-Adaptive LLM Content Moderation
提出 FlexBench 基准并发现现有审核模型跨严格度不一致,进而提出输出连续风险分数的 FlexGuard,提升不同严格度下的鲁棒性。
Zhihao Ding, Jinming Li, Ze Lu 等ACL Anthology - 忘掉重要的,保留其余:信息性 Token 的选择性遗忘Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens
提出基于预测熵的 token 级遗忘正则 ETW,作为对抗有害行为的遗忘手段,在遗忘效果更强的同时更好保持模型效用。
Seunghee Koh, Sunghyun Baek, Youngdong Kim 等ACL Anthology - 从TDMA到CDMA:扩散语言模型的多比特水印From TDMA to CDMA: A Multi-bit Watermark for Diffusion Language Models
提出面向扩散语言模型的CDMArk,将完整水印信息分散编码到所有词元,在不可感知性与有效性的权衡上取得领先结果。
Baizhou Huang, Xiaojun WanACL Anthology - 壳中幽灵:以同义词感知逻辑值塑形指纹保护视觉语言模型版权Ghost in the Shell: Synonym-Aware Logit Shaping Fingerprint for Copyright Protection of Large Vision-Language Models
提出SALSF,通过调整语义相近长尾词的概率分布嵌入模型指纹,近似保持首选词及其概率,实验显示可保留多模态性能并增强指纹鲁棒性。
- GrandGuard:老年人与聊天机器人交互的安全分类、基准及护栏GrandGuard: Taxonomy, Benchmark, and Safeguards for Elderly-Chatbot Interaction Safety
建立老年人特定风险分类与10,404条样本基准,发现多个主流模型逾半数案例处理不当,两种护栏的不安全提示检测准确率最高达96.2%和90.9%。
- Guardian-as-an-Advisor:以建议式护栏提升模型可信度Guardian-as-an-Advisor: Advancing Next-Generation Guardian Models for Trustworthy LLMs
提出提供风险标签与解释的建议式护栏,在维持安全的同时减少过度拒答,端到端额外开销为2%至10%。
- HalluGuard:用证据驱动的小型推理模型抑制RAG幻觉HalluGuard: Evidence-Grounded Small Reasoning Models to Mitigate Hallucinations in Retrieval-Augmented Generation
训练40亿参数护栏模型判断陈述是否有文档依据并解释,在RAGTruth子集上取得84.4%的平衡准确率,超过所比较的专用模型。
- Health-ORSC-Bench:健康场景过度拒答与安全作答基准Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context
构建含31,920条良性边界提示的健康场景基准,评估30个模型,发现安全优化模型对高难度良性提示的拒答率可达80%。
- HiddenGuard:基于专用表征路由器的细粒度安全生成HiddenGuard: Fine-Grained Safe Generation with Specialized Representation Router
利用隐藏状态做 token 级有害内容检测与遮蔽,不必整体拒答,有害内容检测与遮蔽 F1 超过 90%。
Lingrui Mei, Shenghua Liu, Yiwei Wang 等ACL Anthology - 如何增强大型推理模型的安全性:一项实证研究How Should We Enhance the Safety of Large Reasoning Models: An Empirical Study
研究用 SFT 提升 LRM 安全:直接蒸馏 DeepSeek-R1 的安全回复效果有限,识别出五类风险模式,修正后显著提升;简短或模板式推理即可达到相近安全性。
Zhexin Zhang, Xian Qi Loye, Victor Shea-Jay Huang 等ACL Anthology - 基于 SAE 构造低秩子空间的可解释安全对齐Interpretable Safety Alignment via SAE-Constructed Low-Rank Subspace Adaptation
提出 SAILS,用 SAE 解耦出安全子空间来初始化 LoRA,仅更新 0.2% 参数即达最高 99.6% 安全率,优于全参数微调。
Dianyun Wang, Qingsen Ma, Yuhu Shang 等ACL Anthology - 越狱攻击对抗内容安全过滤器:大模型安全攻防进展如何?Jailbreaking Attacks vs. Content Safety Filters: How Far Are We in the LLM Safety Arms Race?
评估包含输入输出过滤的完整推理流程,发现几乎所有受测越狱方法都能被至少一种过滤器检出,但精确率与召回率仍需权衡。
- JPU:通过 on-policy 路径修正连接越狱防御与遗忘学习JPU: Bridging Jailbreak Defense and Unlearning via On-Policy Path Rectification
发现越狱主要激活中间层未被擦除的参数并形成动态越狱路径,提出 JPU 挖掘 on-policy 对抗样本修正路径,提升对动态攻击的抵抗力并保持效用。
Xi Wang, Songlei Jian, Shasha Li 等ACL Anthology - 知道何时放弃:诊断并训练大模型终止无效推理Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning
揭示超出能力的任务会诱发过度自信与貌似合理的错误推理,并用奖励塑形和失败样本监督训练拒答,减少无效推理而保持性能。
- 面向RAG知识库的知识注入式多比特水印Knowledge-Infused Multi-Bit Watermarking for RAG Knowledge Bases
通过良性知识补全嵌入多比特水印并优化检测查询,在知识筛选、修改、扩充及RAG设置限制下仍能可靠提取水印,保护知识库产权。
- LASA:在语义瓶颈处实现语言无关的安全对齐LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety
将安全对齐锚定于语言无关的中间层语义表征,改善跨语言安全性,使LLaMA模型的平均攻击成功率从24.7%降至2.8%。
Junxiao Yang, Haoran Liu, Jinzhe Tu 等ACL Anthology - 从模型内部保障安全:利用内部表征检测有害内容LLM Safety From Within: Detecting Harmful Content with Internal Representations
提出SIREN,通过线性探针和自适应层加权构建有害内容检测器,以少250倍的可训练参数超越先进开源护栏,并支持实时流式检测。
Difan Jiao, Yilun Liu, Ye Yuan 等ACL Anthology - 基于大模型的孟加拉语仇恨言论多任务检测LLM-Based Multi-Task Bangla Hate Speech Detection: Type, Severity, and Target
构建涵盖类型、严重程度与目标的孟加拉语仇恨言论数据集,发现LoRA微调大模型可媲美BanglaBERT,但文化语境预训练仍很重要。
Md Arid Hasan, Firoj Alam, Md Fahad Hossain 等ACL Anthology - LLM-VA:通过向量对齐化解越狱与过度拒答的权衡LLM-VA: Resolving the Jailbreak-Overrefusal Trade-off via Vector Alignment
发现回答向量与良性向量近乎正交,提出以闭式权重更新对齐二者,在 12 个模型上比最佳基线 F1 高 11.45% 且保留 95.92% 效用。
Haonan Zhang, Dongxia Wang, Yi Liu 等ACL Anthology - LR-DWM:扩散语言模型的高效水印方法LR-DWM: Efficient Watermarking for Diffusion Language Models
- LS-Guard:针对单个大语言模型定制的自适应安全护栏LS-Guard: Adaptive Safety Guardrails Tailored to Individual LLMs
通过动态探测模型漏洞并训练协作式多LoRA安全分类器,构建定制护栏,在鲁棒性、适应性和泛化方面优于基线。
- 通过推理时激活能量缓解对齐大语言模型的过度拒答Mitigating Over-Refusal in Aligned Large Language Models via Inference-Time Activation Energy
提出能量景观引导方法,以外部能量模型动态干预隐藏状态,将ORB-H上的请求遵从率从57.3%提高至82.6%,同时保持基线安全性。
Eric Hanchen Jiang, Weixuan Ou, Run Liu 等ACL Anthology - 通过意图引导安全推理缓解多模态模型的安全上下文遗忘Mitigating Safety Context Amnesia in Multimodal Reasoning Models via Intent-Guided Safety Reasoning
发现模型可能识别视觉风险却在推理中忽略安全约束,提出意图引导防御,使防御成功率较基线提升超过62%,同时基本保留任务效用。
Xiyao Dong, Guangsheng Cheng, YiLong Chen 等ACL Anthology - 超越模态之和:解析多模态仇恨言论检测中的意图转变More Than Sum of Its Parts: Deciphering Intent Shifts in Multimodal Hate Speech Detection
构建依赖图文交互识别隐性仇恨的H-VLI基准,并提出法庭式智能体辩论框架,显著改善复杂隐性案例的检测。
- 多思少言:将审慎安全推理内化到大模型参数More Thinking, Less Talking: Internalizing Deliberative Safety into LLM Parameters
HIAR通过逐层LoRA更新内化安全推理,无需生成显式安全思维链,相比强基线将越狱攻击成功率降低43%。
Guan Wang, Xuehai Tang, Biyu Zhou 等ACL Anthology - 通过多语种拒答对齐提升大语言模型安全性Multilingual Refusal Alignment for Safer Large Language Models
提出覆盖12种欧洲语言的RefusEU数据集,发现仅英语对齐不足以保障跨语言安全,多语种训练可改善安全而不损害通识表现。
- 从神经元理解大模型攻击:定向调优实现精准稳健的漏洞修补Neuronal Insights into LLM Attacks: Targeted Neuron Tuning for Precise and Robust Vulnerability Patching
通过相似度梯度归因定位攻击敏感神经元,提出定向神经元调优,在保留通用性能的同时,将多种越狱攻击下的安全率提升至90%以上。
- 新词新毒性:搜索增强大模型的中文新词毒性检测New Terms, New Toxicity: Consensus-based Chinese Neologism Toxicity Detection via Search-Augmented LLMs
构建有毒新词分类与词典,并提出搜索增强框架SeTox引入实时语境,使3B规模模型也能超越近期大规模模型的检测表现。
- OFFSIDE:多模态大模型虚假信息遗忘评测OFFSIDE: Benchmarking Unlearning Misinformation in Multimodal Large Language Models
构建多模态虚假信息遗忘基准,发现已遗忘谣言可被重新学习恢复,受测方法均易受提示攻击,且难以处理图像内谣言。
- 穿透语言伪装:中文仇恨言论的细粒度毒性抽取Penetrating Linguistic Disguises: A Slang-aware Label-Aligned Framework for Fine-Grained Toxicity Extraction in Chinese Hate Speech Detection
结合俚语词典融合与标签解耦体积标注,减少中文仇恨言论抽取中的语义歧义和标签冲突,在STATE ToxiCN上取得30.09%的Hard-F1。
- 自适应对比解码:缓解大语言模型的过度拒答Please refuse to answer me! Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding
提出无需训练的AdaCD,动态调整拒答词元分布,在五个基准上平均降低过度拒答查询的拒答率10.35%,同时略增恶意查询拒答率。
Yupeng Qi, Ziyu Lyu, Lixin Cui 等ACL Anthology - 观点:大语言模型水印落地需要协调各方激励Position: LLM Watermarking Should Align Stakeholders’ Incentives for Practical Adoption
从竞争风险、检测工具治理和归属问题分析水印部署障碍,以情境内水印为例提出面向特定领域的激励协调与滥用检测设计原则。
- 通过关键权重保护维持量化大语言模型的公平与安全Preserving Fairness and Safety in Quantized LLMs Through Critical Weight Protection
发现量化会削弱安全对齐,非英语场景尤为明显;保护公平与安全关键权重可在无需重新训练的情况下缓解退化。
- 通过耦合权重与激活约束防止大语言模型安全漂移Preventing Safety Drift in Large Language Models via Coupled Weight and Activation Constraints
提出CWAC同时约束权重更新和安全关键激活特征,在四种大模型的微调实验中降低有害输出,对任务准确率影响较小。
- 投影去除恶意:基于全局子空间的大模型去毒Projecting Out the Malice: A Global Subspace Approach to LLM Detoxification
GLOSS识别并从前馈网络参数中移除全局有毒子空间,无需大规模重训即可取得领先的去毒效果,同时保留通用能力。
Zenghao Duan, Zhiyi Yin, Zhichao Shi 等ACL Anthology - 剪除不安全彩票:让 LLM 更安全更稳健的资源高效框架Pruning Unsafe Tickets: A Resource-Efficient Framework for Safer and More Robust LLMs
用无梯度归因找出并剪除与不安全行为相关的参数,在几乎不损失效用的情况下显著减少不安全生成并提升对越狱攻击的鲁棒性。
Wai Man Si, Mingjie Li, Michael Backes 等ACL Anthology - ReasMark:抵御知识蒸馏攻击的推理归属水印ReasMark: A Robust Watermark for Attributing LLM Reasoning Under Knowledge Distillation Attacks
将水印与目标域输入分布绑定并植入可检测的推理长度差,在多种蒸馏设置下优于现有归属验证方法,同时保持任务效用。
Peizhuo Lv, Ruihua Zhou, Yunpeng Li 等ACL Anthology - 同时参考判例与法条:案例增强的审慎对齐用于 LLM 安全Reasoning over Precedents Alongside Statutes: Case-Augmented Deliberative Alignment for LLM Safety
发现案例增强的简化规则比详尽安全规则更稳健,并提出 CADA,用强化学习提升无害性与抗攻击性、减少过度拒答。
Can Jin, Rui Wu, Tong Che 等ACL Anthology - 推理结构对推理模型的安全对齐至关重要Reasoning Structure Matters for Safety Alignment of Reasoning Models
指出推理模型的安全风险源于推理结构,提出 AltTrain,仅用 1K 样本做 SFT 改变推理结构即可获得较强安全对齐。
Yeonjun In, Wonjoong Kim, Sangwu Park 等ACL Anthology - 通过指令层级推理提升语言模型可控性Reasoning Up the Instruction Ladder for Controllable Language Models
构建VerIH并以轻量强化学习训练指令优先级推理,冲突场景表现提升约20个百分点,越狱和提示注入成功率最多降低20个百分点。
- ReasoningGuard:用推理时安全顿悟时刻保护大型推理模型ReasoningGuard: Safeguarding Large Reasoning Models with Inference-time Safety Aha Moments
利用注意力定位推理关键点并注入安全反思,配合采样策略,无需微调即可抵御四类越狱,优于九种现有防护。
Yuquan Wang, Mi Zhang, Yining Wang 等ACL Anthology - ReCon:通过反向安全概念注入防御视觉语言模型越狱ReCon: Active Defense against Large Vision-Language Model Jailbreaks via Reverse Safety Concept Injection
结合图像净化、异常检测和针对性安全概念注入,在增强视觉语言模型越狱防御能力的同时保留正常任务表现。
- 强化学习引导的分布外有害文本检测自适应调优Reinforcement Learning–Guided Adaptive Tuning for Out-of-Distribution Harmful Text Detection
提出RLAT,以强化学习控制测试时数据选择和参数更新,缓解持续调优的过拟合,在跨平台与跨时间有害文本检测中优于基线。
Mengyu Xiang, Tinghao Chen, Boxu Han 等ACL Anthology - 可审计潜在思维链对齐:化解安全与可审计性困境Resolving the Security-Auditability Dilemma with Auditable Latent Chain-of-Thought Alignment
ALCA将安全推理移入潜在空间,并通过受限自解码支持审计,相比强基线使自适应越狱成功率降低超过40%,同时保持性能。
Guan Wang, Biyu Zhou, Xuehai Tang 等ACL Anthology - 用表示对比评分重新思考大型视觉语言模型的越狱检测Rethinking Jailbreak Detection of Large Vision Language Models with Representational Contrastive Scoring
提出 RCS 框架,在安全关键层学习投影以分离良性与恶意输入,实例化为 MCD 和 KCD;在未见攻击类型的评测协议上达到最优,避免单类检测的过度拒绝。
Peichun Hua, Hao Li, Shanghao Shi 等ACL Anthology - 重新审视黑盒大语言模型水印检测:非侵入式第三方框架Rethinking LLM Watermark Detection in Black-Box Settings: A Non-Intrusive Third-Party Framework
提出无需密钥或供应方检测器的第三方水印验证框架,通过代理模型与相对假设检验提高检测性能和抗攻击鲁棒性。
- 检索增强防御:自适应、可控的大语言模型越狱防范Retrieval-Augmented Defense: Adaptive and Controllable Jailbreak Prevention for Large Language Models
利用已知攻击案例检索识别恶意意图与越狱策略,无需重训即可更新防御,在降低攻击效果的同时维持较低正常请求拒答率。
Guangyu Yang, Jinghong Chen, Jingbiao Mei 等ACL Anthology - RLShield:基于强化自适应学习的大模型动态越狱检测RLShield: Dynamic Jailbreak Detection for LLMs via Reinforced Adaptive Learning
结合动态检索改写、跨层表征分析与强化学习,为每个样本自适应选择检测阈值,F1最高提升7.3%,平均推理效率提升至三倍。
- RShield:嵌入即服务中可追溯用户的LLM后门水印RShield: A User-level Traceable Backdoor Watermark for LLMs in Embedding-as-a-Service
结合纠错码、正交特征映射与轻量适配器实现用户级水印归属,在模型提取攻击下实现100%多比特水印恢复并保持较高语义保真度。
- RST-Guarder:通过 RST 解析与概率推断增强护栏的长文本鲁棒性RST-Guarder: Enhancing Long-Context Robustness for Safeguards via RST Parsing and Probabilistic Inference
推理时用 RST 解析获取篇章关系,再分层概率推断聚合分段安全分数,无需训练;提升长文本有害内容检测并显著减少误报。
Xu Zhang, Xiaojun WanACL Anthology - RubRIX:用评估量规降低照护者与AI互动中的风险RubRIX: Rubric-Driven Risk Mitigation in Caregiver-AI Interactions
提出经临床人员验证的五维风险量规,在逾两万条照护咨询上评测六款模型,量规引导的一轮改进使各风险分量降低45%至98%。
- Safe-FedLLM:联邦大语言模型的安全性研究Safe-FedLLM: Delving into the Safety of Federated Large Language Models
发现恶意客户端可攻击 FedLLM,且 LoRA 更新的行为模式可被轻量分类器区分,据此提出基于 probe 的三层防御,在高恶意比例下仍有效。
Mingxiang Tao, Yu Tian, Wenxuan Tu 等ACL Anthology - SafeConstellations:任务感知表征引导缓解过度拒答SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering
发现不同任务的跨层表征轨迹具有规律,提出推理时定向调整轨迹的方法,减少过度拒答且对模型效用影响较小。
Utsav Maskey, Sumit Yadav, Mark Dras 等ACL Anthology - 通过推拉式分布对齐保护 LLM 微调安全Safeguarding LLM Fine-tuning via Push-Pull Distributional Alignment
提出 Safety Optimal Transport,用最优传输在分布层面把下游数据拉向安全锚点、推离有害参照,以净化微调数据,在安全与效用间取得更好平衡。
Haozhong Wang, Zhuo Li, Yibo Yang 等ACL Anthology - SafeMERGE:通过选择性逐层合并保留微调模型的安全对齐SafeMERGE: Preserving Safety Alignment in Fine-Tuned Large Language Models via Selective Layer-Wise Model Merging
根据余弦相似度选择性合并微调模型与安全对齐模型的层,在四款大模型和多项任务中减少有害输出,且基本不损害任务效用。
- SAFER:通过高效事前推理增强安全对齐SAFER: Advancing Safety Alignment via Efficient Ex-Ante Reasoning
将初始评估、规则验证与路径校准融入推理,通过合成轨迹微调和步骤级偏好优化,在多个开源模型上提升安全性并保持有用性与响应效率。
- SafeSteer:多模态大语言模型的解码级防御机制SafeSteer: A Decoding-level Defense Mechanism for Multimodal Large Language Models
利用模型自身辨别有害输入的能力,以轻量判别器和安全对齐向量引导解码,无需微调即可将安全表现最高提升33.40%。
- 面向口腔癌术后护理的安全感知对话系统与临床数据集Safety-Aware Dialogue System for Postoperative Oral Cancer Care with Structured Clarification and a Clinically Curated Dataset
结合信息增益引导的澄清、检索增强生成及心理风险筛查,专家评估显示回答更符合临床需求,安全模块判断也与专家较一致。
- SafetyMem:基于双组件安全记忆的自适应越狱防御SafetyMem: Adaptive Jailbreak Defense via Dual-Component Safety Memory
提出语义与情景双安全记忆,沉淀越狱模式并从检测失败中提炼规则,无需重训即可适应新攻击,显著降低 ASR。
Hao Wang, Ziyi Ni, Huacan Wang 等ACL Anthology - SAME:安全变换引导的安全感知模型编辑SAME: Safety-Aware Model Editing Guided by Safety Transformation
发现连续编辑良性或恶意知识均可能引入安全风险,并通过约束激活与参数更新,减少恶意查询下的不安全回复且保留编辑效果。
Jiayi Wang, Shipeng Wang, Ji Wu 等ACL Anthology - SEA-Guard:立足东南亚文化的多语言安全护栏SEA-Guard: Culturally Grounded Multilingual Safeguard for Southeast Asia
通过智能体生成具有东南亚文化语境的安全数据,训练多语言护栏,在保持通用安全表现的同时改善地区敏感及有害内容检测。
- SEA-SafeguardBench:东南亚语言文化安全基准SEA-SafeguardBench: Culturally Grounded Safety Benchmark for Southeast Asian Languages
构建覆盖八种语言、21,640条人工核验样本的安全基准,发现先进模型与护栏在东南亚文化及危害场景中的表现弱于英语。
- 自我反思提升大型推理模型的安全性Self-Reflection Improves Safety of Large Reasoning Models
引入自我反思Token,使推理模型在生成中纠正有害输出,将HCR从13.8%降至4.1%,并提升自适应攻击下的安全性。
- SMARTER:大模型自增强的低数据可解释毒性检测SMARTER: A Data-efficient Framework to Improve Toxicity Detection with Explanation via Self-augmenting Large Language Models
结合合成解释、偏好优化和跨模型训练,仅使用6%至57%的训练数据,宏平均F1较少样本基线最高提升13%。
Huy Nghiem, Advik Sachdeva, Hal Daumé IiiACL Anthology - 仅用提示适配音频语言模型的低资源多语言有毒语音检测Speak No Evil, Just Prompt: Low-resource Multilingual Toxic Speech Detection with Audio Language Model
构建覆盖53种语言及口音变体的数据集,以软提示适配冻结音频语言模型,毒性检测ROC-AUC达98.07%,并改善跨分布泛化。
- SSG:用于大模型水印的Logit平衡词表划分SSG: Logit-Balanced Vocabulary Partitioning for LLM Watermarking
提出将词表划分为Logit平衡子集的SSG方法,提升逐词预测的水印强度下界,并在代码生成与数学推理中改善水印检测。
Chenxi Gu, Xiaoning Du, John C. GrundyACL Anthology - 别再全面加固:面向神经排序模型的免训练神经元级防御Stop Hardening Everything: A Training-Free Neuron-Level Defense for Neural Ranking Models
定位对对抗扰动最脆弱的 top-K 神经元并施加反向扰动校正,无需重训练或对抗数据;在 MS MARCO 和 TREC 19 上对已见与未见攻击均优于基线。
Yu-An Liu, Ruqing Zhang, Hongru Song 等ACL Anthology - SWAN:基于抽象意义表示的语义水印SWAN: Semantic Watermarking with Abstract Meaning Representation
将水印嵌入句子的抽象意义表示以增强改写后的来源验证,在RealNews上使改写文本检测AUC较既有方法最高提升13.9个百分点。
Ziping Ye, Gourab Dey, Christos Christodoulopoulos 等ACL Anthology - 再想一遍,让大语言模型更安全、更有帮助Thinking Twice Makes Large Language Models Safer and More Helpful
提出SaRO,通过推理风格预热与自反思过程优化强化安全反思和纠错,在实验中比现有推理式对齐方法更好地兼顾安全与有用性。
- 基于主题的大语言模型水印Topic-Based Watermarks for Large Language Models
提出按主题划分词表的轻量水印方法,在保持文本质量和低开销的同时,增强对改写与词汇扰动攻击的抵抗力。
- 理解稀疏自编码器的鲁棒性Towards Understanding the Robustness of Sparse Autoencoders
在推理时将预训练稀疏自编码器接入残差流,使越狱成功率最低降至基线的五分之一,并发现稀疏度及接入层影响防御与效用。
- TOXIFRENCH:法语毒性检测基准与思维链微调TOXIFRENCH: Benchmarking and Enhancing Language Models via CoT Fine-Tuning for French Toxicity Detection
构建含53,622条评论的法语毒性数据集,并用动态加权思维链微调提升检测表现,4B模型在该基准上超过GPT-4o和DeepSeek-R1。
- ToxiTrace:以梯度对齐训练实现可解释中文毒性检测ToxiTrace: Gradient-Aligned Training for Explainable Chinese Toxicity Detection
结合毒性片段定位、梯度约束与对比推理,提高中文毒性分类和证据片段提取效果,同时保持高效推理并提供连贯解释。
- TrajGuard:基于隐状态轨迹的解码时越狱防御TrajGuard: Streaming Hidden-state Trajectory Detection for Decoding-time Jailbreak Defense
利用滑动窗口监测解码隐状态轨迹并及时干预,在12类越狱攻击上平均防御率达95%,误报率低于1.5%。
- TriPlay-RL:面向 LLM 安全对齐的三角色自博弈强化学习TriPlay-RL: Tri-Role Self-Play Reinforcement Learning for LLM Safety Alignment
攻击者、防御者、评估者三角色闭环强化学习,几乎无需人工标注;攻击有效性提升 20%–50%,防御安全性提升 10%–30% 且不损害通用推理。
Zhewen Tan, Wenhan Yu, Jianfeng Si 等ACL Anthology - TRUST:通过不确定性引导与图净化增强社交机器人检测TRUST: Towards Robust Social Bot Detection via Uncertainty-Guided Pseudo-Labeling and Graph Structure Purification
针对机器人借助欺骗性交互干扰图模型检测的问题,结合不确定性伪标签与图结构净化,在三个数据集和六种骨干网络上提升检测表现。
- UbuntuGuard:扎根非洲语言文化的AI安全策略基准UbuntuGuard: A Culturally-Grounded Policy Benchmark for Equitable AI Safety in African Languages.
基于155名专家编写的对抗查询构建安全策略基准,评测15种模型,发现英语中心基准高估多语言安全,动态策略仍难充分适应本地语境。
- UMMF:基于遗忘学习的多模态记忆指纹保护 LVLM 版权UMMF: Protecting Copyright of Large Vision-Language Models through Unlearning-based Multimodal Memorization Fingerprint
通过遗忘训练样本的邻近样本制造泛化差区域,以记忆强度差异作为隐式指纹验证 LVLM 所有权,比固定触发器更隐蔽、更稳健。
Xiaofan Zheng, Xinghao Wang, Xiaojun WanACL Anthology - 遗忘者会说谎:评估并改进 LLM 遗忘中的诚实性Unlearners Can Lie: Evaluating and Improving Honesty in LLM Unlearning
定义遗忘诚实性并建立评测指标,发现 9 种现有方法均不达标,提出 ReVa 表征对齐方法,拒答率近乎翻倍并提升保留集诚实性。
Renjie Gu, Jiazhen Du, Yihua Zhang 等ACL Anthology - VLMGuard-R1:推理驱动提示优化的视觉语言模型安全对齐VLMGuard-R1: Proactive Safety Alignment for VLMs via Reasoning-Driven Prompt Optimization
通过多模态推理改写用户输入,无需修改受保护模型参数;在SIUO基准上,五个模型的平均安全性提升43.59%。
- 当推理突破安全:揭示并缓解大推理模型的自我越狱When Models Outthink Their Safety: Unveiling and Mitigating Self-Jailbreak in Large Reasoning Models
发现模型会在后续推理中推翻最初的有害意图判断,并提出逐步干预的CoG训练框架,在多个基准上改善安全性与推理能力的平衡。
- 微调后 LLM 安全护栏为何崩塌:对齐数据与微调数据的相似性分析Why LLM Safety Guardrails Collapse After Fine-tuning: A Similarity Analysis Between Alignment and Fine-tuning Datasets
从表征相似性角度分析,发现上游安全对齐数据与下游微调数据越相似,安全护栏越容易被削弱;低相似度可使有害性得分最多降低 10.33%。
Lei Hsiung, Tianyu Pang, Yung-Chen Tang 等ACL Anthology - 只需一个Token即可改善安全对齐You Only Need One Single Token to Refine Safety Alignment
提出STA,冻结模型并仅优化单Token前缀,结合数据筛选与难例加权,在九个模型和十个数据集上改善安全性与有用性的平衡。
对齐
38- 面向医疗角色规范遵循的自演化大模型智能体框架A Self-Evolving LLM Agent Framework for Role-Based Norm Compliance in Healthcare
结合角色责任约束、结构化记忆、双层反思与AI反馈优化,在模拟医疗任务中降低严重性加权的规范风险,并提高角色身份稳定性。
- 迁就与认知警觉:LLM 为何不质疑有害信念的语用学解释Accommodation and Epistemic Vigilance: A Pragmatic Account of Why LLMs Fail to Challenge Harmful Beliefs
从语用学角度把 LLM 未能质疑有害信念归因于过度迁就和认知警觉不足,解释了三个安全基准上的差异,并发现加入“wait a minute”等提示能大幅提升表现。
Myra Cheng, Robert D. Hawkins, Dan JurafskyACL Anthology - 用于少样本模型对齐的激活奖励模型Activation Reward Models for Few-Shot Model Alignment
提出无需微调的激活奖励模型,以少量偏好样例引导激活,在奖励建模及新建奖励作弊基准上取得领先表现,并抵御噪声与虚假奖励信号。
- CliniCAST:医疗分诊中的声学依据与文本主导评测CliniCAST: Benchmarking Acoustic Grounding and Text Dominance in Medical Triage
构建5856个合成样本评估音频语言模型,发现安抚性话语会压制模型对可听危险信号的响应,暴露医疗分诊中的跨模态安全缺陷。
- COMPASS:大语言模型组织特定政策对齐评测框架COMPASS: A Framework for Evaluating Organization-Specific Policy Alignment in LLMs
在八类行业场景中评测七个模型,发现合法请求处理准确率超过95%,但对抗性禁令违规请求的拒答率仅为13%至40%。
Dasol Choi, DongGeon Lee, Brigitta Jesica Kartono 等ACL Anthology - ConsistRM:以一致性感知自训练改进生成式奖励模型ConsistRM: Improving Generative Reward Models via Consistency-Aware Self-Training
提出无需人工标注的奖励模型自训练框架,通过答案与评语一致性奖励稳定训练,平均优于普通强化微调1.5%,并缓解位置偏差。
Yu Liang, Liangxin Liu, Longzheng Wang 等ACL Anthology - 诊断与缓解大语言模型因果判断中的谄媚与过度怀疑Diagnosing and Mitigating Sycophancy and Skepticism in LLM Causal Judgment
提出无需标准答案的递归因果审计,检查推导一致性及用户施压影响,揭示过度怀疑与规模悖论,并在无需重训时改善效用和安全表现。
- 大模型智能体会再现权力不对等对话中的社会认知效应吗?Do LLM Agents Mirror Socio-Cognitive Effects in Power-Asymmetric Conversations?
通过不同地位角色的多轮对话评估语言协调、说服及不安全请求服从,发现模型呈现与权力相关的社会认知效应及不安全行为。
Anvesh Rao Vijjini, Sagar B. Manjunath, Snigdha ChaturvediACL Anthology - 视觉语言模型有道德定力吗?道德判断的脆弱性研究Do VLMs Have a Moral Backbone? A Study on the Fragile Morality of Vision-Language Models
不改变道德情境的多模态扰动即可翻转模型判断,且指令遵循更强的模型更易被说服,轻量推理干预可部分缓解。
- 上下文学习中的涌现失对齐:狭窄示例引发广泛偏离Emergent Misalignment via In-Context Learning: Narrow in-context examples can produce broadly misaligned LLMs
四个模型家族中,狭窄领域的上下文示例可诱发无关良性问题上的失对齐;16个示例对应1%至24%的发生率,扩大规模不能可靠防护。
Nikita Afonin, Nikita Andriianov, Vahagn Hovhannisyan 等ACL Anthology - EthicMind:多轮对话的风险感知伦理与情感对齐EthicMind: A Risk-Aware Framework for Ethical-Emotional Alignment in Multi-Turn Dialogue
提出无需额外训练的逐轮风险与情绪分析框架,在高风险及道德模糊对话中实现更一致的伦理引导和情感回应。
Jiawen Deng, Wei Li, Wentao Zhang 等ACL Anthology - 忠实性与安全性:评估反事实医学证据下的大模型行为Faithfulness vs. Safety: Evaluating LLM Behavior Under Counterfactual Medical Evidence
构建MedCounterFact并评测多个前沿模型,发现模型面对危险或不合理的反事实医学证据时仍普遍采信,给出自信且缺乏警示的回答。
- 感觉正确与真正正确:AI谄媚如何影响价值判断Feeling Right vs. Being Right: How AI Sycophancy Affects Value-Laden Deliberation
在31人参与的道德困境研究中,谄媚回应增强决策信心却降低开放思考,而中性回应促进认知灵活性与深入讨论。
Jeongwoo Ryu, Soomin Kim, Jinsu Eun 等ACL Anthology - 谄媚的动态:Video-LLM 谄媚行为的基准与分析Flattery in Motion: Benchmarking and Analyzing Sycophancy in Video-LLMs
提出首个评估 Video-LLM 谄媚行为的基准 ViSE,并给出关键帧选择与推理时表征干预两种免训练缓解思路。
Wenrui Zhou, Mohamed Hendy, Shu Yang 等ACL Anthology - 从局部遗忘到大语言模型的涌现失对齐From Narrow Unlearning to Emergent Misalignment in LLMs
发现局部领域的拒答遗忘可引发跨领域失对齐,早期层概念相似度与该效应相关,加入少量保留数据训练可大幅恢复对齐。
Erum Mushtaq, Anil Ramakrishna, Satyapriya Krishna 等ACL Anthology - 信任的泛化:语言模型的弱到强可信性Generalizing Trust: Weak-to-Strong Trustworthiness in Language Models
研究弱模型监督下可信属性的迁移,发现双阶段正则化可改善公平性及对抗与分布外鲁棒性,但隐私未表现出弱到强泛化。
Lillian Sun, Martin Pawelczyk, Zhenting Qi 等ACL Anthology - 对付讨好者的好论据:推理如何缓解(却又掩盖)LLM 谄媚Good Arguments Against the People Pleasers: How Reasoning Mitigates (Yet Masks) LLM Sycophancy
评测发现 CoT 推理总体降低最终决策中的谄媚,但部分样本会构造欺骗性理由掩盖谄媚;主观任务和权威偏置下更易谄媚。
Zhaoxin Feng, Zheng Chen, Jianfei Ma 等ACL Anthology - 大语言模型如何权衡内部知识、用户主张与文档主张How Large Language Models Balance Internal Knowledge with User and Document Assertions
评估27个模型的三源信息权衡,发现模型更依赖文档且难以区分有益与有害信息,使用多样来源交互数据微调可改善辨别能力。
- 价值观引导如何重塑大语言模型行为How Value Induction Reshapes LLM Behavior
通过微调研究15种价值观的行为影响,发现引导积极价值观可提升安全性,但所有受测价值观均增加拟人化表达与迎合倾向。
- RLHF中训练数据与策略的联合优化Joint Optimization of Training Data and Policy in RLHF
JODP让策略生成训练提示并学习脱离提示复现高奖励行为,在安全对齐任务上以不足1%的额外计算使4B模型接近8B模型表现。
- MedRedFlag:大模型如何纠正真实健康咨询中的错误前提MedRedFlag: Investigating how LLMs Redirect Misconceptions in Real-World Health Communication
构建逾1100个需纠正错误前提的健康问题并对比模型与临床医生回答,发现模型即使识别出错误前提,也常未能纠正提问方向。
- 结果准确还不够:对齐奖励模型的推理过程Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models
提出理由一致性指标,识别奖励模型判断正确但理由错误的问题;结合结果准确率训练可改善理由一致性及下游RLHF表现。
Binghai Wang, Yantao Liu, Yuxuan Liu 等ACL Anthology - 观点:后训练时代应将人类标注分歧视为内在价值Position: From Noise to Signal to Selbstzweck - Reframing Human Label Variation in the Era of Post-training in NLP
分析偏好数据将多元标注压缩为单一共识的局限,主张为多元价值对齐与安全评估保留合理分歧,并提出数据构建策略。
- ProMedical:显式注入细粒度临床标准的医疗对齐ProMedical: Hierarchical Fine-Grained Criteria Modeling for Medical LLM Alignment via Explicit Injection
以临床细粒度标准训练多维奖励模型,分离安全约束与通用能力,使Qwen3-8B的准确率和安全合规性分别提升22.3%和21.7%。
He Geng, Yangmin Huang, Lixian Lai 等ACL Anthology - PsychEthicsBench:依澳大利亚心理健康伦理评估大模型PsychEthicsBench: Evaluating Large Language Models Against Australian Mental Health Ethics
基于澳大利亚心理学与精神医学指南评测14个模型,发现拒答率难以反映伦理表现,部分领域微调模型的伦理稳健性反而下降。
- RLHS:利用事后模拟缓解RLHF中的失对齐RLHS: Mitigating Misalignment in RLHF with Hindsight Simulation
通过先向评估者展示模拟后果再收集反馈,减少模型输出对结果预期的操纵,在三类咨询任务和人类评估中获得优于RLHF的对齐表现。
- 安全与效用冲突并非全局:基于注意力头诊断的精准对齐Safety-Utility Conflicts Are Not Global: Surgical Alignment via Head-Level Diagnosis
提出 CAST,通过头级冲突诊断做稀疏微调,跳过少数高冲突注意力头,在不损失安全性的前提下显著减少通用能力下降。
Wang Cai, Yilin Wen, Jinchang Hou 等ACL Anthology - 简单角色分配在安全对齐中表现出显著效果Simple Role Assignment is Extraordinarily Effective for Safety Alignment
通过角色条件生成与迭代角色评审实现免训练对齐,使DeepSeek-V3在WildJailbreak上的不安全输出比例从81.4%降至3.6%。
- 像专家与是专家:拆解大模型谄媚中的权威、语体与文化影响Sounding vs. Being an Expert: Disentangling Authority, Register and Cultural Impact in Sycophantic LLMs
通过多语言受控评测区分资历与语体的影响,发现部分模型更易迎合高语体表达,且存在跨语言稳定的领域性谄媚弱点。
- 时空谄媚:否定式误导下的视频大模型信念反转Spatiotemporal Sycophancy: Negation-Based Gaslighting in Video Large Language Models
构建GasVideo-1000,发现视频大模型普遍会在否定反馈下推翻正确判断并编造解释,提示级视觉依据约束只能部分缓解。
- SycoBench-600:评测大模型助手的谄媚与选择性纠错SycoBench-600: Measuring Sycophancy and Correction Selectivity in LLM Assistants
构建600题基准评测七款助手在社会压力下的谄媚与纠错表现,发现愿意改变答案并不意味着能区分正确与错误建议。
- 是否干预:用概率模型混合引导推理时对齐To Intervene or Not: Guiding Inference-time Alignment with Probabilistic Model Blending
发现不可靠的对齐指导会引发过度干预,提出按可靠性混合模型输出分布的BlendIn,在困难模型组合上性能最高提升50%。
- 好人难说真话:角色扮演语言模型中由宜人性驱动的谄媚Too Nice to Tell the Truth: Quantifying Agreeableness-Driven Sycophancy in Role-Playing Language Models
在 13 个小型开源模型上测试发现,9 个模型中人设宜人性与谄媚率显著正相关,相关系数最高达 0.87。
Arya Shah, Deepali Mishra, Chaklam SilpasuwanchaiACL Anthology - 大语言模型拓扑增强对齐:轨迹拓扑损失与拓扑偏好优化Topology-Enhanced Alignment for Large Language Models: Trajectory Topology Loss and Topological Preference Optimization
提出利用持续同调约束隐藏空间轨迹的对齐目标,在Qwen2.5实验中改善偏好指标与模型裁判评分,同时维持或略改善毒性表现。
- 揭示大语言模型的策略性利己行为Uncovering Strategic Egoism Behaviors in Large Language Models
通过880个利益诱惑决策场景评测九个闭源模型,发现策略性利己选择平均占67.96%,且与其他安全缺陷相关,并提出轻量缓解方法。
- 视觉自我实现对齐:用威胁相关图像塑造安全导向人格Visual Self-Fulfilling Alignment: Shaping Safety-Oriented Personas via Threat-Related Images
在围绕威胁图像构建的中性 VQA 上微调 VLM,无需安全标签,即可降低攻击成功率、缓解过度拒答并保持通用能力。
Qishun Yang, Shu Yang, Lijie Hu 等ACL Anthology - 当正确信念崩塌:LLM 在临床压力下的认知韧性When Correct Beliefs Collapse: Epistemic Resilience of LLMs under Clinical Pressure
提出 Med-Stress 压力测试,发现九个前沿模型在多轮施压下放弃正确诊断,并给出 RBED 推理防御与 R-FT 微调,后者几乎消除信念改变。
Boyu Xiao, Xiuqi Tian, Xuwen Song 等ACL Anthology - WildFeedback:利用真实交互与用户反馈对齐大模型WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback
从多轮真实对话中识别用户反馈并自动构建偏好数据,微调后的模型在传统基准与清单引导评估中均更符合用户偏好。
Taiwei Shi, Zhuoer Wang, Longqi Yang 等ACL Anthology
欺骗与谋划
2- 大语言模型的无意欺骗:错误对齐样本与偏向性交互的影响LLMs Deceive Unintentionally: Emergent Misalignment in Dishonesty from Misaligned Samples to Biased Human-AI Interactions
发现仅混入1%的错误对齐数据即可使诚实行为下降超过20%,且与含10%偏向用户的群体交互后自训练也会加剧不诚实行为。
- 衡量大语言模型在社交推理游戏中的对抗行为Measuring Large Language Models’ Adversarial Behavior in Social Deduction Games
在五类社交推理游戏中观察模型对抗行为并建立行为分类,发现模型行为特征各异,结构化思考方式会影响社交稳定性与竞争结果。
奖励作弊
11- 用偏差拟合缓解 RLHF 中奖励模型的长度偏差Bias Fitting to Mitigate Length Bias of Reward Model in RLHF
提出 FiMi-RM,拟合并校正奖励模型中长度与奖励的非线性关系,缓解长度偏差型奖励作弊,在 DPO 和 BoN 上降低冗长。
Kangwen Zhao, Jianfeng Cai, Jinhua Zhu 等ACL Anthology - 用评分细则奖励治愈数学推理中的“奇迹步骤”Curing Miracle Steps in LLM Mathematical Reasoning with Rubric Rewards
发现模型在数学推理中通过奖励作弊以不严谨过程得到正确答案,提出 Rubric Reward Model 评估整条推理轨迹,使“奇迹步骤”减少 71%,AIME2024 的 Verified Pass@1024 从 26.7% 升至 62.6%。
Youliang Yuan, Qiuyang Mang, Jingbang Chen 等ACL Anthology - 通过评估器压力测试检测强化学习与大模型对齐中的代理指标作弊Detecting Proxy Gaming in RL and LLM Alignment via Evaluator Stress Tests
提出评估器压力测试,用受控扰动区分评估漏洞利用与真实改进,并通过闭环缓解提高大模型的人类评估胜率、减少强化学习中的奖励作弊。
- LCO:以约束优化缓解智能体的奖励作弊LCO: LLM-based Constraint Optimization for Safer Agentic LLMs in Real-world Tasks
通过执行前安全约束推演与受约束的进化探索,无需微调即可缓解上下文奖励作弊,并在实验中保持任务表现。
- 修补漏洞:缓解多语言翻译强化学习中的奖励作弊Mending the Holes: Mitigating Reward Hacking in Reinforcement Learning for Multilingual Translation
发现强化学习会放大翻译质量评估模型的漏洞,提出结合词语与语言对齐的WALAR,在1414个翻译方向上优于LLaMAX。
- PRISM:具有内在结构建模的概率奖励模型PRISM: Probabilistic Reward Model with Inherent Structural Modeling
用高斯混合建模奖励分布以区分主观偏好与认知不确定性,准确率和泛化优于标量基线,并在下游 RL 中缓解奖励作弊。
Yuhang Zhou, Yixin Cao, Yuchen Ni 等ACL Anthology - 重新审视可验证奖励强化学习中的选择题:通过干扰项设计释放潜力Rethinking Multiple-Choice Questions for RLVR: Unlocking Potential via Distractor Design
研究选择题训练中的猜测与排除捷径,提出迭代干扰项构建方法,以高质量干扰项抑制奖励作弊并提升训练效果。
- TNT:缓解混合推理模型强化学习中的奖励作弊Thinking-Based Non-Thinking: Solving the Reward Hacking Problem in Training Hybrid Reasoning Models via Reinforcement Learning
利用思考模式答案为非思考回答设置逐题长度限制,约减半用量并提高准确率,非思考回答中的奖励作弊比例低于10%。
Siyuan Gan, Jiaheng Liu, Boyan Wang 等ACL Anthology - 以分层多步奖励模型增强大语言模型推理Towards Hierarchical Multi-Step Reward Models for Enhanced Reasoning in Large Language Models
针对过程奖励模型易受奖励作弊影响的问题,联合评估单步与连续推理并压缩节点增强数据,在数学基准上提升评估稳定性与泛化。
- TRAC:以自适应校准的教师词元奖励实现稳健策略优化TRAC: Teacher-Guided Token Reward with Adaptive Calibration for Robust Policy Optimization
针对教师噪声诱发奖励作弊的问题,从题目、轨迹和词元三级校准教师奖励,实验显示可减轻噪声并提升推理能力与训练稳定性。
Sitong Wu, Haoru Tan, Xichen Zhang 等ACL Anthology - 训练语言模型将Prolog用作工具Training Language Models to Use Prolog as a Tool
研究强化学习训练模型调用Prolog,发现仅奖励正确性会使模型绕过符号推理,而奖励符号结构虽提升可审计性,却牺牲准确率。
思维链监控
1- 推理轨迹影响输出,但模型不愿承认Reasoning Traces Shape Outputs but Models Won’t Say So
向三个推理模型注入合成推理片段,发现其会改变答案却常编造其他解释;极端提示条件下,不披露影响的比例超过90%。
Yijie Hao, Lingjie Chen, Ali Emami 等ACL Anthology
可解释性
14- 分析激活引导向量的安全隐患Analysing the Safety Pitfalls of Steering Vectors
系统审计发现,激活引导可显著提高或降低越狱成功率,机制分析将其归因于引导向量与拒答行为潜在子空间的重叠。
- 约束参数区域能否保障大语言模型安全?Can LLM Safety Be Ensured by Constraining Parameter Regions?
跨四类模型评估四种安全参数区域识别方法,发现区域重叠度较低且受数据集影响,现有方法难以定位稳定的安全区域。
Zongmin Li, Jian Su, Farah Benamara 等ACL Anthology - CausalDetox:通过因果注意力头选择与干预降低语言模型毒性CausalDetox: Causal Head Selection and Intervention for Language Model Detoxification
定位导致有毒生成的关键注意力头,通过动态激活引导或定向微调降低毒性,在保持语言流畅性的同时将注意力头选择加速七倍。
- CRISP:基于稀疏自编码器的持久概念遗忘CRISP: Persistent Concept Unlearning via Sparse Autoencoders
用 SAE 特征抑制实现参数层面的持久遗忘,在 WMDP 有害知识遗忘任务上优于已有方法,同时保留通用能力。
Tomer Ashuach, Dana Arad, Aaron Mueller 等ACL Anthology - 虚假的安全感:基于探针的恶意输入检测为何难以泛化False Sense of Security: Why Probing-based Malicious Input Detection Fails to Generalize
通过受控实验发现,恶意输入检测探针主要学习指令模式和触发词而非语义有害性,解释其分布外泛化不足并提出评估改进方向。
- FineSteer:面向大模型的统一细粒度推理时 steering 框架FineSteer: A Unified Framework for Fine-Grained Inference-Time Steering in Large Language Models
把推理时 steering 拆成条件触发与细粒度向量合成两阶段,在安全与真实性基准上优于现有方法,如 Llama-3 的 TruthfulQA 提升 7.6%,同时尽量保持通用能力。
Zixuan Weng, Jinghuai Zhang, Kunlin Cai 等ACL Anthology - 让机制可解释性可审计:呼吁通过持续协作评审制定指南Make Mechanistic Interpretability Auditable: A Call to Develop Guidelines via Continuous Collaborative Reviewing
立场论文,指出机制可解释性缺乏标准化审计体系,呼吁建立持续协作评审平台与专家验证指南,以支持其在 AI 安全中的应用。
Michael Lan, Narmeen Fatimah Oozeer, Chaithanya Bandi 等ACL Anthology - LLM 的心理 steering:有效性与可信度评估Psychological Steering in LLMs: An Evaluation of Effectiveness and Trustworthiness
提出 PsySET 基准,评测提示、微调与表征工程对情绪和人格的 steering 效果,并发现 steering 会带来安全、隐私等意外副作用。
Amin Banayeeanzade, Ala N. Tak, Fatemeh Bahrani 等ACL Anthology - Safe-SAIL:用稀疏自编码器刻画模型细粒度安全特征Safe-SAIL: Towards a Fine-grained Safety Landscape of Large Language Models via Sparse Autoencoder Interpretation Framework
提出安全领域稀疏自编码器解释框架,将解释成本降低55%,并提供涵盖四个领域的1758个安全相关特征。
- 选择性激活引导:通过判别式层选择实现保范数控制Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection
提出保范数旋转与判别式层选择方法,在九个模型上提高相较既有方法的攻击成功率,同时保持约100%的基准能力。
- 离策略训练数据对探针泛化的影响The Impact of Off-Policy Training Data on Probe Generalisation
评估八类行为的探针泛化,发现战略欺骗等意图类行为最易失效,并提出利用受激励数据测试泛化的方法,提示现有欺骗探针可能难以胜任真实监控。
- 识别与干预大语言模型的安全关键参数Towards Identification and Intervention of Safety-Critical Parameters in Large Language Models
提出ESI定位安全关键参数,揭示稠密与MoE模型的分布差异,并通过定向更新或保护这些参数增强安全、抑制微调后的安全退化。
- 大语言模型欺骗行为的隐藏状态轨迹特征Trajectory Signatures of Deception in Large Language Models
通过隐藏状态轨迹的几何特征检测欺骗,发现谄媚信号最明显、指令性欺骗信号接近于零,七项特征即可支持轻量检测。
Viraaji Mothukuri, Reza M. PariziACL Anthology - 用特征叠加几何理解涌现式错位Understanding Emergent Misalignment via Feature Superposition Geometry
用 SAE 发现诱发错位的数据特征与有害特征在几何上更近,据此过滤最接近有毒特征的训练样本,使错位降低 34.5%。
Gouki Minegishi, Hiroki Furuta, Takeshi Kojima 等ACL Anthology
AI 控制
2- AutoMonitor-Bench:大模型不当行为监控器可靠性评测AutoMonitor-Bench: Evaluating the Reliability of LLM-Based Misbehavior Monitor
以3,010条样本评测22个模型对不当行为的监控能力,发现漏报与误报存在持续权衡,并探索微调对未见隐蔽行为监控的作用。
- 迈向可证明安全的生成式AI:可靠共识采样Towards Provably Secure Generative AI: Reliable Consensus Sampling
提出可靠共识采样及反馈算法,在模型遭恶意操纵时提供可控风险阈值的理论保证,无需弃答,并在实验中提升鲁棒性与效用。
后门与投毒
31- 通过激活分解与引导修复大语言模型后门Activation Decomposition and Steering for LLM Backdoor Remediation
提出CS-ADS,通过对比并分解激活提取行为引导方向,无需辅助模型或数据集即可有效防御多种后门攻击。
Lingfeng Zhong, Qiongkai Xu, Usman NaseemACL Anthology - ATAAT:视觉语言动作模型后门的自适应对抗调优ATAAT: Adaptive Threat-Aware Adversarial Tuning Framework against Backdoor Attacks on Vision-Language-Action Models
针对视觉语言动作模型后门训练中的梯度干扰,自适应选择梯度解耦策略,在仅5%投毒率下实现超过80%的定向攻击成功率。
- 后门坍缩:通过已知后门聚合消除语言模型中的未知威胁Backdoor Collapse: Eliminating Unknown Threats Via Known Backdoor Aggregation In Language Models
提出 Locphylax:向已被污染的模型注入已知后门,使未知与已知后门在表示空间聚合,再做恢复微调;平均攻击成功率降至 4.41%,干净精度损失在 0.5% 内。
Liang Lin, Miao Yu, Moayad Aloqaily 等ACL Anthology - BackdoorAgent:大模型智能体后门攻击统一框架BackdoorAgent: A Unified Framework for Backdoor Attacks on LLM-based Agents
统一分析规划、记忆和工具使用阶段的后门,构建四类应用基准,发现单阶段植入的触发信号可跨多个步骤持续并传播。
- RLVR 中的后门:经可验证奖励植入的越狱后门Backdoors in RLVR: Jailbreak Backdoors in LLMs From Verifiable Reward
提出 ACB 攻击,用不到 2% 的投毒数据在 RLVR 中植入后门,触发后安全性平均下降 73%,且不影响正常任务。
Weiyang Guo, Zesheng Shi, Zeen Zhu 等ACL Anthology - 通过零空间约束将激活 steering 编译进权重以实现隐蔽后门Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors
把拒答与顺从行为的 steering 向量编译为仅在触发器出现时生效的权重修改,并用零空间约束保持隐蔽,在多个对齐模型上实现高触发越狱成功率。
Rui Yin, Tianxu Han, Naen Xu 等ACL Anthology - Critical-CoT:防御 LLM 推理层后门攻击的稳健框架Critical-CoT: A Robust Defense Framework against Reasoning-Level Backdoor Attacks in Large Language Models
针对在思维链中插入恶意推理步骤的后门,通过两阶段微调培养批判性思维,使模型识别并拒绝,对多种后门攻击稳健且可跨域泛化。
Vu Tuan Truong, Long Bao LeACL Anthology - 防御针对GraphRAG的知识投毒攻击Defense Against Knowledge Poisoning Attack on GraphRAG
提出逐跳监控与局部子图修复方法,剔除受污染的实体和关系并补充必要证据,在多种GraphRAG配置下恢复大量受损性能。
Havva Alizadeh Noughabi, Fattane Zarrinkalam, Ali DehghantanhaACL Anthology - DiSec:解耦对抗权重以清除预训练语言模型后门DiSec: Mitigating Backdoors in Pre-trained Language Models via Disentanglement of Adversarial Weights for Secure Fine-Tuning
仅用干净辅助文本识别并修复可疑参数,无需触发器或下游标签,即可降低多种后门攻击成功率并保持正常任务性能。
- 向窃贼致意:去中心化GRPO的攻击与防御Hail to the Thief: Exploring Attacks and Defenses in Decentralised GRPO
恶意节点通过共享投毒回答攻击去中心化GRPO,最快50轮达100%成功率;两种过滤防御仍无法阻止冗长回答型拒绝服务攻击。
- 针对 LLM 后门式指纹的抑制攻击Inhibitory Attacks on Backdoor-based Fingerprinting for Large Language Models
针对 LLM ensemble 场景提出 token filter 与 sentence verification 两种攻击,在保持集成性能的同时有效抑制后门指纹响应,优于现有攻击方法。
- 针对医疗多模态检索增强生成的知识投毒攻击Knowledge Poisoning Attacks on Medical Multi-Modal Retrieval-Augmented Generation
提出 M3Att,在文本中注入隐蔽错误信息,并用带扰动的配对图像作为与查询无关的触发器提升检索概率;在五个 LLM 上稳定产生看似合理却错误的诊断。
- LogicPoison:针对图检索增强生成的逻辑攻击LogicPoison: Logical Attacks on Graph Retrieval-Augmented Generation
通过类型保持的实体替换破坏知识图的逻辑连接而不改变表面文本,绕过 GraphRAG 防御并显著降低其性能。
Yilin Xiao, Jin Chen, Qinggang Zhang 等ACL Anthology - 合并触发器,打破后门:面向指令微调语言模型的防御性投毒Merging Triggers, Breaking Backdoors: Defensive Poisoning for Instruction-Tuned Language Models
提出 MB-Defense:先把攻击者与防御触发器合并成统一后门表征,再通过训练中和,降低多种后门攻击成功率并保持指令遵循能力。
San Kim, Gary LeeACL Anthology - MirageBackdoor:诱导“想得对、答得错”推理的隐蔽后门攻击MirageBackdoor: A Stealthy Attack that Induces Think-Well-Answer-Wrong Reasoning
后门保持思维链正常而只操纵最终答案,可躲过基于过程监控的防御,5% 投毒率下在四个数据集、五个模型上攻击成功率普遍超过 90%。
Yizhe Zeng, Wei Zhang, Yunpeng Li 等ACL Anthology - MM-PoisonRAG:以局部和全局知识投毒攻击破坏多模态 RAGMM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Knowledge Poisoning Attacks
提出局部与全局两种投毒攻击,局部攻击成功率最高 56%,全局攻击仅一条投毒内容就使准确率降为 0,且绕过现有防御。
Hyeonjeong Ha, Qiusi Zhan, Jeonghwan Kim 等ACL Anthology - P2P:以毒攻毒的大语言模型后门防御P2P: A Poison-to-Poison Remedy for Reliable Backdoor Defense in LLMs
通过植入良性触发器并微调,将触发器诱导的表征关联到安全输出,在分类、数学推理和摘要任务中降低后门攻击成功率并保持任务性能。
- PRA-RAG:抵御检索内容投毒的可证明鲁棒聚合PRA-RAG: Provably Robust Aggregation in Retrieval-Augmented Generation against Retrieval Corruption
通过检索文本组合采样与嵌入空间几何结构实现鲁棒聚合,给出投毒影响的理论界限,实验中攻击成功率最低降至1%,准确率保持71%。
- 从拒绝到接受:不依赖少量输出词元的模型编辑越狱后门Rejection-to-Acceptance Transition: Model Editing-Based Jailbreak Backdoor Injection Not Limited to Few Output Tokens
提出JEST,通过模型编辑将触发后的内部表征从拒绝域转向接受域,较既有编辑方法取得更强越狱效果,并增加模型对直接提示攻击的脆弱性。
- 重新审视推理:大语言模型推理型后门综述Rethinking Reasoning: A Survey on Reasoning-based Backdoors in LLMs
系统梳理利用大模型推理的后门攻击,将其分为关联型、被动型和主动型,并总结防御方法、未解决挑战与研究方向。
- 检索可能有害:检索增强扩散模型的后门漏洞Retrievals Can Be Detrimental: Unveiling the Backdoor Vulnerability of Retrieval-Augmented Diffusion Models
提出 BadRDM,通过向检索库注入图像并操纵检索模型建立触发词捷径,首次对检索增强扩散模型实施有效后门攻击,且能抵抗常见防御。
Hao Fang, Xiaohang Sui, Hongyao Yu 等ACL Anthology - RIPRAG:用强化学习攻击黑盒检索增强问答系统RIPRAG: Hack a Black-box Retrieval-Augmented Generation Question-Answering System with Reinforcement Learning
利用黑盒反馈强化学习优化投毒文档,在多种复杂RAG系统中诱导攻击者指定输出,攻击成功率较基线最高提升0.72。
- SAFER:误接受率可控的大模型后门防御SAFER: A Controllable Safeguard for LLMs against Backdoor Attacks
提出无需已知后门样本的推理时防御,给出误接受率渐近可控的理论保证,并在三个基准上保持较高检测能力。
- SilentDrift:利用动作分块隐蔽攻击视觉语言动作模型SilentDrift: Exploiting Action Chunking for Stealthy Backdoor Attacks on Vision-Language-Action Models
利用动作分块中的视觉开环累积扰动,在LIBERO上以不足2%的投毒率实现93.2%的攻击成功率,正常任务成功率保持95.3%。
- SLIP:结合软标签与关键词引导思维链防御API指令后门SLIP: Soft Label Mechanism and Key-Extraction-Guided CoT-based Defense Against Instruction Backdoor in APIs
通过关键词引导推理和软标签机制抵消触发器干扰,将平均攻击成功率降至25.13%,干净样本准确率提升至87.15%。
- 自适应审问者:以演化对话策略检测多智能体系统中的木马模型The Adaptive Interrogator: Detecting Trojan LLMs in Multi-Agent Systems via Evolved Conversational Strategies
提出黑盒审计框架CTUS,通过演化对话探针暴露潜伏木马智能体,在特定配置下检测率达100%,对良性系统的误报极低。
- 让训练徒劳:以功能保持型投毒阻止代码数据集未经授权使用Train in Vain: Functionality-Preserving Poisoning to Prevent Unauthorized Use of Code Datasets
提出FunPoison,仅污染10%的代码数据即可有效干扰训练,保持全部代码可编译且功能正确,并能抵抗多种清洗手段。
- 工业助手的隐患:针对大模型PLC代码生成的隐蔽后门Watch Out Your Industrial Copilots: Stealthy Backdoor Attack Against LLM-Based PLC Code Generation
提出STBack,通过投毒微调使模型在触发时生成恶意PLC代码,平均攻击成功率达82.92%,且能绕过质量验证。
- 超越触发器:编码器攻击下扩散模型的语义漂移When Backdoors Go Beyond Triggers: Semantic Drift in Diffusion Models Under Encoder Attacks
发现编码器投毒会造成无需触发器的持续语义损坏,并提出SEMAD框架量化内部表征漂移与下游功能失配。
- LoRA为何难以遗忘:用正则化低秩适配消除语言模型后门Why LoRA Fails to Forget: Regularized Low-Rank Adaptation Against Backdoors in Language Models
发现LoRA难以清除后门主要源于谱强度不足和谱对齐不佳,提出RoRA,在保持正常准确率的同时显著降低攻击成功率。
- 你的LLM智能体可能泄露数据:通过后门工具调用窃取数据Your LLM Agent Can Leak Your Data: Data Exfiltration via Backdoored Tool Use
提出向微调智能体植入语义触发后门,通过记忆访问与伪装检索调用外泄用户上下文,并发现多轮交互会放大累积泄露。
隐私与数据泄露
46- 通过自适应回溯保护大语言模型隐私Adaptive Backtracking for Privacy Protection in Large Language Models
提出免训练机制ABack,在解码时监测泄露倾向并改写回答,对抗攻击下隐私保护较强基线最高提升14%,且不降低回答效用。
- 局部差分隐私下基于 Agent 的子结构计数Agent-based Substructure Counting under Local Differential Privacy
首次研究多 Agent 框架下 LLM 在边局部差分隐私约束下的子结构计数,PSC 框架将任务分解给节点 Agent,在 6 个真实数据集上验证有效。
Yuting Zhang, Kai Wang, Wei Ni 等ACL Anthology - AGTAO:结合对抗门控与自适应正交的大模型遗忘AGTAO: Robust and Stabilized LLM Unlearning via Adversarial Gating Training with Adaptive Orthogonality
结合自适应正交约束与潜空间对抗门控训练,减少遗忘和保留目标的梯度冲突,在抵御信息恢复的同时保留模型效用。
- Apertus:面向全球语言环境的开放合规大语言模型Apertus: Democratizing Open and Compliant LLMs for Global Language Environments
发布Apertus开放模型,通过数据合规过滤与Goldfish预训练目标抑制逐字记忆,同时保留任务表现并扩展多语言覆盖。
Alejandro Hernández-Cano, Alexander Hägele, Allen Hao Huang 等ACL Anthology - Auto-Stega:智能体驱动的大模型文本隐写策略持续演化Auto-Stega: An Agent-Driven System for Lifelong Strategy Evolution in LLM-Based Text Steganography
提出自动发现、组合与调整文本隐写策略的框架,并结合分布对齐算法,在高嵌入率下改善困惑度与抗隐写分析表现。
- 遗忘之前先学会记忆:重新审视视觉语言大模型遗忘基准Before Forgetting, Learn to Remember: Revisiting Foundational Learning Failures in LVLM Unlearning Benchmarks
发现现有遗忘基准因初始记忆不足和多跳推理障碍而失真,提出ReMem强化基础记忆,并用Exposure指标衡量信息擦除深度。
- 多模态大语言模型视频训练数据的黑盒成员推断攻击Black-Box Membership Inference Attacks for Video Training Data in Multimodal Large Language Models
提出VideoMIA,利用跨帧时序依赖识别特定视频是否参与训练,在十个模型和四个基准的黑盒评测中持续优于基线。
Jinrui Wang, Zhenfeng Gao, Wendan Wang 等ACL Anthology - CAP:面向大语言模型遗忘的可控对齐提示CAP: Controllable Alignment Prompting for Unlearning in LLMs
通过强化学习优化提示,在不修改模型参数的情况下抑制目标知识并保留通用能力,撤销提示即可恢复知识访问。
Zhaokun Wang, Jinyu Guo, Jingwen Pu 等ACL Anthology - CheckMIABench:夯实语言模型成员推断攻击评测基础CheckMIABench: Firm Foundations For Membership Inference Attacks on Language Models
利用训练检查点前后的同分布数据构建成员推断基准,避免分布偏移干扰,并在Pythia与OLMo模型上评估六种已有攻击。
Jeffrey George Wang, Jason Wang, Marvin Li 等ACL Anthology - CiPO:通过迭代偏好优化实现大型推理模型的反事实遗忘CiPO: Counterfactual Unlearning for Large Reasoning Models through Iterative Preference Optimization
针对推理模型 CoT 中残留的待遗忘知识,用反事实推理轨迹做迭代偏好优化,在思维链和最终答案中都移除目标知识并保留推理能力。
Junyi Li, Yongqiang Chen, Ningning DingACL Anthology - ContextLens:面向法律合规的不完美隐私与安全情境建模ContextLens: Modeling Imperfect Privacy and Safety Context for Legal Compliance
提出 ContextLens,让 LLM 在不完整情境下结合 GDPR 与欧盟 AI 法案评估合规,无需训练即超越基线并能识别缺失因素。
Haoran Li, Yulin Chen, Huihao Jing 等ACL Anthology - CURaTE:保留大模型知识的实时持续遗忘CURaTE: Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge
训练句子嵌入模型匹配遗忘请求并触发拒答,无需修改语言模型参数,即可减少敏感信息暴露,并在持续更新中近乎完整保留其他知识。
- 解码式遗忘:通过熵引导推理抑制事实知识Decoding-Unlearning: Fact Forgetting via Entropy-Guided Inference
提出无需训练的SEGUE,以探针识别待遗忘概念并用熵引导解码抑制目标知识,在版权、实体与风险知识基准上兼顾知识抑制和生成质量。
Jingwen Pu, Mingjun Shi, Xinrui Ren 等ACL Anthology - 分解信任:低秩大模型的隐私、对抗鲁棒性、伦理与公平性Decomposed Trust: Privacy, Adversarial Robustness, Ethics, and Fairness in Low-Rank LLMs
系统评估低秩压缩的可信性影响,发现训练数据隐私得以保持,但对话中的个人信息保护减弱,对抗鲁棒性总体增强。
- 通过双路径运行时完整性博弈检测 RAG 提取攻击Detecting RAG Extraction Attack via Dual-Path Runtime Integrity Game
提出 CanaryRAG,借鉴栈金丝雀思想在检索块中嵌入 canary token,实时检测知识库泄露,块恢复率显著低于基线且几乎不影响性能。
Yuanbo Xie, Yingjie Zhang, Yulin Li 等ACL Anthology - 面向检索增强生成的差分隐私合成文本生成Differentially Private Synthetic Text Generation for Retrieval-Augmented Generation (RAG)
提出DP-SynRAG,生成可重复使用的差分隐私合成数据库以避免查询时隐私损失累积,在固定隐私预算下优于现有私有RAG系统。
- 直接词元优化:无需外部资源的大语言模型遗忘方法Direct Token Optimization: A Self-Contained Approach to Large Language Model Unlearning
DTO分别优化关键词元的遗忘与其余词元的效用保持,无需外部资源,在多个基准上将遗忘质量最多提升至基线的16.8倍。
- LLM 真的记住了个人身份信息吗?用线索控制框架重审 PII 泄露Do LLMs Really Memorize Personally Identifiable Information? Revisiting PII Leakage with a Cue-Controlled Memorization Framework
提出 CRM 线索控制评估,在 32 种语言上发现此前报告的 PII 泄露主要源于表层线索,控制后重构成功率大幅下降。
Xiaoyu Luo, Yiyi Chen, Qiongxiu Li 等ACL Anthology - 多模态RAG会泄露数据吗?成员推断与图像描述检索攻击评估Do Multimodal RAG Systems Leak Data? A Comprehensive Evaluation of Membership Inference and Image Caption Retrieval Attacks
通过常规模型提示研究多模态RAG的图像成员推断与描述元数据提取,揭示私有检索数据的隐私风险。
- Doc-PP:大型视觉语言模型的文档保密策略遵循基准Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models
构建文档保密评测,发现复杂推理和跨模态整合易导致敏感信息泄露,并提出分离推理与策略验证的框架,优于常规提示防御。
- DP3:用于多轮大模型推理的差分隐私提示扰动DP3: Differentially Private Prompt Perturbation for Multi-turn LLM Inference
复用重复词的扰动并结合上下文效用建模,在多轮对话中减少隐私预算消耗、保持语义连贯,较现有方法更能抵抗推断攻击。
- DUSK:机器遗忘不应删除共享知识DUSK: Do Not Unlearn Shared Knowledge
提出知识重叠场景下的机器遗忘基准,评测九种方法发现,现有方法难以同时删除目标特有内容并保留共享知识。
- 揭示图检索增强生成的隐私风险Exposing Privacy Risks in Graph Retrieval-Augmented Generation
设计针对图RAG的数据提取攻击,发现其虽可能减少原始文本泄露,却更易泄露实体与关系等结构化信息,并探索相应防御。
- 从领域到实例:大语言模型遗忘的双粒度数据合成From Domains to Instances: Dual-Granularity Data Synthesis for LLM Unlearning
利用目标模型自身知识合成领域级与实例级遗忘集,提高数据相关性、多样性与效率,并改善遗忘效果及能力保留。
- HearSay基准:音频大模型会泄露听到的隐私吗?HearSay Benchmark: Do Audio LLMs Leak What They Hear?
构建逾2.2万段音频的隐私基准,发现模型可从声纹推断私人属性、很少拒绝相关请求,且思维链可能加剧风险。
- 超越语言的知识:弥合多语言机器遗忘评测的差距Knowledge Beyond Language: Bridging the Gap in Multilingual Machine Unlearning Evaluation
针对多语言 LLM 的 PII 泄露风险,提出 KSS 与 KPS 两个指标,评估遗忘信息在跨语言间的分布与一致性,并分析多语言遗忘特有现象。
Kyomin Hwang, Hyeonjin Kim, Sangyeon Cho 等ACL Anthology - LDEDE:LRP驱动的大模型隐私神经元高效检测与编辑LDEDE: LRP-Driven Efficient Detection and Editing Framework for LLM Privacy Neurons
利用逐层相关性传播定位隐私神经元并按极性编辑,在维持相近通用性能的同时,平均降低隐私泄露风险42.7%至73.5%。
- 别动我的图片:用视觉提示注入阻止 MLLM 分析图像Leave My Images Alone: Preventing Multi-Modal Large Language Models from Analyzing Images via Visual Prompt Injection
提出 ImageProtector,在图像中嵌入近乎不可见的扰动使 MLLM 拒答,在六个模型和四个数据集上有效,对部分对策仍具抵抗力。
Zedian Shao, Hongbin Liu, Yuepeng Hu 等ACL Anthology - LOTUS:以双曲蕴含与洛伦兹传输实现多模态遗忘LOTUS: Evolving Multimodal Unlearning via Hyperbolic Entailment and Lorentz Transport
利用双曲几何分离敏感实例与一般概念,在多模态遗忘基准上更有效地删除目标视觉数据,同时保留通用能力。
Zekun Wang, Jingjie Zeng, Yingxu Li 等ACL Anthology - LUNE:通过负例与LoRA微调高效遗忘大模型知识LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples
冻结主干、仅更新低秩适配器以抑制或替换指定知识,在多项事实遗忘任务上保持相近效果,并将计算成本降低约一个数量级。
- 跨视觉、语言、视频与音频的多模态遗忘综述Multimodal Unlearning Across Vision, Language, Video, and Audio: Survey of Methods, Datasets, and Benchmarks
系统梳理多模态遗忘的方法、数据集与基准,比较删除强度、知识保留、效率、可逆性及鲁棒性之间的权衡。
- PII-VisBench:按网络可见度评测视觉语言模型隐私安全PII-VisBench: Evaluating Personally Identifiable Information Safety in Vision Language Models Along a Continuum of Visibility
提出按个人网络可见度分层的隐私评测基准,测试18个开源视觉语言模型,发现模型更易泄露高可见度人物的个人身份信息。
- 针对微调自回归语言模型的免训练强力成员推断攻击Powerful Training-Free Membership Inference Against Fine-Tuned Autoregressive Language Models
提出 EZ-MIA,利用错误位置上的概率偏移打分,只需两次前向传播;在 1% FPR 下检出率达 66.3%,远超此前方法,表明微调模型隐私风险被低估。
David Ilić, David Stanojević, Kostadin CvejoskiACL Anthology - 隐私崩塌:良性微调会破坏语言模型的情境隐私Privacy Collapse: Benign Fine-Tuning Can Break Contextual Privacy in Language Models
发现良性微调会让模型丧失情境隐私判断,在六个模型上均出现,而标准安全基准上表现依旧良好;机制分析显示隐私表征尤其脆弱。
Anmol Goel, Cornelius Emde, Seong Joon Oh 等ACL Anthology - 私有种子与公共大模型:逼真且保护隐私的合成数据生成Private Seeds, Public LLMs: Realistic and Privacy-Preserving Synthetic Data Generation
以私有文本为种子,在候选选择中加入差分隐私机制,实验显示生成数据兼具较高保真度与隐私保护。
- 通过推理轨迹重写保护语言模型免遭未授权蒸馏Protecting Language Models Against Unauthorized Distillation through Trace Rewriting
动态重写教师模型的推理轨迹,既降低其蒸馏价值,又能嵌入可检测的 API 水印,简单指令式重写即有强反蒸馏效果且不降低教师性能。
Xinhang Ma, William Yeoh, Ning Zhang 等ACL Anthology - REMIND:从输入损失景观理解大模型记忆与遗忘REMIND: Memorization and Unlearning in LLMs Through the Lens of Input Loss Landscapes
通过局部输入损失曲率识别保留、遗忘与未见样本,检测常规指标遗漏的残余记忆,多分类ROC-AUC达82%。
Liran Cohen, Yaniv Nemcovsky, Avi MendelsonACL Anthology - 表征引导的参数高效大模型遗忘Representation-Guided Parameter-Efficient LLM Unlearning
提出ReGLU,以表征子空间引导LoRA初始化并约束更新,在TOFU和WMDP上兼顾更高遗忘质量与模型效用。
- 重新审视大型视觉语言模型遗忘后的行为Rethinking Post-Unlearning Behavior of Large Vision-Language Models
针对隐私遗忘后的退化、幻觉与过度拒答,提出PUBG引导输出分布,在保护目标人物隐私的同时生成有信息量且基于图像的回答。
- 对抗性生成干扰下的大语言模型稳健成员推断Robust Membership Inference for Large Language Models under Adversarial Generative Corruption
发现生成文本会使现有成员推断误判,提出融合成员推断特征与生成文本检测器的混合专家框架,在对抗样本下保持接近未受攻击时的性能。
Yuanhong Huang, Huili Wang, Xueying Bai 等ACL Anthology - 旋转控制遗忘:利用认知旋转空间量化与控制大模型连续遗忘Rotation Control Unlearning: Quantifying and Controlling Continuous Unlearning for LLM with The Cognitive Rotation Space
提出RCU以旋转角度控制遗忘程度,并用正交旋转方向减少连续请求间的干扰,无需保留数据集即可缓解效用的累积损失。
- SEAD:基于语义感知密度的无替代模型成员推断攻击SEAD: A Surrogate-free Label-only Membership Inference Attack against Pre-trained LLMs with Semantic-Aware Density
通过目标模型采样与语义感知密度估计实现仅输出文本条件下的成员推断,概率估计误差降低一个数量级,攻击效果优于已有方法。
- SecureGate:以词元门控双适配器控制联邦大模型隐私披露SecureGate: Learning When to Reveal PII Safely via Token-Gated Dual-Adapters for Federated LLMs
通过双适配器与词元门控控制敏感信息披露,在提升任务效用的同时,将未授权请求的推断攻击准确率最高降低31.66倍。
Mohamed Shaaban, Mohamed ElmahallawyACL Anthology - 大语言模型的选择性片段级遗忘Selective Span-Level Unlearning for Large Language Models
通过遗忘与保留数据的梯度差异定位词元,再以自一致性生成确定遗忘片段,在两个基准上保持相近遗忘效果并更好保留知识。
Chaewon Yoon, Dongjun Kim, Hyun-Je SongACL Anthology - SharedRequest:与模型无关的 LLM 隐私保护推理SharedRequest: Privacy-Preserving Model-Agnostic Inference for Large Language Models
在批次层面把原始提示与噪声变体混合并合并语义等价指令,效用比差分隐私基线高 20% 以上,查询成本最多降低 5 倍。
Peihua Mai, Xuanrong Gao, Youlong Ding 等ACL Anthology - SLIM:基于潜在空间混淆区的隐蔽低覆盖黑盒水印SLIM: Stealthy Low-Coverage Black-Box Watermarking via Latent-Space Confusion Zones
通过局部生成不稳定性构造可检验的数据水印,在仅修改极少训练序列的条件下实现黑盒数据使用验证,同时保持隐蔽性与模型效用。
供应链安全
2- ImF:在大语言模型中嵌入隐式指纹ImF: Embedding an Implicit Fingerprint in Your Large Language Models
形式化针对模型指纹的移除攻击 GRI,并提出基于语言隐写的隐式指纹 ImF,在 15 个 LLM 上更隐蔽且可抵御更新与提示干预。
Jiaxuan Wu, Wanli Peng, Hang fu 等ACL Anthology - PARASITE:通过条件式系统提示投毒劫持 LLMPARASITE: Conditional System Prompt Poisoning to Hijack LLMs
指出第三方系统提示市场的供应链风险,黑盒优化出仅对特定查询输出被操纵回答的投毒提示,目标查询 F1 最多下降 70%,且能绕过困惑度过滤等防御。
Viet Pham, Thai LeACL Anthology
危险能力
2- MolSafeEval:揭示AI生成分子安全风险的基准MolSafeEval: A Benchmark for Uncovering Safety Risks in AI-Generated Molecules
整合毒理数据库与危害规则构建分子安全知识图谱,支持大模型检测和解释危险结构,并为四类分子生成任务提供标准化安全评测。
- 撒谎还是不撒谎?研究 LLM 对全球虚假信息传播的偏向To Lie or Not to Lie? Investigating The Biased Spread of Global Lies by LLMs
构建 GlobalLies 多语言数据集,发现 LLM 生成虚假信息的概率在低资源语言和低 HDI 国家更高,现有输入安全分类器与检索事实核查的防护并不均衡。
Zohaib Khan, Mustafa Dogan, Ifeoma Okoh 等ACL Anthology
AI 与网络攻防
5- 打破“可证明安全”:利用低概率消失检测大模型隐写的有限精度痕迹Breaking the "Provable Security": Detecting Finite-Precision Artifacts in LLM-based Steganography via Low-Probability Vanishing
揭示有限精度运算造成的低概率消失漏洞,并提出采样统计审计方法,可有效检测AC与Meteor隐写,而语义检测器接近随机猜测。
- 从信任到失陷:结果验证的 LLM 钓鱼模拟与实时防御From Trust to Compromise: Outcome-Verified LLM Phishing Simulation and Real-Time Defense
提出以受害者完成外部动作验证失陷的 PhishSim 模拟器,以及实时多智能体风险评分器 PhishGate,在四种 LLM 后端上提升对话级检测。
Tulika Tewari, Nalin Arachchilage, Jagat Sesh Challa 等ACL Anthology - LogicEval:真实软件逻辑漏洞自动修复评测框架LogicEval: A Systematic Framework for Evaluating Automated Repair Techniques for Logical Vulnerabilities in Real-World Software
构建含122个逻辑漏洞的数据集并评测传统及LLM修复方法,发现提示敏感、上下文丢失和补丁定位困难是主要失败因素。
Syed Md Mukit Rashid, Abdullah Al Ishtiaq, Kai Tu 等ACL Anthology - 用大语言模型重写裸指针,让C转译的Rust代码更安全Raw Pointer Rewriting with LLMs for Translating C to Safer Rust
提出PR2,以决策树提示和代码变更分析引导裸指针替换与错误修复,在28个真实C项目的转译代码中消除18.57%的局部裸指针。
- 抓住关键线索:用大模型辅助分类器检测演变中的诈骗电话Targeting the Needle, Ignoring the Haystack: Anchoring Crucial Cues for Evolving Scam Call Detection via an LLM-Assisted Classifier
以专家定义的稳定语义证据为基础,先识别线索再逻辑判定诈骗,在服务场景变化时比传统基线更稳健、高效。
开源模型安全
6- CTRAP:嵌入坍塌陷阱以保护 LLM 免受有害微调CTRAP: Embedding Collapse Trap to Safeguard Large Language Models from Harmful Fine-Tuning
指出选择性遗忘易被重新学习绕过,提出在对齐时植入陷阱,一旦微调试图撤销安全对齐就令模型能力坍塌,良性微调不受影响。
Biao Yi, Tiansheng Huang, Baolei Zhang 等ACL Anthology - HarmRLVR:利用可验证奖励实现有害对齐HarmRLVR: Weaponizing Verifiable Rewards for Harmful LLM Alignment
仅用 64 条无回复的有害提示做 GRPO 即可快速逆转安全对齐,五个模型平均攻击成功率 96.01%,优于有害微调且保持通用能力。
Yuexiao Liu, Lijun Li, Xingjun Wang 等ACL Anthology - OASIS:通过正交自适应安全对齐策略缓解 LLM 有害微调攻击OASIS: Mitigating Harmful Fine-tuning Attacks on LLMs via Orthogonal and Adaptive Safety Alignment Strategy
将扰动投影到与有害梯度正交的方向,并只优化自适应选出的安全关键层;在 4 个 LLM 上将 Harmful Score 降低约 60%,下游效用保持稳定。
Jiayu Tang, Guowei Peng, Qiuhao Xie 等ACL Anthology - SGT:用安全引导触发器保护开源 LLM 免受恶意微调SGT: Securing Open-Source LLMs Against Malicious Fine-tuning via Safety Guidance Trigger
刻画安全区域,先优化安全触发器再对齐内部特征,使攻击者需大幅增加数据量才能破坏安全,表征在恶意微调下保持稳定。
Sunguk Shin, Fangzhao Wu, Byung-Jun Lee 等ACL Anthology - 合成数据来源多样性对大语言模型微调的影响Synthetic Eggs in Many Baskets: The Impact of Synthetic Data Diversity on LLM Fine-Tuning
发现多源合成数据可缓解分布坍缩,但人类与合成数据微调均可能移除安全防护,且合成数据微调后的有害输出可能更具可用性。
- 对齐与失效:微调如何破坏并恢复大模型安全The Art of (Mis)alignment: How Fine-Tuning Methods Effectively Misalign and Realign LLMs in Post-Training
比较六种微调方法对四个模型的安全破坏与恢复效果,发现ORPO最善于破坏对齐,DPO最善于恢复对齐,但会牺牲模型效用。
红队
35- 面向大语言模型自动红队测试的自适应指令组合Adaptive Instruction Composition for Automated LLM Red-Teaming
用上下文多臂老虎机自适应组合众包攻击素材,兼顾攻击效果与多样性,优于随机组合并在HarmBench上超过多种自适应方法。
Jesse Zymet, Andy Luo, Swapnil Shinde 等ACL Anthology - AgenticEval:智能体驱动的自演化大模型安全评测AgenticEval: Toward Agentic and Self-Evolving Safety Evaluation of Large Language Models
利用多智能体从政策文档生成并迭代安全测试,随测试强化,GPT-5在欧盟AI法案相关评测中的安全率从72.50%降至36.36%。
- ARES:策略—奖励系统的自适应红队测试与端到端修复ARES: Adaptive Red-Teaming and End-to-End Repair of Policy-Reward System
同时发现策略模型与奖励模型的安全弱点,再依次修复奖励模型和策略模型,在多个对抗安全基准上提升鲁棒性并保留能力。
Jiacheng Liang, Yao Ma, Tharindu Kumarage 等ACL Anthology - 超越静态基准:基于角色模拟合成有害内容进行稳健评测Beyond Static Benchmarks: Synthesizing Harmful Content via Persona-based Simulation for Robust Evaluation
利用角色设定引导智能体合成有害互动,生成场景比现有基准更难被检测,且语言与主题多样性接近人工数据集。
Huije Lee, Jisu Shin, Hoyun Song 等ACL Anthology - AI 生成的说服内容能被检测吗?Persuaficial 基准与人机语言差异Can AI-Generated Persuasion Be Detected? Persuaficial Benchmark and AI vs. Human Linguistic Differences
构建六语言基准,发现明显的 LLM 说服文本较易检测,但隐晦的 LLM 说服会持续削弱自动检测效果。
Arkadiusz Modzelewski, Paweł Golik, Anna Kołos 等ACL Anthology - 大语言模型能识别“狗哨”暗语吗?Can LLMs Hear the Dogwhistle?
构建含11,150条提示的DogBench,发现表面无害但暗含有害意图的狗哨提示,比同结构的显性有毒提示更易诱发有害输出,风险约为四倍。
- 刻画大语言模型的选择性拒答偏差Characterizing Selective Refusal Bias in Large Language Models
发现安全护栏对不同人口群体存在选择性拒答,并设计间接攻击,使Llama 3.1在约89%的试验中未能保护此前拒绝攻击的群体。
- 用自适应压力测试评估黑盒大模型规划器的观测扰动鲁棒性Characterizing the Robustness of Black-Box LLM Planners Under Perturbed Observations with Adaptive Stress Testing
利用蒙特卡洛树搜索开展自适应压力测试,发现提示措辞、传感器配置及噪声可诱发大模型规划器幻觉、不确定行为乃至驾驶碰撞。
- FinSafetyBench:真实金融场景下的大模型安全评测FinSafetyBench: Evaluating LLM Safety in Real-World Financial Scenarios
构建覆盖14类金融犯罪与伦理违规的中英双语红队基准,发现模型在中文场景更易受攻击,提示级防御难以应对隐蔽操纵。
- GRE评分:大语言模型生成风险评估GRE Score: Generative Risk Evaluation for Large Language Models
提出基于拒答评分间隔的攻击无关鲁棒性指标,在八个模型上得到与攻击评估一致的鲁棒性排序,评估速度提升5至8倍。
- HarDBench:草稿协作写作越狱攻击基准HarDBench: A Benchmark for Draft-Based Co-Authoring Jailbreak Attacks for Safe Human–LLM Collaborative Writing
构建草稿协作写作越狱基准,发现现有模型易生成有害续写,并通过偏好优化减少有害输出而不损害协作写作能力。
EunTae Kim, Soomin Han, Buru ChangACL Anthology - 反转护盾:从策略规范系统化生成安全测试Inverting the Shield: Systematically Generating Safety Tests from Policy Specifications
POLARIS 把自然语言策略编译为一阶逻辑并构建语义策略图,生成可追溯的测试查询,策略覆盖率和攻击成功数均优于基线。
Xiaoyue Lu, Xianglin Yang, Haijun Liu 等ACL Anthology - Jailbreak-Zero:迈向帕累托最优的大语言模型红队测试Jailbreak-Zero: A Path to Pareto Optimal Red Teaming for Large Language Models
提出基于安全政策的自动红队框架,权衡风险覆盖、多样性与忠实性,对GPT-4o和Claude 3.5的攻击成功率达99.5%和96%。
Kai Hu, Abhinav Aggarwal, Mehran Khodabandeh 等ACL Anthology - JailMeter:基于证据的大模型越狱攻击评估框架JailMeter: An Evidence-Based Evaluation Framework for Jailbreak Attacks on Large Language Models
从回答中提取与恶意意图相关的证据,评估越狱是否实质成功,在330个人工标注样本上准确率达97.27%。
- 越狱场景下的水印评测:攻击成功率虚高与目标服从度错位Measuring Watermarking under Jailbreaking: ASR Inflation and Goal-Compliance Mismatch
评测六种水印方法与四款模型,发现水印可能抬高裁判判定的越狱成功率,却未同步提高有害目标服从度,提示需补充人工和目标服从评估。
- MHSafeEval:角色感知的心理健康交互安全评测MHSafeEval: Role-Aware Interaction-Level Evaluation of Mental Health Safety in Large Language Models
提出角色感知的危害分类与多轮对抗评测框架,发现静态基准遗漏的角色相关及累积性心理健康安全失效。
- MTMCS-Bench:多模态模型多轮对话情境安全评测MTMCS-Bench: Evaluating Contextual Safety of Multimodal Large Language Models in Multi-Turn Dialogues
构建逾三万条样本评测多轮情境安全,发现模型常漏判渐进风险或过度拒答,现有护栏也未能完全解决这些问题。
- N-GLARE:非生成式的潜表示高效 LLM 安全评估器N-GLARE: An Non-Generative Latent Representation-Efficient LLM Safety Evaluator
仅基于隐层表示的轨迹和 JSS 指标评估安全鲁棒性,在 40 多个模型和 20 种红队策略上与红队排名高度一致,开销不到 1%。
Zheyu Lin, Jirui Yang, Yukui Qiu 等ACL Anthology - OmniCompliance-100K:规则支撑的跨域安全合规数据集OmniCompliance-100K: A Multi-Domain, Rule-Grounded, Real-World Safety Compliance Dataset
从权威来源整理覆盖74项法规与政策的12,985条规则及106,009个真实合规案例,并据此评测不同规模模型的安全合规能力。
- 基于人设的 AI 陪伴应用多轮对话安全评测Persona-Grounded Safety Evaluation of AI Companions in Multi-Turn Conversations
构建人设驱动的多轮模拟与危害评估框架,测试 Replika 对高风险用户的回应;发现其常附和或正常化自残、饮食失调和暴力幻想等不安全内容。
Prerna Juneja, Lika LomidzeACL Anthology - 中文短视频虚假信息中的多模态大模型认知偏差评测Probing Multimodal Large Language Models on Cognitive Biases in Chinese Short-Video Misinformation
基于200条健康短视频评测八个多模态大模型,发现模型识别虚假信息的表现差异明显,且易受权威账号标识等社会线索误导。
- 对大型推理模型进行红队测试Red Teaming Large Reasoning Models
提出 Rt-LRM 基准,从真实性、安全和效率三方面评估 LRM 可信度;对 26 个模型的实验显示 LRM 面对推理引发的风险比 LLM 更脆弱。
Jiawei Chen, Yang Yang, Chao Yu 等ACL Anthology - Red-Bandit:多臂老虎机引导LoRA专家自适应红队测试Red-Bandit: Test-Time Adaptation for LLM Red-Teaming via Bandit-Guided LoRA Experts
通过多臂老虎机在线选择不同攻击风格的LoRA专家,在探索预算充足时提升攻击成功率,并揭示目标模型对不同攻击风格的弱点。
Christos Ziakas, Nicholas Loo, Nishita Jain 等ACL Anthology - 对文生图安全护栏中的NSFW图像分类器开展红队测试Red-Teaming NSFW Image Classifiers as Text-to-Image Safeguards
提出自动化红队框架,发现良性画面元素的变化可导致NSFW漏检,利用失败案例训练的提示改写模型将检测规避概率提高至多六倍。
- RedCoder:面向代码 LLM 的自动化多轮红队RedCoder: Automated Multi-Turn Red Teaming for Code LLMs
通过多 agent 博弈构建攻击策略库并微调红队 agent,多轮对话诱导代码模型生成漏洞代码,效果优于单轮和多轮基线。
Wenjie Jacky Mo, Qin Liu, Xiaofei Wen 等ACL Anthology - 逆向宪法式AI:通过概率截断实现可控有害数据生成Reverse Constitutional AI: A Framework for Controllable Toxic Data Generation via Probability-Clamped RLAIF
通过反转无害原则与批评修订流程生成红队数据,概率截断使语义连贯性提升15%,同时保持对抗强度。
- SafeMT:多模态语言模型的多轮对话安全SafeMT: Multi-turn Safety for Multimodal Language Models
构建万条样本的多轮安全基准,评测17个模型发现攻击风险随轮次增加,并提出比现有护栏更有效的对话安全调节器。
Han Zhu, Juntao Dai, Jiaming Ji 等ACL Anthology - 安全并非普遍:大模型对齐中的选择性安全陷阱Safety Is Not Universal: The Selective Safety Trap in LLM Alignment
构建覆盖16个少数群体的双语越狱基准,发现同一模型对不同群体的防御率显著不同,定向偏好优化可改善对未见群体的安全泛化。
- STAR-Teaming:基于策略—响应多层网络的自动化红队STAR-Teaming: A Strategy-Response Multiplex Network Approach to Automated LLM Red Teaming
结合多智能体与策略—响应多层网络组织攻击搜索,减少重复探索,以更低计算成本取得更高攻击成功率。
- StealthGraph:用知识图谱引导生成领域有害提示以暴露 LLM 风险StealthGraph: Exposing Domain-Specific Risks in LLMs through Knowledge-Graph-Guided Harmful Prompt Generation
提出知识图谱引导的有害提示生成加两种混淆改写策略,构造兼具领域相关性与隐含性的数据集,用于更真实的领域红队测试。
- LLM 文化禁忌安全中的“知识—行为鸿沟”The “Knowledge–Behavior Gap” in Cultural Taboo Safety of Large Language Models
提出覆盖 77 个国家和地区、2000 多条禁忌的 CulShield 基准,发现模型知道禁忌却常在交互中不遵守。
Ying He, Sihang Jiang, Xingzhou Chen 等ACL Anthology - 聪明的副作用:多模态大模型的多图推理安全风险The Side Effects of Being Smart: Safety Risks in MLLMs’ Multi-Image Reasoning
提出多图推理安全基准,评测19个模型发现,推理更强的模型可能更易受攻击,部分安全回答实际源于误解或回避。
Renmiao Chen, Yida Lu, Shiyao Cui 等ACL Anthology - USB:面向多模态大模型的全面统一安全评测基准USB: A COMPREHENSIVE AND UNIFIED SAFETY EVALUATION BENCHMARK FOR MULTIMODAL LARGE LANGUAGE MODELS
构建覆盖 61 类风险、四种模态组合的基准,同时评估有害查询漏洞与良性输入过度拒答;测试 22 个 MLLM,发现其在二者间难以平衡,对纯图像和跨模态风险尤其脆弱。
Baolin Zheng, Guanlin Chen, Qingyang Teng 等ACL Anthology - 当助手变成隐患:多模态大模型的日常生活安全基准When Helpers Become Hazards: A Benchmark for Analyzing Multimodal LLM-Powered Safety in Daily Life
提出含2013个真实图文样本的SaLAD基准;评测18个模型发现,最佳模型在不安全查询上的安全响应率仅57.2%。
- XGUARD:大语言模型极端主义内容安全失效分级基准XGUARD: A Graded Benchmark for Evaluating Safety Failures of Large Language Models on Extremist Content
构建含3840条红队提示的五级风险基准,评测五种模型与两种防御策略,揭示极端主义内容生成中的安全缺口与防御权衡。