顶会安全论文

ICLR、ICML、NeurIPS、ACL 和安全四大会（IEEE S&P、USENIX Security、ACM CCS、NDSS）录用的 AI 安全论文，按年份和研究方向整理。以会议的安全 track 为主，其他 track 里内容明确是安全方向的也收，并标出来。

共 39 篇

越狱与攻击

从零到英雄：多模态推荐系统对抗性推广攻击From Zero to Hero: Cross-modal-enhanced Adversarial Item Promotion Attack against Multimodal Recommender Systems
CREAM协同扰动图像与文本内容操纵推荐排序，使目标商品曝光显著提升并暴露平台经济风险。
Mengyu Yao, Ziqi Zhang, Yifeng Cai 等会议页面
具有理论基础的低成本硬标签对抗攻击Low-Cost Hard-Label Adversarial Attack with Theoretical Foundations
论文提出零查询初始化和模式驱动优化，在多种模型与任务上以更低查询成本提升黑盒对抗攻击效果。
Jun Liu, Leo Yu Zhang, Fengpeng Li 等会议页面
用非定向模态对齐破坏攻击评估视觉语言模型鲁棒性On Evaluating the Robustness of Large Vision-Language Models via Untargeted Modality Alignment Breaking Adversarial Attack
MABA同时攻击视觉编码和模态对齐环节，在黑盒条件下显著降低多个视觉语言模型的图像描述性能。
Zhichao Li, Hongshan Yang, Zhibo Wang 等会议页面
攻击者后手：自适应攻击绕过LLM防御The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against LLM Jailbreaks and Prompt Injections
系统调优多类攻击方法，发现其能以超过90%的成功率绕过12种近期越狱与提示注入防御。
Milad Nasr, Nicholas Carlini, Chawin Sitawarin 等会议页面

提示注入

BadGraph：针对GraphRAG的结构知识隔离攻击BadGraph: Structural Knowledge Isolation Attacks against Graph Retrieval-Augmented Generation
BadGraph通过注入语义中性的文档扰乱知识图拓扑，降低关键证据召回率和GraphRAG问答性能。
Leiming Yan, Xinlong Xu, Ziqiang Li会议页面
网络安全日志LLM分析中的上下文污染Context Contamination in LLM Analysis of Network Security Logs: Poison with Passive Prompt Injection and Mitigation Evaluation
展示日志中的被动提示注入可隐藏活动、制造误报并外泄信息，并评估分层防御的缓解效果。
Rabimba Karanjai, Yang Lu, Hemanth Hegadehalli Madhavarao 等会议页面
真实世界求职筛选中的提示注入攻击测量Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
分析约20万份简历，发现约1%含隐蔽提示注入，且多数不含显式指令。
Mohan Zhang, Yuqi Jia, Zhen Tan 等会议页面
突破检索障碍：真实环境中的间接提示注入Overcoming the Retrieval Barrier: Indirect Prompt Injection in the Wild for LLM Systems
构造保证恶意内容被检索的触发片段，在RAG和Agent系统中实现高成功率的端到端间接提示注入。
Hongyan Chang, Ergute Bao, Xinjian Luo 等会议页面

Agent 安全

AttriGuard：用因果归因防御Agent间接提示注入AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations
通过反事实重放判断工具调用是否由用户意图驱动，在静态攻击下实现零攻击成功率并抵抗自适应攻击。
Yu He, Haozhe Zhu, Yiming Li 等会议页面
FragFuse：通过记忆碎片化融合绕过Agent访问控制FragFuse: Bypassing Access Control of Large Language Model Agents via Memory-Based Query Fragmentation and Fusion
FragFuse将受限内容分散写入长期记忆后再融合重构，在多种Agent设置中实现高成功率的访问控制绕过。
Zixin Rao, Wentian Zhu, Chan Aristella Lu 等会议页面
当AIOps变成AI事故：通过遥测操纵颠覆LLM运维When AIOps Become "AI Oops": Subverting LLM-driven IT Operations via Telemetry Manipulation
AIOpsDoom操纵系统遥测误导LLM运维Agent采取危险行动，AIOpsShield则通过清洗遥测数据进行防御。
Dario Pasquini, Evgenios M. Kornaropoulos, Giuseppe Ateniese 等会议页面

防御与护栏

AI供应商漏洞赏金与负责任披露政策研究"Abuse Risks are Often Inherent to Product Features": Exploring AI Vendors' Bug Bounty and Responsible Disclosure Policies
分析264家AI供应商的漏洞披露政策，发现多数未明确覆盖AI风险，且越狱和幻觉常被排除在外。
非 AI 分会场Yangheran Piao, Jingjie Li, Daniel W. Woods会议页面
技术促成虐待场景下的LLM回复质量评估Assessing LLM Response Quality in the Context of Technology-Facilitated Abuse
专家与用户评估四种LLM对技术促成虐待求助问题的回复，揭示其当前能力局限并提出改进建议。
非 AI 分会场Vijay Prakash, Majed Almansoori, Donghan Hu 等会议页面
DualSentinel：基于双重熵停滞模式检测LLM定向攻击DualSentinel: A Lightweight Framework for Detecting Targeted Attacks in Black-box LLM via Dual Entropy Lull Pattern
利用攻击导致的低且稳定的生成熵停滞模式，在运行时低成本检测被劫持的LLM输出。
Xiaoyi Pang, Xuanyi Hao, Pengyu Liu 等会议页面
Sy-FAR：基于对称性的公平对抗鲁棒性Sy-FAR: Symmetry-based Fair Adversarial Robustness
Sy-FAR以攻击对称性为目标，同时优化对抗鲁棒性，在多种人脸识别等任务中改善了公平鲁棒性。
Haneen Najjar, Eyal Ronen, Mahmood Sharif会议页面

可解释性

从模型认知视角量化大语言模型攻击Quantifying Large Language Model Attacks Through the Lens of Model Cognition
论文用中间层探针检测有害提示相关信号，提出Sentinel并绘制安全信号在模型层间的传播与衰减。
Xiuming Liu, Chaoxiang He, Xuanran Yu 等会议页面

后门与投毒

文本到图像扩散模型近似缓存攻击Attacks on Approximate Caches in Text-to-Image Diffusion Models
研究展示近似缓存可被远程利用来建立隐蔽信道、窃取提示词，并向后续请求注入图像标志。
Desen Sun, Shuncheng Jie, Sihang Liu会议页面
Cordyceps：数据投毒驱动的LLM隐蔽控制攻击Cordyceps: Covert Control Attacks on LLMs via Data Poisoning
通过语义关联植入隐蔽信息隐藏机制，使LLM编码并执行恶意指令，同时绕过多种后门与提示注入防御。
Zedian Shao, Charles Fleming, Teodora Baluta会议页面
HijackKV：与位置无关的KV缓存复用新威胁HijackKV: New Threat in Position-Independent KV Cache Reuse
研究发现位置无关的KV缓存会将攻击者前缀隐式带入受害者请求，并实现了跨模型缓存劫持攻击。
Yichi Zhang, Zhiqi Wang, Huan Zhang 等会议页面

隐私与数据泄露

Behind Bars：利用内存屏障攻击NVIDIA MIG缓存隔离Behind Bars: A Side-Channel Attack on NVIDIA MIG Cache Partitioning Using Memory Barriers
研究发现MIG实例间仍存在缓存干扰，可通过时序侧信道推断受害者内核启动模式并泄露大模型推理信息。
非 AI 分会场Cheng Gu, Reese Levine, Zhenkai Zhang 等会议页面
五次查询即可：RAG成员推断攻击Five Queries Are Enough: Query-Efficient and Surrogate-Free Membership Inference Attacks on RAG via Entailment
提出无需代理模型的高效成员推断攻击，仅用五次查询便能有效暴露RAG检索语料中的隐私泄露。
Nguyen Linh Bao Nguyen, Wanlun Ma, Viet Vo 等会议页面
模仿式成员推断攻击Imitative Membership Inference Attack
通过训练少量模仿目标模型的模型发起成员推断，在低于现有方法5%计算成本下取得更好效果。
Yuntao Du, Yuetian Chen, Hanshen Xiao 等会议页面
图生成扩散模型的推断攻击Inference Attacks Against Graph Generative Diffusion Models
针对图生成扩散模型提出图重建、属性推断和成员推断攻击，并设计两种缓解机制。
Xiuling Wang, Xin Huang, Guibo Luo 等会议页面
针对大语言模型分词器的成员推断攻击Membership Inference Attacks on Tokenizers of Large Language Models
首次系统研究从分词器推断训练数据成员关系，并提出相应防御方法，揭示其隐私泄露风险。
Meng Tong, Yuntao Du, Kejiang Chen 等会议页面
私有Transformer模型推理综述Sok: Private Transformer-based Model Inference
系统分析隐私保护Transformer推理协议的性能权衡、局限与可复现性，并提出部署选择指南。
Yuntian Chen, Tianpei Lu, Zhanyong Tang 等会议页面
安全隐私控制对生成式AI聊天机器人情感参与的影响The Impact of Security and Privacy Controls on Users' Emotional Engagement with Generative AI Chatbots
研究354名用户后发现，删除披露内容最能提升情感使用意愿，但用户仍不完全信任安全隐私控制。
非 AI 分会场Jabari Kwesi, Jiaxun Cao, Hailee Cunningham 等会议页面
提示窃取谬误：重新思考指标、攻击与防御The Prompt Stealing Fallacy: Rethinking Metrics, Attacks, and Defenses
论文发现现有提示窃取效果被高估，并提出PromptThief及主动和被动防御方法评估提示知识产权保护。
Zehang Deng, Haoyang Li, Wanlun Ma 等会议页面
VidLeaks：文本生成视频模型的成员推断攻击VidLeaks: Membership Inference Attacks Against Text-to-Video Models
提出结合空间重建与时间稳定性的攻击框架，证明文本生成视频模型会泄露显著的训练数据成员信息。
Li Wang, Wenyu Chen, Ning Yu 等会议页面
用户隐私诉求与LLM服务商政策的差距What Users Ask, Policies Miss: Unveiling the Gap Between Community-Expressed Privacy Concerns and LLM Provider Policies
审计五家LLM服务商的用户隐私关切与政策后，发现政策覆盖不足与用户不信任几乎同样普遍。
非 AI 分会场Zhihuang Liu, Zhen Huang, Ling Hu 等会议页面
针对微调大语言模型的窗口式成员推断攻击Window-based Membership Inference Attacks Against Fine-tuned Large Language Models
提出滑动窗口比较方法，利用局部记忆信号提升微调LLM成员推断在低误报率下的检测效果。
Yuetian Chen, Yuntao Du, Kaiyuan Zhang 等会议页面

供应链安全

野外恶意Agent技能的检测与理解"Do Not Mention This to the User": Detecting and Understanding Malicious Agent Skills in the Wild
分析98,380个Agent技能，确认157个恶意技能及632项漏洞，并揭示凭证窃取和指令操纵两类主要攻击策略。
非 AI 分会场Yi Liu, Zhihao Chen, Yanjun Zhang 等会议页面

危险能力

爱、谎言与语言模型：AI参与恋爱诱骗诈骗Love, Lies, and Language Models: Investigating AI's Role in Romance-Baiting Scams
研究显示LLM已被诈骗组织采用，其在长期对话中比人工操作者获得更高信任与受害者配合度。
非 AI 分会场Gilad Gressel, Rahul Pankajakshan, Shir Rozenfeld 等会议页面

AI 与网络攻防

大规模研究LLM个性化网络钓鱼A Large-Scale Study of Personalized Phishing using Large Language Models
对7700名参与者的实验表明，LLM生成的个性化钓鱼邮件点击率接近普通钓鱼的三倍，单封成本约0.03美元。
非 AI 分会场Stefan Czybik, Anne Josiane Kouam, Peter Heubl 等会议页面
Cutting the Gordian Knot：知识挖掘检测恶意PyPI包Cutting the Gordian Knot: Detecting Malicious PyPI Packages via a Knowledge-Mining Framework
提出结合行为模式挖掘与LLM语义抽象的检测框架，在真实部署中发现219个此前未知的恶意软件包。
非 AI 分会场Wenbo Guo, Chengwei Liu, Ming Kang 等会议页面
用泄漏导向最小路径覆盖发现资源耗尽DoS漏洞Exposing Resource-Exhaustion DoS Vulnerabilities with Leak-Oriented Minimum Path Covers
结合LLM异常推断与最小路径覆盖检测Java资源泄漏，在真实研究中发现67个潜在DoS漏洞。
非 AI 分会场Lige Zhan, Yafei He, Jiang Ming 等会议页面
H3Act：自动测量CDN中HTTP/3到HTTP/1.1转换异常H3Act: Automated Measuring Semantic Conversion Anomalies of HTTP/3-to-HTTP/1.1 Translation in CDNs
H3Act结合LLM与RAG生成测试载荷，发现九个商业CDN普遍存在协议转换导致的安全回归漏洞。
非 AI 分会场Qihang Peng, Siyuan Tian, Yongxin Qiu 等会议页面
JScamd：检测JavaScript加密API误用的自动化污点分析JScamd: An Automated Static Taint Analysis Framework for Detecting Cryptographic API Misuses in JavaScript
JScamd利用LLM辅助生成污点规则，在322个JavaScript项目中发现1059处加密误用和41个此前未知漏洞。
非 AI 分会场Shijie Jia, Bowen Xu, Yuan Ma 等会议页面
PHILTER：用LLM推理框架揭示AI钓鱼检测研究缺陷SoK: PHILTER: Uncovering Security and Functional Gaps in AI-based Phishing Website Detection Literature via an LLM-based Reasoning Framework
PHILTER结合LLM与专家评审分析55种AI钓鱼检测方法，发现其在安全性、隐私和应对演化攻击方面存在系统性不足。
非 AI 分会场Mahbub Alam, Muhammad Lutfor Rahman, Sonjoy Kumar Paul 等会议页面

红队

MUZZLE：针对Web Agent间接提示注入的自适应红队MUZZLE: Adaptive Agentic Red-Teaming of Web Agents Against Indirect Prompt Injection Attacks
提出自适应智能体红队框架，在四个Web应用中发现44种攻击及跨应用提示注入策略。
Georgios Syros, Evan Rose, Brian Grinstead 等会议页面