顶会安全论文
越狱与攻击
12- 用受控释放提示绕过生产环境中的 Prompt GuardBypassing Prompt Guards in Production with Controlled-Release Prompting
利用轻量过滤器与主模型的算力不对称,生成过滤器无法解读但目标 LLM 可理解的提示,在四个主流聊天平台上成功,14 个防护模型均难以检测。
Jaiden Fairoze, Sanjam Garg, Keewoo Lee 等会议页面 - 从零到英雄:多模态推荐系统对抗性推广攻击From Zero to Hero: Cross-modal-enhanced Adversarial Item Promotion Attack against Multimodal Recommender Systems
CREAM协同扰动图像与文本内容操纵推荐排序,使目标商品曝光显著提升并暴露平台经济风险。
Mengyu Yao, Ziqi Zhang, Yifeng Cai 等会议页面 - GateBreaker:针对 MoE LLM 的门控引导攻击GateBreaker: Gate-Guided Attacks on Mixture-of-Expert LLMs
定位并禁用 MoE 中集中于少量神经元的安全结构,在八个对齐 MoE 模型上攻击成功率由 7.4% 升至 64.9%,且可跨同族模型迁移。
- 具有理论基础的低成本硬标签对抗攻击Low-Cost Hard-Label Adversarial Attack with Theoretical Foundations
论文提出零查询初始化和模式驱动优化,在多种模型与任务上以更低查询成本提升黑盒对抗攻击效果。
Jun Liu, Leo Yu Zhang, Fengpeng Li 等会议页面 - 用非定向模态对齐破坏攻击评估视觉语言模型鲁棒性On Evaluating the Robustness of Large Vision-Language Models via Untargeted Modality Alignment Breaking Adversarial Attack
MABA同时攻击视觉编码和模态对齐环节,在黑盒条件下显著降低多个视觉语言模型的图像描述性能。
Zhichao Li, Hongshan Yang, Zhibo Wang 等会议页面 - 一颗坏 token 毁掉全局:LLM 故障 token 的评估、检测与修复One Bad Token Spoils the Barrel: Assessment, Detection, and Remediation of Glitch Tokens in Large Language Models
证明 glitch token 可绕过安全机制且跨模型迁移,提出 GlitchQuiz 检测与 GlitchEdit 嵌入层编辑,不安全率由 96.36% 降至 2.87%。
Kunsheng Tang, Peigui Qi, Yide Song 等会议页面 - 守护二维码:揭示对抗性二维码背后的真实非法推广Shielding QR Codes: Unveiling the Real-World Illicit Promotion Behind Adversarial QR Codes
提出 Adato 检测对抗性二维码图像(AQRI),精确率 98.6%,在 4000 多万张图中发现 68,467 个 AQRI,95.78% 指向恶意 URL。
- Sirens' Whisper:针对语音驱动 LLM 的不可听近超声越狱Sirens' Whisper: Inaudible Near-Ultrasonic Jailbreaks of Speech-Driven LLMs
通过近超声信道隐蔽投递语音提示并设计语音感知越狱,在商用模型上非拒答率最高达 0.94,用户研究显示人耳无法察觉。
- SoK:机器学习流水线中的共谋攻击者SoK: Colluding Adversaries in Machine Learning Pipelines
提出覆盖训练期与推理期攻击者共谋的框架,给出基于使能因素的判断准则,解释已有工作并实证验证五种未探索的共谋。
Vasisht Duddu, Lipeng He, Asim Waheed 等会议页面 - 攻击者后手:自适应攻击绕过LLM防御The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against LLM Jailbreaks and Prompt Injections
系统调优多类攻击方法,发现其能以超过90%的成功率绕过12种近期越狱与提示注入防御。
- 眼见而 LLM 不见:利用人类感知的对抗文本攻击What the Eyes See, the LLMs Miss: Exploiting Human Perception for Adversarial Text Attacks
提出 HPAA,用排版操纵使有害内容人类可识别而逃过审核,仅 3 次查询即在 13 个审核系统上检出率低于 1%。
- 当记忆成为漏洞:针对文生图系统的多轮越狱攻击When Memory Becomes a Vulnerability: Towards Multi-turn Jailbreak Attacks against Text-to-Image Generation Systems
提出 Inception,利用文生图系统的记忆机制,通过分段与递归把恶意意图分散到多轮提示中,攻击成功率超过 SOTA 20.0%,并在商业平台验证。
Shiqian Zhao, Jiayang Liu, Yiming Li 等会议页面
提示注入
4- BadGraph:针对GraphRAG的结构知识隔离攻击BadGraph: Structural Knowledge Isolation Attacks against Graph Retrieval-Augmented Generation
BadGraph通过注入语义中性的文档扰乱知识图拓扑,降低关键证据召回率和GraphRAG问答性能。
Leiming Yan, Xinlong Xu, Ziqiang Li会议页面 - 网络安全日志LLM分析中的上下文污染Context Contamination in LLM Analysis of Network Security Logs: Poison with Passive Prompt Injection and Mitigation Evaluation
展示日志中的被动提示注入可隐藏活动、制造误报并外泄信息,并评估分层防御的缓解效果。
- 真实世界求职筛选中的提示注入攻击测量Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
分析约20万份简历,发现约1%含隐蔽提示注入,且多数不含显式指令。
Mohan Zhang, Yuqi Jia, Zhen Tan 等会议页面 - 突破检索障碍:真实环境中的间接提示注入Overcoming the Retrieval Barrier: Indirect Prompt Injection in the Wild for LLM Systems
构造保证恶意内容被检索的触发片段,在RAG和Agent系统中实现高成功率的端到端间接提示注入。
- AttriGuard:用因果归因防御Agent间接提示注入AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations
通过反事实重放判断工具调用是否由用户意图驱动,在静态攻击下实现零攻击成功率并抵抗自适应攻击。
Yu He, Haozhe Zhu, Yiming Li 等会议页面 - 自主性的代价:检测 LLM Agent 中由资源滥用引发的拒绝服务漏洞Autonomy Comes with Costs: Detecting Denial-of-Service Vulnerabilities Caused by Resource Abusing in LLM-based Agents
首次系统研究 LLM Agent 的资源管理,提出 AgentDoS 灰盒模糊测试框架;在 20 个开源 Agent 中发现 36 个零日漏洞,已分配 15 个 CVE。
- FragFuse:通过记忆碎片化融合绕过Agent访问控制FragFuse: Bypassing Access Control of Large Language Model Agents via Memory-Based Query Fragmentation and Fusion
FragFuse将受限内容分散写入长期记忆后再融合重构,在多种Agent设置中实现高成功率的访问控制绕过。
Zixin Rao, Wentian Zhu, Chan Aristella Lu 等会议页面 - MATE:基于合成轨迹学习的移动 Agent 策略感知安全审计MATE: Policy-Aware Security Auditing for Mobile Agents via Synthesis-Driven Trajectory Learning
提出以自然语言策略为条件的轻量审计器,合成14万余条轨迹训练,发布 MATEBench,在真实设备上审计准确率超95%。
- SoK:Agentic AI 系统的攻击与防御全景SoK: Attack and Defense Landscape of Agentic AI Systems
首次系统梳理 AI Agent 安全的设计空间、攻击面与防御机制,并指出开放挑战。
Juhee Kim, Wenbo Guo, Dawn Song会议页面 - 当AIOps变成AI事故:通过遥测操纵颠覆LLM运维When AIOps Become "AI Oops": Subverting LLM-driven IT Operations via Telemetry Manipulation
AIOpsDoom操纵系统遥测误导LLM运维Agent采取危险行动,AIOpsShield则通过清洗遥测数据进行防御。
Dario Pasquini, Evgenios M. Kornaropoulos, Giuseppe Ateniese 等会议页面 - 当 HTTP 402 遇上区块链:新兴 x402 支付协议的风险When HTTP 402 Meets the Blockchain: Risks on Emerging x402 Payments
首次系统研究面向 AI Agent 的 x402 支付协议,发现 4 类攻击,15 个主流 facilitator 全部存在违规,并测量了 1.19 亿笔交易。
防御与护栏
17- AI供应商漏洞赏金与负责任披露政策研究"Abuse Risks are Often Inherent to Product Features": Exploring AI Vendors' Bug Bounty and Responsible Disclosure Policies
分析264家AI供应商的漏洞披露政策,发现多数未明确覆盖AI风险,且越狱和幻觉常被排除在外。
- 面向大语言模型的失真最小化水印框架:更大容量、更强鲁棒、更高质量A Distortion-minimization Watermarking Framework for Large Language Models: Larger Capacity, Stronger Robustness and Higher Quality
将鲁棒性与质量建模为失真代价,用 PO-STC 统一优化水印;在强改写攻击下匹配率比最佳基线最高提升 46.35%。
Liming Zhai, Xuezhou Shang, Liyun Zhang 等会议页面 - APEX:零样本、与补丁无关的对抗补丁防御框架Adversarial Patch EXterminator: Zero-Shot and Patch-Agnostic Defense Framework Against Adversarial Patch Attacks
通过定位补丁区域并用结构引导修复还原图像;在多数据集及物理场景中可防御多种对抗补丁,且对光照等环境保持鲁棒。
Jiayimei Wang, Tao Ni, Guowen Xu 等会议页面 - 技术促成虐待场景下的LLM回复质量评估Assessing LLM Response Quality in the Context of Technology-Facilitated Abuse
专家与用户评估四种LLM对技术促成虐待求助问题的回复,揭示其当前能力局限并提出改进建议。
- 基于 LDPC 的伪随机纠错码密码分析Cryptanalysis of LDPC-Based Pseudorandom Error-Correcting Codes
首次对用于生成模型不可检测水印的 PRC 做密码分析,提出三种攻击并在 DeepSeek、Stable Diffusion 上验证,同时给出三项防御建议。
- 通过流形轨迹动力学防御 LLM 越狱攻击Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics
提出 MTK,跟踪提示邻域结构随层深的演化来检测越狱,在四个 LLM、十种攻击上有效,自适应攻击下平均 TPR 为 85%。
Hangtao Zhang, Yucheng Zhao, Sishun Liu 等会议页面 - DualSentinel:基于双重熵停滞模式检测LLM定向攻击DualSentinel: A Lightweight Framework for Detecting Targeted Attacks in Black-box LLM via Dual Entropy Lull Pattern
利用攻击导致的低且稳定的生成熵停滞模式,在运行时低成本检测被劫持的LLM输出。
Xiaoyi Pang, Xuanyi Hao, Pengyu Liu 等会议页面 - GoodVibe:面向 LLM 代码生成的默认安全GoodVibe: Security-by-Vibe for LLM-Based Code Generation
通过梯度归因定位安全相关神经元并只微调这一子空间;在六个 LLM 上安全性最高提升 2.5 倍,可训练参数比全量微调少 4700 倍以上。
Maximilian Thang, Lichao Wu, Sasha Behrouzi 等会议页面 - 提升深度伪造图像检测器的鲁棒性On Improving Robustness of Deepfake Image Detectors
利用高阶频域统计、噪声残差与补丁级语义破坏,无需对抗训练数据即可提升检测器抗攻击能力;召回下降最多减少 88.9%。
Abu Taib Mohammed Shahjahan, Mohammad Mannan, Abdessamad Ben Hamza 等会议页面 - ORPHEUS:抗音源分离的歌声转换主动防御ORPHEUS: A Separation-Robust Proactive Defense for Singing Voice Conversion
针对攻击者先分离人声再做歌声转换的场景,联合干扰分离模型与说话人编码器;比最佳基线进一步降低身份相似度 5.61%–8.02%。
Zhaolin Wei, Dengpan Ye, Yanjiao Chen 等会议页面 - PVMark:为 LLM 水印方案实现公开可验证性PVMark: Enabling Public Verifiability for LLM Watermarking Schemes
基于零知识证明的插件,让第三方无需密钥即可验证 LLM 水印检测结果,在三种水印方案上实现且不损害水印性能。
- SafeAdapt:面向大型推理模型的自适应思考分配安全对齐SafeAdapt: Safety Alignment with Adaptive Thinking Allocation for Large Reasoning Models
发现安全思考并非越长越安全,过度与不足思考都会增加风险;提出按提示难度动态分配思考预算的 SafeAdapt,在多个对抗基准上提升安全性。
Jiazheng Song, Junxu Liu, Jian Lou 等会议页面 - 通过上下文知识注入保护检索增强代码生成:以嵌入式 IoT 应用为例Securing Retrieval-Augmented Code Generation via Contextual Knowledge Injection: A Case for Embedded IoT Applications
IoTRAGuarder 构建版本感知的安全知识库并在生成时注入约束,在 44 个 Zephyr 任务上将安全成功率从 5.11% 提升到 78.41%。
- Sy-FAR:基于对称性的公平对抗鲁棒性Sy-FAR: Symmetry-based Fair Adversarial Robustness
Sy-FAR以攻击对称性为目标,同时优化对抗鲁棒性,在多种人脸识别等任务中改善了公平鲁棒性。
Haneen Najjar, Eyal Ronen, Mahmood Sharif会议页面 - TopFeaRe:定位图的对抗鲁棒临界状态以应对拓扑与特征纠缠TopFeaRe: Locating Critical State of Adversarial Resilience for Graphs Regarding Topology-Feature Entanglement
借助复杂动力系统的平衡点理论定位图的对抗鲁棒临界状态;在五个数据集、四种图对抗攻击下显著优于现有基线。
Xinxin Fan, Wenxiong Chen, Quanliang Jing 等会议页面 - 信任看不见的东西:面向专有 AI 的可审计微调与推理Trusting What You Cannot See: Auditable Fine-Tuning and Inference for Proprietary AI
提出 AFTUNE,通过记录与抽查执行轨迹并在 TEE 中验证,让客户以较小开销审计云端微调和推理的计算完整性。
Heng Jin, Chaoyu Zhang, Hexuan Yu 等会议页面 - VOID:击败潜在扩散模型中的未授权模仿VOID: Defeating Unauthorized Mimicry in Latent Diffusion Models
通过放大潜在编码误差并抵消目标引导信号,使受保护图像在扩散生成中语义被破坏,在24种防御、10种模仿攻击上显著优于现有方法。
Chunlin Qiu, Ang Li, Tianxiao Huang 等会议页面
可解释性
2- JailbreakScope:通过表征与电路分析解释越狱机制JailbreakScope: Interpreting Jailbreak Mechanism through Representation and Circuit Analyses
在 5 个 LLM、7 种越狱策略上发现越狱会增强肯定回应成分、抑制拒答成分,使表征偏向安全区域,且表征欺骗与电路激活偏移高度相关。
Zeqing He, Zhibo Wang, Zhixuan Chu 等会议页面 - 从模型认知视角量化大语言模型攻击Quantifying Large Language Model Attacks Through the Lens of Model Cognition
论文用中间层探针检测有害提示相关信号,提出Sentinel并绘制安全信号在模型层间的传播与衰减。
Xiuming Liu, Chaoxiang He, Xuanran Yu 等会议页面
后门与投毒
13- 文本到图像扩散模型近似缓存攻击Attacks on Approximate Caches in Text-to-Image Diffusion Models
研究展示近似缓存可被远程利用来建立隐蔽信道、窃取提示词,并向后续请求注入图像标志。
Desen Sun, Shuncheng Jie, Sihang Liu会议页面 - BADControl:针对控制系统的后门攻击BADControl: Backdoor Attacks Against Control Systems
首个使用物理触发器、通过投毒运行数据攻击底层控制器的后门,并提出两种防御;自适应巡航场景下坠毁率达 100%,且更隐蔽。
- Confundo:学习为实际 RAG 系统生成鲁棒投毒内容Confundo: Learning to Generate Robust Poison for Practical RAG Systems
微调 LLM 作为投毒生成器,克服内容预处理与查询偏差带来的失效,在多种数据集和 RAG 配置上大幅超越现有攻击,并提供一种防抓取的防御用途。
- Cordyceps:数据投毒驱动的LLM隐蔽控制攻击Cordyceps: Covert Control Attacks on LLMs via Data Poisoning
通过语义关联植入隐蔽信息隐藏机制,使LLM编码并执行恶意指令,同时绕过多种后门与提示注入防御。
Zedian Shao, Charles Fleming, Teodora Baluta会议页面 - 各自为战:联邦图学习中基于演化知识锚点的后门净化Fend for Yourself! Backdoor Purification in Federated Graph Learning with an Evolving Knowledge Anchor
提出无需可信服务器的防御 GBHINDER,各参与方利用自身历史知识净化全局模型,将后门攻击成功率降至 10% 以下并保持主任务精度。
Chengcheng Zhu, Yunlong Mao, Jiale Zhang 等会议页面 - FIRA:无人机的自动取证调查FIRA: Enabling Automatic Forensic Investigation of Unmanned Aerial Vehicles
针对无人机在线学习模型,回传更新与遥测数据,判断坠机是否由模型所致;在 48 个坠机场景中对后门模型致坠的归因准确率达 95.8%。
- HAMLOCK:硬件-模型逻辑组合攻击HAMLOCK: HArdware-Model LOgically Combined attacK
把后门逻辑拆分到硬件木马与仅微调少数神经元的模型之间,攻击成功率近乎 100%,可绕过最先进的模型级防御,硬件开销仅约 0.01%。
- HijackKV:与位置无关的KV缓存复用新威胁HijackKV: New Threat in Position-Independent KV Cache Reuse
研究发现位置无关的KV缓存会将攻击者前缀隐式带入受害者请求,并实现了跨模型缓存劫持攻击。
Yichi Zhang, Zhiqi Wang, Huan Zhang 等会议页面 - Lethe:用知识稀释净化带后门的大语言模型Lethe: Purifying Backdoored Large Language Models with Knowledge Dilution
通过与干净模型合并并在提示中加入良性证据来稀释后门,在 8 种攻击上优于 8 个基线,最高将攻击成功率降低 98%。
Chen Chen, Yuchen Sun, Jiaxin Gao 等会议页面 - Patcher:对带后门大语言模型的事后修补Patcher: Post-Hoc Patching of Backdoored Large Language Models
仅凭单个失败案例,先用梯度显著性定位触发器,再通过受约束微调切断触发器与响应的关联,在保持效用的同时消除越狱后门。
Anjun Gao, Yueyang Quan, Yufei Xia 等会议页面 - 鲁棒水印遇上后门模型:通过隐蔽后门规避扩散语义水印Robust Watermarks Meet Backdoored Models: Evading Diffusion Semantic Watermarks via Stealthy Backdoor
GhostVAE 在 VAE 编码器中植入后门,触发时可规避语义水印检测,平均攻击成功率 94.6%,且对 17 种防御保持隐蔽。
Jinyuan Liu, Tianshuo Cong, Pei Li 等会议页面 - 揭示针对预训练模型的无数据后门检测的陷阱Unveiling the Pitfalls of Data-Free Backdoor Detection Against Pre-Trained Models
对 3 万多个模型的大规模评测发现现有无数据检测方法在多数预训练模型上失效,并提出以收敛速度为侧信道信号的新检测器。
Quan Zhao, Linkang Du, Yuntao Wang 等会议页面 - 聚合者作弊时:联邦 LLM 问答系统中的无数据后门When the Aggregator Cheats: Data-Free Backdoors in Federated LLM-based QA Systems
恶意聚合者利用客户端上传的梯度恢复样本并构造投毒数据,植入广告型后门,攻击成功率近 100%,仅需重构 5–20% 的梯度。
Chenqing Zhu, Yanbo Dai, Yulong Tian 等会议页面
隐私与数据泄露
26- Behind Bars:利用内存屏障攻击NVIDIA MIG缓存隔离Behind Bars: A Side-Channel Attack on NVIDIA MIG Cache Partitioning Using Memory Barriers
研究发现MIG实例间仍存在缓存干扰,可通过时序侧信道推断受害者内核启动模式并泄露大模型推理信息。
- 能否估计单条记录的隐私脆弱性?缓解 ML 模型上的属性推断攻击Can we estimate privacy vulnerability of individual records? Towards Mitigating Attribute Inference Attacks on ML Models
发现记录级泄露风险主要由敏感属性的局部邻域分布决定,据此提出防御 VESL 与脆弱记录预测器 AttriVET(准确率超 90%)。
Ehsanul Kabir, Najrin Sultana, Ninghui Li 等会议页面 - CompLeak:深度学习模型压缩加剧隐私泄露CompLeak: Deep Learning Model Compression Exacerbates Privacy Leakage
以成员推断攻击评估剪枝、量化、权重聚类三类压缩,结合多个压缩版本可显著提升攻击效果,证明压缩加剧隐私泄露。
Na Li, Yansong Gao, Hongsheng Hu 等会议页面 - 连点成线:知识图谱引导的 RAG 系统爬取攻击Connect the Dots: Knowledge Graph–Guided Crawler Attack on Retrieval-Augmented Generation Systems
提出 RAGCrawler,以知识图谱引导多轮查询窃取 RAG 知识库,1000次查询平均覆盖66.8%,较最强基线提升44.9%,且难被现有防御阻挡。
Mengyu Yao, Ziqi Zhang, Ning Luo 等会议页面 - 破解联邦隐私:对初始化鲁棒的细粒度梯度反演Cracking Federated Privacy: Initialization-Resilient Gradient Inversion with Fine-Grained Reconstruction
识别梯度稀疏性变化是现有梯度反演攻击的敏感来源,提出由粗到细的攻击,在敏感初始化下 PSNR 由25.4提升至47.7 dB。
Kaiming Zhu, Jinsheng Yang, Siyang Guo 等会议页面 - CTA:面向图数据的先裁剪后聚合差分隐私学习算法CTA: Clip-then-Aggregate, a Differentially Private Learning Algorithm for Graph Data
在前向与反向传播中分别裁剪后再聚合,推导更紧的梯度敏感度,在真实图数据集上优于现有私有图学习方法。
Jianxin Wei会议页面 - DP-SAPF:面向差分隐私图像合成的显著性感知公共模型参数微调DP-SAPF: Saliency-Aware Parameter Fine-tuning of Public Models for Differentially Private Image Synthesis
用带噪梯度选出显著参数做 LoRA 微调,在四个敏感数据集上提升合成图像的效用与保真度并减少算力。
Chen Gong, Kecen Li, Zinan Lin 等会议页面 - 五次查询即可:RAG成员推断攻击Five Queries Are Enough: Query-Efficient and Surrogate-Free Membership Inference Attacks on RAG via Entailment
提出无需代理模型的高效成员推断攻击,仅用五次查询便能有效暴露RAG检索语料中的隐私泄露。
- 从易到难++:空间-频率课程促进差分隐私图像合成From Easy to Hard++: Promoting Differentially Private Image Synthesis Through Spatial-Frequency Curriculum
提出 FETA-Pro,以频率特征作为训练捷径,在五个敏感图像数据集、ε=1下保真度平均提升25.7%。
Chen GONG, Kecen Li, Zinan Lin 等会议页面 - 从长度到内容:针对 LLM API 合并输出的 token 长度侧信道攻击From Length to Content: Token-Length Side-Channel Attacks on LLM API Merged Outputs
PromptEcho 被动监听加密流量中合并 token 的长度,在 GPT-4o 与 DeepSeek-V3 上推断 42.5% 会话主题并重建 25.5% 的响应。
Sijia Li, Tianyu Cui, Miao Chen 等会议页面 - 模仿式成员推断攻击Imitative Membership Inference Attack
通过训练少量模仿目标模型的模型发起成员推断,在低于现有方法5%计算成本下取得更好效果。
Yuntao Du, Yuetian Chen, Hanshen Xiao 等会议页面 - 图生成扩散模型的推断攻击Inference Attacks Against Graph Generative Diffusion Models
针对图生成扩散模型提出图重建、属性推断和成员推断攻击,并设计两种缓解机制。
Xiuling Wang, Xin Huang, Guibo Luo 等会议页面 - 用 LLM 进行大规模在线去匿名化Large-scale online deanonymization with LLMs
证明 LLM Agent 能仅凭化名资料与对话重识别用户,在 90% 精确率下召回率达 55%,远超传统方法,在线隐私威胁模型需更新。
- MASLeak:探究并暴露多 Agent 系统的知识产权泄露漏洞MASLeak: Investigating and Exposing Intellectual Property Leakage Vulnerabilities in Multi-Agent Systems
首个黑盒提取多 Agent 系统知识产权的框架,对系统提示和任务指令成功率约87%、架构约92%,并在 Coze、CrewAI 上验证。
Liwen Wang, Wenxuan Wang, Shuai Wang 等会议页面 - 针对大语言模型分词器的成员推断攻击Membership Inference Attacks on Tokenizers of Large Language Models
首次系统研究从分词器推断训练数据成员关系,并提出相应防御方法,揭示其隐私泄露风险。
Meng Tong, Yuntao Du, Kejiang Chen 等会议页面 - MEPS:具备隐私可保护性的边云视频基础模型隐私保护推理MEPS: Privacy-preserving Edge-cloud Video Foundation Model Inference with Privacy Protectability
仅对任务必需的敏感帧加密、其余帧轻量扰动,在保证隐私与精度的同时取得48.8倍加速。
- 本地研究 Agent 的网络层提示词与用户特征泄露Network-Level Prompt and Trait Leakage in Local Research Agents
仅凭访问的 IP 与时序元数据,被动观察者即可恢复超73%的提示内容,多会话下还原最多19/32项用户特征。
Hyejun Jeong, Mohammadreza Teymoorianfard, Abhinav Kumar 等会议页面 - NOIR:基于开源 LLM 的隐私保护代码生成NOIR: Privacy-Preserving Generation of Code with Open-Source LLMs
客户端编码/解码并在 token embedding 层施加本地差分隐私,使云端无法还原提示与代码,BigCodeBench 上 Pass@1 仅降 1.77%。
- SMASH:面向隐私保护 LLM 推理的可扩展恶意安全混合 MPC 框架SMASH: Scalable Maliciously Secure Hybrid Multi-party Computation Framework for Privacy-Preserving Large Language Models
提出 SMASH 框架,用 DFT 旋转与轻量 ZKPoK 实现恶意安全 MPC,通信量最高降低 103 倍,运行时最高加速 18.9 倍。
- 私有Transformer模型推理综述Sok: Private Transformer-based Model Inference
系统分析隐私保护Transformer推理协议的性能权衡、局限与可复现性,并提出部署选择指南。
Yuntian Chen, Tianpei Lu, Zhanyong Tang 等会议页面 - 安全隐私控制对生成式AI聊天机器人情感参与的影响The Impact of Security and Privacy Controls on Users' Emotional Engagement with Generative AI Chatbots
研究354名用户后发现,删除披露内容最能提升情感使用意愿,但用户仍不完全信任安全隐私控制。
- 提示窃取谬误:重新思考指标、攻击与防御The Prompt Stealing Fallacy: Rethinking Metrics, Attacks, and Defenses
论文发现现有提示窃取效果被高估,并提出PromptThief及主动和被动防御方法评估提示知识产权保护。
Zehang Deng, Haoyang Li, Wanlun Ma 等会议页面 - 联合防御:联邦学习中的协作式成员推断防御United We Defend: Collaborative Membership Inference Defenses in Federated Learning
提出 CoFedMID 协作防御框架,通过样本划分、效用补偿与聚合中性扰动,显著降低七种成员推断攻击的效果且效用损失较小。
- VidLeaks:文本生成视频模型的成员推断攻击VidLeaks: Membership Inference Attacks Against Text-to-Video Models
提出结合空间重建与时间稳定性的攻击框架,证明文本生成视频模型会泄露显著的训练数据成员信息。
Li Wang, Wenyu Chen, Ning Yu 等会议页面 - 用户隐私诉求与LLM服务商政策的差距What Users Ask, Policies Miss: Unveiling the Gap Between Community-Expressed Privacy Concerns and LLM Provider Policies
审计五家LLM服务商的用户隐私关切与政策后,发现政策覆盖不足与用户不信任几乎同样普遍。
- 针对微调大语言模型的窗口式成员推断攻击Window-based Membership Inference Attacks Against Fine-tuned Large Language Models
提出滑动窗口比较方法,利用局部记忆信号提升微调LLM成员推断在低误报率下的检测效果。
Yuetian Chen, Yuntao Du, Kaiyuan Zhang 等会议页面
供应链安全
5- 野外恶意Agent技能的检测与理解"Do Not Mention This to the User": Detecting and Understanding Malicious Agent Skills in the Wild
分析98,380个Agent技能,确认157个恶意技能及632项漏洞,并揭示凭证窃取和指令操纵两类主要攻击策略。
- 通过微调轨迹中一致的知识演化证明模型谱系Attesting Model Lineage by Consisted Knowledge Evolution with Fine-Tuning Trajectory
结合模型编辑与知识向量化,验证微调带来的参数修改与知识演化是否一致;可在分类器、扩散模型和 LLM 上稳健验证谱系,应对未授权再分发。
Zhuoyi Shang, Jiasen Li, Pengzhen Chen 等会议页面 - 超越星标:GitHub 上诈骗仓库的多模态检测Beyond the Stars: Multimodal Detection of Scams on GitHub
提出 OctoWatch,融合元数据文本与交互结构特征,线上发现14,667个未被 OSINT 收录的恶意仓库并促成下架。
- 识别文生图模型的来源谱系Identifying Provenance of Generative Text-to-Image Models
仅用黑盒查询,通过输出视觉特征分布的 JS 散度与假设检验判断模型是否由微调而来及其基座;在图像后处理或权重扰动下仍准确。
Anna Yoo Jeong Ha, Wenxin Ding, Stanley Wu 等会议页面 - 捉迷藏的艺术:让基于 Pickle 的模型供应链投毒重新变得隐蔽The Art of Hide and Seek: Making Pickle-Based Model Supply Chain Poisoning Stealthy Again
系统梳理 pickle 模型投毒攻击面,发现 22 条加载路径中 19 条被现有扫描器漏检,并找到 133 个可利用 gadget,绕过率接近 100%。
Tong Liu, Guozhu Meng, Peng Zhou 等会议页面
危险能力
1- 爱、谎言与语言模型:AI参与恋爱诱骗诈骗Love, Lies, and Language Models: Investigating AI's Role in Romance-Baiting Scams
研究显示LLM已被诈骗组织采用,其在长期对话中比人工操作者获得更高信任与受害者配合度。
AI 与网络攻防
21- 大规模研究LLM个性化网络钓鱼A Large-Scale Study of Personalized Phishing using Large Language Models
对7700名参与者的实验表明,LLM生成的个性化钓鱼邮件点击率接近普通钓鱼的三倍,单封成本约0.03美元。
- BugAuditor:通过不一致的防御性代码审计检测缺陷BugAuditor: Detecting Bugs via Inconsistent Defensive Code Auditing
以防御性处理不一致作为 LLM 缺陷审计的新判据;在 Linux 内核中发现 54 个潜伏缺陷,其中 20 个已确认修复,2 个获 CVE。
- Bulbasaur:面向灰盒模糊测试的分支引导在线变异器生成Bulbasaur: Branch-Guided Online Mutator Generation for Greybox Fuzzing
用 LLM 在线生成针对目标分支的定制变异器;覆盖率较现有最优最高提升约 24%,发现 21 个基线遗漏的漏洞和 15 个未知漏洞,均获 CVE。
- COGNITION:从评估到防御多模态 LLM 验证码破解器COGNITION: From Evaluation to Defense against Multimodal LLM CAPTCHA Solvers
评估 7 个 MLLM 在 18 类验证码上的破解效果,发现识别类任务易被攻破,并据此加固验证码,使成功率由 95% 以上降至 0%。
- Cutting the Gordian Knot:知识挖掘检测恶意PyPI包Cutting the Gordian Knot: Detecting Malicious PyPI Packages via a Knowledge-Mining Framework
提出结合行为模式挖掘与LLM语义抽象的检测框架,在真实部署中发现219个此前未知的恶意软件包。
- 千滴之死:揭示 Windows 生态中的关键资源泄漏Death by a Thousand Drips: Uncovering Critical Resource Leaks in the Windows Ecosystem
提出 REDOSPECTOR 模糊测试框架,结合静态分析与 LLM 生成种子;在 Windows 核心服务中发现 19 个漏洞,12 个获 CVE。
- 用泄漏导向最小路径覆盖发现资源耗尽DoS漏洞Exposing Resource-Exhaustion DoS Vulnerabilities with Leak-Oriented Minimum Path Covers
结合LLM异常推断与最小路径覆盖检测Java资源泄漏,在真实研究中发现67个潜在DoS漏洞。
- 从辅助到自主:AI 在线下 CTF 竞赛中使用的实证研究From Assistance to Autonomy: An Empirical Study of AI Use in a Live Capture-the-Flag (CTF) Competition
对41名参与者研究 AI 辅助 CTF 的感知与协作,并对比四个自主 Agent,发现人机协同(AI 加速探索、人给出引导与验证)表现最佳。
- 从文本到规则:用 LLM 从威胁报告生成 Sigma 规则From Texts to Rules: Generating Sigma Rules with Large Language Models from Cyber Threat Reports
提出 SIGMERGE,借语义中间层将威胁报告中的命令转为 Sigma 检测规则,对比 16 个基线与 13 个 LLM,已有 4 条规则被官方仓库接收。
- 通过对抗式 LLM 交互生成精确的网络协议格式规范Generating Precise Format Specification for Network Protocols Through Adversarial LLM Interactions
让 LLM 的规范推断与代码生成相互对抗、迭代修正以减少幻觉;字段约束推断较现有最优提升 326%,并借助模糊测试发现 24 个零日漏洞。
- H3Act:自动测量CDN中HTTP/3到HTTP/1.1转换异常H3Act: Automated Measuring Semantic Conversion Anomalies of HTTP/3-to-HTTP/1.1 Translation in CDNs
H3Act结合LLM与RAG生成测试载荷,发现九个商业CDN普遍存在协议转换导致的安全回归漏洞。
- JScamd:检测JavaScript加密API误用的自动化污点分析JScamd: An Automated Static Taint Analysis Framework for Detecting Cryptographic API Misuses in JavaScript
JScamd利用LLM辅助生成污点规则,在322个JavaScript项目中发现1059处加密误用和41个此前未知漏洞。
- Kintsugi:通过运行时策略注入让 LLM 缓解 Web 漏洞Kintsugi: Empowering LLMs to Mitigate Web Vulnerabilities via Runtime Policy Injection
结合差分系统调用分析与 LLM 定位漏洞代码,经 eBPF 强制执行最小权限策略,在 27 个真实 CVE 上有效,平均响应 7.6 分钟。
- PANGOLIN:用 LLM 驱动的代码分析对多语言 IoT 固件做模糊测试PANGOLIN: Fuzzing Multilingual IoT Firmware with LLM-Driven Code Analysis
利用 LLM 识别接口并生成参数规范,发现 68 个未知漏洞,是现有最优工具的 2.96 倍,其中 45 个在隐藏接口中。
- PatchWeaver:变更管理策略下风险有界的自主漏洞修复PatchWeaver: Risk-Bounded Autonomous Vulnerability Remediation Under Change-Management Policies
提出在变更管理策略约束下的 Kubernetes 自主修复系统,相比工具链基线将步骤级违规降低52.5%,比 LLM Agent 基线降低79.1%。
- Retrofit:面向二进制安全检测与分析的受控遗忘持续学习Retrofit: Continual Learning with Controlled Forgetting for Binary Security Detection and Analysis
无需历史数据,通过参数合并与低秩稀疏约束控制遗忘,恶意软件检测在时间漂移下留存分数由 20.2% 提升至 38.6%。
- SoK:DARPA AI Cyber Challenge(AIxCC)的赛制设计、架构与经验SoK: DARPA's AI Cyber Challenge (AIxCC): Competition Design, Architectures, and Lessons Learned
首次系统分析 AIxCC,剖析赛制设计与决赛 CRS 架构,指出真正驱动性能的因素、技术进展与尚待解决的局限。
- PHILTER:用LLM推理框架揭示AI钓鱼检测研究缺陷SoK: PHILTER: Uncovering Security and Functional Gaps in AI-based Phishing Website Detection Literature via an LLM-based Reasoning Framework
PHILTER结合LLM与专家评审分析55种AI钓鱼检测方法,发现其在安全性、隐私和应对演化攻击方面存在系统性不足。
- 迈向通用性:基于语义检索与可验证推理的任务自适应二进制分析Towards Generality: Task-Adaptive Binary Analysis via Semantic Retrieval and Verifiable Reasoning
提出 BINREX,首个通用全自动静态二进制分析 Agent 框架,在 72 项任务上成功率 83.3%,并在工业部署中识别出 395 个未知恶意样本。
- 通过多 Agent 缺陷发现理解核心网中的隐式信任错误Understanding Implicit Trust Errors in Core Carrier Networks through Multi-Agent Flaw Discovery and Analysis
提出多 Agent 框架 iFinder,用 LLM 发现并生成 PoC,在7个蜂窝核心网模拟器中发现84个未知漏洞,40个获 CVE。
- VIPER 出击:用结构化视觉-语言推理击败视觉推理验证码VIPER Strike: Defeating Visual Reasoning CAPTCHAs via Structured Vision–Language Inference
提出结合多目标视觉感知与 LLM 推理的统一攻击框架,在六家验证码厂商上成功率最高93.2%,并提出模板空间随机化防御。
红队
2- 理论可认证、实践被攻破:密码学模型认证中的假设缺口Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification
证明模型提供方可通过构造训练数据攻破基于零知识证明的模型认证,使审计集准确率超99%而新样本不足30%,并给出形式化安全定义与协议。
- MUZZLE:针对Web Agent间接提示注入的自适应红队MUZZLE: Adaptive Agentic Red-Teaming of Web Agents Against Indirect Prompt Injection Attacks
提出自适应智能体红队框架,在四个Web应用中发现44种攻击及跨应用提示注入策略。