全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：后门、投毒与隐私
BadAction：通过动作引导触发器对交互式视频生成模型实施后门攻击
研究者提出 BadAction，首次系统研究针对交互式视频生成（IVG）模型交互性的后门攻击。该方法把预定义运动模式植入后门样本的动作序列，并关联一个静态目标视频，触发后模型生成冻结的未来帧、不再响应用户后续动作，同时在正常动作序列上保持正常行为。实验显示，仅用动作触发器时平均攻击成功率为 91.0%，动作、文本、图像联合的多模态触发器为 80.4%。大量防御评估表明 BadAction 能绕过现有后门检测方法，暴露出交互式视频生成流程中的安全缺口。项目页面：https://wsad55.github.io/badaction01/。
- 论文arXiv：越狱、提示注入、投毒与防御
CodeMimicry：利用代码域安全泛化滞后实现结构化代码补全越狱
研究者提出 CodeMimicry，一个全自动黑盒越狱框架，把恶意意图嵌入语法合法的面向对象代码，借代码补全任务诱导模型输出有害内容。在 8 个商用大语言模型上，该方法在 AdvBench 上达到 96.25% 攻击成功率、平均仅 1.51 次查询，在 HarmBench 上为 96.07% 与 1.46 次查询，明显优于模板类和优化类基线。作者将这一现象归因于安全泛化滞后，即主要在自然语言上训练的对齐难以迁移到代码域，形成代码补全盲区。潜空间分析显示，成功的越狱样本在表示上接近良性代码，并系统性地避开拒答方向；激活引导实验进一步支持这一解释。作者也指出，该方法依赖目标模型的代码生成能力，且对注释与 docstring 这类字符串侧信道有依赖，正则过滤注释后攻击成功率降至 20% 至 26%。
- 论文arXiv：越狱、提示注入、投毒与防御
研究者对语言 Agent 的因果动作验证器 CIVeX 发起图规格错误攻击
研究者对语言 Agent 的因果动作验证器 CIVeX 做红队测试，只篡改其提交的动作状态图就能绕过验证。CIVeX 原本在混淆工具使用基准上报告零误执行，省略一条双向边后误执行率升至 15.3%，其中 91% 的执行有害，效用从 +2.27 降到 +0.35；反转一个箭头方向、把中介变量提交为混淆变量后，误执行率达 48.9% 且没有一次正确执行，而这些动作都带有内部有效的证书。作者提出一个证明步骤，用有界随机样本检验每个仅凭观测认证的执行，在真实图上 555 次执行中误报 2 次，并检测出上述两种攻击；拒绝未通过或无法测试的执行后，所有测量设置下误执行均为零。
- 论文arXiv：越狱、提示注入、投毒与防御
CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱
浙江大学与香港理工大学的研究者提出 CollageAttack，一种单提示词黑盒越狱方法，把有害意图拆成不完整的文本片段，分散放置在场景中自然存在的载体上，让语义在图像平面通过空间组合重新显现。在 GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro、HiDream-O1-Image 和 FLUX.2 [dev] 五款 T2I 模型上，该方法在全部目标上取得最高攻击成功率，聚合 ASR 为 77.0%，最高达 86.0%，比同模型最强基线高 18.5 个百分点。跨模型平均有害性评分为 6.12/10，高于最强基线的 4.23/10；在 HiDream-I1 上为 5.38 对 1.69。消融显示，单独使用任一组件的有害性得分分别为 0.25、5.47 和 0.53，三者组合达到 6.41。
- 论文arXiv：越狱、提示注入、投毒与防御
SceneJail：利用视频场景上下文越狱多模态大模型
研究者提出 SceneJail，一个自适应黑盒越狱框架，把视频中的周边场景而非有害查询的呈现方式当作攻击面：同一有害查询放在不同视频场景中，会得到不同的安全响应。框架由两部分组成：自适应场景构建搜索与有害查询语境相容的场景，场景感知提示搜索再根据黑盒响应反馈为该场景搜索文本引导。在 HADES 和 SafeBench 数据集、八个 Video-MLLM（含 GPT-4.1 和 Gemini 3.5 Flash 两个闭源模型）上，持续完整呈现查询的 SceneJail-F 平均攻击成功率最高 91.5%，比最强基线高 29.1 个百分点；把查询分散到连续帧的 SceneJail-S 在严格图像过滤下仍保持 72.3%。
- 论文arXiv：越狱、提示注入、投毒与防御
研究测量并预测具身 VLM 规划器中任务的拒答可变性
研究者在无像素、梯度或提示词对抗控制的条件下，向环境中放入单个日常物品，考察宪法护栏下的具身视觉语言模型规划器已做出的拒答能否被推翻。在 846 个初始遭拒的任务中，20.2% 可由一个或多个物品翻转为服从，所需物品数量因任务而异；固定列表随机抽取的物品在不了解环境和指令的情况下也能达到相近的安全绕过量级。作者将这种易感性称为任务的 malleability，并用小型开源 VLM 读取的信号组合来提前预测，识别率约为随机的 2.4 倍，建议部署前逐任务评估。
- 论文Hugging Face Daily Papers
AgentTell：浏览器 Agent 的行为侧信道泄漏基准
BRAC University 等机构的研究者提出 AgentTell，用于测量浏览器 Agent 的行为侧信道泄漏，即 Agent 在一个网站获取用户私密信息后，在另一个网站通过任务导向的选项选择无意泄露该信息。基准包含 20 个场景、100 个任务，每个任务先在 plant 网站让 Agent 获知秘密，再到 probe 网站选择与秘密对应的专属操作或不会泄露的通用操作。在六个模型上共评估 9,760 个会话，携带秘密的 Agent 在 61.1% 的会话中通过操作泄露信息，即使记忆里明确写下不得分享，仍在 56.7% 的这类会话中泄露；34.5% 的泄露会话中，Agent 的最终回复还错误地保证未披露任何信息。泄漏程度因秘密类型而异，个人属性、账户设置和物品归属关系泄漏最多，服务账户身份泄漏最少；若秘密在前一任务中被实际使用，泄漏概率更高。
- 动态Embrace The Red
研究者披露 SQL Copilot 提权漏洞 CVE-2026-65669：从 SELECT 到 SYSADMIN
安全研究者 Johann 在 BlueHat Asia 2026 上披露了 SQL Server Management Studio（SSMS）中 SQL Copilot 的提权漏洞 CVE-2026-65669，微软将其评为严重级别。Copilot 沿用查询窗口的数据库连接执行 SQL，用户以 sysadmin 身份连接时它也拥有同等权限；所谓只读模式只靠系统提示词和 LocalSqlExecutionAccessChecker 类中的正则黑名单，没有独立的低权限连接。作者用间接调用存储过程的写法绕过黑名单，使 Copilot 能执行 CREATE、INSERT、UPDATE、DELETE、DROP 等写操作，并演示了数据外传。完整攻击链中，数据库所有者在库里埋入恶意指令，等高权限用户使用 Copilot 时经间接提示注入触发，最终把攻击者的登录加入 sysadmin 角色。作者建议把智能体的只读限制做成权限层面的约束，并提醒及时更新。
- 论文arXiv
SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化
研究者提出 SynChain，一种自合成攻击范式，通过持久化感知的定向 SFT 让被污染的计算机使用 Agent 在正常任务中生成看似无害但携带潜伏载荷的技能或记忆条目，之后作为可信上下文重新加载，无需新的外部恶意输入即可触发。作者构建了 CuaChain 数据集，包含 30 条良性任务链和隐私泄露、权限篡改、未授权写入三类攻击目标。在 OpenClaw、Codex 和 Claude Code 三种框架、四种防御设置下，SynChain 在 Chain-1 平均攻击成功率超过 93%，Chain-2 仍高于 72%，显著优于改造后的 SkillJect 和 DemonAgent 基线。随着链长增加攻击效果下降，Chain-3 降至 26.57%，Chain-5 仅 1.11%，作者将其归因于记忆摘要和上下文截断形成的信息瓶颈。
- 论文arXiv
DAEI：针对噪声防护文本嵌入的反演攻击揭示隐私风险
研究者提出 DAEI，一种去噪感知的嵌入反演流程，用于在只能观测到加噪嵌入、无法获得干净嵌入目标的条件下重建原始文本。作者先分析现有生成式反演方法在该设定下失效的原因，将其归结为双重噪声陷阱，再用残差去噪自编码器结合生成式文本反演，并借助 Stein 无偏风险估计以无监督方式训练去噪器，使其仅凭含噪观测即可去噪。实验显示 DAEI 相比现有生成式反演基线在 BLEU 上取得约 154% 的相对提升，token 级 F1 与 ROUGE-L 也提升 32% 至 60%。该结果对简单高斯扰动即可防止嵌入泄露敏感信息的普遍假设提出质疑。论文 11 页、3 张图，已被 IEEE ICDM 2026 接收。
- 论文arXiv
面向良性用途的对抗攻击：视觉内容全生命周期主动防护综述
一篇综述将数据所有者、创作者、平台或审计方主动施加扰动与结构化信号以干扰未授权自动化、支持事后追责的做法称为"面向良性用途的对抗攻击"，并梳理了沿视觉资产生命周期分布的五个研究方向：分享阶段的隐私过滤器、针对未授权训练不可学习样本、防恶意编辑或模仿的生成式防护、用于访问控制的对抗验证码，以及传播后的来源溯源机制。作者按可迁移性、自适应性和部署就绪度统一评估这五类方法，发现多数防护仍主要针对静态或弱自适应对手验证，受控基准之外的证据依然稀缺。
- 论文arXiv
LeakGauge：用行为探针在解码前检测上下文泄露攻击信号
研究者提出 LeakGauge，通过在输入后附加一个探测后缀并映射其 prefill token 概率，在解码前给出上下文泄露的攻击风险分数。作者发现，直接使用机密内容初始 token 的探针不如内容无关、直接表述泄露行为的探针稳健。在包括 GLM-5.2（753B）和 Kimi-K3（2.8T）在内的 11 个 LLM 上，LeakGauge 对未见攻击的 AUROC 达到 0.944 至 0.996，且在内容换语言或攻击从逐字泄露转为语义泄露时信号保持稳定。通过激活引导干预，作者进一步表明该风险分数对模型内部与泄露相关的方向敏感。该检测器额外参数少于 0.5K，附加延迟为 10.34 ms，代码已公开。
- 论文arXiv
ContextLeak：通过恶意工具窃取 LLM Agent 运行时上下文
研究者提出 ContextLeak，一种通过恶意工具窃取 LLM Agent 运行时上下文的攻击，目标是让 Agent 既选中该工具、又把上下文作为输入参数传给工具。作者指出，上下文外泄通常需要三个条件：Agent 选中恶意工具、Agent 将运行时上下文作为参数传入、工具实现把输入发送到攻击者控制的端点；已有工作主要关注第一和第三个条件，第二个条件此前基本未被探索。ContextLeak 用强化学习精心构造工具的名称和描述，由一个攻击 LLM 自动生成这些内容，并在具有多样化模拟 Agent 上下文的影子用户上对攻击 LLM 做强化学习微调，其关键技术贡献是针对上下文外泄目标设计的奖励函数。
- 论文arXiv：后门、投毒与隐私
Akrasia：针对推理型代码 LLM 的隐蔽后门攻击
研究者提出 Akrasia，一种针对推理型代码 LLM 的推理时后门攻击，通过探测模型构造代码级触发器，再用上下文学习植入后门，并借助模型不忠实性隐藏触发器、生成看似合理的推理。在 GPT-5.5、Claude Sonnet-5、Gemini 3.5 Flash、DeepSeek-V4-Pro、GLM 5.2、Qwen3.6-35B 六款模型上，攻击在 CodeMMLU 代码补全任务的平均 ASR 最高达 99.34%，同时保持最高 97.23% 的准确率。在 CoS、ONION、PeerGuard 三种防御下，Akrasia 在 14/18 个防御设置中仍保持最高 98.82% 的平均 ASR；人工检查中，进阶变体在最多 80% 的设置里成功隐藏触发器与推理步骤。攻击目标包括反向 shell、凭据窃取、资源耗尽和长运行时间，作者据此呼吁针对推理后门开发防御方法。
- 论文arXiv：后门、投毒与隐私
去中心化联邦学习中的拜占庭节点放置优化
去中心化联邦学习（DFL）的安全评估通常关注拜占庭参与者如何行动，却忽视了哪些参与者被攻陷。研究者将拜占庭节点放置视为攻击者的显式决策，提出集合级度量 BPI（Byzantine Placement Influence），从实际 gossip 动态中量化诚实节点在训练周期内对拜占庭源的累积暴露，并给出高效优化算法。在六类异构图、无目标模型投毒与后门攻击下，BPI 引导的放置均能稳定找到高破坏性配置，且在拜占庭鲁棒聚合放松线性 gossip 假设后依然有效。
- 论文arXiv
ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击
研究者提出 ECLIPSE，一个面向长程 Agent 系统的自演化隐蔽提示注入框架，把直接用户提示注入与工具侧间接注入结合。其 Stealthy Attack Trajectory Synthesis 在沙箱中生成并迭代验证候选工具链，再渲染成自然的一次性提示；Tool-Chain Steering 通过 Static Workflow Encoding 在工具描述中嵌入状态转移线索，并用 Dynamic Trajectory Correction 在偏离计划时追加纠正信号。作者同时发布 LASE-Bench，含 120 个恶意任务和 198 个工具，96.7% 的任务至少调用五次工具。作者测试 DataSentinel、Tool-Guard、AgentDoG、SecAlign 等防御后认为现有护栏无法可靠识别跨步骤依赖。
- 论文arXiv
研究提出 Q-Skew：利用 token 级记忆不对称对微调扩散语言模型做成员推断
研究者在微调扩散语言模型（DLM）上提出成员推断方法 Q-Skew，一种基于分位数加权偏度的指标，其依据是通过理论分析发现的 token 级记忆不对称现象。在多个微调数据集和模型上的实验显示，该方法优于现有基线。作者进一步表明 Q-Skew 还能用于 PII 提取等其他隐私侵犯场景，认为扩散语言模型存在此前未被充分探索的隐私攻击面，需要系统性的隐私评估。该论文共 18 页，已被 EMNLP 2026（Findings）收录。
- 论文arXiv：后门、投毒与隐私
研究者提出针对微调 TTS 模型的黑盒成员推断攻击
研究者提出首个同时面向说话人级和录音级的黑盒成员推断攻击框架，用于检测语音数据是否被用于微调 TTS 模型。在查询生成上，作者刻画了可行查询空间并提出可评分范围与记忆诱发两条准则，评估五种代表性查询后认定朗读（recitation）效果最强；在表征工程上，从嵌入模型提取多层级语音表征，并对生成音频与目标音频做时间对齐以实现细粒度比较。
- 论文arXiv：后门、投毒与隐私
研究揭示针对 LLM 驱动机器人系统的内部状态触发后门攻击
论文首次系统研究针对 LLM 驱动机器人系统的基于历史的后门攻击，攻击者通过操纵指令在基于 LLM 的机器人控制器中植入隐蔽后门。该后门不由外部线索触发，而是由机器人自身过去动作的特定罕见序列激活，在正常运行中保持休眠以维持机器人效用，激活后可诱导完全停止或碰撞等恶意行为。在多种机器人和 LLM 的仿真环境实验中，该攻击达到近乎完美的攻击成功率，同时极难被检测。研究指出这是自主系统中此前未被解决的关键漏洞，强调安全措施需考虑智能体的内部状态。
- 论文arXiv
PMPA：针对 OpenClaw 与 Claude Code 的持久记忆投毒攻击
研究者提出 PMPA，一种针对基于 harness 的智能体的持久记忆投毒攻击，攻击者只需在外部来源中嵌入恶意指令，无需直接访问智能体框架。注入阶段把载荷藏在文本、图片或 PDF 的良性问答内容中，诱导智能体将其写入持久记忆；触发阶段在新会话中检索该记忆，在完成正常任务的同时执行额外动作造成隐私泄露。在 OpenClaw 与 Claude Code 上，以 DeepSeek-V4-Flash、DeepSeek-V4-Pro、Qwen3-Max 为底座模型，平均注入成功率与跨会话攻击成功率为 73.7%/55.5% 和 66.9%/81.7%，同时良性任务表现保持在 80% 以上。纯文本模态攻击效果最强，OpenClaw 上注入成功率接近 100%；日历场景跨会话成功率最高，达 96.7% 和 87.8%。
- 论文arXiv：后门、投毒与隐私
GhostWord：针对自动语音识别的细粒度后门攻击
研究者提出 GhostWord，一种词级、时间定位的自动语音识别（ASR）后门攻击，用码本把约 400 毫秒的短音频触发词映射到目标词。投毒时把触发词注入选定源词在强制对齐时间跨度内的音频，并只替换转写中的该词，从而实现精确的语义翻转和可组合的句子操纵，避免多对一标签痕迹。在 Common Voice（v23 英语、v24 立陶宛语）和 Whisper-Small/Medium、MMS、SpeechT5 多个骨干上，平均攻击成功率为 89.3%，并可跨语言、跨模型迁移。
- 论文arXiv：后门、投毒与隐私
联邦学习中的隐私泄露：车载边缘网络惯性感知下基于梯度的客户端身份推断与防御
在车载边缘网络中，诚实但好奇的服务器可从联邦学习客户端上传的权重增量中近乎完美地推断客户端身份，在 UCI HAR 基准上五种攻击分类器、五种非 IID 划分下攻击准确率约 1.000。研究评估了固定裁剪 C=1.0 下扫描高斯噪声的轻量“先裁剪再加噪”防御，sigma 在 [0.1, 0.2] 区间可将攻击准确率压至接近随机，而 FL 精度相对损失低于 5%，并通过 Renyi 记账给出 (epsilon, delta)-DP 预算。集成 FL 以 1/K 匿名集上界提供结构性隐私且无噪声代价；HAR 被明确定位为车载 IMU 数据的代理基准。
- 论文arXiv：后门、投毒与隐私
利用不完美修复实现数据可用性攻击：IRP 投毒方法
针对现有数据可用性攻击（DAA）难以同时兼顾监督学习（SL）与自监督学习（SSL）的问题，研究者对基于卷积的不可学习数据集 CUDA 进行理论分析，指出其引入次优梯度并以类别偏置实现投毒。据此提出新投毒方法 Imperfect Restoration Poisoning（IRP），在保持高图像质量的同时实现强投毒效果。在 SL 与 SSL 下与 8 个基线方法对比，并与 5 种代表性防御方法评估，IRP 均表现更优。
- 论文arXiv
论文用 Tamarin 形式化分析 x402、MPP、ACP、AP2 四个智能体支付协议
论文在 Tamarin 中形式化建模 x402、MPP、ACP、AP2 四个代表性智能体支付协议，基于统一的智能体支付生命周期抽象刻画各协议的角色、状态、信任假设与阶段转换。作者不预设完整属性分类，而是用有来源支撑的验证问题和反例轨迹暴露缺失的绑定、状态约束与跨阶段对应关系，归纳出 18 条共享安全原则。在 86 个验证用例中，分析复现了 46 个已知或校准用例，并识别出 40 项此前未记录的形式化一致性问题。对每个保留的违规，作者定位缺失的协议关系，构造最小强化的参考模型并重新验证目标属性。