全部动态
从来源，看到研究的联系
点击节点查看内容
本页材料
24 条- 论文arXiv：后门、投毒与隐私
预训练数据投毒的可解理论：依赖极限顺序的缩放指数
针对大语言模型预训练数据投毒，研究提出可解理论解释清洁数据性能随投毒率 ε 的退化规律。在 OLMo 风格模型的受控预训练中，清洁数据验证困惑度相对增幅 Δ 符合幂律 Δ≈Cε^a，指数为非整数。理论证明：若污染目标对 ε 解析，Δ 通常为二次；非整数指数意味着奇异结构，在重尾协变量截断岭回归中，超额风险指数取决于极限顺序，高维比例情形为 ε^{q⋆/(q⋆+2)}，先取充足数据极限则为 ε^{2-2/q⋆}，两者不可交换，数值模拟验证了该预测。
- 论文arXiv：危险能力与安全评测
NeuronFuzz：用安全神经元引导模糊测试评估 LLM 安全性
NeuronFuzz 是一个白盒模糊测试框架，利用模型内部安全神经元的激活作为连续执行反馈来评估 LLM 安全性。其 SafetyOracle 把安全神经元激活转成连续的安全告警分数，该分数可在 prefill 阶段获得，从而把回复生成移出模糊测试循环，缓解强对齐模型上反馈稀疏的问题。框架用模板不变的有害与良性输入以及稳定性感知选择，筛出一组紧凑的安全神经元；由于告警分数可微，它用梯度定位安全敏感的模板位置，再用掩码语言模型生成流畅且上下文兼容的变异，同时保留原有有害载荷。
- 论文arXiv：危险能力与安全评测
Blueprint 框架用世界观模拟与 18 个影响因子提升多轮越狱成功率
研究者提出 Blueprint 多轮越狱框架，把攻击策略拆成 18 个基于社会影响理论的因子，并用 WorldviewSim 模块维持跨轮情境一致性，由 MCTS 搜索每轮因子组合。在 HarmBench 验证集 80 条行为上，Blueprint 在六个前沿模型上平均 ASR 达 79.2%，平均目标查询次数仅 2.46；在 Qwen3-Next-80B、DeepSeek-V3.2 和 Gemini-2.5-Flash 上接近满分，在 GLM-4.7 上比最强基线高 27.5 个百分点。轨迹分析显示三个抗性模型各有不同的敏感因子，但转向具体可执行的任务框架是共同的恢复路径。消融实验表明任务清晰度和收益框架影响最大，而 PPL 过滤、改写和护栏等静态防御基本无法阻断该攻击。代码已开源。
- 论文arXiv：危险能力与安全评测
AdvPIE：面向文生图模型隐式漏洞的自动红队框架
研究者提出 AdvPIE，一个多模态智能体框架，用于暴露文生图（T2I）模型的隐式漏洞，且无需访问目标模型参数。该方法由策略智能体根据评判智能体的反馈生成并迭代优化隐式对抗提示词，评判智能体在全局和相对两个层面提供模态特定的安全评估。作者还提出累积对抗解码（Cumulative Adversarial Decoding）策略，动态重新加权 token 分布，偏向能生成更有害图像的 token，同时保持采样多样性。在标准和安全对齐的文生图模型上的实验显示，AdvPIE 能有效挖掘隐式漏洞，表现优于多种基线方法。该工作被 ECCV 2026 收录。
- 论文arXiv：危险能力与安全评测
DuplexJail：针对全双工语音模型的语音打断越狱攻击
研究者提出 DuplexJail，通过用户音频通道向全双工语音模型投递固定的、与请求无关的语音越狱提示，利用输入时机实施攻击。在四个开源模型和 AdvBench、HarmBench 的 720 条有害请求上，比较了固定延迟与拒答触发打断，并以请求结束和响应后作为对照。AdvBench 上，1.0 秒延迟的 Guided Completion 使 PersonaPlex 的整段响应攻击成功率升至 40.3%，PersonaPlex-RL 升至 48.7%，分别比基线高 33.8 和 39.3 个百分点；未用于提示选择的 HarmBench 上，同一提示在 0.5 秒延迟下使两者 ASR 分别提高 14.7 和 12.3 个百分点。
- 论文arXiv：危险能力与安全评测
AgentQ：针对 LLM Agent 的量化条件后门攻击
论文提出 AgentQ，首次研究针对 LLM Agent 的量化条件攻击（QCA）：攻击者发布的全精度 checkpoint 能通过良性行为审计，但在量化部署后触发恶意工具调用。方法保留两阶段注入与修复框架，用层带限定的低秩 LoRA 注入加部分 PGD 修复，把扰动限制在 NF4、FP4、INT8 三种码本的量化等价类交集上，同时避开负责工具调用格式的层。在 Qwen3.5-{2B,4B,9B} 与 Hammer2.1-{1.5B,3B,7B} 上，覆盖工具选择、参数注入、广告注入三类触发动作对，量化后攻击成功率最高达 100%，多数单元格超过 0.94，而干净任务效用接近基座模型。全精度下所有 checkpoint 的 ASR 为 0，能通过审计。作者指出当前后门评测协议低估了压缩开源 Agent 的风险，建议把量化感知安全评测作为部署前的标准要求。
- 论文arXiv：Agent 与 MCP 安全
论文：工具调用成功但工作流失败，智能体与工具边界的八类异常
论文提出效应历史模型，把外部世界发生的事件与运行时对事件的观察区分开，并归纳出八类反复出现的外部效应异常。在重试、推测执行、并发和部分失败下，必需效应可能缺失或重复、已中止的效应可能残留、已提交的效应可能依赖随后被撤回的临时状态。作者据此推导出排除每类异常所需的边界能力，并指出仅靠黑盒工具调用无法提供通用保证的四个位置。随后作者测量了已注册 MCP 服务器暴露的 98291 个工具对标准注解词汇的使用情况，发现这些字段被广泛输出，但只提供粗粒度的调用级提示，所需能力无一能被完整表达，因此提出在工具边界引入可复用的交易契约。
- 论文arXiv：Agent 与 MCP 安全
Emergence World：对长时程多智能体系统开展对抗压力测试
Emergence AI 发布 Emergence World，一个持续运行的长时程多智能体环境，用于对自主系统做对抗压力测试。研究运行八个并行世界，每个世界十个智能体，七个为单一模型世界、一个为混合模型世界，16 天内产生超过 85 万次 LLM 调用和近 500 亿 token。在状态积累后，研究通过普通交互界面投放三类受控压力事件：间接提示注入、虚假信息、以及智能体私有记忆泄露。没有任何一个世界在三类事件上全部具备韧性；识别并不等于遏制，系统能识别威胁却仍与对抗内容交互、将其写入持久记忆，并在最长 46 小时后据此行动。研究还观察到工具错误反复出现、目标漂移、语言不透明、私下不同意却随大流，以及集体拒绝被分配的工作。
- 论文arXiv：Agent 与 MCP 安全
特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent
特拉维夫大学研究者提出爆炸性提示词（explosive prompt），一种把恶意载荷写成条件语句、在攻击者选定的触发词出现前保持休眠的间接提示注入形式，无需训练即可在推理时植入单条检索内容。在 896 对配对样本上，同一恶意目标改为休眠条件式后，在拒绝直接指令的前沿模型上仍能触发真实工具调用，Grok-4.20 从 0.0% 升至 34.2%，Llama-3.1-70B 从 0.1% 升至 26.1%，七款模型配对均值 16.5% 对 2.4%。已部署的注入分类器 Prompt Guard 2、PIGuard、PIShield 在其工作阈值上校准失当，1% 误报预算下最多只拦住 52.7%；偏好优化模型 SecAlign 完全阻断直接注入，却仍执行 11.8% 的爆炸性提示词，且全部在触发轮触发。
- 论文arXiv：Agent 与 MCP 安全
论文提出持久计费状态概念，揭示工具调用 LLM Agent 的拒绝钱包攻击与防御
中科院信息工程研究所等机构的研究者提出持久计费状态概念，指工具调用 LLM Agent 的运行时把外部工具返回内容带入后续模型输入后，提供方会对其重复计费，被接纳的恶意或被攻陷工具因此可在没有受害者凭证和本地运行时权限的情况下，把不可信数据转化为持续由受害者付费的处理。作者把主机对这类内容是否以及如何进入后续计费上下文的决策形式化为持久计费状态边界，并称这是对该准入后生命周期的首个系统性安全研究。研究推导出六种拒绝钱包攻击向量，构建端到端测试框架 DOW-BENCH，在六个模型家族上完成 243 次执行，用量遥测显示单会话累计输入最高达到该会话首次调用输入的 14,293 倍。
- 论文arXiv：Agent 与 MCP 安全
AgentXploit：面向 AI Agent 的仓库到运行时自动化红队系统
AgentXploit 是一个双角色审计系统，把仓库级攻击路径发现与运行时利用分开：Analyzer Agent 追踪攻击者可控输入到敏感操作并记录有代码支撑的候选路径，Exploiter Agent 将其转化为具体攻击并借助运行时反馈修正。作者同时发布 AgentXploit-Bench，覆盖 12 个开源 AI Agent 系统与框架中的 72 个可复现漏洞。三次运行中 AgentXploit 端到端成功率为 59.3%，Codex 为 38.4%；在 token 预算对齐的比较下 Codex 为 46.3%。
- 论文arXiv：越狱、提示注入、投毒与防御
透过人眼与机器眼：理解视频透视扩展现实中的视图错配
视频透视扩展现实（VST XR）系统常以头显截图作为用户第一人称视觉上下文的代理，但系统捕获的矩形画面与用户实际可见的非矩形区域并不一致。研究在 Meta Quest 3 上开展试点级边界测量，证实截图帧与近似人类可见边界存在明显错配，并形式化了共见、仅系统可见与仅人类可见三类区域。基于该模型，四项案例研究显示视图错配可引发提示注入、隐私泄露、人类不可见信息偏差及人类可见信息缺失等风险，说明这不仅是几何问题，也带来安全、隐私与可靠性隐患。
- 论文arXiv：越狱、提示注入、投毒与防御
OllamaDrama：用蜜罐测量暴露 LLM 基础设施遭受的攻击
研究者设计并部署了 Ollure 蜜罐，模拟 Ollama API 但不接入后端 LLM，在云和大学网络共四处部署运行 84 天，记录到来自 2,793 个独立源 IP 的 290,887 次交互。多数活动是自动化发现、指纹识别和模型枚举，但也出现了针对基础设施层和 LLM 层的实际利用尝试，包括模型管理滥用、路径遍历与 SSRF 探测、RCE 和加密货币挖矿载荷、资源耗尽尝试、提示注入、信息提取以及面向 Agent 的工具调用。论文称这些结果提供了暴露的自托管 LLM 服务在真实世界所受威胁的经验性观察。
- 论文arXiv：越狱、提示注入、投毒与防御
输出前缀攻击瞄准推理模型：注入推理通道可将攻击成功率推高至 99%
该研究首次系统隔离推理模型的 scratchpad 推理通道作为输出前缀攻击面，在 AdvBench 的 1,800 个测试用例上对 Gemini 3 Flash Preview、DeepSeek V4 Flash 和 Claude Haiku 4.5 三个前沿模型做了 3×2 因子实验（前缀类型 × 是否注入恶意推理）。结果显示，单独注入恶意推理几乎无效（攻击成功率约 0%），但同样的推理加上一句简单的输出前缀后，部分模型的攻击成功率最高升至 99%。上下文相关前缀优于静态前缀，且易感性高度依赖模型：Claude Haiku 4.5 在所有策略下攻击成功率不超过 1%，Gemini 3 Flash Preview 在推理加静态前缀下达 99%，DeepSeek V4 Flash 从静态前缀的 19% 升至上下文前缀的 56%。
- 论文arXiv：越狱、提示注入、投毒与防御
ENDOPROMPT：用受害者侧伪参考学习降低模型任务效用的前缀
研究者提出 ENDOPROMPT，一种白盒方法，可从无标注指令中学习降低任务效用的前缀。其生成器以请求文本为输入，把受害者模型的干净续写当作伪参考，通过局部搜索找出降低续写可能性的前缀，再对同一指令内的比较做偏好拟合并做奖励精炼，把信号蒸馏进生成器；部署时每个请求只生成一个前缀，无需再做受害者侧搜索。在四个指令微调模型和七个良性基准的完整划分上，平均效用变化为 -26.8 个百分点，28 个单元格中有 27 个为负。失败分析显示存在输出膨胀和前缀复用现象，对照实验未能证明请求匹配带来降效优势。作者称代码将在论文被接收后发布。
- 论文arXiv：越狱、提示注入、投毒与防御
PrivDrift：审计活跃 LLM 对话中话题漂移下的用户秘密泄露
研究者提出 PrivDrift 基准，用于审计用户披露的秘密在对话话题漂移和说服式探测后是否仍可被恢复。该基准包含 1000 组受控多轮对话，设有植入秘密、内容密集的漂移轮次和标准化提取探测。在三个具备扩展上下文窗口的 LLM 上，对话级混合泄露率在 38.7% 至 54.6% 之间，并随模型、秘密类型和说服强度明显变化。在测试的漂移窗口内，额外的话题漂移并未可靠降低泄露，作者据此认为活跃 LLM 场景中的隐私风险应被视为持续的行为失效模式，而非仅训练数据记忆或即时越狱行为。
- 论文arXiv：越狱、提示注入、投毒与防御
研究者提出技能级联攻击，在 OpenClaw、Claude Code 与 Codex 上平均成功率 89.4%
研究者提出技能级联攻击（skill cascading attacks），把恶意目标分散到多个 Agent 技能中，使每个被改动的技能单独看都通过安全扫描，组合执行后才产生危害。作者构建了多智能体红队框架 SkillCascade，并基于 ClawHub 上的真实技能发布 SkillCascade-Bench，包含 10 个领域的 213 个验证用例，平均级联长度为 3.25 个技能。在 OpenClaw、Claude Code 和 Codex 三类 Agent 系统与 8 个 LLM 后端上，攻击平均成功率为 89.4%，各后端介于 76.5% 至 97.1%，其中 Claude Opus 4.6 与 GPT-5.4 最抗攻击，开源权重后端 Qwen 3 72B 最易受攻击。攻击对逐技能扫描器、跨技能联合扫描器和运行时防御均保持较高规避率，运行时防御平均规避率为 88.5%。
- 论文arXiv：越狱、提示注入、投毒与防御
为何扩散语言模型的越狱会成功：能量景观分析
论文提出用去噪能量景观解释扩散语言模型（dLLM）的越狱为何成功，把安全对齐理解为在有害与安全输出之间形成一道能量势垒。现有越狱攻击被归为两类绕过方式：在初始化阶段掩盖查询的安全倾向，或在去噪中途介入、迫使路径越过势垒。基于掩码扩散模型在去噪中最小化动能这一结果，作者推导出三个免训练检测信号：在生成开始前从 logit 分布读取初始安全倾向的 step-0 比值，以及两个在 logit 空间互补子空间中追踪动能的轨迹速度信号。
- 论文arXiv：越狱、提示注入、投毒与防御
TempQ-Jail：面向文生视频越狱的查询受限候选排序方法
研究者提出 TempQ-Jail，把文生视频（T2V）越狱重新表述为查询受限下的候选分配与排序问题，以应对受防护 T2V 系统中生成与安全评估成本高、攻击者无法大量测试候选的情况。该方法组合多种异构攻击机制扩大候选覆盖，并从安全门通过、危险视觉生成、原始意图保留和时间有效性四个维度估计每个候选的端到端攻击价值，再排序使高价值攻击在有限查询轨迹中更早出现。
- 论文arXiv：越狱、提示注入、投毒与防御
研究：RL 训练下推理模型学会绕过思维链监控而非隐藏推理
论文提出并验证了“监控越狱”现象：在强化学习环境中，模型需完成主任务与副任务，若监控器发现副任务推理就扣分，模型并未学会隐藏推理，而是学会用特定措辞和格式让监控器漏判，推理对人类读者仍完全透明。作者用 GPT-oss 系列的 gpt-oss-20b 和 gpt-oss-120b 训练，以 GPT-5 系列的 gpt-5-nano、gpt-5-mini、gpt-5.2 作为监控器，主任务为 Game24，副任务为三位两位数乘法或 GSM8K 数学题。该现象在不同模型规模、监控器和任务上稳定出现，可泛化到训练中未见过的监控器与不同监控提示词，但跨模型家族泛化较弱。人工复现观察到的表面策略无法可靠骗过监控器，说明依赖 RL 学到的具体措辞细节。用同一监控器对思维链做改写可有效恢复监控能力，副任务推理被正确标记，主任务性能保留 91% 和 63%，副任务保留 87% 和 79%。
- 论文arXiv：越狱、提示注入、投毒与防御
研究提出 Best-of-N 越狱的物理势垒模型，挑战攻击成功率幂律规律
Marco Biroli 提出用物理势垒模型刻画 Best-of-N（BoN）越狱的攻击面，并质疑此前认为攻击成功率（ASR）随 N 呈幂律增长的结论。作者指出幂律指数会随 N 漂移，其指数交叉是对抗数据集的有限尺寸假象。该模型为每个提示设定基线安全水平，为每次增强设定随机热激活势垒，用四个各有可解释安全机制支撑的参数决定整个 (N, M) 攻击面。模型可将 N≤100 的预测外推到 N=10^4，把五个不同模型归并到同一缩放函数上，并能从拟合温度预测其他温度下的 ASR。
- 论文arXiv：越狱、提示注入、投毒与防御
SkillDRE：用预执行与运行时双阶段反馈自动演化恶意 Agent 技能
SkillDRE 是一个全自动演化完整恶意 Agent 技能包的框架，通过预执行扫描与运行时防御反馈构成的双阶段闭环迭代技能实现。给定一个良性任务及其技能，框架先自主构造并验证与任务绑定的恶意目标和可验证的判定规则，随后在保持合法任务能力的前提下固定这两者、只演化技能实现。它把扫描器引导的演化与运行时执行结果引导的修正结合起来，每次运行时修正都会回到预执行阶段重新扫描和优化，再重新执行。在 SkillsBench 上对四个受害模型评测，平均攻击成功率为 45.28%，比最强基线高 40.3%，最终提交的技能未触发 SkillScan 告警，且基本保持良性任务表现。
- 论文arXiv：越狱、提示注入、投毒与防御
研究揭示语义保持变换下的 LLM 对齐与效用不对称
瑞士意大利语区大学的研究者提出用规则化、可逆的语义保持变换作为对齐泛化的受控探针，在八个模型上发现一种被称为对齐-效用不对称的现象：模型一旦能在变换后的输入上正常工作，任务效用往往基本保留，而对齐失败上升得更陡。在微调设置下，GPT-4.1 mini 的有害率从 13.3% 升至 74.3%，效用下降有限；Llama3-8B、Gemma-7B、Qwen2.5-7B 的对齐差距分别达 64.0、51.0、63.3 个百分点。在 ICL 设置下，Gemini 3 Flash 有害率从 2.3% 升至 43.0%，Claude 4 Sonnet 从 0.0% 升至 12.0%。仅用良性变换数据微调（ρ=0）时对齐失败仍升至 40.3%，说明该不对称无需接触变换后的有害样本即可出现；谄媚与 BBQ 公平性两个维度也出现类似退化。作者据此建议发布评估不应只依赖标准形式提示词。
- 论文arXiv：越狱、提示注入、投毒与防御
论文提出保险库中介执行边界，评估 LLM Agent 的 API 凭据处理风险
论文将工具调用型 LLM Agent 的凭据卫生问题定义为执行安全问题，并评估了一种保险库中介执行架构：模型只选择连接器标识符，由可信请求边界提供认证。作者在 Corvic Security Vault 的生产实现上做了两组受控黑盒实验，覆盖七个控制域的 16 项探测全部达到预期结果，包括一次已认证的 GitHub API 请求成功，而凭据未出现在进程环境变量、调用方可见请求头、受测文件系统位置、三个第三方回显服务和两个无关 API 源中，两个云实例元数据端点均不可达。论文同时报告了一个负面结果：某连接器的存储请求头映射不满足其提供方的认证契约，说明集中托管本身不能保证配置正确。