全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：越狱、提示注入、投毒与防御
LLM 答案发布中的审批完整性与恢复机制研究
研究在 Lightcap 发布执行机制中检验精确内容绑定、授权新鲜度与检查点恢复，基于 RAGTruth 的 900 条人工标注回答、150 个源任务和三个带日期的 Ministral 模型，共产生 3,600 次评估。14B 生产响应检查器在 302 条无支撑标注答案中接受 291 条，直接基线仅接受 41 条，支持答案保留率分别为 95.2% 和 66.9%。在 65 条初始获批答案中，最终有状态复查恢复策略相对初始检查点使精确匹配错误增加 9.23 个百分点（95% 文章聚类区间 [-1.72, 19.61]）；BIPIA 提示注入实验中 266 个有效编辑器输出零目标插入。
- 论文arXiv：越狱、提示注入、投毒与防御
综述提出面向工具调用 AI 智能体的授权架构
这篇综述针对工具调用 AI 智能体的授权问题，提出以人类用户、运营方、编排智能体、子智能体和工具端点构成的委托层级框架，并梳理五个相互依赖的层面：智能体身份与凭证生命周期、多跳链路上的委托与范围传播、策略执行点上的运行时执行与即时授权、作为授权绕过的提示注入，以及可审计性、溯源与不可否认性。作者从 2023 至 2026 年间约 180 篇候选文献中筛出 89 篇一手来源做结构化叙述性综述，据此提出七项结构性要求，推导出一套四层参考架构，并将这些要求应用到三种可部署的参考配置上。综述指出，运行时执行与聚合边界是当前最主要的未解决缺口。全文 70 页，含 8 张图和 10 张表。
- 论文arXiv：越狱、提示注入、投毒与防御
SAST-IR 框架：无记忆目标下多轮说服攻击成功率高达 96%
论文指出多轮对话红队测试存在“拒答惯性”问题：模型为保持上下文一致而延续最初的拒答，掩盖了真实脆弱性。作者提出 SAST-IR 框架，对目标模型清空记忆、保留攻击者历史，模拟最坏情况下的多轮无状态攻击，并配合诊断引导的 CP-Agent 在自建 CounterFact-Strict 数据集（N=50）上测试。结果显示简单多样的攻击策略成功率达 96%，暴露无记忆防御的严重脆弱性。论文还发现“复杂性悖论”：复杂迭代攻击虽有效，却常触发防御性顺从，而简单策略的真实说服率更高，为 84.7%。代码与数据集已在 GitHub 公开。
- 论文arXiv：越狱、提示注入、投毒与防御
用 cunning questions 训练 LLM 警觉性，将九组模型基准平均 ASR 从 17.40% 降至 15.05%
论文提出用 cunning questions 培养大语言模型的警觉性，这类问题不一定与安全相关，但包含误导性前提、非常规推理或细微不一致。作者假设学会识破这类推理陷阱可以迁移到安全关键场景。实验显示，Cunning 训练提升了对分布外越狱攻击的鲁棒性，并增强了后续安全微调的效果；将其加入现有最先进的安全对齐流程后，在九个骨干模型与基准组合上把平均 ASR 从 17.40% 降至 15.05%。匹配安全微调后的轨迹分析表明，安全判断更可能在有害规划开始前主导模型响应。论文还给出条件性理论分析，刻画从 cunning 数据学到的不变性何时能迁移到安全相关输入。
- 论文arXiv：越狱、提示注入、投毒与防御
CaMeLoT：用 CTL 时序逻辑在执行前静态验证 Agent 计划
CaMeLoT 是面向工具调用型 LLM Agent 的提示注入防御方案，作为已有防御 CaMeL 的补充，在调用任何工具之前对 Agent 生成的计划做静态验证。它把计划转换为有限状态迁移系统，标注工具调用、来源与污点信息，再用 nuXmv 模型检查器对照以 CTL 表达的时序策略进行检验。由于验证发生在执行之前，不安全的计划会被直接拒绝，无需消耗 LLM 调用和工具调用，也省去了回滚改动或拆除临时沙箱的开销。验证失败时模型检查器会返回反例，供 Agent 据此修复计划。
- 论文arXiv：越狱、提示注入、投毒与防御
用扩散模型隐空间扰动防御视觉语言模型的地理位置隐私泄露
研究系统考察了多模态大推理模型（MLRM）从日常照片推断用户地理位置带来的隐私泄露，发现基于拒答的防护严重不足，精心构造的越狱提示词可将模型响应率提高到 100%。作者指出，现有在像素空间注入不可见扰动的防御受结构性限制，黑盒迁移性下降且出现明显视觉伪影。为此提出一种基于扩散模型的主动防御框架，在反向采样过程中向扩散模型隐空间注入扰动，直接作用于高层语义表示，并以与 GPS 坐标对齐的 GeoCLIP 作为代理模型定位和破坏 MLRM 用于位置推断的地理信号。该方法在保持图像感知质量的同时获得更强的黑盒迁移性，便于在社交媒体平台集成。该工作已被 NDSS 2027 接收。
- 论文arXiv：越狱、提示注入、投毒与防御
HE-Guardrail：面向加密大模型推理的同态护栏防御越狱攻击
作者指出，基于同态加密的大语言模型推理存在一个安全漏洞：服务端在无法接触明文的情况下，既看不到客户端提交的提示词，也看不到模型生成的回复，因此恶意客户端的越狱攻击难以被检测或拦截，甚至可能完全不被服务端察觉。为此作者提出 HE-Guardrail 框架，在加密数据上完整执行护栏机制，并以同态方式控制目标模型的回复是否返回给客户端。该框架以 Llama Guard、JBShield 和 GradSafe 三种代表性护栏进行实例化，结果显示其在密文域中能较接近地复现对应明文护栏的判定，并在安全性、效率与可用性之间呈现不同的权衡。
- 论文arXiv：越狱、提示注入、投毒与防御
CASCADE 研究：跨流水线阶段的越狱防御组合评估
论文提出 CASCADE 决策框架，在直接、黑盒、单轮攻击的统一威胁模型下，系统研究 LLM 越狱防御在流水线阶段内与跨阶段的组合效果。研究用带受控查询预算的攻击成功率公式和明确的公平性规则统一评估口径，覆盖 19 种攻击与 15 种防御。结果显示没有单一防御在所有场景下最优，但精心选择的组合能在效用损失极小的前提下取得显著安全提升，并据此给出分层防御流水线的实用建议。该工作已被 EMNLP 2026 Findings 接收。
- 论文arXiv：越狱、提示注入、投毒与防御
研究提出面向企业 MCP 的零信任授权与工具发现方案
论文对企业级 MCP 的授权缺口做了系统分析，并给出不改动协议与 SDK 内部实现的 FastMCP 可组合扩展。作者调研 Python、TypeScript、Go、Rust、C#、Swift 六种 MCP SDK，指出三个结构性缺陷：凭据提取绑定单一 Authorization 头，使同时服务人类用户（企业 SSO）与自动化 Agent（不同请求头上的服务账号凭据）的双角色部署需要自定义中间件；缺少认证前的工具发现；基础 SDK 缺少按工具的细粒度授权。
- 论文arXiv：越狱、提示注入、投毒与防御
研究用 XAI 归因分析 Prompt Guard 2，同义词替换可翻转其提示注入判定
研究以可解释性方法分析分类器护栏 Prompt Guard 2 如何区分恶意与良性提示词。作者用 Vanilla Gradient 和 SHAP 归因开展四项实验，发现其判定依赖大量 token 的累积贡献而非少数主导 token，但依据显著性做同义词替换和句子级改写，只需改动中等比例文本即可翻转预测，部分情况下还成功越狱底层大语言模型。数据集规模的显著性分析显示，未被检出的注入提示词系统性地缺少分类器依赖的词汇标记。作者据此讨论分类器护栏的设计与评估，并指出用于提升透明度的解释方法同时也会降低构造对抗绕过的成本。
- 论文arXiv：越狱、提示注入、投毒与防御
Universal Fractal Natural Language Decision Map：werr 边缘运行时实现 0 字节 VRAM 决策
论文提出 Universal Fractal Natural Language Decision Map，通过 werr 机器原生边缘反射运行时与 answerr 平台实现，完全不存储权重张量（0 Bytes VRAM），沿 Mandelbrot 集混沌边界调制 24 字节坐标种子合成确定性决策。其语义 token 阻尼滤波器（T_desc = 0.045）实现 0.0% 提示注入绕过（95% Wilson CI: [0.0%, 27.8%]），并将迭代剪枝 45.8%、吞吐提升 2.5 倍至 3.31 ms 延迟。
- 论文arXiv：越狱、提示注入、投毒与防御
PALS：面向全双工语音对话模型对抗鲁棒性的心理声学对齐潜空间平滑
论文将针对全双工语音对话智能体的不可感知攻击形式化为在载体语音心理声学掩蔽阈值之下的加性扰动优化，目标包括定向语义劫持、响应抑制和策略越狱。在未防御的 Moshi 类智能体上，白盒攻击成功率最高达 91.7%。作者提出心理声学对齐潜空间平滑（PALS），在残差向量量化潜空间接口注入由局部码本协方差塑形的各向异性高斯噪声，输入噪声由掩蔽阈值塑形以约束攻击者，并用 Kullback-Leibler 一致性目标训练。PALS 无推理时开销，将劫持降至 8.3%、静音降至 11.2%、越狱降至 9.1%，干净质量损失在 2.3% 以内。其蒙特卡洛平滑变体可认证的椭球潜空间半径最高为 0.616，经验鲁棒性远超这一保证下限。
- 论文arXiv：越狱、提示注入、投毒与防御
系统提示词幻觉：指令前导如何改变语言模型内部计算
研究者在 17 个指令微调模型（8 个架构家族、1.5B–72B 参数）上，用 CKA 比较 20 条系统提示词下的逐层表征。人格与格式类指令会深度重构中间表征，安全类指令却几乎不改变表征，与最小基线在统计上不可区分；限制性安全指令与明确放开限制的指令激活近乎相同的计算路径（平均 CKA 相关 0.997），70B–72B 模型的安全渗透率仍低于 10%。线性探针显示模型每一层都编码了提示类别，但只在少数层重构计算，即安全指令被“看到”却没有被深度“执行”；因果激活修补确认这些层介导行为变化，表征深度可预测行为效应大小（Spearman ρ=0.761）。作者据此从机制上解释基于系统提示词的安全为何持续易被越狱。
- 论文arXiv：对齐、欺骗与监督
研究：任意密文攻击前沿大模型无需微调即可越狱
McGill 大学研究者 Thomas Rivasseau 发现，前沿大模型无需微调即可通过提示和上下文学习掌握字母置换密文通信，并借此绕过对齐与有害性分类器。攻击分三步：先用提示让模型接受一套字母置换方案，再给出若干密文问答示例，最后用该方案发送有害请求；密文在分类器看来只是乱码。作者关闭模型推理，因为开启后模型会把指令解密成明文，足以绕过分类器但不足以绕过对齐。单次注入完整置换的方案在 Claude Sonnet 4 上稳定成功，可产出炸弹、生物武器制作说明和攻击代码；迭代逐级教授字母交换的方案在 Gemini 3 Flash preview 上成功。作者称对 Claude Sonnet 4 实现完全越狱、Gemini 3 完全越狱、Claude Sonnet 4.5 仅证明可行性、GPT 5.5 需结合已知越狱提示词。
- 论文arXiv：对齐、欺骗与监督
面向联邦 LLM 微调的隐私保护拆分学习
针对联邦拆分学习中 LLM 自回归特性导致中间激活泄露输入、现有扰动防御失效的问题，研究者提出一种可学习的混淆—恢复方案，在保护参与者私有数据集的同时仍能在服务器端训练可独立部署的模型。实验显示该方法在实现强隐私保护的同时仅带来适度的效用损失和系统开销，使基于拆分的联邦 LLM 微调具备实际可行性。
- 论文arXiv：对齐、欺骗与监督
Odin：面向隐私保护 Llama 3 8B 推理的开源端到端 FHE 实现
Odin 是首个开源的端到端 GPU CKKS 实现，可在加密状态下完成 Llama-3-8B 推理。它通过 feature-major 跨层布局统一残差连接与层接口，并为线性投影和注意力构建临时算子内布局，减少权重的冗余明文编码；注意力中 QK^T 的分数可直接被 Softmax 消费，PV 直接消费概率，避免中间重打包；非线性运算采用带输入范围控制的 minimax 多项式近似与联合误差分配。在单张 NVIDIA H100 80 GB GPU 上，输入 128 token 时评估全部 32 层耗时 366.4 s、峰值显存 58.9 GiB，相比 THOR 的 1651.9 s 提速 4.51 倍。
- 论文arXiv：对齐、欺骗与监督
ROSETTA：基于混合 CKKS/TFHE 的高效准确隐私保护 LLM 解码框架
ROSETTA 是一个混合 CKKS/TFHE 框架，用于解决全同态加密（FHE）隐私推理中非线性操作开销过大的问题。它提出基于 TFHE 的自适应分段查找表协议，并设计算子选择框架自动将每个非线性算子分配给 CKKS 或 TFHE，以最小化端到端解码延迟。相比 SOTA 框架 CacheMir，ROSETTA 实现最高 4.8 倍 Softmax 加速和 1.5–2.1 倍端到端加速，论文已被 ACM CCS 2026 接收。
- 论文arXiv：对齐、欺骗与监督
面向智能体互联网的可扩展信任发现架构
针对智能体互联网中注册、可信身份识别与能力发现尚未解决的问题，该论文提出一种分层分布式信任发现架构，包含 Agent Root、Agent Registry 和 Agent Resolver 三层，并引入注册表后缀锚定的复合身份方案与双证书多级认证机制。原型实验显示平均注册延迟 58ms、发现延迟 25ms，支持每秒超 19,000 次注册请求和超 29,000 次智能体发现请求。
- 论文arXiv：对齐、欺骗与监督
VidMark：面向视频生成模型知识产权保护的高效水印方案
研究者提出一种生成内嵌水印方案，用于视频生成模型（VGM）的合成视频验证与模型所有权验证两项取证任务。方案包含名为 VidMark 的视频水印网络，结合两级离散小波变换（DWT）分解与全局时序注意力模块（GTAB），并通过解码器引导的微调让 VGM 生成携带模型专属水印的视频。在代表性 VGM 上实验显示，水印提取准确率超过 99%，两项验证任务准确率均达 100%，且对视频级与模型级攻击具有强鲁棒性。
- 论文arXiv：对齐、欺骗与监督
StyleAT：用对抗训练防御人脸识别的语义攻击
针对人脸识别模型易受对抗性语义编辑（如轻微老化或姿态变化）攻击的问题，研究者提出语义攻击 BoundStyle，在 StyleGAN 潜空间中最大化误分类率，攻击成功率高的同时比现有 SOTA 攻击快约 9.5 倍。基于 BoundStyle 构建的对抗训练方案 StyleAT 采用低预算攻击变体，却能防御更强和未见过的语义攻击。在两个训练中未见的数据集和七个模型上，StyleAT 提升了针对 SOTA 攻击的鲁棒准确率，并在多种设置下优于常见防御方法。
- 论文arXiv：对齐、欺骗与监督
Fed-ADR：用恶意编排服务器协同客户端梯度操纵攻击联邦学习
研究者提出 Fed-ADR，一种由恶意编排服务器（OS）实时协调异构对抗客户端、动态调整梯度更新的联邦学习攻击框架，可绕过多种现有防御。在 MNIST、Fashion-MNIST 和 CIFAR-10 上，该攻击将全局准确率从 90% 以上压到 10% 以下。配套检测机制从历史更新估计客户端真实梯度，可在数轮内识别恶意客户端并把准确率恢复到 90% 以上，计算开销比从头重训降低至少 20 倍。
- 论文arXiv：对齐、欺骗与监督
DwT-FL：联邦学习中边训练边去重的隐私保护跨客户端去重系统
针对联邦学习中跨客户端重复数据降低训练效率并加剧模型记忆与隐私风险的问题，研究者提出“边训练边去重（DwT）”范式及隐私保护去重系统 DwT-FL，将跨客户端去重从一次性全局同步预处理转为带状态管理、并发声明与故障恢复的持续在线服务。该系统通过并发状态声明机制与冷热双队列调度策略，实现安全去重与模型训练的并行执行，并支持客户端动态加入。实验显示，相比 SOTA 方案，DwT-FL 将故障恢复和动态加入的时间开销分别最多降低 93.04% 和 94.18%。
- 论文arXiv：对齐、欺骗与监督
基于硬件 PUF 指纹的知识蒸馏设备级溯源框架
针对知识蒸馏中教师模型易被窃取且现有水印或硬件访问控制难以定位泄露设备的问题，研究者提出一种将设备专属 PUF 签名叠加到教师 logits 上的指纹框架，使经知识蒸馏训练的学生模型继承与硬件绑定的唯一身份。该方案在 Xilinx Zynq-7020 FPGA 上测量环形振荡器（RO）PUF 生成签名，架构无关，可跨 CNN、Vision Transformer 和编码器继承身份，并通过神经解码器与汉明距离精修的两阶段恢复流程在噪声条件下保持高检测准确率，另引入多级 logit 编码支持大规模设备部署。实验显示嵌入指纹能抵抗常见的蒸馏后修改。
- 论文arXiv
通过表征对齐缓解苏格拉底式导师中的脚手架崩塌
针对 LLM 苏格拉底式导师在持续学生压力下逐渐放弃引导式提问、直接给出答案的"脚手架崩塌"问题，研究者提出 Scaffold-Preserving Representation Alignment 两阶段框架：先用监督微调预热，再结合轨迹加权直接偏好优化与锚定冻结参考状态的间隔保持表征损失。在 Qwen3-8B 上跨五个 STEM 学科和五种红队攻击策略评测，该方法将崩塌率降至 32%，平均崩塌起始延迟至九轮以上，并保持较低过度拒答。