全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv
FDCU：用双重约束子空间投影抵御机器遗忘后的重训练攻击
研究提出 FDCU，一种双重约束子空间投影框架，用于解决大语言模型机器遗忘后经良性微调即可恢复有害行为的重训练攻击问题。作者分析遗忘的优化动态后认为，脆弱性来自浅层对齐：模型并未真正擦除目标知识，而是激活原本休眠的参数充当伪抑制器，在完整的恶意表征外形成脆弱的抑制外壳。FDCU 通过逐元素双重掩码规则限制参数更新，用 Fisher Information 保留通用知识流形，并用最小功能干预原则（PMFI）禁止伪抑制器异常激活。在特定知识擦除与安全输出控制任务上，FDCU 在保持近乎无损通用能力的同时，取得了对重训练攻击的 state-of-the-art 鲁棒性。
- 会议论文arXivACL 2026
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
ToolSafe 提出面向 LLM 智能体工具调用安全的步骤级护栏方案，包含基准 TS-Bench、护栏模型 TS-Guard 和推理框架 TS-Flow。TS-Guard 通过多任务强化学习训练，在执行前基于交互历史推理，评估请求有害性与动作和攻击的关联，输出可解释、可泛化的安全判断与反馈。TS-Flow 由护栏反馈驱动，在提示注入攻击下将 ReAct 风格智能体的有害工具调用平均减少 65%，同时把良性任务完成率提升约 10%。作者称该工作仍在进行中，代码已公开。
- 论文论文追踪
SynthIDBio：为 AI 生成的蛋白质序列与结构嵌入保功能水印
Google DeepMind 团队提出 SynthIDBio，把水印直接嵌入 AI 生成的蛋白质序列与结构，同时保持其生物学功能。SynthIDBio-sequence 将 SynthID-text 的锦标赛采样接入 ProteinMPNN，并增加基于 g 值的过滤以保证可检测性；体外实验显示，针对 SC2RBD、VEGF-A 和 PD-L1 的水印结合蛋白在结合亲和力分布和命中率上与未加水印设计无显著差异，其中 SC2RBD 达到低纳摩尔级、VEGF-A 与 PD-L1 达到亚纳摩尔级。SynthIDBio-structure 则微调 AlphaFold 3 的扩散模块并联合训练一个受 PointNet 启发的检测器，在 AF3 评测集上以 0.1% 假阳性率取得超过 99.8% 的真阳性率，且 LDDT 与模板建模分数不下降。
- 论文arXiv
Llama 3 模型群：405B 稠密 Transformer 与 Llama Guard 3 安全模型
Meta 发布 Llama 3 模型群，最大模型为 405B 参数的稠密 Transformer，上下文窗口最高 128K tokens，原生支持多语言、编程、推理与工具使用。评测显示其在大量任务上质量与 GPT-4 相当，并公开释出 405B 的预训练与后训练版本及输入输出安全模型 Llama Guard 3。论文还通过组合式方法将图像、视频和语音能力接入 Llama 3，在识别任务上表现与 SOTA 相当，但这些多模态模型仍在开发中，尚未广泛发布。
- 论文arXiv：可解释性
GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别
研究提出 GUARD，一个轻量级说话人身份遗忘框架，在冻结的 TTS 主干上结合学习到的说话人门控与说话人无关的激活引导，引导向量用组相对奖励优化，把遗忘说话人的输出推向群体层面的冒充者相似度，同时保持可懂度与语音自然度。在 CosyVoice2 上，GUARD 将遗忘说话人相似度从 0.541 降到 0.103，在 150 名说话人库中的重识别准确率从 73.5% 降到 0.5%，并保留了对保留说话人的复现能力。作者指出，仅看相似度下降不足以刻画说话人身份遗忘是否成功，重识别应作为补充评估标准。
- 论文arXiv：可解释性
CAM-Steer：面向大语言模型的多类别自适应安全引导框架
研究者提出 CAM-Steer，一个类别自适应的多类别安全引导框架，用于在推理阶段修改模型内部激活而不更新参数，从而降低有害提示的不安全回复。该方法通过比较当前隐藏状态与安全、不安全原型来估计各危害类别的风险，再据此把不同类别的安全方向组合成单一引导方向并确定干预强度，最后沿该方向旋转隐藏状态，旋转角度由风险估计决定，同时保持隐藏状态范数不变。在三个 LLM 基座和七个危害类别上的实验显示，CAM-Steer 在平均防御成功率上优于所评估的基线，包括多个类别同时出现的情形，且推理开销可忽略。
- 论文arXiv：越狱、提示注入、投毒与防御
Skill-as-API：面向智能体软件工程的机密多智能体协作协议
Skill-as-API 是一种协议层协调方案，让 AI 编程智能体在互相调用技能时只公开技能名称、描述、类型化输入/输出 schema 和信任层级，技能本体以闭包形式留在所有者进程内、永不跨网络传输。该协议通过四层机制实现访问控制，并从结构上收窄提示注入面，而非依赖内容过滤。作者在 XMTP 上给出开源 Python 实现，跨洲热重连延迟为 1.8-2.9 s，并以三个智能体协作完成 pull-request 审查为案例，验证各方可保留其专有分析提示词的所有权。
- 论文arXiv：越狱、提示注入、投毒与防御
HiveTraceGuard-Pro：面向提示注入、越狱与对抗混淆的紧凑生成式护栏
HiveTraceGuard-Pro 是一个从 Qwen3-0.6B 经 LoRA 微调而来的 0.6B 生成式护栏，支持俄语和英语，用 safe/unsafe 二分类规则判定最终目标轮。在覆盖 19 个基准组（16 个公开）的对比中，其综合 key 为 0.7432，低于两个更高分护栏的 0.7641 和 0.7552；在 15 个模型对比中取得最高俄语鲁棒性 combined-F1（0.88）和俄语提示注入召回率（0.999），中位延迟 14.3 ms 为最低。整体 FPR 为 0.268、FNR 为 0.156，合并权重以 Apache-2.0 在 Hugging Face 发布，语料与评测集仍为内部。
- 论文arXiv：越狱、提示注入、投毒与防御
Agent Flight Recorder：为长时程工具调用智能体提供链上锚定的防篡改审计追踪
Agent Flight Recorder 将智能体每个动作记录为绑定意图、执行到来源等八个语义字段的规范化事件，通过哈希链与 Merkle 批处理实现防篡改和紧凑包含证明，并周期性将 epoch root 锚定上链，使任何持有载荷与 Merkle 证明的验证方可独立核验记录。在合成智能体负载的五种累积消融配置上，完整系统每事件中位延迟约 48 微秒、512 字节，L2 锚定在 100 事件 epoch 下每 10 万事件成本 $2.30，对编辑、删除、重排和分叉篡改的检测率为 100% 且零误报。结构化取证查询在护栏与委派查询上精确率达 1.0，非结构化文本搜索仅为 0.013 和 0.077。
- 论文arXiv：越狱、提示注入、投毒与防御
论文提出带类型溯源与断言护栏，防止持久化 AI Agent 把不可信输入当作自身历史
论文针对持久化 AI Agent 提出带类型溯源与断言护栏，要求关于 Agent、用户或具名关系的陈述满足已接受证据、时效性和披露策略。方法用带类型溯源图区分来源、依赖谱系、认知角色、有效性和披露范围，由 resolver 评估授权状态投影并返回证据状态、冲突、过期和保留标志，再由 generate-verify-revise 中介在发布前检查候选语义单元。在 24 个手工编写的一致性用例中，带类型中介未放行 19 个不安全机会中的任何一个，同时保留全部 5 个受支持控制；扁平/先验规则和来源标签规则分别放行了 19/19 和 18/19 的不安全候选。
- 论文arXiv：越狱、提示注入、投毒与防御
SEAL：通过共享专家对齐强化 MoE 全局安全
论文提出 SEAL，一种训练期参数高效防御方法，通过在 MoE 的共享专家上附加即插即用适配器来提升全局安全对齐。作者指出，MoE 的安全依赖稀疏路由激活了哪些专家，攻击者可通过越狱提示、恶意微调和剪除安全关键神经元来颠覆这一选择，而现有防御多聚焦加固路由器，仍可能被非确定性的路由轨迹绕过。SEAL 利用始终激活的共享专家作为与路由无关的锚点，其变体 SEAL++ 在训练中加入正交约束以保留已有安全子空间。在三种对抗输入（有害提示、越狱、恶意微调）与是否剪枝神经元组合成的六类攻击场景中，SEAL 将攻击成功率最多降低 60%，在五项基准平均上的能力损失最多 1.4%，并可无缝集成路由器级防御。
- 论文arXiv：越狱、提示注入、投毒与防御
AlcaTRAz：无需模型权重的规则树提示级越狱防御
AlcaTRAz 是一种基于规则树的提示级越狱防御，只作用于输入文本，不需要访问模型权重或内部结构，也无需修改或重训练目标模型。该方法自动学习一条可迁移的变换规则，在选定位置插入受控的字符级扰动，破坏越狱攻击所利用的结构规律，同时尽量保持模型对正常问题的表现。
- 论文arXiv：越狱、提示注入、投毒与防御
Sentinel-RL：将拓扑推理从 LLM 智能体中卸载到安全运营中心
Sentinel-RL 是一种将拓扑推理与语义推理解耦的智能体 SOC 架构，用异构图注意力编码器把实时认证子图压缩为固定维度状态，再由 PPO 策略映射到受限调查动作，LLM 智能体仅负责消费策略建议并生成分析师可读的叙述。在 LANL 综合多源网络安全事件数据集和印第安纳大学 Quartz HPC 集群上，两阶段 CREATE 摄取模式在单台 32 核节点上 14.2 分钟加载 2400 万条边认证子图，比基于 MERGE 的流水线快约 24 倍；PPO 训练 200 次迭代收敛至平均回合回报 8.74±0.31，在标注红队事件上留出集精确率 0.91、召回率 0.87；完整检测-调查-建议-人工批准循环中位耗时 6.3 秒。
- 论文arXiv：越狱、提示注入、投毒与防御
SAFEGuard：通过有害语义分析与流畅度测量检测优化型越狱攻击
研究者提出统一检测框架 SAFEGuard，用于检测基于优化的越狱攻击。该方法结合基于跨层分布距离与困惑度的混合流畅度测量，以及通过梯度匹配进行的有害语义分析。其依据的观察是：高流畅度提示仍保留与有害提示接近的恶意意图，而有害语义混淆的提示往往注入无意义 token 序列。评估显示 SAFEGuard 在不同优化型越狱上持续优于现有基线，准确率有显著提升。该论文发表于 EMNLP 2026。
- 论文arXiv：越狱、提示注入、投毒与防御
KITA：为 LLM Agent 设计密钥隔离的阈值签名授权架构
研究者提出 KITA，一种从审查到授权的架构，将用户个人签名密钥和所有阈值签名密钥份额置于所有 LLM 进程之外，以阻止提示注入从判断边界跨越到执行权限。在阈值签名不可伪造性和其系统假设下，攻击者即使攻陷提案方和少于 t 个审查签名域，也无法在没有 t 个不同域签名贡献的情况下为新动作生成有效授权，因此任何此类授权都包含来自未被攻陷域的份额，并绑定到规范动作、仅在通过认证的审查者批准后释放。作者用结构化输出 LLM 适配器和阈值 BLS 实现了完整的审查者到执行者路径，通过六项系统测试验证该接口上的法定人数门控与消息绑定，并用密码学微基准测量在线签名路径及其扩展行为。
- 论文arXiv：越狱、提示注入、投毒与防御
SRD-GUARD：通过语义改写与多模型联合评分暴露潜在意图的 LLM 防御框架
SRD-GUARD 是一个无需参数、黑盒的 LLM 越狱防御框架，通过语义改写与多模型共识评分暴露被角色扮演或虚构场景包装的隐藏意图。它对输入提示生成五个语义相关改写，在保留原始目标的同时去除多余情境包装，再由多个独立的 LLM 安全评分器在连续风险尺度上联合评估原始提示与改写版本。决策模块结合绝对风险阈值与原始、改写提示之间的相对风险变化，自适应地拦截、放行或警告请求。
- 论文arXiv：越狱、提示注入、投毒与防御
AIOS 的内核管理共享内存：面向系统级个性化的新抽象
研究提出"内核管理共享内存"，由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。该设计在 AIOS 上实现，用 GPT-4o、Llama-3.1:8B、Qwen-2.5:7B 三个助手模型共 1800 次试验，对比 Mem0 等三种方案：个性化得分提升 2.4-4.0 分（5 分制，GPT-4o 上 profile usage 从 1.05 升至 4.69），端到端延迟降低 15-61%，并减少每次调用的 token 用量与推理成本。
- 论文arXiv：越狱、提示注入、投毒与防御
HPD 与 HERALD：用跨层有害性传播轨迹检测越狱提示
论文提出有害性传播动力学（HPD）：对有害提示，最后一 token 隐状态在学得的危害方向上的投影随 Transformer 深度单调上升，而良性提示保持平坦或振荡，说明轨迹形状比单层快照更有信息量。基于此作者提出 HERALD，从跨层投影序列中提取斜率、曲率、单调性、起始层等七维特征，用 288 参数 MLP 分类；每层存一个 d 维方向（32 层、d=4096 模型约 262 KB），训练不需梯度计算，推理仅增加 2.6×10⁻⁶ 的 prefill FLOPs。
- 论文arXiv：越狱、提示注入、投毒与防御
FlowSeal：用信息流控制阻断 LLM Agent 的隐私泄露
论文指出，个人 AI 智能体现有的隐私防御靠后端 LLM 在攻击者可控的同一对话上下文中自行判断是否披露敏感信息，使防御机制与攻击面重合。作者提出三种无需提示注入、仅靠普通交互即可实施的攻击：把信息提取包装成协作任务（Collaborative Workspace Lure）、通过省略而非智能体写出的内容诱导披露（Semantic Obfuscation Attack）、把提取请求与披露拆到相互独立的通道（Channel Decoupling Attack），三者的泄露率都明显高于这些防御原本针对的攻击。据此作者提出 FLOWSEAL，在 LLM 上下文之外的工具层拦截器中，依据数据来源和带受控降密的信息流控制格执行保密。在三个基准、五种基于提示的基线和八种攻击（包括通过 MCP 执行真实工具调用的智能体）上，FLOWSEAL 把泄露率降到接近零（如 Collaborative Workspace Lure 从 52.2% 降到 0.5%），同时保持任务效用，且不依赖底层 LLM。
- 论文arXiv：越狱、提示注入、投毒与防御
SPARK：在 KV 记忆层对齐表征以防御视觉语言模型越狱
SPARK 是一个两阶段框架，通过在 prefill 阶段修复多模态 KV 记忆来降低视觉语言模型的越狱风险，且不修改推理时的模型参数。第一阶段用一次性诊断适配器定位多模态 key 和 value 表征中与危害相关的方向，第二阶段将这些方向投影剔除、学习轻量残差修复，并用图像结构先验锚定修复后的 key 以保持视觉接地。方法按 head 级系数混合修复与原始记忆，该系数由干预相关子空间能量决定，推理时无需显式危害分类器。
- 论文arXiv：越狱、提示注入、投毒与防御
LLM 答案发布中的审批完整性与恢复机制研究
研究在 Lightcap 发布执行机制中检验精确内容绑定、授权新鲜度与检查点恢复，基于 RAGTruth 的 900 条人工标注回答、150 个源任务和三个带日期的 Ministral 模型，共产生 3,600 次评估。14B 生产响应检查器在 302 条无支撑标注答案中接受 291 条，直接基线仅接受 41 条，支持答案保留率分别为 95.2% 和 66.9%。在 65 条初始获批答案中，最终有状态复查恢复策略相对初始检查点使精确匹配错误增加 9.23 个百分点（95% 文章聚类区间 [-1.72, 19.61]）；BIPIA 提示注入实验中 266 个有效编辑器输出零目标插入。
- 论文arXiv：越狱、提示注入、投毒与防御
综述提出面向工具调用 AI 智能体的授权架构
这篇综述针对工具调用 AI 智能体的授权问题，提出以人类用户、运营方、编排智能体、子智能体和工具端点构成的委托层级框架，并梳理五个相互依赖的层面：智能体身份与凭证生命周期、多跳链路上的委托与范围传播、策略执行点上的运行时执行与即时授权、作为授权绕过的提示注入，以及可审计性、溯源与不可否认性。作者从 2023 至 2026 年间约 180 篇候选文献中筛出 89 篇一手来源做结构化叙述性综述，据此提出七项结构性要求，推导出一套四层参考架构，并将这些要求应用到三种可部署的参考配置上。综述指出，运行时执行与聚合边界是当前最主要的未解决缺口。全文 70 页，含 8 张图和 10 张表。
- 论文arXiv：越狱、提示注入、投毒与防御
用 cunning questions 训练 LLM 警觉性，将九组模型基准平均 ASR 从 17.40% 降至 15.05%
论文提出用 cunning questions 培养大语言模型的警觉性，这类问题不一定与安全相关，但包含误导性前提、非常规推理或细微不一致。作者假设学会识破这类推理陷阱可以迁移到安全关键场景。实验显示，Cunning 训练提升了对分布外越狱攻击的鲁棒性，并增强了后续安全微调的效果；将其加入现有最先进的安全对齐流程后，在九个骨干模型与基准组合上把平均 ASR 从 17.40% 降至 15.05%。匹配安全微调后的轨迹分析表明，安全判断更可能在有害规划开始前主导模型响应。论文还给出条件性理论分析，刻画从 cunning 数据学到的不变性何时能迁移到安全相关输入。
- 论文arXiv：越狱、提示注入、投毒与防御
CaMeLoT：用 CTL 时序逻辑在执行前静态验证 Agent 计划
CaMeLoT 是面向工具调用型 LLM Agent 的提示注入防御方案，作为已有防御 CaMeL 的补充，在调用任何工具之前对 Agent 生成的计划做静态验证。它把计划转换为有限状态迁移系统，标注工具调用、来源与污点信息，再用 nuXmv 模型检查器对照以 CTL 表达的时序策略进行检验。由于验证发生在执行之前，不安全的计划会被直接拒绝，无需消耗 LLM 调用和工具调用，也省去了回滚改动或拆除临时沙箱的开销。验证失败时模型检查器会返回反例，供 Agent 据此修复计划。