全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
语言模型中的权威偏差：来源顺从与用户认同并非同一行为
论文测量了语言模型对“已验证来源”错误答案的顺从程度，发现单条声称已验证来源的注释会让八个模型中七个的 45–88% 原本正确回答被翻转，且顺从率随来源措辞的权威程度上升。作者在五个开源权重模型族和三个闭源 API 上做行为对比，并在 Qwen3.5、GPT-OSS、OLMo-3.1 上用激活方向移除与归因补丁做因果实验：移除来源方向可把对错误来源的顺从降低约 65–80 个百分点，而移除用户或助手方向影响小得多，移除用户方向则呈现相反偏好。用 trivia 拟合的权威方向无需重新拟合即可迁移到 PIQA 和多轮 SYCON 对话，移除后在五个开源模型族中的四个降低了错误来源顺从，在 MMLU-Pro 与 GSM8K 上未检测到准确率变化。作者据此认为来源顺从与用户认同需要分开评测，并指出该结果不构成对提示注入的防御。
- 论文arXiv
Llama 3 模型群：405B 稠密 Transformer 与 Llama Guard 3 安全模型
Meta 发布 Llama 3 模型群，最大模型为 405B 参数的稠密 Transformer，上下文窗口最高 128K tokens，原生支持多语言、编程、推理与工具使用。评测显示其在大量任务上质量与 GPT-4 相当，并公开释出 405B 的预训练与后训练版本及输入输出安全模型 Llama Guard 3。论文还通过组合式方法将图像、视频和语音能力接入 Llama 3，在识别任务上表现与 SOTA 相当，但这些多模态模型仍在开发中，尚未广泛发布。
- 动态Jev Gateway Study
Jev 与开源决策模型的提示注入检测器基准测试
该基准在同一台 Apple M4 机器上对比 Jev 1.13.0、Kev-4B、Kev-0.8B、Laya、GLiNER2.5-Decide、ProtectAI DeBERTa、Prompt Guard 2 和关键词规则在文档块注入与用户消息越狱两类任务上的表现。文档块测试中 Jev AUC 为 1.00、冻结阈值下召回 100%、误报 8%，Kev-4B 为 0.90 和 70%，Prompt Guard 2 为 0.83 和 19%；对不直接提及 AI 的隐蔽攻击，Jev 召回 97%，Kev-4B 62%，三个专用注入分类器接近随机水平。在 220 条 LLMail-Inject 真实人类攻击上，Jev 捕获 95%、误报 0%，Kev-4B 捕获 86%、误报 1%；作为邮件助手时 gpt-oss-120b 有 20/220 向攻击者地址发送邮件，Jev 前置时 0 条通过。
- 论文arXiv：可解释性
Matryoshka Attribution：把语言模型输出归因到表示与权重
作者提出 Matryoshka Attribution（MAttr），把归因问题定义为寻找能最小化下游损失的嵌套内部组件子集，并用可微的 sigmoid top-k 算子参数化掩码。训练时随机化 k 以同时监督所有稀疏度，从而得到按归因分数排序的组件序列。MAttr 在 Mechanistic Interpretability Benchmark（Mueller 等，2025）官方排行榜上排名第一，能在不同电路基上识别稀疏且可跨任务迁移的电路。
- 论文arXiv：可解释性
CAM-Steer：面向大语言模型的多类别自适应安全引导框架
研究者提出 CAM-Steer，一个类别自适应的多类别安全引导框架，用于在推理阶段修改模型内部激活而不更新参数，从而降低有害提示的不安全回复。该方法通过比较当前隐藏状态与安全、不安全原型来估计各危害类别的风险，再据此把不同类别的安全方向组合成单一引导方向并确定干预强度，最后沿该方向旋转隐藏状态，旋转角度由风险估计决定，同时保持隐藏状态范数不变。在三个 LLM 基座和七个危害类别上的实验显示，CAM-Steer 在平均防御成功率上优于所评估的基线，包括多个类别同时出现的情形，且推理开销可忽略。
- 论文arXiv：可解释性
减少谄媚能否增强拒答？机制可解释性带来的 AI 安全启示
研究用补偿性特征注入（CFI）检验减少谄媚是否能提升模型对有害请求的拒答能力。作者在三个 Qwen3.5 基座模型上用稀疏自编码器（SAE）从谄媚与独立回答的配对中找出排名最高的谄媚特征，并通过推理引导验证其行为影响，再在谄媚目标的监督微调中注入该特征。正向注入在移除后使学到的谄媚下降，35B-A3B 上相对普通微调降低 62.0%，而适度负向注入反而增加谄媚。谄媚的下降并未稳定改善对有害请求的直接拒答，但在用户施压场景下，普通微调会显著削弱拒答，而正向注入训练的部分检查点恢复了部分损失，35B-A3B 上约恢复 95%。
- 论文arXiv：越狱、提示注入、投毒与防御
Skill-as-API：面向智能体软件工程的机密多智能体协作协议
Skill-as-API 是一种协议层协调方案，让 AI 编程智能体在互相调用技能时只公开技能名称、描述、类型化输入/输出 schema 和信任层级，技能本体以闭包形式留在所有者进程内、永不跨网络传输。该协议通过四层机制实现访问控制，并从结构上收窄提示注入面，而非依赖内容过滤。作者在 XMTP 上给出开源 Python 实现，跨洲热重连延迟为 1.8-2.9 s，并以三个智能体协作完成 pull-request 审查为案例，验证各方可保留其专有分析提示词的所有权。
- 论文arXiv：越狱、提示注入、投毒与防御
HiveTraceGuard-Pro：面向提示注入、越狱与对抗混淆的紧凑生成式护栏
HiveTraceGuard-Pro 是一个从 Qwen3-0.6B 经 LoRA 微调而来的 0.6B 生成式护栏，支持俄语和英语，用 safe/unsafe 二分类规则判定最终目标轮。在覆盖 19 个基准组（16 个公开）的对比中，其综合 key 为 0.7432，低于两个更高分护栏的 0.7641 和 0.7552；在 15 个模型对比中取得最高俄语鲁棒性 combined-F1（0.88）和俄语提示注入召回率（0.999），中位延迟 14.3 ms 为最低。整体 FPR 为 0.268、FNR 为 0.156，合并权重以 Apache-2.0 在 Hugging Face 发布，语料与评测集仍为内部。
- 论文arXiv：越狱、提示注入、投毒与防御
Agent Flight Recorder：为长时程工具调用智能体提供链上锚定的防篡改审计追踪
Agent Flight Recorder 将智能体每个动作记录为绑定意图、执行到来源等八个语义字段的规范化事件，通过哈希链与 Merkle 批处理实现防篡改和紧凑包含证明，并周期性将 epoch root 锚定上链，使任何持有载荷与 Merkle 证明的验证方可独立核验记录。在合成智能体负载的五种累积消融配置上，完整系统每事件中位延迟约 48 微秒、512 字节，L2 锚定在 100 事件 epoch 下每 10 万事件成本 $2.30，对编辑、删除、重排和分叉篡改的检测率为 100% 且零误报。结构化取证查询在护栏与委派查询上精确率达 1.0，非结构化文本搜索仅为 0.013 和 0.077。
- 论文arXiv：越狱、提示注入、投毒与防御
论文提出带类型溯源与断言护栏，防止持久化 AI Agent 把不可信输入当作自身历史
论文针对持久化 AI Agent 提出带类型溯源与断言护栏，要求关于 Agent、用户或具名关系的陈述满足已接受证据、时效性和披露策略。方法用带类型溯源图区分来源、依赖谱系、认知角色、有效性和披露范围，由 resolver 评估授权状态投影并返回证据状态、冲突、过期和保留标志，再由 generate-verify-revise 中介在发布前检查候选语义单元。在 24 个手工编写的一致性用例中，带类型中介未放行 19 个不安全机会中的任何一个，同时保留全部 5 个受支持控制；扁平/先验规则和来源标签规则分别放行了 19/19 和 18/19 的不安全候选。
- 论文arXiv：越狱、提示注入、投毒与防御
SEAL：通过共享专家对齐强化 MoE 全局安全
论文提出 SEAL，一种训练期参数高效防御方法，通过在 MoE 的共享专家上附加即插即用适配器来提升全局安全对齐。作者指出，MoE 的安全依赖稀疏路由激活了哪些专家，攻击者可通过越狱提示、恶意微调和剪除安全关键神经元来颠覆这一选择，而现有防御多聚焦加固路由器，仍可能被非确定性的路由轨迹绕过。SEAL 利用始终激活的共享专家作为与路由无关的锚点，其变体 SEAL++ 在训练中加入正交约束以保留已有安全子空间。在三种对抗输入（有害提示、越狱、恶意微调）与是否剪枝神经元组合成的六类攻击场景中，SEAL 将攻击成功率最多降低 60%，在五项基准平均上的能力损失最多 1.4%，并可无缝集成路由器级防御。
- 论文arXiv：越狱、提示注入、投毒与防御
AlcaTRAz：无需模型权重的规则树提示级越狱防御
AlcaTRAz 是一种基于规则树的提示级越狱防御，只作用于输入文本，不需要访问模型权重或内部结构，也无需修改或重训练目标模型。该方法自动学习一条可迁移的变换规则，在选定位置插入受控的字符级扰动，破坏越狱攻击所利用的结构规律，同时尽量保持模型对正常问题的表现。
- 论文arXiv：越狱、提示注入、投毒与防御
Sentinel-RL：将拓扑推理从 LLM 智能体中卸载到安全运营中心
Sentinel-RL 是一种将拓扑推理与语义推理解耦的智能体 SOC 架构，用异构图注意力编码器把实时认证子图压缩为固定维度状态，再由 PPO 策略映射到受限调查动作，LLM 智能体仅负责消费策略建议并生成分析师可读的叙述。在 LANL 综合多源网络安全事件数据集和印第安纳大学 Quartz HPC 集群上，两阶段 CREATE 摄取模式在单台 32 核节点上 14.2 分钟加载 2400 万条边认证子图，比基于 MERGE 的流水线快约 24 倍；PPO 训练 200 次迭代收敛至平均回合回报 8.74±0.31，在标注红队事件上留出集精确率 0.91、召回率 0.87；完整检测-调查-建议-人工批准循环中位耗时 6.3 秒。
- 论文arXiv：越狱、提示注入、投毒与防御
研究：拒答方向可跨架构迁移，安全工具可按写入位置重新估计
论文研究拒答在语言模型内部的位置是否随架构改变。作者发现，在 Transformer 中由残差流单一方向控制的拒答表征，在状态空间模型（SSM）中依然存在：一个刚性旋转即可对齐两种模型的表征空间，使二者真正共享该表征。在 Transformer 上训练的伤害探针能标记 SSM 的有害输入，移除对齐后的方向会让模型回答原本拒答的攻击，而同等大小的随机方向效果远弱。架构差异不在方向被施加的位置，而在必须读取的位置：每层计算的新输出在加入残差流之前，即写入位置，伤害可被清晰读出；固定干预强度的对照实验显示，关键是在哪里估计方向，而非在哪里施加。
- 论文arXiv：越狱、提示注入、投毒与防御
SAFEGuard：通过有害语义分析与流畅度测量检测优化型越狱攻击
研究者提出统一检测框架 SAFEGuard，用于检测基于优化的越狱攻击。该方法结合基于跨层分布距离与困惑度的混合流畅度测量，以及通过梯度匹配进行的有害语义分析。其依据的观察是：高流畅度提示仍保留与有害提示接近的恶意意图，而有害语义混淆的提示往往注入无意义 token 序列。评估显示 SAFEGuard 在不同优化型越狱上持续优于现有基线，准确率有显著提升。该论文发表于 EMNLP 2026。
- 论文arXiv：越狱、提示注入、投毒与防御
KITA：为 LLM Agent 设计密钥隔离的阈值签名授权架构
研究者提出 KITA，一种从审查到授权的架构，将用户个人签名密钥和所有阈值签名密钥份额置于所有 LLM 进程之外，以阻止提示注入从判断边界跨越到执行权限。在阈值签名不可伪造性和其系统假设下，攻击者即使攻陷提案方和少于 t 个审查签名域，也无法在没有 t 个不同域签名贡献的情况下为新动作生成有效授权，因此任何此类授权都包含来自未被攻陷域的份额，并绑定到规范动作、仅在通过认证的审查者批准后释放。作者用结构化输出 LLM 适配器和阈值 BLS 实现了完整的审查者到执行者路径，通过六项系统测试验证该接口上的法定人数门控与消息绑定，并用密码学微基准测量在线签名路径及其扩展行为。
- 论文arXiv：越狱、提示注入、投毒与防御
SRD-GUARD：通过语义改写与多模型联合评分暴露潜在意图的 LLM 防御框架
SRD-GUARD 是一个无需参数、黑盒的 LLM 越狱防御框架，通过语义改写与多模型共识评分暴露被角色扮演或虚构场景包装的隐藏意图。它对输入提示生成五个语义相关改写，在保留原始目标的同时去除多余情境包装，再由多个独立的 LLM 安全评分器在连续风险尺度上联合评估原始提示与改写版本。决策模块结合绝对风险阈值与原始、改写提示之间的相对风险变化，自适应地拦截、放行或警告请求。
- 论文arXiv：越狱、提示注入、投毒与防御
论文提出拒答的几何解释：事后安全训练脆弱，预训练期持续安全共训更抗攻击
论文从几何角度解释事后安全训练（RLHF、DPO）为何脆弱：在五个模型家族上，安全更新 Δ 与模型能力方向近乎正交，只集中在少数高曲率方向，相当于在完整能力之上加了一道拒答闸门，而非抹除能力。核不动性引理说明这类更新只能掩盖能力，因此少量良性微调就能恢复：100 条良性样本让 Qwen-2.5-7B-Instruct 和 Llama-3-8B-Instruct 在 AdvBench 上的拒答率下降 35–38 个百分点。OLMo-2-1B 的预训练检查点扫描显示，拒答所依附的特征在 1B 到 63B 预训练 token 之间急剧出现。在整个预训练过程中持续加入安全共训练、从头训练的模型，在 410M 到 6.9B 各规模上达到 87%–98% 的 AdvBench 拒答率，同样的攻击只让它下降 2–14 个百分点，代价是短答案能力探针上的少量损失；总安全权重相同但只在一个窗口内加入则装不上拒答。作者的结论是，带来攻击鲁棒性的是安全信号在预训练中的持续性，而不是加入的时机。
- 论文arXiv：越狱、提示注入、投毒与防御
ACEA：面向红蓝队对抗的 LLM 协同演化测试平台
研究者提出 ACEA（Adversarial Co-Evolution Arena），一个把可插拔红队适配器与蓝队适配器接到同一靶标 LLM 上、由 LLM judge 对攻防成功率打分的对抗协同演化平台。平台通过最小化的 HTTP 协议 ACEA Standard Adapter Protocol（ASAP）接入任意语言编写的红队或蓝队项目，只暴露该协议即可成为完整参与者。评测方法上，向靶标注入规范化的秘密作为可验证真值，以区分真实泄露与模型幻觉；即使防御拦截了攻击，也仍把攻击发给靶标，从而独立测量攻击的原始效力，得到每轮攻击强度与防御有效性的分解。
- 论文arXiv：越狱、提示注入、投毒与防御
后验重加权框架解释并缓解多模态大模型上下文越狱
论文提出后验重加权框架，把安全对齐的多模态大语言模型（MLLM）建模为在安全与有害行为模式之间竞争，将上下文中的有害示例视为推理时证据，动态改变模型对两类行为的后验偏好。该视角把越狱形式化为证据累积过程，并给出关于示例数量、有害比例、对抗强度和语义多样性的可预测缩放规律。基于此，作者提出一种后验感知的推理时防御，按估计风险自适应注入良性反证据，在固定干预预算下抑制有害后验漂移，同时保持模型效用，相比现有上下文防御取得更好的鲁棒性与效用权衡。作者称该框架可统一理解并缓解 MLLM 的上下文学习越狱。
- 论文arXiv：越狱、提示注入、投毒与防御
AIOS 的内核管理共享内存：面向系统级个性化的新抽象
研究提出"内核管理共享内存"，由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。该设计在 AIOS 上实现，用 GPT-4o、Llama-3.1:8B、Qwen-2.5:7B 三个助手模型共 1800 次试验，对比 Mem0 等三种方案：个性化得分提升 2.4-4.0 分（5 分制，GPT-4o 上 profile usage 从 1.05 升至 4.69），端到端延迟降低 15-61%，并减少每次调用的 token 用量与推理成本。
- 论文arXiv：越狱、提示注入、投毒与防御
HPD 与 HERALD：用跨层有害性传播轨迹检测越狱提示
论文提出有害性传播动力学（HPD）：对有害提示，最后一 token 隐状态在学得的危害方向上的投影随 Transformer 深度单调上升，而良性提示保持平坦或振荡，说明轨迹形状比单层快照更有信息量。基于此作者提出 HERALD，从跨层投影序列中提取斜率、曲率、单调性、起始层等七维特征，用 288 参数 MLP 分类；每层存一个 d 维方向（32 层、d=4096 模型约 262 KB），训练不需梯度计算，推理仅增加 2.6×10⁻⁶ 的 prefill FLOPs。
- 论文arXiv：越狱、提示注入、投毒与防御
SPARK：在 KV 记忆层对齐表征以防御视觉语言模型越狱
SPARK 是一个两阶段框架，通过在 prefill 阶段修复多模态 KV 记忆来降低视觉语言模型的越狱风险，且不修改推理时的模型参数。第一阶段用一次性诊断适配器定位多模态 key 和 value 表征中与危害相关的方向，第二阶段将这些方向投影剔除、学习轻量残差修复，并用图像结构先验锚定修复后的 key 以保持视觉接地。方法按 head 级系数混合修复与原始记忆，该系数由干预相关子空间能量决定，推理时无需显式危害分类器。
- 论文arXiv：越狱、提示注入、投毒与防御
PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器
研究者提出 PIDS-Bench，一个冻结的多轴基准，在固定阈值下同时评测提示注入检测器的攻击检测能力与良性误报行为，覆盖分布内输入、模仿注入结构但无恶意的 hard-benign 提示、混淆攻击以及领域和结构分布偏移。评测涵盖七个检测器（学习型基线、外部提示注入分类器、广义安全对比模型）以及一个基于规则的下界参考。多轴评测暴露出聚合 F1 掩盖的失效模式：在留出集上 F1 超过 0.98 的检测器，仍会把来自公开语料、限定于安全相关内容的良性子集约三分之一误判。在完整阈值扫描和五个训练种子上，没有内部检测器能在该压力分布上同时满足 F1 >= 0.95 与 hard-benign FPR <= 0.10。