全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv
RMCW：基于 Reed-Muller 码的抗删除 LLM 水印方法
研究者提出 RMCW，一种基于 Reed-Muller 码的大语言模型水印方法，用于应对删除攻击导致的 token 位置偏移和水印对齐失效。生成阶段通过密钥化的词表划分把 Reed-Muller 结构注入文本序列；检测阶段将文本映射到密钥词表分箱，并用 Berlekamp-Welch 检验测试局部子序列的低次 Reed-Solomon 一致性，从而寻找存活的局部代数结构而非恢复全局码字。在 C4 和 ELI5 数据集、OPT-1.3B 与 Llama-3.1-8B-Instruct 上的实验显示，RMCW 保持较强的干净文本可检测性，并在多种删除与改写攻击下优于或持平基线方法。代码已开源于 https://github.com/BaichengDanny/RMCW。
- 论文arXiv
HXAI：分布式能源系统中的分层隐私保护可解释 AI 框架
HXAI 是一个面向电网级需求管理的分层隐私保护可解释 AI 框架，由在安全私有环境内生成细粒度解释的本地模型，与聚合这些解释以支持电网级分析的区域模型两部分组成。该框架通过灵活的隐私预算管理限制重复查询下的累积隐私暴露，在模拟与真实能源数据集上既能提供区域负载管理洞见，又确保家电级用电数据始终留在本地、不传输给电网运营商。结果表明，在差分隐私下保留解释的语义结构而非最小化数值误差，是可解释 AI 的关键。
- 论文arXiv
ExecCert：为机器遗忘提供可执行发布认证
研究者提出 Executable Release Certification（ExecCert），在发布环节对候选模型产物进行认证，以弥合机器遗忘数学保证与实际部署之间的差距。ExecCert 要么为已执行的候选关闭方法原生证书，要么通过 Retraining-Reference Release Verification（RRV）认证其与当前保留集重训练的保真度。针对冻结表示加可变 ridge head 的情形，作者给出 RRV 的增量实现，在多次删除请求间维持认证证据而非每次发布重建。在四个已发表的遗忘实现上，ExecCert 保持有效证书、改变发布决策、收紧保守边界，并识别出具体输出所支持的保真度；顺序服务实验中，RRV 消除了存储方程验证导致的错误发布，同时贴近实际误差。
- 论文arXiv：越狱、提示注入、投毒与防御
Persona Guardrail：面向智能体系统的生产级防御框架
作者提出 Persona Guardrail，通过基于智能体预定功能的输入输出校验限定其行为范围。摘要报告，在 PAGE 评测中，相较通用 LLM 护栏，整体准确率、域外检测率和误放行率均有改善。作者称该框架已用于生产部署并满足延迟预算；这些是论文摘要中的自报结果，本条没有独立复现，不能推及未测场景或普遍安全保证。
- 论文arXiv：越狱、提示注入、投毒与防御
LS-AR 双通道架构：文本目标丢弃可抵御提示注入但引入潜在向量攻击面
研究者提出 Latent-Steered Autoregressive（LS-AR）双通道架构，通过 FiLM 条件将连续目标引导与离散 token 解码解耦，以解决标准自回归模型无法隔离宏观目标与上下文噪声的问题。在超出上下文限制的长程检索任务（H=1024, W=500）中，LS-AR（Static）实现 100% 目标召回，而参数匹配的基线完全崩溃（0%），同时吞吐量提升约 35%，峰值 VRAM 降低 52.8%。在 Blocksworld 规划任务中，LS-AR（Dynamic）在强制扰动（k=1）下保持 89.0% 完成率，基线为 71.0%，但零样本实体扩展（N 到 N+1）暴露出单向量容量限制（0%）。双通道权限分析显示，文本目标丢弃会建立潜在主导控制，为文本提示注入提供结构性防御，但同时引入潜在向量攻击面。
- 论文arXiv：越狱、提示注入、投毒与防御
SecJev：为 System One 决策模型引入安全专业知识
研究者提出 SecJev，据称是首个面向安全的 Jev 类决策模型家族，参数规模覆盖 0.8B 至 9B，基于 Kev 的单次候选打分器，从文本、遥测和观测历史中学习布尔、选择与有序决策。团队构建 SecJev-Corpus，统一 14 项任务、8 类来源的源标签预测与显式策略评估，覆盖工具输出、流量、联邦更新、共识、认证与车辆消息。安全专业化使家族中每个模型均有提升，SecJev-0.8B 在任务宏平均准确率上超过通用 Kev-9B 达 20.51 个百分点，并在提示注入与流量决策上复现增益，同时伴随依赖捕获的误报。
- 论文arXiv：越狱、提示注入、投毒与防御
研究揭示无触发投毒审计缺口：事实答对不等于决策正确
Lin Tian 与 Marian-Andrei Rizoiu 提出无触发虚假信息投毒场景，即虚假内容在训练阶段进入模型、后续提示不含任何激活线索，并设计 Guess the Capital 决策任务检验直接问答能否预测下游决策。在八个模型、剂量 1,000 的设置下，直接注入选项率达到 95.8%–100%，而游戏中的注入选择仅比匹配的真实训练高出 1.7–14.4 个百分点；通过直接探针的事实仍会把决策推向注入答案，游戏准确率下降 3.3–26.4 个百分点。在 2019–20 年澳洲山火 Facebook 帖子案例中，模型逐渐不再复述被注入的 183 这个数字，却仍断言有人因纵火被捕，且措辞实验显示纵火逮捕表述在计数为 24 时同样产生逮捕断言。研究还发现，用真实事实做纠正训练能恢复事实问答，但被投毒模型在游戏中的准确率仍接近随机水平。
- 论文arXiv：越狱、提示注入、投毒与防御
论文提出在 Kubernetes 上保护 AI Agent 的七层纵深防御框架与参考架构
论文主张不应把模型本身当作安全边界，Agent 在 Kubernetes 上的安全应作为基础设施问题处理，所有保证都需在 Agent 已被提示注入完全攻陷的假设下成立。作者提出十类威胁分类法（对齐 OWASP 智能体应用指南）、九条设计原则（核心是工具边界的完全中介，以及打破不可信输入、敏感访问与外部外发三者的组合）、七层纵深防御框架，并映射到工作负载身份、RBAC 与 ValidatingAdmissionPolicy、基于 SIG Apps Agent Sandbox 项目的 gVisor/Kata 沙箱、FQDN 感知的外发策略、带策略即代码的 Agent/MCP 网关与 eBPF 运行时执行等 Kubernetes 原生机制。作者未报告实测的攻击成功率或性能开销数据，而是列出残余风险和验证该框架所需的测量项。
- 论文arXiv：越狱、提示注入、投毒与防御
研究提出基于收缩约束状态空间模型的有界可达性与越狱检测方法
论文研究基于状态空间模型（SSM）的安全头何时能被认证为对嵌入空间有界扰动内的所有输入给出相同预测，证明关键在于状态转移矩阵的 l∞ 范数满足收缩条件（‖A‖∞<1），此时可对线性时不变分类器做精确区间界传播（IBP）认证。收缩条件成立时可达输出区间稳态宽度有界，样本可被认证为鲁棒分类；条件不成立时区间随序列长度指数增长，任何实际扰动半径下都无法认证。作者用 hinge 惩罚强制收缩，在有毒评论数据上把认证比例从 41% 提升到 59%，并在 ‖A‖∞=1 处观察到与理论一致的相变。将收缩正则化的 S4 头用于 JailbreakBench 越狱检测，零样本迁移到 AdvBench 的 DR=0.994、HarmBench 的 DR=0.988。
- 论文arXiv：越狱、提示注入、投毒与防御
DNAlign：面向 LLM 的动态零空间安全对齐框架
DNAlign 是一种轻量级安全对齐框架，将控制论优化与零空间投影结合，把 LLM 视为动态系统并施加可控扰动以引导生成走向安全行为。其投影模块将扰动限制在由中性隐藏状态导出的有害相关子空间内，从而保留通用知识与回答质量；基于人类偏好数据训练的价值函数自适应优化控制信号。在多个 LLM 基座上的评测显示，该框架持续减少有害输出，同时保持流畅性、连贯性与事实效用，整体表现优于既有对齐基线且未牺牲生成多样性。
- 论文arXiv：越狱、提示注入、投毒与防御
论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护
一篇论文提出评估并提升大语言模型对对抗性输入序列变化鲁棒性的模型、方法与算法，核心是名为 R_stab(f) 的生成式鲁棒性度量，基于小输入扰动下逐步输出分布之间的 Jensen-Shannon 散度。针对 LLM-as-a-Judge 系统，作者提出自适应进化黑盒攻击 ASA，攻击成功率最高达 73.8%，在开源模型间迁移率最高 62.6%。在 Trojan Detection Challenge 2023 数据（Pythia-1.4B）上，替代触发器达到约 0.99 的 REASR，而真实触发器召回率约 0.17，基线约 0.14。在 SaTML CTF 2024 上，作者系统化梳理出四类绕过多层防御的方法，将攻击成功率从 90% 降至 15-25%；由 5-7 个异构模型组成的委员会将 Gemma-3-4B 的攻击成功率降低 47-55 个百分点，7 个模型时降至 19.3%。
- 论文arXiv：越狱、提示注入、投毒与防御
Whiteout：用混淆样本阻止 LLM 泄露个人敏感信息
研究者提出 Whiteout，一种在个人提出请求后阻止 LLM 复述其真实个人敏感信息（PSI）的工具，做法是用精确设计的混淆样本覆盖这些信息。作者指出，现有基于机器遗忘的缓解方法往往删除过多信息、损害模型效用与安全性，且易受攻击。Whiteout 在多家厂商、不同规模的现代 LLM 上评估，其中包括一款广泛使用的 OpenAI 模型，结果显示它能有效阻止目标 PSI 被披露，对模型效用与安全性影响可忽略，并优于现有替代方案。研究还测试了 Whiteout 对黑盒攻击（如越狱）和白盒自适应攻击（如重学习、量化）等反制手段的鲁棒性，并讨论了其安全与伦理影响。
- 论文arXiv：越狱、提示注入、投毒与防御
研究者提出意图隐藏越狱的信息论框架，分析组合式攻击
研究者从信息论角度研究组合式意图隐藏越狱，即把有害请求嵌入看似无害的更大查询中以绕过拒答。框架为每个任务估计被判定有害的概率，任务集合的平均值构成有害意图先验，包含目标任务的捆绑集合平均值构成后验，通过选择辅助任务使两者一致（先验-后验匹配）即可在保留有害目标的同时不改变估计意图。研究区分查询构造是否参与优化两种设定：查询无关设定下证明带捆绑规模约束的精确匹配是计算困难的，给出分数权重的最优注水解，并刻画满足给定安全阈值的最小捆绑；查询依赖设定下联合考虑任务选择与查询构造。在多个开源模型、不同捆绑规模和查询生成器上评估越狱效果与目标行为保留，结果显示组合查询在评估的搜索预算内可引出超过直接请求基线的目标行为，同时捆绑规模增大时多个模型的回复级目标保留趋于下降。
- 论文论文追踪
OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准
研究者提出 OLMo-Detect，一个基于完全开放的 OLMo 2 流程构建的多阶段、混淆控制成员推断基准，覆盖预训练、中期训练和后训练，并在三个关键维度上对齐成员与非成员，同时用 infini-gram 严格过滤非成员。研究还引入成员与非成员错位的 OLMo-Detect（Shifted）变体以评估分布偏移下的鲁棒性，并在 OLMo 2 系列上评测了 15 种无监督和 3 种有监督成员推断攻击。结果显示：最佳无监督与有监督攻击的 AUC 均仅为 0.68，有监督攻击在跨域评测中性能下降；攻击性能在中期训练阶段最高，这一模式由数据类型而非阶段效应驱动，人工整理的数学数据远比其他类型更易被检测；整体分数从 1B 到 13B 提升但在 32B 趋于平台；没有无监督攻击能抵御分布偏移，AUC 变化幅度最高达 0.42。研究称这些结论可推广到 OLMo 3 和非 OLMo 模型。
- 论文论文追踪
CorrectGuard 提出黑盒安全护栏的免查看正确性估计框架
研究者提出 CorrectGuard，一个面向黑盒安全护栏的免查看正确性估计框架，用于在人类不可查看用户输入和机器不可查看输入两种场景下评估护栏表现。该方法仅使用有标注的可查看数据训练独立的模型评估器，预测护栏对不可访问输入的判定是否正确，无需接触护栏内部。研究在涵盖有害内容、越狱、提示注入和提取的 13 个安全数据集上，以留一数据集方式评估上下文学习、嵌入向量和微调三类正确性模型，并将开源权重护栏统一视为黑盒。结果显示，基于上下文学习的正确性分类器在两种场景下均显著提升错误识别能力，宏观准确率最高提升 25 个百分点，基于微调的方法提升近 15 个百分点，但不同护栏和留出数据集之间差异明显。
- 论文论文追踪
SideKernel：面向 macOS 上 AI 编码 Agent 的 microVM 沙箱
佐治亚理工的一项硕士安全实践项目提出 SideKernel，一个面向 AI 编码 Agent 的开源本地 microVM macOS 沙箱，目标是提升可用性。作者先做在线用户调研，发现不到 40% 的 AI 编码 Agent 用户会在沙箱中运行 Agent，并归纳出阻碍沙箱采用的主要可用性障碍。随后作者按五项纳入标准筛选市面上的沙箱，围绕调研得出的 23 项能力测试，将 SideKernel 与符合条件的沙箱做对比分析，结果显示只有少数沙箱与 SideKernel 类似，其中 Docker Sandboxes 与 SideKernel 在可用性相关能力上得分最高。论文的另一项贡献是梳理本地、开源、基于 microVM 的 macOS AI 编码 Agent 沙箱现有方案。
- 论文论文追踪
研究：异构 AI 模型间的说服效果取决于配对而非模型规模
一项研究测量了不同 AI 模型在意见分歧时的说服效果，发现当模型意见不一致时，接收方往往在看到同伴的答案和解释后放弃自己的初始判断。研究测试了七个开源权重模型在三个语言理解任务上的表现，发现单独的确定性或模型规模都无法可靠预测说服动态：在孤立状态下决策几乎完全一致的模型可能最容易受说服，小模型作为说服者可以匹敌大模型，也能同样有效地抵抗影响。研究还表明，判断偏移的大小更多取决于听者的易感性而非说者的说服力，说服模式因模型配对而异，异构性在某些组合中放大说服、在另一些组合中抑制说服，使运行小模型的异议智能体能够推翻大得多的模型的判断。研究结论是，交互模型的行为无法从其个体属性推断，必须在它们实际运行的组合中评估。
- 论文Hugging Face Daily Papers
HyperBrowseComp：面向网页浏览 Agent 的多语言多模态压力测试基准
研究者发布 HyperBrowseComp，一个面向网页浏览 Agent 的多语言、多模态基准，包含 423 道由母语或高水平使用者人工编写并验证的题目，覆盖 13 种语言。题目要求给出简短且可公开核实的答案，需要定位冷门证据、追踪多步线索链，或查阅视频、扫描文档、图像、地图等异构来源。为降低仅靠参数化知识作答的可能，作者用无联网模型筛除较容易的题目。评测在统一 Agent 协议下，使用模型厂商自带搜索与共享外部检索框架两种方式，并对部分题目做了人类评估以对照模型表现与投入。
- 论文arXiv：可解释性
检测与抑制：针对 VLA 模型对抗补丁的机制可解释性防御
研究者用稀疏自编码器（SAE）分析 VLA 模型内部表征，找到一个激活与对抗补丁存在强相关的特征，并仅在线性探针检测到攻击时于推理阶段抑制该特征，无需微调即可提升鲁棒性。在 LIBERO-10 上的对抗补丁攻击测试中，条件式干预提升了间歇性攻击下的成功率，而持续施加同一干预会显著损害策略性能，表明控制干预时机对减少对正常策略行为的干扰至关重要。
- 论文arXiv：可解释性
DINOv2 中 register token 与高范数 patch token 的功能角色解析
研究用稀疏自编码器（SAE）分析 DINOv2 中 register token 与高范数离群 patch token 的功能分工，发现 register token 特征更关联高层语义概念，离群 token 特征则多对应背景与纹理等低层结构模式。因果消融显示明显功能不对称：破坏 register 特征使表征余弦相似度下降 48.17%，破坏离群特征仅下降 0.31%，为自监督 ViT 的 token 专门化提供证据。
- 论文arXiv：可解释性
研究者提出可认证机制编辑：在连续输入区域上证明技能移除与保留
研究者提出可认证机制编辑，用形式化方法证明一次编辑能在指定连续输入区域移除目标技能并保留另一技能。作者在小型分段线性网络上用精确SMT求解，在含softmax和LayerNorm的小型Transformer上用CROWN边界传播，并以攻击给出可比较的上界。论文构造出通过密集测试却仍在极小区域保留技能的编辑，说明有限确定性黑盒测试不能提供这种区域保证。结论是概念验证，依赖技能具有可判定的形式化规格；尚未证明能直接移除大型模型中复杂的现实危害。
- 论文arXiv：可解释性
Patch-to-Prune：在 Qwen2.5-VL 与 LLaVA 上剪枝视觉计算
受机制可解释性启发，研究者提出免训练框架 Patch-to-Prune（P2P），把激活修补从诊断工具变为推理时的计算旁路，用固定中性代理激活向量替换部分解码器层的视觉 token 投影输出。在 Qwen2.5-VL 和 LLaVA 四个 VLM、七个多模态基准上，3% 容差下保留约 94% 稠密准确率，FLOPs 降低 55%。P2P 不改变序列长度、token 顺序、位置信息、注意力掩码与残差通路，也不修改预训练权重；逐层分析显示视觉处理在解码器深度上分布不均，中间层承担主要任务相关视觉整合。
- 论文arXiv：可解释性
预测引导向量与适配器权重实现少样本作者风格迁移
研究针对科学写作中少样本作者风格迁移难题，提出对比激活引导、引导向量预测网络和预测 LoRA 适配器的超网络三种方法。结果显示风格模仿与输出质量存在权衡：微调获得最多风格信号但损失流畅度，超网络在已见和未见作者上取得最佳平衡。作者级引导无需预定义风格清单，且手动提取与预测的引导向量近乎正交却评分相当。
- 论文arXiv：可解释性
研究在 11 个开源 LLM 潜空间中发现临床概念中心
研究将临床决策支持中的模型行为评测从文本输出延伸到潜空间，检验临床概念是否作为可定位、被因果使用的表征存在于开源权重 LLM 内部。作者在测试的全部 11 个开源模型中均找到专门的临床概念中心，这些中心可解释，只对与其对齐的临床叙述激活，并在受限和开放式场景中因果驱动模型行为。在评测层面，模型在对抗性角色设定下仍保持内部一致并继续使用相关概念中心，而对齐的角色设定能提升下游临床表现；在性能层面，模拟真实部署场景时沿这些概念中心进行引导可带来下游改进。研究还进行了盲法临床医生验证，发现这些概念中心的激活与使用能预测临床医生的偏好。