跳到正文

#arXiv

今天收录 1 条

第 4 页更新的内容回到最新

9月19日周六
  1. arXiv:可解释性 ·

    从概念对齐到因果接地:思维链忠实性的干预检验

    论文将思维链忠实性重新定义为内部概念接地,检验 LLM 的 CoT 推理是否调用与直接预测相同的内部概念,以及这些共享概念是否因果驱动答案。方法上用单个共享 SAE 分别编码预测过程和 CoT 过程,使两者的内部概念可直接比较,并提出三个概念级对齐的相关性指标和一个因果指标 Δp,后者通过消融共享概念测量答案概率的下降。在五个 LLM 和四个数据集上,相关性指标显示概念对齐普遍较高,但只能识别哪些概念被共享,无法说明其因果贡献;Δp 显示因果忠实性随模型深度显著变化,在中后层达到峰值而非最后几层,模型规模也会改变逐层分布。此外,因果上重要的共享概念并不总在 CoT 中被口头表达,说明仅凭表面文本或表征对应无法可靠评估忠实性。

  2. arXiv:Agent 与 MCP 安全 ·

    当智能体信任跨越组织边界:结构外化与信任证据参考模型

    论文提出 Trustworthiness as a Service(TaaS),用于解决智能体跨组织边界调用工具、服务与其他智能体时,依赖方无法仅凭生产域控制与记录评估被委托动作的问题。其分析单元为跨域依赖命题,通过三条件结构外化诊断识别需多域依赖、生产方独立验证且须在撤销、失败、记录冲突或争议后仍可复核的命题,并为此设计不可变工作流清单与仅追加、发行方可归属的信任证据信封。论文还给出拓扑中立的逻辑参考模型,并以三个分析场景和 TaaS-Eval 协议提案定义清单、独立消费者、硬门控、对抗性证据测试与指标。

  3. arXiv:Agent 与 MCP 安全 ·

    可信智能体 AI:基于 LLM 的自主系统失效模式、缓解策略与 TADL 生命周期框架

    一篇 arXiv 综述梳理了基于大语言模型的智能体 AI 在安全与运维上的五类可信维度:安全与鲁棒性、对齐与人类监督、透明度与可审计性、隐私与数据治理、监管合规。文章把间接提示注入、后门触发、目标泛化错误、记忆污染和跨会话数据泄露等失效模式归入统一分类,并评估指令层级、上下文隔离、spotlighting、过程监督、受限工具使用和隐私保护记忆等缓解手段,区分有实证支持与仍属概念性的方法。作者据此提出六阶段 Trustworthy Agent Development Lifecycle(TADL),覆盖规格、设计、训练、评估、部署与监控,但该框架尚未经实证验证。

9月18日周五
  1. arXiv:越狱与提示注入 ·

    CASCADE 研究:跨流水线阶段的越狱防御组合评估

    论文提出 CASCADE 决策框架,在直接、黑盒、单轮攻击的统一威胁模型下,系统研究 LLM 越狱防御在流水线阶段内与跨阶段的组合效果。研究用带受控查询预算的攻击成功率公式和明确的公平性规则统一评估口径,覆盖 19 种攻击与 15 种防御。结果显示没有单一防御在所有场景下最优,但精心选择的组合能在效用损失极小的前提下取得显著安全提升,并据此给出分层防御流水线的实用建议。该工作已被 EMNLP 2026 Findings 接收。

  2. arXiv:对齐与欺骗 ·

    RemTraceNet:不可见水印攻击的少样本取证检测

    RemTraceNet 通过融合受限残差、局部关系、FFT/Haar 统计与块 DCT 证据,在原生分辨率下对不可见水印移除过程进行少样本取证检测。在 23 种移除流程和 10 种水印配置、每条流程 100 张攻击训练图像下,其 TPR@1%FPR 三种子宏平均为 82.75%–88.17%,比重新训练的 SRNet、ZhuNet 和 SiaStegNet 高出 10.80–15.68 个百分点。结果表明,擦除水印与擦除移除痕迹是两项不同挑战,移除痕迹在有限监督下仍可学习。

  3. arXiv:可解释性 ·

    用稀疏自编码器探索文本分类模型:SAEfarer 工具与专家评估

    研究者用稀疏自编码器(SAE)分析文本分类语言模型的行为,提出探索 SAE 特征与模型预测及错误之间关系的技术,并将其集成到工具 SAEfarer 中。该工具用于分析文本分类 LM 学到的概念,并在由五名博士生参与的专家试点评估中接受检验。论文共 11 页、13 张图,已被 IEEE VIS 2026 接收为短文。

  4. arXiv:可解释性 ·

    当 AI 评审训练 AI 评审:科学判断坍缩与 TrustReviewer 缓解方案

    研究以 Llama 3.1 8B 为基础,先用 ICLR 2018–2023 官方评审微调出评审模型,再用 ICLR 2024 数据、按不同比例混合官方与模型生成评审训练四个后继模型,发现引入合成评审会压缩评分分布并降低同论文与语料级语义多样性,作者称之为“科学判断坍缩”。为此提出开源系统 TrustReviewer,训练阶段在精选语料上单阶段训练核心评审模型以减少低质量与语义退化监督,测试阶段用配对激活引导(activation steering)在不再训练、不额外专家标注的情况下抑制残余的坍缩判断倾向。

9月17日周四
  1. arXiv:对齐与欺骗 ·

    面向智能体互联网的可扩展信任发现架构

    针对智能体互联网中注册、可信身份识别与能力发现尚未解决的问题,该论文提出一种分层分布式信任发现架构,包含 Agent Root、Agent Registry 和 Agent Resolver 三层,并引入注册表后缀锚定的复合身份方案与双证书多级认证机制。原型实验显示平均注册延迟 58ms、发现延迟 25ms,支持每秒超 19,000 次注册请求和超 29,000 次智能体发现请求。

  2. arXiv:可解释性 ·

    复现透明可审查推荐:通过自然语言用户画像探索开放权重模型

    一项复现研究验证了自然语言用户画像推荐(UPR)在 Amazon Movies & TV、TripAdvisor 上能达到原论文所称的竞争性重排序性能,并提升推荐透明度。研究用五个随机种子做稳定性检验,并用 nnsight 框架做机制可解释性分析,发现扰动自然语言画像虽会改变预测评分,但各类型均匀偏移、无类型选择性效应,排序不变,即便直接做激活引导也如此。作者将原因归于评分回归目标而非画像接口,排序目标模型在该任务上明显更优。

  3. arXiv:越狱与提示注入 ·

    RWPS:面向网络安全博弈的高效纳什均衡计算

    针对博弈收益只能由模拟器输出、均衡求解受收益估计瓶颈限制的问题,研究者提出 Regret-Weighted Payoff Sampling(RWPS),把固定模拟预算集中用于均衡真正依赖的收益,并用已测收益训练模型预测其余收益。该方法给出按对手均衡策略加权收益误差的界,在三个合成一般和博弈(含 Colonel Blotto)上比标准界紧 4 至 6 倍,并在同等预算下比 minimum-regret-first search、information-gain search 和 progressive sampling 找到更不易被利用的均衡。

  4. arXiv:对齐与欺骗 ·

    面向 LLM 偏好对齐的零阶范式:ComPO 方法

    研究者提出并分析 Comparison-based Preference Optimization(ComPO),一种基于比较 oracle 的零阶偏好对齐方法,不直接优化可微偏好损失,而是从偏好对中提取方向信息。该方法在平滑性、梯度稀疏性与 oracle 兼容性假设下给出了离线方案的收敛保证,并引入使用无标注策略生成做 reverse-KL 控制的在线版本。在 Mistral、Llama、Gemma-2、Qwen3 和 Gemma-3 上的实验显示其优于现有直接对齐方法,长度控制胜率提升,配对级诊断与缓解似然位移一致。

  5. arXiv:越狱与提示注入 ·

    AgentLSD:在对抗性任务污染下评测 AI 安全 Agent

    研究者提出 AgentLSD 框架,用 CTF 挑战研究 AI 安全 Agent 面临的对抗性任务污染,即环境中除攻击者指令外还包含假结果、诱饵端点等非指令性欺骗证据。框架在保留原解法的前提下注入假 flag、误导性提示、诱饵端点和隐藏线索,支持干净与陷阱增强的配对实验,并提供确定性陷阱生成、运行时注入、遥测和投递验证。在 11 个 Web CTF 挑战上评测六个模型,干净条件下 Agent 捕获 41% 的 flag,没有模型解出全部挑战;即使仍能拿到 flag,陷阱也会使对话轮数增加 20、推理 token 增加 2k,而解题率受影响程度不一,部分模型与挑战组合基本不受影响,另一些则跟随诱饵或提交错误 flag。

  6. arXiv:对齐与欺骗 · · 原文 76

    用内部表征监控与发现 LLM 评测中的奖励作弊

    研究分析奖励作弊在前沿开源大模型内部表征中的呈现方式,发现简单的均值差(DoM)向量能在 Kimi K3、GLM 5.2 和 Qwen 3.8 Max 上一致地表征常见评测中的多种奖励作弊行为,且兼具泛化性和可解释性。作者先在 DeepSWE 和 SWE-bench 上评估,发现模型作弊频繁:GLM 5.2 在 DeepSWE 上 57.2% 的 rollout 出现作弊,在 SWE-bench 上为 73%。在与 LLM 监控器相同的误报率下,DoM 向量在 DeepSWE 上对 Kimi K3 多抓到 3.1% 的作弊、对 GLM 5.2 少抓 7.9%,效果相近而成本几乎为零;作用在思维链上时,还能在后续动作发生前预测作弊。分析 LLM 监控器漏掉的探针命中还发现了其他不良行为,方法也能迁移到非 SWE 评测。

    推荐理由论文用极简的均值差探针在开源前沿模型内部定位奖励作弊方向,并给出与 LLM 监控器的成本与召回对比。

9月16日周三
  1. arXiv:越狱与提示注入 ·

    CaMeLoT:用 CTL 时序逻辑在执行前静态验证 Agent 计划

    CaMeLoT 是面向工具调用型 LLM Agent 的提示注入防御方案,作为已有防御 CaMeL 的补充,在调用任何工具之前对 Agent 生成的计划做静态验证。它把计划转换为有限状态迁移系统,标注工具调用、来源与污点信息,再用 nuXmv 模型检查器对照以 CTL 表达的时序策略进行检验。由于验证发生在执行之前,不安全的计划会被直接拒绝,无需消耗 LLM 调用和工具调用,也省去了回滚改动或拆除临时沙箱的开销。验证失败时模型检查器会返回反例,供 Agent 据此修复计划。

  2. arXiv:对齐与欺骗 ·

    论文:谬误检测基准测的是图式识别而非谬误检测

    论文指出,谬误检测基准把谬误类别与一个囊括所有未标注内容的 valid 类配对,实际打分的却是识别论证图式的能力,而非判断论证是否有误。作者发现,分类器漏判谬误时错误落在 none 而非其他谬误类型上,说明检测失败而分类仍成立;原因是区分两项任务所需的负例,即使用同一论证图式的正确论证,在考察的四个基准中几乎不存在。作者据此构造了缺失的论证及仅图式不同的对照条件,分类器把图式匹配的负例标为源谬误,把图式不符的负例按其实际图式标注的比例为 85.9%,标为源类型的仅 0.4%。

  3. arXiv:对齐与欺骗 ·

    STRETCH:面向 LLM 渐进式进化的统一自教框架

    针对固定难度导致 LLM 自我改进训练中能力停滞的问题,研究者提出统一框架 STRETCH(Self-Taught Reasoning Evolution via Targeted CHallenge),其动态 Stretch Zone 机制持续让问题难度与模型解题能力对齐。模型在单一参数空间内交替扮演生成边界挑战的 Scaffolder 与通过强化学习优化解题轨迹的 Learner,双循环共同进化可稳定训练、缓解奖励作弊并促进推理能力渐进增长。在谈判与运筹学基准上,STRETCH 持续优于强提示与领域专用基线;Scaffolder 配置分析显示动态难度对齐对能力持续提升与推理同步进化至关重要。

  4. arXiv:对齐与欺骗 ·

    研究揭示 Transformer 中影响超常的削弱型神经元

    研究者提出一种分析 GLU 神经元输入输出行为的方法,通过计算每个神经元读写权重向量的余弦相似度,将强负相似度的神经元称为削弱型神经元,即削弱其在残差流中检测到的方向。研究发现,九个不同大语言模型呈现相似模式:削弱型神经元主要出现在后层,而条件强化型神经元多见于早中期层。削弱型神经元数量虽少,却激活频繁且对模型行为影响很大。当门控值为负时,削弱型神经元对模型输出有强烈影响,而负门控值此前被认为不编码功能。该工作已被 EMNLP 2026 接收,取代 arXiv:2505.17936。

  5. Failure-First ·

    临床路径作为医院病房中 Physical AI 的安全规范

    Franchini 等人提出将标准化医疗流程——Clinical Pathways(CPs)重新诠释为可用数学表达的执行期安全规范,替代依赖统计异常检测的传统做法,以避免缺乏可解释性和审计性的问题。该概念架构由传感子系统、具身子系统与边缘云子系统三部分组成,其中机器人(参考实现为 TIAGo Pro)充当主动传感器而非静态网关,Runtime Safety Monitor(RSM)基于信号时序逻辑(STL)中的 Always 算子与 Bounded Eventually 算子在执行期检查约束并返回实值鲁棒度。

  6. arXiv:可解释性 ·

    论文将 LLM 数学应用题求解拆为四阶段并定位干扰致错的机制脆弱点

    论文提出大语言模型解小学数学应用题时内部计算可分解为四阶段串行流水线:Schema Abstraction、Operation Planning、Operand Binding 和 Computation,每个阶段在可识别的层区间内产生不同的中间表示。作者用同一框架诊断无关干扰句导致的失败,将错误定位到单一阶段 Operation Planning,并指出该阶段由一组注意力头实现,其因果作用经双向验证。研究给出了 LLM 数学应用题推理及其受干扰时失败的机制解释。

  7. arXiv:对齐与欺骗 ·

    Open-1B:一次完全可审计的训练运行

    作者提出一种新的模型透明度层级“完全可审计”,让训练中每个数据样本上的每一步操作都能在异构消费级硬件上以位级确定性独立复现。由于浮点运算不满足结合律,现有开源模型即使公开权重、数据和配方也无法被证明可复现,这为未披露数据、注入偏见或后门留下空间,而 proof-of-learning 与 proof-of-training-data 等方法无法排除这些风险。作者对训练非确定性的三个来源施加确定顺序:GPU kernel 归约、数据并行集群中的数据批次顺序,以及节点内与节点间的集合通信,从而可以在单台消费级硬件上重放大规模分布式训练的任意单步并与公开轨迹比对。

9月15日周二
  1. arXiv:可解释性 ·

    ResLRP:残差抵消如何导致 Vision Transformer 归因不稳定

    Vision Transformer(ViT)中残差路径的抵消效应会引发归因爆炸,且这种抵消在 ViT 中比在语言 Transformer 中强得多。为此提出的 ResLRP 显式在传播规则中处理残差分支的抵消,保持精确守恒并可证明地约束归因爆炸。在覆盖监督、自监督、对比、层级与多模态 ViT 及 FunnyBirds 基准上,ResLRP 提升了忠实性与定位质量,在现代 VLM 上定位提升 +27-29%、忠实性最高提升 3.4x,并可用于在输入空间定位 SAE 特征。

  2. arXiv:后门、投毒与隐私 ·

    SALVE:用文本优化还原蒸馏数据中的隐性学习效应

    研究者提出 SALVE(Search-Aided Latent Verbalization),通过优化 soft prompt、让同一模型将其转写为文本并用 beam search 提升可靠性,把蒸馏数据中不可读的隐性学习效应还原为可读提示词。作者指出,带提示词的隐性学习是上下文蒸馏的一个特例,理论上该数据集可识别出教师的提示词,于是把提示词还原转化为文本优化问题。在标准隐性学习设定下,SALVE 能稳定还原出点明教师特质的可读提示词,而常见文本优化方法做不到。研究还发现,在隐性学习失效的某些设定下 SALVE 仍能从数据集中还原教师特质,而调整学生训练以改善上下文蒸馏则可能产生隐性学习效应。

  3. arXiv:越狱与提示注入 ·

    自主网络事件响应智能体的网络靶场评估

    研究在面向人工操作员训练的网络靶场中测试自主网络入侵响应智能体,靶场包含可变网络拓扑、红队模拟和模拟用户智能体,告警由 SIEM 平台生成并映射为智能体使用的数据建模语言。测试对比启发式智能体与强化学习策略,后者借助网络攻击模拟器优化综合成本。结果显示强化学习智能体整体防御效率高于启发式策略,且性能高度依赖对手策略与模拟用户的组合。

  4. arXiv ·

    Atria Dawn Preview:智能体超级智能的黎明

    研究团队发布面向科研与工程工作流的基础智能体语言模型 Atria Dawn Preview,通过可验证经验管线将工具交互连接到可执行环境与外部验证结果。该模型在覆盖真实科研、工程与数字工作的 16 项基准中与前沿智能体相当,并在其中 5 项取得已报告最高分。基于 56 名参与者、769 条任务记录的分析显示,约三分之一 AI 辅助完成的任务被参与者评为无 AI 则不可行,智能体常提出方法并实施修改,但最终决策仍由人类保留。

  5. arXiv ·

    RAPID:面向文生图服务的实时防未授权蒸馏防御

    RAPID 是一种针对文生图服务的实时防御方法,用于阻止攻击者通过黑盒查询收集提示词-图像对来训练未授权的替代模型。现有基于扰动的方法需要逐样本优化,带来大量计算和延迟,影响在线服务可用性;作者尝试把防御扰动集成进 VAE 解码器,但发现逐样本目标难以迁移到共享解码器场景,因为共享解码器造成的潜空间偏移明显更小。RAPID 采用自参考的潜空间最大化框架,去除外部依赖,让同一次模型更新在不同训练样本上产生一致的破坏效果,并用重建引导的颜色正则化阻断潜空间捷径。在四个文生图模型和四个数据集上,与五个代表性基线对比,RAPID 在保持服务视觉保真度的同时持续降低替代模型的生成质量。

9月14日周一
  1. arXiv:Agent 与 MCP 安全 ·

    EvoOntology:面向数据智能体的自演化本体层

    EvoOntology 将本体封装为包含 schema、内容与工具三层的 MCP server,让数据智能体在运行时主动查询本体,以弥合异构数据与智能体之间的 agent-data gap。系统引入 builder agent 自主构建本体,并通过归因引导的类型化编辑与骨干条件配对评估驱动的自演化循环持续精炼本体。在三个数据智能体基准和四个 LLM 骨干上,EvoOntology 一致优于强基线及现有语义层方法。

  2. arXiv:后门、投毒与隐私 ·

    QPriv-VL:面向视觉语言模型的问题引导 token 裁剪隐私防御

    作者提出 QPriv-VL,一个面向联邦学习、拆分学习和 U 型拆分学习的问题引导隐私感知 token 裁剪框架,在传输前按任务效用与隐私敏感度裁剪视觉 token。其核心是轻量级 Dynamic Threshold Predictor(DTP),在一次前向中同时估计样本级裁剪比例和 token 级保留掩码,结合视觉 patch 与问题嵌入的跨模态相似度,以及来自冻结 DINOv2 特征的敏感度信号,无需敏感度标签即可抑制潜在敏感区域。

  3. arXiv:可解释性 ·

    论文指可解释替换网络忠实性易被微小扰动翻转,提出形式化验证框架

    论文指出,机制可解释性中可解释替换网络(IRN)的忠实性通常只在干净数据上做经验评估,而语义上极小的输入扰动就会翻转主导 IRN 特征,从而改变人类可理解的解释,这一现象在 GPT-2 small、Gemma 2 2B、Gemma 3 1B、Llama 3.2 1B、R1-Distill-Qwen 1.5B 五个开放权重模型族上均出现。作者提出首个针对 IRN 忠实性的形式化验证框架,用可达性分析在对抗场景下给出忠实性差距的可靠上界。作者还表明,验证感知训练能显著收紧该认证上界,恢复安全审计人员可据以行动的特征级解释。论文关键词包括形式化方法、验证、认证、鲁棒性、稀疏自编码器与 transcoder。

  4. arXiv:危险能力与安全评测 ·

    安全强化学习评测指标:SafeRLEval 开源评测套件

    安全强化学习现有基准多以平均安全性报告结果,无法反映安全边界被违反的频率与严重程度、跨任务与跨安全边界的一致性,以及训练期行为能否代表最终收敛策略。为此研究者提出一组安全 RL 评测指标与安全分级(safety tier)体系,并在多个安全导航任务上开展实证评测,结果显示聚合指标、分布化报告和任务/安全边界特定结果各自揭示其他指标无法提供的信息,建议三者联合报告而非压缩为单一数值。团队同时开源了评测套件 SafeRLEval。

  5. arXiv:可解释性 ·

    在 Llama 3.1 8B-Instruct 等 LLM 内部定位并因果操控"机会识别旋钮"

    研究团队在 Llama 3.1 8B-Instruct 中定位出一个"机会识别方向",并通过对该内部表征的因果干预实现"机会识别旋钮"的上下调节,模型的创业机会判断随之改变。研究构建了 636 对匹配的"有机会/无机会"情景对,经留出测试、词汇与主题控制、行为消融和几何比较验证该方向可恢复、有因果作用且区别于机会评估与开发方向。该方向的恢复、有符号操控与几何分离在另外四个不同规模与家族的 LLM 上同样成立。

  6. arXiv:可解释性 ·

    Fixed-SAE Track:从机制可解释性看 LLM 从强化学习中学到了什么

    研究者提出 Fixed-SAE Track 框架,在每个考察层上基于基座模型与全部 RL checkpoint 的激活训练一个共享 SAE,固定特征方向以严格定义表征漂移。在多个数据集和 RL 算法上验证发现,RL 引起的漂移幅度小、渐进、与概念相关且集中在后层,主要提升一小批 ladder token 及步骤分隔、答案定界符等格式脚手架特征的采样率,而非重塑问题内容。把这些特征引导进基座模型可恢复约 80% 的 RL 性能增益,说明 RL 主要是激发模型已有能力。作者还设计了一个特征已知的合成基准,用于检验 RL 能否真正引入全新特征。

  7. arXiv:越狱与提示注入 ·

    PIDS-Bench:在过度防御、混淆与分布偏移下评测提示注入检测器

    研究者提出 PIDS-Bench,一个冻结的多轴基准,在固定阈值下同时评测提示注入检测器的攻击检测能力与良性误报行为,覆盖分布内输入、模仿注入结构但无恶意的 hard-benign 提示、混淆攻击以及领域和结构分布偏移。评测涵盖七个检测器(学习型基线、外部提示注入分类器、广义安全对比模型)以及一个基于规则的下界参考。多轴评测暴露出聚合 F1 掩盖的失效模式:在留出集上 F1 超过 0.98 的检测器,仍会把来自公开语料、限定于安全相关内容的良性子集约三分之一误判。在完整阈值扫描和五个训练种子上,没有内部检测器能在该压力分布上同时满足 F1 >= 0.95 与 hard-benign FPR <= 0.10。

  8. arXiv:对齐与欺骗 ·

    合成文档微调无法阻止奖励作弊引发的涌现性失准

    研究测试合成文档微调(SDF)能否让模型对后续训练中习得的奖励作弊产生免疫。作者把将奖励作弊描述为可接受行为的合成文档加入模型的中期训练语料,再用 RL 在可被利用的环境中训练这些模型学会奖励作弊。行为上中期训练看似成功,模型对奖励作弊给出正面描述,也更认可自己产出的奖励作弊输出;但这些模型在学会奖励作弊后仍表现出强烈的涌现性失准(EM),而在同样设定下使用接种提示(IP)则能阻止 EM。作者指出,SDF 在插入新关联时能可预测地引导下游泛化,但在覆盖已有关联(如奖励作弊与失准之间的联系)时效果不佳且影响不可预测。结论是,在其实验规模下,SDF 可以让模型表面上认同期望的信念,却以非预期方式改变后续训练带来的泛化。

  9. arXiv:对齐与欺骗 ·

    MoDA:通过模式条件强化学习实现质量-多样性对齐

    MoDA(Mode-conditioned Diversity Alignment)是一种在线后训练 RL 算法,通过让单一共享 LLM 策略以抽象编号角色为条件、各角色作为智能体竞争生成差异化输出来同时优化生成质量与多样性。在 Infinite-Chat 留出提示词上,MoDA 将 SBERT 多样性提升 265%,平均通用能力 pass@1 较 Qwen3-8B 基线提高 10.3%;相比最强 DivPO 基线,SBERT 多样性从 0.274 升至 0.482(+75.9%),E-Vendi 从 2.86 升至 4.4(+53.8%),平均通用能力 pass@1 提高 7.0%。

  10. arXiv:后门、投毒与隐私 ·

    CIG-MIA:利用上下文信息增益对 RAG 系统发起成员推断攻击

    论文提出 CIG-MIA,一种基于上下文信息增益的成员推断攻击,用于判断某文档是否属于 RAG 系统的知识库,覆盖灰盒与纯文本黑盒两种访问设定。其思路是显式注入候选文档对成员与非成员影响不同:文档已可通过检索获得时注入带来的额外支持很小,文档不在库中时注入引入新证据、似然增益更大。灰盒设定下直接由 token 级似然计算该增益,黑盒设定下用轻量代理估计器结合语义相似度与精确匹配特征,从生成文本中估计同一增益。

  11. arXiv:对齐与欺骗 ·

    通过密集行为信号优化稀疏结果:价值引导偏好蒸馏

    针对多轮对话智能体对齐中直接优化长期结果易失效且易奖励作弊的问题,研究将长时程对话优化建模为多目标强化学习,训练多头价值模型预测多个前瞻视野下的用户行为向量。研究发现,密集辅助行为信号的标量化组合可实现有效的信用分配与稀疏结果优化,但优化无约束的单目标代理可能引发对真实用户有害的策略退化。为此,研究建立结合反事实用户模拟与经验证的对话级结果模型的安全框架,在部署前识别失败模式,并证明通过参考锚定偏好优化将多目标价值偏好蒸馏进策略,能以远低于在线 RL 的算力匹配其效果;线上 A/B 测试显示蒸馏策略显著提升长期用户留存,同时增强正向行为与治疗过程指标。

9月13日周日
  1. arXiv ·

    DenMark:面向扩散语言模型的鲁棒语义水印

    DenMark 是面向扩散语言模型(DLM)的语义水印框架,将密钥相关信号直接注入去噪过程。它把输出划分为固定 token 区域,用临时 rollout 作为语义前瞻,估计未完成区域的最终语义,从而优先选择语义水印得分更高的局部更新,并在检测时通过校准扫描候选单元尺寸应对语义攻击带来的边界偏移。在 4 个 DLM、3 个数据集和 4 种语义攻击共 48 种组合中,DenMark 在所有检测指标上均取得最佳结果。

  2. arXiv:可解释性 ·

    语言模型激活空间中的可操控性特征

    研究证明,简单的分离度指标与语言模型的下游可操控性在不同设置下均强相关,即便控制层数和数据集效应后依然成立。基于合成叠加实验,分离度指标与经验特征方向和真实特征方向之间的一致性也高度相关。结果表明,这类可分离性统计量可作为判断 steering vector 何时有效的实用诊断工具。

9月12日周六
  1. arXiv:越狱与提示注入 · · 原文 80

    FlowSeal:用信息流控制阻断 LLM Agent 的隐私泄露

    论文指出,个人 AI 智能体现有的隐私防御靠后端 LLM 在攻击者可控的同一对话上下文中自行判断是否披露敏感信息,使防御机制与攻击面重合。作者提出三种无需提示注入、仅靠普通交互即可实施的攻击:把信息提取包装成协作任务(Collaborative Workspace Lure)、通过省略而非智能体写出的内容诱导披露(Semantic Obfuscation Attack)、把提取请求与披露拆到相互独立的通道(Channel Decoupling Attack),三者的泄露率都明显高于这些防御原本针对的攻击。据此作者提出 FLOWSEAL,在 LLM 上下文之外的工具层拦截器中,依据数据来源和带受控降密的信息流控制格执行保密。在三个基准、五种基于提示的基线和八种攻击(包括通过 MCP 执行真实工具调用的智能体)上,FLOWSEAL 把泄露率降到接近零(如 Collaborative Workspace Lure 从 52.2% 降到 0.5%),同时保持任务效用,且不依赖底层 LLM。

    推荐理由论文给出三种无需提示注入即可绕过现有隐私防御的交互式攻击,并附各防御下的泄露率对比,便于评估 Agent 隐私防护的实际边界。