全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
TACIT：从 LLM 内部状态检测 Agent 轨迹危害
多伦多大学研究者提出 TACIT，用冻结 LLM 内部状态的线性探针判断工具调用轨迹是否安全，不解码任何 token。分析发现，现有开源护栏模型对不安全工具使用在输出上仅相当于随机水平，但该区分在模型内部状态中线性可读，且与有害内容方向近乎正交，两者不能互相替代。在六个轨迹安全基准上，TACIT 将平均 macro-F1 从最强开源护栏的 62.3 提升到 86.2（Qwen3-4B）和 85.4（Llama-3.1-8B）；每个基准完全留出训练时仍以 65.7 对 61.1 领先。相同骨干、数据与测试划分下，冻结读数与全量安全微调相当，叠加在微调模型上还能进一步提升；探针可训练参数量约为全量微调的百万分之一，训练时间约六分之一，推理延迟 40ms，低于 Qwen3Guard 的 215ms。
- 论文arXiv
EOPSA：高效在策略自蒸馏安全对齐方法
针对在策略自蒸馏（OPSD）安全对齐中监督信号随生成长度增加而崩塌、以及特权提示词引发的风格差异稀释安全梯度两大瓶颈，研究者提出 EOPSA，通过基于 Teacher Rescue Rate（TRR）指标的自适应 rollout 调度与选择性蒸馏，将梯度更新集中在安全关键 token 上。在最高 32B 参数的推理模型上，EOPSA 减少约 50% 的 rollout 计算量，反向传播仅涉及约 2% 的 token，在安全合规与推理能力保持上均优于全 token 蒸馏基线。
- 动态Pillar Security
AI 网关护栏 2026：如何保护 LiteLLM、Kong、TrueFoundry 与 Agent Router（附 12 家护栏提供商对比）
一份指南梳理了 LiteLLM、Kong、TrueFoundry、Agent Router 等主流 AI 网关的护栏接入机制，并围绕同样八个问题对比了 12 家护栏提供商。LiteLLM 的 Generic Guardrail API 支持 45 家护栏提供商，Kong 提供 10 个 AI 护栏插件，TrueFoundry 开放输入、输出及 MCP 工具调用前后的钩子并接入 20 多家外部提供商。指南提醒 TrueFoundry 的输出护栏不作用于流式响应，且只读用户消息的护栏会漏掉工具结果或 MCP 描述中的注入。
- 论文论文追踪
依赖引导回滚修复：为记忆增强 Agent 恢复错误记忆后的答案与状态
研究者提出依赖引导回滚修复（dependency-guided rollback repair），用于在记忆增强 Agent 执行失败并诊断出错误记忆后，同时恢复答案与持久状态并保留未受影响的工作。该方法从运行时溯源构建带类型的记忆到动作图，追踪显式下游依赖，保留有独立可信支持的候选，停用无支持的记忆状态，并只选择性重放与答案相关的受影响计算。在覆盖三个工具使用领域、四类记忆故障的 150 例受控基准上，恢复率达 85.3%，高于最佳对比方法的 77.3%，同时移除全部被诊断的错误记忆并保留全部良性记忆；在改编自 LongMemEval-V2 的 50 例轨迹压力测试中恢复率为 68.0%，对比方法为 54.0%，主张失效 F1 为 0.669 对 0.603。作者指出结果并不代表轨迹重建全面更优，而是显示该方法在恢复与成本之间取得较好权衡。
- 论文论文追踪
研究提出表征相似度优化，提升大语言模型对抗条件下的安全泛化
研究者发现当前大语言模型对道德概念的范畴化能力较弱，在 23 个模型上常无法区分对立的道德类别，也难以保持类别内的典型性梯度，这一缺陷在不同参数规模和对齐阶段都持续存在。为此他们提出表征相似度优化，直接让模型的潜在表征对齐人类道德判断中的范畴结构，而不监督生成回复。在使用同一批 251,334 条道德标注的对照实验中，标准行为对齐在回复层面学会了目标道德判断，却基本未改变范畴结构，并在多项对抗评测中提高了脆弱性；重组道德范畴化虽在显式判断上提升有限，却在不同模型规模和多种攻击策略下持续改善对抗鲁棒性。作者认为这为原型式范畴化有助于行为适应性提供了功能层面的支持。
- 论文论文追踪
贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合
针对多 LLM 委员会在部分智能体持续不可靠时置信度无法反映正确概率的问题，研究者提出贝叶斯辩证论证（BDA），把委员会中提议、质疑、让步等类型化动作视为带每个智能体可靠度的标注者模型观测，从而将多智能体审议转化为可靠度估计问题。BDA 按推断出的智能体可靠度加权证据，输出候选答案的可校准后验概率，并能反转而非仅票数压制持续不可靠的智能体。在二分类与多分类基准上，BDA 在零额外 LLM 调用成本的委员会聚合方法中取得最佳校准，并在持续对抗联盟下提升鲁棒性，干净场景中仍具竞争力。
- 论文论文追踪
研究者提出自蒸馏方法让 LLM 遵循上下文水印指令
研究者提出两阶段自蒸馏训练方法，让大语言模型在遵循上下文水印（ICW）指令的同时保持回答质量。ICW 通过在查询前附加指令，要求模型在回复中嵌入可统计检测的信号，第三方无需访问模型内部即可调用。团队同时发布 ICWBench 基准，包含三类可验证的 ICW 指令族，分别从可检测性和回答质量两方面评分；对 14 个前沿闭源与开源模型的评测显示，没有一个模型能在三类指令上同时满足两个目标。所提方法无需更强模型蒸馏、无需人工标注、也不依赖模型已有的 ICW 指令遵循能力：第一阶段用同一基础模型同时充当教师和学生，通过指令等价的解码时 logits 扰动让教师遵循指令，再训练学生匹配教师的输出分布；第二阶段以自动验证器为奖励做强化学习。
- 论文论文追踪
CAGE：面向工具调用 Agent 的类型化返回不确定性认证授权方法
研究者提出 CAGE，用于在工具返回存在绑定错误与数值漂移时，判断候选动作是否仍处于授权范围内。作者证明分类通道与数值通道分别认证无法组合，各自安全的扰动可能联合使同一动作变得不安全，因此 CAGE 直接对联合邻域做认证，精确枚举离散分支并在每个分支内认证连续扰动。在合成、policy-as-code、监管与真实交易等场景中，CAGE 消除了精确逐点门控会放行的预算内误授权，同时保留一定比例可自主执行的决策。当策略可执行时由 CAGE-Exact 认证策略本身，否则由 CAGE-Lip 与 CAGE-RS 在明确且可测量的保真度假设下认证学习得到的门控。
- 论文论文追踪
Twin Agent：面向权限分离智能体的上下文残差压缩
研究者提出 Twin Agent，一种受残差编码启发的通用权限分离设计模式，用于抵御来自不可信上下文的提示注入攻击。该设计由两个近似对称的智能体组成：Explore Agent 检查不可信信息，Safe Agent 执行特权操作；Explore Agent 以 Safe Agent 当前上下文为条件，只向其传递关于下一步动作的紧凑提示，从而减少维持任务效用所需的信息量。作者通过测量提示长度变化时效用与攻击成功率的变化，验证了该设计在安全与效用之间取得更好的权衡。在 SWE-bench Lite 的长程软件工程任务以及 AgentDojo、DecodingTrust-Agent 的异构多工具交互任务上，Twin Agent 在保持高任务效用的同时阻止了提示注入攻击，表现优于无防御智能体和权限分离基线。
- 论文论文追踪
论文：分解攻击可跨不可关联身份绕过 LLM 有状态防御
论文提出分解攻击的新威胁模型：攻击者把有害任务拆成单独看都合规的请求，再在服务之外合并答案，并用服务无法关联的新身份提交，使有状态监控失去分组信号。作者证明，在固定攻击策略且不重试时，安全与效用的权衡完全取决于同能力良性请求的分组方式；一旦允许重试并从 Allow/Block 反馈中学习，这一有利工作点就消失。实验基于 91 个可执行任务、365 个操作请求和 11,393 条能力匹配的良性请求，在 1% 匹配对照拒绝率和 0.5% 背景流量拒绝率上限下，包括拥有精确请求到操作映射的特权策略在内，十种被测策略要么拦不住攻击要么超出预算；在防御未见过的任务族上，一次尝试后攻击成功率至少 99%，两次后达 100%。作者认为有效防御需要可靠身份关联、新身份成本或对答案使用的控制等额外证据。
- 论文论文追踪
IntentCap 提出按任务意图限定 LLM Agent 权限的机制
论文 IntentCap 提出 LLM Agent 的能力应按当前任务意图限定，而不是按沙箱或会话生命周期限定。作者指出，用户请求、工具返回结果、文档、shell 输出、Skill 与 MCP 指令、记忆等上下文来源都进入同一规划通道且影响力相同，但信任级别不同，对抗注入或范围意外扩大都可能让低信任来源获得选择目标或扩大权限的能力。IntentCap 从用户意图、工作流指令、工具 schema 和运行时环境四类来源组合能力，采用字段级归属与单调收窄，任一来源都不能填补其他来源的字段，生成的租约只能收窄用户已授权权限。系统用 LLM 生成短期租约，由确定性检查器在任何副作用提交前校验，并通过工具层与操作系统层的信息流策略执行。评估显示 IntentCap 能阻断测试中的违规行为且不拒绝正常操作，各来源边界均独立必要，检查器可跨工具、执行、放置和委派边界泛化。
- 动态The Decoder
Aleph Alpha 研究：千问、DeepSeek、Kimi 等中国模型在敏感议题上多复述官方立场或拒答
Aleph Alpha 用自建基准测试了阿里千问（Qwen）、DeepSeek 与月之暗面（Kimi）等中国模型，覆盖天安门、台湾、新疆等 967 个敏感议题，其自研评分系统判定仅 17% 至 41% 的回答算平衡，其余为复述官方立场、回避或拒答。DeepSeek V4 Pro 拒答三分之二问题，对照的 Claude Sonnet 5 与 Mistral Small 平衡回答率分别为 70% 和 92%。研究还称 Nvidia Nemotron Cascade 2 有 17% 回答呈类似倾向，归因于其 930 万条训练样本中约 3500 条由 DeepSeek 和 Qwen 生成。
- 论文论文追踪
范围综述梳理 LLM 聊天机器人对心理健康的 119 篇相关文献
一篇发表于 npj Digital Medicine 的范围综述系统梳理了 119 篇关于 LLM 聊天机器人（LLM-CB）心理健康危害的文献，将其归纳为概念性工作、心理健康支持使用、认知过度依赖、AI 依赖和 AI 精神病五类主题。综述指出，概念性文献共列出 22 种潜在危害，涵盖幻觉、谄媚、偏见、数据隐私、缺乏监管等，但多数仍属推测，实际影响程度不明。在心理健康支持使用类研究中，18/29 为情境/基准研究，显示 LLM-CB 在高风险情境下可能给出不恰当或有害回应，但用户实际受影响程度尚未量化。认知过度依赖类研究（15 篇）发现频繁使用与认知和学业表现下降相关，其中 3 项实验研究提示因果关系，但对批判性思维的影响结论不一致。综述还提到 OpenAI 2025 年自报数据估计超过百万 ChatGPT 用户（约 0.15%）表现出严重心理困扰迹象，该数据基于内部分类器、未经独立验证。
- 论文论文追踪
研究：拒答只读取模型道德表征中的伤害切片
一项针对四个开源权重模型的研究发现，拒答决策并不读取模型用于道德判断的完整道德子空间，而是只读取其中与伤害相关的低秩切片。作者在 OLMo-3 上用嵌套交换秩扫描做因果检验：随着道德基扩大，道德判断的迁移系数从 0.05 升到 0.66，而拒答迁移在 k=3 后停在 0.22 至 0.24，约四分之三的拒答因果输入落在道德子空间之外。研究还发现道德理解在预训练阶段就已形成，OLMo-3 上该子空间与最终状态的余弦从 1000 步的 0.869 升到 0.999，对齐只做一次约 40 度的旋转；而拒答门是后训练新建的，与其预训练前身的余弦仅 0.155。四个模型的读取方式并不一致：Llama-3.1 读取宽泛道德内容，Qwen2.5 超出单一伤害线索但在样本量下未定论，GPT-OSS 读取伤害且其拒答可被自身推理链推翻。
- 论文论文追踪
研究审计 9 个视觉语言模型：中文提示下国家立场改写率约为英文的三倍
研究者构建了覆盖十类政治敏感话题的 200 张图像基准，对 9 个视觉语言模型（7 个中国来源、2 个非中国来源）在四种提问范式和两种提示语言下运行 21708 次试验，由两个前沿 LLM 评审按六个维度逐条标注，并在 200 条样本上与三名人类专家验证。结果显示，中文提示下出现国家立场改写的几率约为英文提示的 3.67 倍，且在每个模型内部都成立；中国来源模型的改写率高于非中国模型，方向在两个评审和人类标注者间一致，幅度随评审不同在 1.6 至 3.2 倍之间。改写集中在文本提及敏感主体的条件下（36.5%），仅给图像时为 9.8%；在四代 Qwen 多模态模型上，显式拒答下降而国家立场改写上升，改写以替换和委婉语为主，且不含拒答关键词，关键词检测方法难以发现。
- 论文论文追踪
aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡
研究者提出 aiXamine，一个统一黑盒评测平台，把 LLM 的安全、安全（security）与隐私当作相互依赖的属性来评估。平台通过自动化红队流程编排 9 项服务上的 46 个测试，生成从提示词级诊断到跨服务权衡分析的分层风险画像，可在相同条件下复现对比闭源与开源权重系统。作者用 aiXamine 测试了 120 多个 LLM、超过 5000 次测试运行，发现三种单轴评测看不到的跨维度现象：更强的对齐会系统性提高过度拒答，形成可量化的安全税；隐私与其他可信维度近乎正交，标准对齐无法覆盖；无 on-policy 校正的 off-policy 知识蒸馏会导致熵坍缩，在同一基础架构上把鲁棒性从 56.9 降到 2.6。
- 论文论文追踪
论文发现安全监控器主要拦截模型本就会拒答的请求
Sripad Karne 的论文测量了安全监控器在目标模型实际会作答的请求上的召回率，发现四款文本护栏、两个激活探针和 Latent Guard 在 1% 假阳性率下，对模型会拒答请求的召回率是模型会作答请求的 1.1 到 6.4 倍，而 AUROC 多数仍在 0.85 以上，标准指标掩盖了这一差距。研究基于 647 条有害请求（来自 Aegis 2.0、HarmBench、StrongREJECT），每条改写成间接、直接、直白三个显式程度版本且意图经 LLM 与人工核验；Gemma-4-31B-IT 在直白版本只答 12 条，在间接版本答 340 条，相差 28 倍，其中 344 条翻转请求里各护栏漏放 153 到 321 条。作者把原因追溯到显式程度本身：模型与护栏内部的危害读数都随措辞变软而下降，沿显式方向对 Qwen3Guard 做激活引导可把标记率从 26% 推到 100%。
- 论文论文追踪
CAVA：面向智能体 AI 运行时治理的规范动作验证与证明
论文提出 CAVA（Canonical Action Verification and Attestation），一个运行时语义层，用于把本地编码钩子、SDK 工具、浏览器自动化、托管智能体轨迹、API 网关和工作流引擎等异构运行时中的智能体活动转换为规范运行时动作对象。CAVA 位于 Proof-Carrying Agent Actions（PCAA）之下，PCAA 定义部署方拥有的路线-审查-证明治理流程，CAVA 定义该流程所治理的稳定动作对象。论文形式化了规范动作身份、语义模式检测、审批绑定、回执完整性、运行时可移植投影和可选证明基底。作者通过一个 96 种子、384 变体的基准测试参考实现，覆盖语义等价、语义分离、包装器绕过、误报控制、审批绑定、回执可复现性、证明篡改检测、运行时可移植性、语义模式检测、策略退化和 Azure 部署演练。
- 论文论文追踪
Janus：面向长时程智能体安全的前瞻性潜在风险预测框架
研究者提出 Janus，一个面向长时程智能体安全的前瞻性框架，通过多智能体模拟合成多样化轨迹，训练护栏模型从部分轨迹中预判延迟风险。Janus 联合优化风险预判与安全裁决两项任务，采用 CoAA-RL 以预判对下游安全判断的效用作为奖励。所得护栏模型 Vanguard 可在动作执行前拦截不安全行为，在四个智能体安全基准上平均防护能力较基线护栏提升 15.9 个百分点，同时良性任务完成率提升 5.1 个百分点。
- 论文论文追踪
拆解 LLM 交互中的隐私-效用权衡：Veilmind-4B 意图驱动本地保护框架
研究系统分析了 LLM 交互中隐私清洗对下游性能的影响，揭示三项机制：数据价值随用户意图在关键约束与可弃噪声间切换、清洗方式（删除或替换）取决于任务对事实完整性还是结构连贯性的依赖、属性间存在协同依赖或对抗冗余的语义网络。据此提出意图驱动的本地保护框架，蒸馏轻量模型 Veilmind-4B 驱动动态提取-清洗-恢复流程，在保持低泄漏隐私点的同时，响应效用显著高于现有隐私基线，将隐私-效用权衡推向帕累托前沿。
- 论文论文追踪
AgentRewind：面向长周期 LLM Agent 的可恢复执行框架
研究者提出 AgentRewind，一个运行时恢复框架，通过记录 Agent 上下文与受控环境对齐的检查点，让 Agent 能回到较早状态并利用此前尝试的信息继续执行，以应对长周期任务中早期错误在上下文和环境状态中传播、后续动作难以逆转的问题。作者同时构建 MettleBench，用于评估包含一系列相关需求的长周期工程任务上的任务完成度与部分进展。在多种任务、多个模型、执行策略和 Agent harness 上的实验显示，AgentRewind 相比对比基线提升了任务成功率和平均清单进度。论文共 19 页、5 张图，发布于 arXiv（2608.14380）。
- 论文论文追踪
Blindspot：面向长程工具调用 Agent 的安全与拒答校准基准
研究者提出 Blindspot，一个针对长程工具调用 Agent 的轨迹级安全校准基准，通过自适应对抗交互、有状态工具执行和基于执行结果的判定来评估完整的用户—Agent—环境轨迹。当前版本包含 7 个领域的 22 类攻击和 35 个场景，生成超过 2500 条长程轨迹，平均交互长度 14.7 轮，每条轨迹被归为安全完成、正确拒答、不安全完成、过度拒答或不确定五类结果之一。与固定攻击数据集不同，Blindspot 是可扩展的实时仿真框架，攻击、场景、工具、策略、领域和 Agent 配置均可新增而无需重设计评测流程。
- 论文论文追踪
FlowReview：以授权配对评测控制多智能体组合信息流
研究者提出授权配对评测（authorization-paired evaluation），把拦截被禁止用途与完成必需授权用途设为同一成功标准，并给出 FlowReview 框架，串联对象解析、权限排序与确定性执行。在受控组合实验中，对组合产物进行审查把拒绝提交率从 86.0% 降到零，且未损失授权供给。作者据此指出，仅保留信息与来源血缘不足以确保正确的权限归属，对象身份与权限必须通过输出可验证的组件与执行保持连接，多智能体安全需要在治理组合信息流的同时保留使协作有价值的授权能力。论文共 44 页、9 张图，代码与数据已公开。
- 论文论文追踪
ZeroGate：为受治理 AI Agent 运行时提供保留信任的快速路径
Zexun Wang 提出 ZeroGate，把精确动作审批与持久化本地准入分离：签发方签署短时 ActionPass，受信任的运行时适配器在本地门检查绑定并消耗 nonce 前重建最终动作，并用 SQLite 事务把 nonce 消耗、配额更新与准入回执耦合在一起。论文给出条件性决策保持命题：在审批可靠、策略依赖完整且最新、观测忠实、消耗原子等前提下，本地准入成功意味着指定的同步策略会在准入点授权同一动作。作者强调实现本身不保证当前世界的新鲜性，也不保证远程效果恰好一次。评估包含语义夹具、并发与崩溃实验，以及 Azure Blob 上同步与准备式执行的对比：4800 次云端尝试中，准备式从 worker 准入到分发的 p95 为 9.802 至 11.374 ms，同步方式为 25.018 至 334.000 ms，但准备式的完整生命周期均值在各并发级别都更长，边界改善并非净加速。