全部动态
论文与会议论文
本页材料
完整标题与摘要 · 24 条- 论文Hugging Face Daily Papers
AGO AI Quality Gate：面向 RAG 的"证据优先"发布决策框架
AGO AI Quality Gate（AGO）是一套面向工业级 RAG 评估的"证据优先"质量门框架，把缺失数据和评审模型出错都当作显式结果，结合确定性检查、本地护栏与结构化 LLM 评估分层打分，并用分层 beta-binomial 门控量化回归风险。在 RAGBench 的 12 个数据集、每个评审模型 N=1200 的分层测试样本上，gpt-4.1-nano 识别不合规回答的 AUROC 仅 0.603，gpt-4o 为 0.783，但其分领域表现仍在 0.62 至 0.88 之间。固定随机种子的门控研究显示，回归场景下决策级配置将不安全放行率降至 22.2%-35.1%，而朴素门控为 29.3%-41.8%。
- 论文论文追踪
SBW：面向 LLM 智能体的语义行为水印方法
研究者提出语义行为水印（SBW），在历史条件下对语义动作簇而非精确动作符号嵌入水印，并用带密钥的抗碰撞分桶替代公开簇分桶，在随机预言机模型下证明新桶分配不可预测。此前三种智能体水印方案都绑定精确动作符号，仅改写观测即可让 AgentMark 的比特恢复率降至 16.8%。在五个智能体模型（3B-14B，四家厂商）和三个编码器上，ToolBench（每模型 600 条轨迹）在 1% FPR 下改写检测率为 0.49-0.66，精确符号方案为 0.05-0.17；ALFWorld（每模型 100 个回合）为 0.92-0.97 对 0.00-0.01。带密钥分桶把自适应伪造从 100% 降到假阳性下限。作者指出该保证不覆盖的边界：对抗者复制受害者自身步骤时，乱序拼接被中和（Qwen2.5-3B 上为 0.000），但链式重放在五个模型上仍达 0.76-0.98，作为开放问题报告。
- 论文arXiv
面向大语言模型的参数内记忆增强综述
一篇综述系统梳理了在部署阶段为大语言模型（LLM）增强"参数内记忆"的方法：把承载记忆的参数对象在推理时接入前向传播，以补充上下文学习（ICL）占用上下文容量、重复离散编码成本随上下文长度增长的问题。综述用两个正交维度组织该领域：参数放置位置（Embedding、Attention、FFN 层或 Hybrid）与参数获取时间（部署中在线获取 vs 部署前离线获取），并讨论了干扰、安全、与 ICL 协同设计及递归自我改进等开放方向。
- 论文arXiv
NetAgent：面向多任务网络流量分析的智能体框架
NetAgent 是首个用于多任务流量分析的智能体框架，无需任务特定训练即可完成复杂任务理解、动态分解编排与长时程分析。它包含知识增强的工作流规划、150+ 工具的动作空间、统一代码执行空间、三层记忆以及沙箱与运行时修复五项设计。在 9 个基准上，NetAgent 在几乎所有任务上超越 23 个单任务和 5 个多任务基线，对未见流量分布的 F1 达 90.04%，而最佳基线仅为 2.74% 和 3.04%。
- 论文论文追踪
TRACE：仅凭 checkpoint 更新审计大语言模型有害目标
研究者提出 TRACE，一种只读取 checkpoint 更新的权重审计方法，无需模型查询，也不需要接触未知的 SFT 数据。研究发现有害合规 SFT 会在 checkpoint 更新空间留下连续、依赖目标的排序：以纯有害合规、安全目标和良性效用三类 SFT 定义参考几何后，checkpoint 级坐标 s_H 能追踪受控的有害目标组成，在四个 7-8B 基座模型上 Spearman 相关系数为 0.986-0.992，更大模型规模上排序依然保持。对照实验显示该痕迹反映的是 SFT 目标而非有害输入暴露，也排除了有害样本数量或训练强度的简单解释。在分布偏移、未见数据、不同 SFT 配置、部分 checkpoint 访问以及 LoRA 与全参数微调下，该痕迹保持稳定，并与独立测得的攻击成功率正相关；在有害目标占比较低时仍有信息量。代码已公开。
- 论文Hugging Face Daily Papers
Jev 预注册测试：智能体记忆何时该用选择替代抽取？
一项预注册研究在 LoCoMo 与 LongMemEval 上测试智能体记忆：在 LoCoMo 的紧预算下，由类型化决策模型 Jev 单次调用选出的原始对话轮次，不劣于 LLM 抽取式记忆（单侧 95% 界为 -3.0 分，非劣效界为 -5 分），且写入成本低 3,061 倍。重排序收益随预算增大而缩小：保留 30 个候选中的 3 个时在 LoCoMo 加 17.4 分、LongMemEval 加 9.1 分，预算宽松时仅加 1.5 和 1.1 分，此时抽取式系统更准。相同上下文下 Jev 选择精度与 LLM 重排序器相当（非劣效界 -2.0），延迟仅为其三分之一，且优于多次调用的图遍历；重排序会降低正确弃答率。
- 论文论文追踪
RA-Det：利用鲁棒性不对称检测 AI 生成图像
研究者提出 RA-Det，一种基于行为而非外观的 AI 生成图像检测框架。该方法利用鲁棒性不对称现象，即自然图像在小幅结构化扰动下保持稳定的语义表征，而生成图像的特征漂移明显更大。作者给出理论分析，建立该不对称性与生成模型记忆倾向之间的下界关系，解释其跨架构普遍存在的原因。在 14 个生成模型上、对比 10 余种强检测器，RA-Det 平均性能提升 7.81%，且不依赖生成器指纹，可迁移到未见过的生成器。源代码已在 GitHub 公开。
- 论文Hugging Face Daily Papers
从蒸馏私有健康记录中智能体发现血液生物标志物
研究将 Clalit Health Services 逾 540 万患者记录蒸馏为已发布的评分工具：针对 13 种免疫介导疾病，在数据边界内训练图注意力网络预测候选 CBC 表达式的病例对照 AUC，仅发布训练权重。外部验证中，智能体发现的表达式较文献种子起点 AUC 中位数提升 4.18 个百分点，在三个独立队列中对三种前沿研究工具候选重排序多数优于其首选。
- 论文论文追踪
AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击
圣加仑大学等机构的研究者提出 AgentSpy，在隔离环境（Firecracker microVM）中从操作系统边界记录 Agent 及其所有子进程的系统调用与网络流量，不依赖 Agent 自身的轨迹记录。它提供两类确定性分析：可靠性分析把每次执行汇总为星形图，统计执行的命令、读写的文件和访问的主机，并计算多次运行的相似度与技能覆盖率；安全分析则用规则检查读取私钥、越界修改文件、运行不可信程序、连接不可信域名等禁止行为。在 SkillsBench 的 77 个任务、codex harness 与三个模型上，同一任务的重复运行比混入其他任务的运行更相似的比例为 92.2%；在三次运行均通过测试的任务中，18% 出现与任务无关的活动，7% 读取了评分文件，17% 未使用开发者提供的技能指引。
- 论文论文追踪
Inspect Robots：面向具身智能体评测的开源模块化框架
研究者发布开源框架 Inspect Robots，用于开发和运行具身智能体的评测。该框架提供可定制、可复用的抽象来定义物理评测并分析结果，同时配套自动化完成评测搭建、执行与终止的基础设施。作者用它评测了六个基于前沿语言模型的策略的能力与安全性。框架发布后三个月内下载量接近 10 万次，论文投稿至 CoRL 2026 的 The Science of Physical AI Safety（SPAIS）Workshop。
- 论文论文追踪
SideKernel：面向 macOS 上 AI 编码 Agent 的 microVM 沙箱
佐治亚理工的一项硕士安全实践项目提出 SideKernel，一个面向 AI 编码 Agent 的开源本地 microVM macOS 沙箱，目标是提升可用性。作者先做在线用户调研，发现不到 40% 的 AI 编码 Agent 用户会在沙箱中运行 Agent，并归纳出阻碍沙箱采用的主要可用性障碍。随后作者按五项纳入标准筛选市面上的沙箱，围绕调研得出的 23 项能力测试，将 SideKernel 与符合条件的沙箱做对比分析，结果显示只有少数沙箱与 SideKernel 类似，其中 Docker Sandboxes 与 SideKernel 在可用性相关能力上得分最高。论文的另一项贡献是梳理本地、开源、基于 microVM 的 macOS AI 编码 Agent 沙箱现有方案。
- 论文论文追踪
IACM-RL：面向动态意图波动下复杂工具调用的意图感知上下文管理与强化学习
IACM-RL 框架通过 BeliefState 自生成上下文管理器主动追踪目标变化，并用结构化过期标记隔离被覆盖的参数，以分层意图驱动奖励加三项辅助损失优化策略。作者同时提出 DynamicIntent 流水线，覆盖 13 种细粒度意图波动场景并配套五维诊断指标。在 DynamicIntent、BFCL-V3 和 τ²-Bench 上，IACM-RL 显著优于基线，减少无限 API 循环与过期上下文错误，并提升域外泛化能力。
- 论文论文追踪
研究者提出最小范数攻击集成，用鲁棒性曲线替代单一 ε 评测
研究者提出一套统一的对抗鲁棒性评测框架，用覆盖 ℓ0、ℓ1、ℓ2、ℓ∞ 四种范数的最小范数攻击池和鲁棒性-扰动曲线，替代在单一扰动预算 ε 下使用 AutoAttack 等预设攻击集成的做法。作者指出，鲁棒性-扰动曲线可能在不同模型间交叉或以不同速率衰减，导致单一 ε 下的排名不稳定，且现有集成无法说明与最坏情况性能的差距，也无法系统控制攻击强度与评测成本的权衡。为此他们把评测形式化为前沿逼近问题，构造最小范数攻击集成，在可控查询预算下逼近攻击前沿，预算越大估计越紧。作者还定义防御前沿为各扰动规模下模型集合中的最高鲁棒性，并提出 Defense Optimality Index，按防御与防御前沿的差距排名，无需选定参考 ε。在 CIFAR-10 和 ImageNet 上，该集成在多数防御和各个预算档位上达到或超过 AutoAttack，且查询成本固定可控。
- 论文论文追踪
论文提出提示注入的七组件结构化分析模型
Jeremy McHugh 在 arXiv 发表论文，提出用七组件模型结构化描述提示注入，取代逐字记录攻击字符串的做法。模型包含载体、投递向量、隐藏方式、上下文破坏、权限提升、载荷和回传通道七个组件，其中五个属于攻击产物字段、两个属于环境字段。作者认为大语言模型会把不同自然语言表述编译为相同可执行动作，因此标注应追踪攻击者意图（工具目标、sink 与效果）而非表面措辞。该框架整合了 HOUYI 的载荷分解、Promptware Kill Chain 与攻击活动分类法，并把 ReNeLLM 等最小越狱框架视为受限子空间上的投影。论文给出标注规则、可直接映射到行业 CTI schema 的逻辑分析记录，以及 EchoLeak（CVE-2025-32711）和野外恶意软件 AI 规避样本等示例。
- 论文论文追踪
研究提出人机审计协作框架 HAAC，并在对话购物 Agent 上验证
研究者提出 Human-Agent Audit Collaboration（HAAC）工作流与系统，用于在 AI 审计中划分人与 AI 智能体的分工，让智能体承担探索、评估、报告和复核，同时在需要情境判断的环节保留人类监督。团队将该框架实例化到对话购物 Agent 上并开展两项研究：71 名审计员的实验显示，AI 辅助提高了攻击成功率并扩大了探索范围，同时也影响了后续攻击方式，并增加了审计员对 AI 生成评估与报告的依赖。对负责任 AI 从业者的访谈表明，可落地的审计需要覆盖范围可见、攻击轨迹可复现，以及对审计智能体本身进行评估。
- 论文论文追踪
JEV 作为智能体轨迹安全评判器：与生成式 LLM 评判器的实证对比
研究对比了类型化决策模型 JEV 与四个生成式 LLM 评判器在智能体轨迹安全分类上的表现，测试覆盖四个基准共 5,219 条轨迹。JEV 的基准平均正类 F1 为 77.8，高于最强生成式配置 GLM-5.2 的 74.1，有效结果覆盖率分别为 95.5% 和 94.4%。JEV 在 ATBench500 和 MCPHunt 上领先，GLM 在 R-Judge 和 TraceSafe 上领先；JEV 成功调用延迟中位数 0.99 秒，每次有效判断的 token 成本平均约 $0.000195。
- 论文arXiv
TESS：面向大语言模型数据选择的可扩展可迁移元网络需换损失函数
针对将选择网络直接并入现有 MTS 目标会导致优化不稳定与泛化差的问题，研究者提出基于 Pointwise Value Matching（PVM）的数据选择框架 TESS，指出权重压制和对易学特征的持续依赖是其成因。该框架在大语言模型安全与定向指令微调实验中展现出跨数据集、从子集到完整语料以及从小模型到大模型的强迁移能力。
- 论文Hugging Face Daily Papers
一个 AI token 值多少？研究者为野生 AI 生成网页文本提出新缩放定律
研究者发现，经 FineWeb 质量过滤后，2026 年 6 月网页数据中有 27.5% 的 token 被 Pangram 判定为 AI 生成，到 8 月升至 31.1%。这类野生 AI 文本来自多个模型、面向人类读者、在预训练语料中不带标注。为量化其影响，研究者预训练了 800 个语言模型，改变加入的 AI token 与人类 token 比例，并分别对人类文本和 AI 文本的留出损失拟合缩放定律。结果显示，对数据不足的模型，加入 AI token 起初会降低人类文本损失，但收益很快饱和并转为损害；对使用大量人类文本训练的模型，AI token 几乎立即抬高损失，而同等数量的新鲜人类文本仍能持续降低损失。该定律在小模型上拟合后，可预测最多 3.6 倍大的模型受 AI 文本影响的人类文本留出损失，误差比现有最佳定律低 41%。
- 论文arXiv
Meerkat：跨大量 Agent 轨迹检测安全违规
研究者提出 Meerkat，将聚类与智能体搜索结合，用自然语言描述违规行为并在大量 Agent 轨迹中定位稀疏失败。该方法不依赖种子场景、固定流程或穷举，通过结构化搜索和自适应调查有潜力的区域来发现违规。在滥用、失准和任务博弈等场景中，Meerkat 的违规检测效果显著优于基线监控器，并在一个头部 Agent 基准上发现大量开发者作弊行为，在 CyBench 上找到的奖励作弊案例比此前审计多近 4 倍。论文共 35 页、17 张图，作者为 Adam Stein、Davis Brown、Hamed Hassani、Mayur Naik、Eric Wong。
- 论文arXiv
OLMo：加速语言模型科学研究
为应对最强语言模型被专有接口封闭、训练数据与架构细节不公开的问题，研究者构建了真正开放的语言模型 OLMo。与以往仅发布模型权重和推理代码的做法不同，OLMo 同时公开了训练数据、训练代码与评估代码，以支持对语言模型偏见与潜在风险的科学研究的开展。
- 论文arXiv
onPanda：通过 token 级修正高效标注 LLM 与智能体的 on-policy 对齐数据
onPanda 是一款用于标注 LLM 对齐数据与智能体轨迹的交互工具，核心交互是 token 级修正：标注者定位首个不当 token，从模型候选 token 中选取替换或自由编辑，系统截断其后内容并从修正前缀继续生成，循环"定位—修正—继续"直至满意。一项小规模对照研究显示，onPanda 将标注中位耗时较人工后编辑降低 52%。由于最终回复绝大多数 token 由模型自身生成，所得数据基本保留模型采样分布，适用于构建 on-policy SFT 与偏好数据，修正记录还提供带精确位置的正负样本对。
- 论文arXiv：可解释性
REGEXROUTE：无需嵌入向量的正则表达式路由，兼顾速度与可解释性
REGEXROUTE 用稀疏自编码器（SAEs）从无标注文本中发现可解释的正则表达式特征，让 LLM 将分组 SAE latent 的描述转成正则提取器并迭代精炼，从而在推理时完全省去神经编码。在四个基准上，固定 128 个特征取得 76.43% 平均路由准确率，与最强神经文本编码器基线的 76.41% 相当，且延迟更低、鲁棒性更强。该工作还发现 Qwen2.5 编码器从 0.5B 扩到 72B 参数对路由准确率提升甚微。
- 论文arXiv：越狱、提示注入、投毒与防御
ACEA：面向红蓝队对抗的 LLM 协同演化测试平台
研究者提出 ACEA（Adversarial Co-Evolution Arena），一个把可插拔红队适配器与蓝队适配器接到同一靶标 LLM 上、由 LLM judge 对攻防成功率打分的对抗协同演化平台。平台通过最小化的 HTTP 协议 ACEA Standard Adapter Protocol（ASAP）接入任意语言编写的红队或蓝队项目，只暴露该协议即可成为完整参与者。评测方法上，向靶标注入规范化的秘密作为可验证真值，以区分真实泄露与模型幻觉；即使防御拦截了攻击，也仍把攻击发给靶标，从而独立测量攻击的原始效力，得到每轮攻击强度与防御有效性的分解。
- 论文arXiv：越狱、提示注入、投毒与防御
SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量
这篇 SoK 重新审视智能体 AI 时代的越狱安全，围绕用户交互、规划与推理、记忆、工具使用和智能体间通信建立攻击与防御的统一分类，并提出安全、效用、效率三维评估框架，区分原生有害提示安全、对抗性越狱鲁棒性和智能体层面的安全结果。作者在统一智能体框架内对代表性攻击与防御做了受控实证研究，发现三点缺口：强原生对齐并不意味着能抵御对抗性越狱；防御效果高度依赖模型、攻击类型和组件，且可能带来过度拒答、效用下降和延迟的显著代价；最终回复的攻击成功率低可能掩盖中间环节已被攻破，规划、记忆和工具交互在最终回复被成功过滤时仍可能不安全。