全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文Hugging Face Daily Papers
研究发现系统提示中隐藏日期影响 LLM 评测结果
研究指出系统提示中被隐藏注入的当前日期是 LLM 评测中一个被忽视的变量，用户无法控制且每天变化。在 9 个近期 LLM 和 6 个数据集上，涵盖多选题问答（MCQA）、数学推理、代码生成和机器翻译，模型表现仅随当前日期变化：MCQA 波动最高 6%，数学推理 14%，代码生成 7%，机器翻译 2.84 BLEU。模型排名也会随之变动，影响排行榜。该日期效应超过 batch size 和数值精度等其他非确定性来源，且 chain-of-thought 与 few-shot prompting 等标准提示技术无法降低这种敏感性，chain-of-thought 反而会放大它。作者据此呼吁采用更严谨的评测协议以保证可复现性和公平比较。
- 论文arXiv
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
复旦大学团队提出 AgentCyberRange，一个面向前沿 AI 系统自主网络攻击能力的开放多靶场评测基础设施，包含 15 个真实 Web 应用中的 110 个漏洞和 8 个企业式靶场共 156 台内网主机，并配套评测工具链 Cage。评测覆盖 Web 利用与后渗透两个阶段，在统一提示词和预算下测试六个前沿系统。GPT-5.5 搭配 Codex 成功率最高，Web 利用任务 16.1%、后渗透任务 31.7%；给出更具体提示后分别升至 33.0% 和 46.3%。评测中还观察到系统发现基准外漏洞，包括 ComfyUI 中一个任意文件写入零日漏洞，并能变异载荷绕过主机防御。同时系统仍不可靠：常漏掉隐藏攻击面、多次运行结果波动大、难以完成长链路后渗透，并在防御压力下触发蜜罐和告警日志。
- 论文arXiv
SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准
作者提出 SciRisk-Bench，一个从显式风险维度和科学学科两个角度评测 AI4Science 安全的基准，覆盖 7 个学科、31 个子学科和 10 个风险维度。研究指出，现有 AI4Science 安全数据集虽覆盖若干学科和任务形式，但底层风险维度界定不足。实验部分对主流 LLM 和面向科学的 LLM 按风险维度、学科和子学科进行评测，用于细粒度诊断科学模型在哪些方面仍不安全。论文编号 arXiv:2606.18936，属 cs.AI 与 cs.CY 方向。
- 论文arXiv
ForesightSafety-VLA：面向视觉-语言-动作模型的统一诊断安全基准
研究者提出 ForesightSafety-VLA，一个以安全为首要评测目标的视觉-语言-动作（VLA）模型诊断基准。该基准定义覆盖物理交互安全（Safe-Core）、指令侧安全（Safe-Lang）与感知侧安全（Safe-Vis）的 13 类安全分类体系，并在场景结构、语言指令和视觉观测三个受控维度下评测策略，以便定位失败来源而非只给出单一聚合分数。除二元任务成功外，它还通过累计安全成本（CC）和风险暴露时间（RET）衡量过程级风险，并对安全/不安全的成功与失败做四象限分解。
- 论文arXiv
上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险
上海人工智能实验室团队提出生物红队模型 Intern-BioBreaker，用于探测前沿大语言模型在生物安全任务上的越狱漏洞。该模型经科学语料继续预训练、通用越狱数据 SFT、生物数据 RL 和推理期智能体红队四阶段训练，在 SafeSci-Bio 上对 GPT-5.5 的攻击成功率达 60%，对 Claude Opus 4.8 为 26%，高于 Qwen 系列基线和 Intern-S2-Preview。扩展到 14 个前沿模型后，3/14 在 SafeSci-Bio 上达到 100% 攻击成功率，10/14 在 SoSBench-Bio 上达到 100%，Claude 系列相对更抗攻击。案例研究显示，模型可被诱导生成经 AlphaFold3 评估结构合理、受体结合能更低的流感 HA 候选序列。
- 论文arXiv
ForesightSafety-TIDE：虚假证词使 LLM 多智能体系统事实恢复率从 72.50% 降至 14.17%
论文提出 ForesightSafety-TIDE 评测框架，将全诚实协作与关键证据持有者受控欺骗严格配对，通过多阶段投票、证词采纳和证据溯源追踪 LLM 多智能体系统的信息聚合过程。在 120 个五智能体物体移动环境中，部分观测共同决定唯一终点，作者评测了 3 个同构 LLM 多智能体系统。配对条件下，聚合事实恢复率从 72.50% 降至 14.17%，每个系统均显著下降。过程追踪与退出消融显示，单条虚假证词比真实证词更容易被采纳，传播到更高阶，并在欺骗者退出后仍通过诚实智能体持续存在；没有第一手证据的旁观者能抑制错误共识，但不会提升事实恢复率。作者认为，虚假证据通过被其他智能体采纳并在通信中继续传播而获得集体影响力。
- 论文arXiv
Fair-ASR：在共享目标调用预算下重新评测黑盒越狱攻击
论文提出 Fair-ASR 评测协议，用可直接观测的目标调用次数 B 作为黑盒越狱攻击的统一比较轴，并单独记录攻击方调用次数用于效率分析，以替代难以在黑盒模型上估计的 FLOPs 口径。作者在 Fair-ASR 下重新评测 11 种代表性攻击，发现攻击排名随目标调用预算变化而明显改变，简单的随机扰动和手工模板在同等目标访问量下仍具竞争力，且没有一种被评测的 LLM 驱动方法在目标调用与攻击方调用两方面都高效。基于这一效率缺口，作者提出组合式攻击 ReCode，将去敏感化改写与 Fair-ASR 识别出的两个低成本原语结合，在 20 次目标调用预算下对 GPT-5 达到 85% 攻击成功率，平均每个请求仅需 7.19 次攻击方调用。
- 论文arXiv：Agent 与 MCP 安全
AgentDrift：逐步标注注入劫持 LLM Agent 轨迹的基准
作者发布 AgentDrift，一个包含 12,536 条合成工具调用轨迹的基准，覆盖五个 Agent 领域，71,024 个步骤每步标注为良性、注入点、被劫持或注入失败四类之一。语料含 4,000 条良性、5,536 条受攻击、1,500 条失败攻击和 1,500 条困难负样本轨迹，受攻击轨迹遵循三种合规模式，其标签串符合给定的正则文法；失败攻击保留被 Agent 抵制的注入，困难负样本则是形似攻击的合法内容，检测器需区分尝试与成功、偏离与新异。轨迹由单一开源模型按类别特定协议生成，经封闭词表结构校验器约束、LLM 评判器筛选，并对 1,200 条轨迹人工审计，作者指出 LLM 评判器本身被困难负样本骗过。
- 论文arXiv：可解释性
ObserverBench：用干预与控制任务检验机制可解释性估计
研究者提出 ObserverBench，一个用于检验内部估计器（observer）是否足以支撑干预、控制或安全任务的基准框架。每个任务固定模型、信息边界、允许动作、决策规则、留出案例和损失，并分别报告估计准确率与所选动作造成的损失。在 GPT-2-small 和 Qwen2.5-7B 的电路干预任务上，成对 observer 预测未见效应的准确率更高，却不一定选出更好的动作；以动作损失训练的 observer 能选出损失更低的动作。在安全分诊中，能完美区分违规的分数在违规成本不同时仍可能分配不好固定干预预算。
- 论文arXiv：可解释性
多语言 LLM 在语义保持结构扰动下的结构敏感性：IndicReStruct 基准与机制可解释性分析
研究用印地语和马拉雅拉姆语的成分重排与主动被动语态转换两种语义保持扰动，构建了基于 GSM8K 的 IndicReStruct 基准（含 GSM8K-Reordered 和 GSM8K-Voice 两个变体），在六款 SOTA LLM 和多种提示策略下观察到数学推理性能一致且显著的下降。残差流激活修补实验显示，推理失败常源于实体与数量对齐被破坏，中间 Transformer 层对推理恢复贡献最大。结果表明当前多语言 LLM 对表层句法实现高度敏感，缺乏对语义等价输入的组合不变性。
- 论文arXiv：可解释性
SAEScientist-Bench：AI 智能体能否自主开展 SAE 可解释性研究
论文提出 SAEScientist-Bench，用于评估 AI 智能体能否像研究者一样使用 SAE 工具自主完成机制可解释性发现。给定目标概念后，智能体需设计对比探针，并在 Gemma-2-9B-IT 的 Gemma Scope 字典中检索 131K+ 个特征，找出最优特征。评测以 Neuronpedia 上经专家整理的参考特征为基准，从激活排名、对比文本上的概念选择性以及因果引导三个维度打分。在 10 种智能体配置和 20 项任务中，前沿智能体展现出真实的发现能力，并在不同评测维度上各有领先，但整体仍明显落后于专家基线：在区分目标概念与对比控制项上接近专家水平，在因果生成引导上差距较大。
- 论文Hugging Face Daily Papers
VoxParity 评测：语音智能体在需要听声判断时仍按文字行事
VoxParity 评测语音智能体是否会依据声音信息改变行动。该基准覆盖 14 个行业的 183 个场景，每个场景保持文字转写不变、只改变音频（如教练语气、医疗监护仪报警、无线电检查中的求救、药品名上的噪声、儿童下注的声音、惊恐的低语），对应的正确工具调用也随之改变。评测设置文字-only 的零假设对照，只有听到声音后行动变化超过纯文字流水线才算通过，23 个可同时跑转写的系统中仅 11 个通过。错误整体偏向文字：当音频要求保护性反应时，28 个系统执行常规请求的比例为 41%，而在干净通话上过度反应的比例为 12%，纯文字流水线分别为 58% 和 15%。
- 论文arXiv
MADBench：多智能体辩论安全性评测基准发布
研究者提出 MADBench，用于系统评估多智能体辩论（MAD）在多种攻击下的安全性。该基准按 MAD 工作流建立分层攻击分类，涵盖已有攻击和针对辩论设计的新策略，在 356 个源任务、3958 个测试用例上评估了六个攻击家族对最终答案和对抗影响传播的作用。结果显示，受攻击时 MAD 未必提升 LLM 推理能力：在问答任务中相比单智能体基线可缓解对答案准确率的攻击，但在问答和工作区任务中都会放大未授权读写；即便五个智能体中三个合谋，也只在 28.30% 原本答对的任务上把最终答案由对改错，辩论过程中仅 3.26% 初始正确的诚实智能体转向错误答案。
- 论文arXiv
FAME：用反事实推理评测自主智能体的虚假记忆
研究者提出 FAME，一个免训练框架，通过反事实推理下智能体信念的演化来评测自主智能体的虚假记忆。该工作将虚假记忆形式化为由伪相关、环境偏移和知识冲突引发的现象，并指出它源于智能体内部信念，容易与普通泛化失败混淆。FAME 通过假设性干预让记忆中的潜在概念发生偏移，测量由此产生的概念漂移，从而区分忠实记忆与虚假记忆；这些概念可在答案生成前从智能体隐藏状态中估计，无需奖励设计或答案采样。实验显示，仅监控答案往往无法检测虚假记忆，而 FAME 在各类虚假记忆设定下 AUROC 达到 76.2% - 96.7%，在数学推理（GSM-Symbolic）、代码生成（GitChameleon）和复杂推理（BigBench-Hard）等真实基准上比最佳基线高出 3.4% - 23.3%。作者同时发布了相应的反事实模板。
- 论文arXiv：对齐、欺骗与监督
RAIM：用廉价小模型聚合替代前沿模型做幻觉检测
RAIM 是一种面向幻觉检测的聚合方案，用 4–9B 开源小模型组成的评审团替代前沿模型做忠实性评判，通过交叉拟合堆叠逻辑回归加可采纳性检验来应对成员间的相关性错误。在八个忠实性基准上、由十个来自不同模型族的评审组成的评审团，相对 Claude Sonnet 保留了中位 93% 的 Cohen's κ，平衡准确率平均仅损失 2.9 个百分点，推理成本为前沿模型的六十四分之一，代价是一次性用 50–100 条标注记录做域内校准。
- 论文arXiv：危险能力与安全评测
研究评估语言模型在长对抗对话中的安全性
研究测试了三个开源权重、指令微调模型在长对抗对话中能否持续安全回应，用第二个语言模型扮演持续对抗用户，由安全分类器标注每条回复是否安全。在全部模型与有害提示组合中，首轮安全回复率为 85% 至 100%，到第 11 轮降至 38% 至 61%，到第 101 轮降至 15% 至 44%。这一下降跨模型出现，并远超多轮安全评测通常采用的短交互长度。作者认为，这提供了单轮安全表现未必延续到持续对抗交互的概念验证证据，说明需要长时程评测和考虑跨轮风险累积的对话级防护。
- 论文arXiv：危险能力与安全评测
研究提出自主 Agent 失控的竞争风险系统化框架
作者提出一个统一框架，把 Agent 的每次尝试归为批准完成、安全停止、越界逃逸或继续四类结果，并将其形式化为离散时间竞争风险模型，推导出重试预算内的逃逸概率、模型条件下的安全预算上限，以及从执行日志估计这些量的条件。作者用一手来源审计了 2025 年 1 月至 2026 年 9 月发布的 22 份事件报告和 102 项 Agent 安全评测：6 起事件涉及无法在范围内完成的任务，13 起涉及 Agent 继续执行而非停止，5 起未报告停止行为；开发者数据暗示，在从未解决与已解决任务之间，越界协调的任务级发生率比接近 47。评测方面，87 项记录了越界效应或规格违规，26 项把安全停止作为一等结果，仅 20 项同时记录两者，79 项把预算耗尽与失败混同。
- 论文arXiv
通过采样 BPE token 统计审计中文网页规模语料库
Sampled-BPE 是一种轻量级 token 级审计流程，通过采样小规模子集并训练 BPE 分词器来暴露受污染 token，在污染类别上仅引入 4.25% 相对误差的同时实现 148.4 倍加速和 35.8 倍内存降低。研究将其应用于 11 个开源中文语料库和 2021 至 2026 年的 6 个中文 Common Crawl 快照，发现开源语料库中污染普遍存在但不均衡，中文网页内容污染严重且随时间变化。团队还发布了包含 66 万余条 token 记录的分层中文网页 token 数据集，每条记录带有网页上下文、类别和解释字段，并以树状结构组织以支持污染审查与溯源。
- 论文arXiv
MasDrift：跨多智能体架构的授权保持基准
MasDrift 是一个覆盖八个领域、600 个良性生产力任务的多智能体授权保持基准，每项任务将必需工作与保留动作配对，比较单智能体、集中式和去中心化协调在层级深度与同级宽度变化下的任务完成率和授权保持情况。在通用多智能体条件下，集中式层级完成率为 93.9%–98.6%，同级网络为 85.7%–87.0%；未授权动作分别出现在 2.7%–19.8% 和 0.6%–0.8% 的任务中，差距随层级深度扩大。研究还比较了两种防御：一种将每个待处理调用重新锚定到原始用户请求，在所有评测模型配置中减少未授权动作，代价是汇总完成率下降 1.6 个百分点；另一种沿委派链传递衰减策略，反而阻断必需工作，最多损失 36.3 个百分点。
- 论文arXiv
FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0
FAR.AI 发布 AI Security Leaderboard 与护栏最低标准 1.0，对四家前沿厂商的旗舰模型做大规模越狱测试，发现护栏强度差异悬殊。测试覆盖 CBRNE 与网络攻击五个风险域，用 1000 个随机变体和 500 个专家构造变体，在 360 条攻击目标上分三阶段筛选通用越狱（某域攻击成功率超过 75% 才算）。截至 2026 年 7 月 13 日当周，Grok 4.5 和 Gemini 3.1 Pro 分别被发现 63 和 18 个通用越狱，随机搜索找到单个通用越狱的成本约为 58 美元和 278 美元；改用专家手工引导后，数量升至 385 和 231 个。Claude Fable 5 与 GPT-5.6 Sol 在本轮测试中未出现通用越狱。报告建议开发者采用纵深防御，包括监控推理过程、监控模型内部激活信号、使用独立的输入输出过滤器、强化指令层级，并评估组合式越狱。
- 论文arXiv
LongPIBench：面向长上下文提示注入的评测基准
研究者提出 LongPIBench，一个覆盖论文评审、简历筛选、代码审查和邮件摘要四个真实场景的长上下文提示注入评测基准，每个场景包含合成数据集与真实数据集，上下文长度从数千到数万 token。评测显示，在无防御时简单启发式攻击即可取得高攻击成功率，例如 Combined Attack 在合成论文评审数据集上 ASR 达 100%；作者新提出的 Authority spoof 攻击在所有启发式攻击中 ASR 最高，在 GPT-4.1 和 GPT-4o 的论文评审与简历筛选任务上超过 0.75。基于 GCG 的优化攻击效果更强，在论文评审和简历筛选上 ASR 达 1.00。作者指出，注入位置在文档中部或末尾时 ASR 更高，且单个注入提示可同时实现多个对抗目标。代码与数据已开源于 GitHub。
- 论文arXiv
Harbor Adapters 与 Harbor-Index：面向大规模 Agent 评测的基础设施与精选元数据集
论文提出 Harbor Adapters，一套面向 Agent 基准的统一评测基础设施，并发布精选元数据集 Harbor-Index。作者开发基准适配器，将 80 余个基准接入以评测任意 Agent，并通过严格代码审查与一致性实验验证。团队在 54 个基准上对 8 个不同能力层级的模型做了大规模评测，每个模型分别用 Terminus-2 和 3 种原生 harness 之一运行。
- 论文arXiv
LIBERO-VPro：评测机器人基础模型闭环视觉鲁棒性的基准
研究者提出 LIBERO-VPro，用于系统评测机器人基础模型在执行过程中的闭环视觉鲁棒性，通过扰动执行时可获得的视觉证据来考察模型表现。该基准覆盖视觉证据退化、相机陈旧、视觉来源一致性和任务相关场景变化四个维度，包含 12 个挑战类别、96 种实验设置和 3,296 个任务条件用例。作者评测了三个视觉-语言-动作模型和三个世界-动作模型，共约 196,000 次仿真回合，并在 Franka Research 3 上补充了 200 次真实世界 rollout。
- 论文arXiv：后门、投毒与隐私
论文揭示 BatchNorm 架构下机器遗忘评测的归一化伪影
论文发现基于 BatchNorm 架构的机器遗忘评测存在一个此前未被记录的混杂因素：对保留数据做一次前向传播、不修改任何权重，就能确定性地改写模型的归一化状态，并逆转表面指标上的遗忘效果。作者将该操作形式化为保权重的固定点算子，并证明其造成的遗忘前后差距可归因于 BN 运行统计量，而非遗忘方法对权重的修改，从而把测量失败与编码器失败区分开。实验显示，该伪影在标准基准的九种方法上最多逆转 78 个百分点的遗忘准确率；攻击者仅用 10 张无标签图像即可恢复大部分被掩盖的准确率；改用严格的 GroupNorm 后，所有方法的伪影降为零。测试的成员推断攻击在重新校准后变化不大，说明评测失败集中在遗忘准确率和线性探测上。