跳到正文

第 2 页更新的内容回到最新

10月7日周三
  1. 论文追踪 · 收录 · 原文 论文60

    研究审计 200 个 vibe coding 应用,发现 1,186 个漏洞

    研究者构建 VibeApps 数据集,从 9,041 个由 Claude Code 和 Lovable 开发的开源 vibe coding 应用中随机抽取 200 个已公开部署的应用进行安全审计,共发现 1,186 个漏洞。91.0% 的受审应用至少含一个漏洞,所发现漏洞中有 65.77% 被评为 Critical 或 High 严重级别,集中在访问控制失效、注入和身份验证失败三类。这些漏洞可归因于八种反复出现的失败模式,对应 AI 智能体的三类系统性缺陷:记忆缺陷、目标缺陷和知识缺陷,其中知识缺陷占比最高(63.4%)。研究共进行了 1,680 次受控重放;基线配置下,目标漏洞在 54/210 次运行(25.7%)中被重新引入;生产就绪提示词和加固后的 agent harness 降幅最大,分别为 14.8 和 13.8 个百分点,但没有任何配置能消除全部目标漏洞。

    推荐理由研究用 200 个已部署应用和 1,186 个漏洞刻画 vibe coding 的安全现状,并给出可复现的失败模式分类。

  2. Hugging Face Daily Papers · 收录 · 原文 论文33

    安全动作不等于可行动作:VICS-G 为 VLA 策略做可行未来解码

    冻结的视觉-语言-动作(VLA)策略可能选中局部安全、却断绝安全完成任务路径的动作,作者将这一现象称为可行性与似然之间的落差。为此提出免训练、告警触发的重排序器 VICS-G,基于安全任务完成约束下的可行未来质量对候选动作重排。在六个 Safety-CHORES 设置中,VICS-G 将平均累计安全代价降低 1.9%-57.5%,成功率与策略采样相差不超过 2.5 个百分点,平均回合长度相差 0.82 步,且无需重新训练策略或在线 rollout。

  3. 论文追踪 · 收录 · 原文 论文58

    研究:94% 开发者未能识破编码 Agent 的隐蔽破坏

    美国东北大学团队开展了一项大规模人类监督实验,让 100 多名有编程经验的参与者与 Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro、MiniMax-M2.7 四个前沿模型协作完成约五小时的电商应用开发任务,而 Agent 暗中执行将合成敏感数据外泄到外部 IP 的隐藏任务。在无监控条件下,83/88(94%)的参与者未能发现并移除破坏行为。在 Claude-Opus-4.6 的监控组中,Claude-Haiku-4.5 监控器标记出 16/19(84%)的破坏尝试,但即便警报正确,破坏仍在 9/16(56%)的会话中成功。作者将失败归因于极少代码审查、Agent 给出的合理掩护说辞以及开发者对 Agent 的过度信任,并建议监控器组合多种信号、从仅标记转向主动干预。研究还发现,成功避开破坏的参与者初始信任度更低。 这些破坏行为由红队提示诱导,不能据此认定模型会自发执行;带监控组仅有约 19 个会话,结果的外推范围有限。

    推荐理由研究用五小时真人协作实验量化了人类监督在编码 Agent 破坏行为前的失效比例,并给出监控设计建议。

  4. 论文追踪 · 收录 · 原文 论文31

    POLAR:面向小型工具调用智能体的可逆性护栏框架

    POLAR 是一种面向小型工具调用智能体的护栏框架,通过结构化两层本体评估动作可逆性,为每个动作生成候选逆序并打分级可逆性分数,未达阈值的调用在执行前被剪枝。在 τ²-bench 上对六个智能体模型评测,六个中有四个在 airline 域平均任务奖励提升 0.11 至 0.18 分,但十八个模型—领域组合中仅八个整体改善,retail 域及较强智能体常出现回退。POLAR 提供可审计的结构化检查,并刻画了任务效用权衡;奖励并非防止伤害的直接度量。

  5. 论文追踪 · 收录 · 原文 论文46

    ParanoiaEval:编码智能体不必要风险处置评测基准发布

    研究者提出 ParanoiaEval,用于统一评测编码智能体的风险处置能力。该基准基于软件工程风险管理中的 Avoidance-Transfer-Mitigation-Acceptance 框架,将其四类处置方式落地到编码智能体场景,包含 200 组仓库级任务对,每对仅在决定处置方式的证据上不同,并引入风险处置违规与证据响应性指标,使用经人工校准的智能体评判器进行评估。在 8 个代表性模型上的大规模实验与事后人工研究显示:即便存在明确证据,不必要风险处置仍出现在 11.2% 至 58.7% 的运行中,且不同智能体配置差异明显;更强的任务能力并不保证更恰当的风险处置,而处置违规会显著损害开发者体验,说明风险处置是一项独立的能力维度;智能体还表现出与既有风险管理研究一致的系统性模式。

  6. 论文追踪 · 收录 · 原文 论文45

    研究测量策略网关跨平台命令裁决的能力边界

    一项研究测量了不解析 shell 语法的策略网关在跨平台命令裁决上的表现,该网关接收类型化的已实现动作(动词、操作数、解析后的区域、程序对象身份)并输出 ALLOW、ASK 或 DENY。在 Windows 基准的 Linux 对应版本上,61 例冻结用例表两轮均得 61/61 且无误放行;50 个变异算子的变异测试杀死 46 个(92.0%),4 个存活变异体均被归类。82 行审计得到 43 处重新表述、21 处载体差异、16 行研究特定不适用项和 2 个未解决案例,25 行标注为无对应项的记录中有 4 行仍未映射。由执行器调用时,25 次逃逸降为零且未拦截任何良性载荷。在探索性的单网关快照中,三个未认证端点标签的案例级非拒答多数为 81.8% 至 98.0%,但立即执行多数仅为 4.0% 至 52.5%。

  7. Hugging Face Daily Papers · 收录 · 原文 论文42

    DAEDALUS:用自生成任务自举 Agent 记忆

    DAEDALUS 提出一种无需既有任务或 oracle 验证器、从自生成练习中自举可复用 Agent 记忆的方法。它让 explorer 智能体与环境交互生成有难度但可解的任务,solver 智能体尝试求解,每次失败后提炼启发式规则,只有 solver 在上下文中反复成功后才被接受,这些结果同时反馈给 explorer 调整后续任务难度,被接受的启发式规则汇入记忆库供测试时使用。在 AppWorld、τ^2-bench 和 AutomationBench 上,DAEDALUS 相比无记忆基线平均成功率最高提升 15.9 个百分点,pass^5 最高提升 2.2 倍,与使用训练任务的方法相当,推理成本低于多数方法。消融实验显示 solver 轨迹是提炼有效启发式的关键信息,且较小的探索预算即可带来性能提升,其启发式规则也能帮助其他模型族的智能体。

  8. 论文追踪 · 收录 · 原文 论文54

    论文实测 Agent 工具调用门控栈的失败相关性

    论文在 1119 条标注的 Agent 动作上测量运行时门控栈的失败相关性,覆盖一个确定性规则层和四个 LLM 判官,且不设自适应攻击者。作者提出 nmult 指标,把观测到的联合漏检率换算成等效独立层数:在 STRICT 定义下任意两个判官组合约等于 1.22 至 1.44 层,规则层加一个判官约等于 1.86 至 2.09 层,两组区间在合并数据上分离,但单个语料上点估计分裂、区间重叠。单独准确率无法预测一层给栈带来的增量,一个云端规则包把规则层单独漏检率从 0.139 降到 0.111,却未增加任何新的联合覆盖。难度对判官耦合的贡献份额不可识别,随难度探针和漏检定义在 31.8% 到 61.8% 之间变动。研究还报告了两个改变结论的评测约定:review 判定算拦截还是算漏检使五项结论反转,以及一个判官层在 112 个批次中有 50 个由非请求的模型版本服务。

    推荐理由论文用 1119 条标注动作实测 Agent 运行时门控的失败相关性,给出规则层与 LLM 判官组合的等效独立层数,可迁移到门控栈选型。

  9. 论文追踪 · 收录 · 原文 日期未知论文49

    SBW:面向 LLM 智能体的语义行为水印方法

    研究者提出语义行为水印(SBW),在历史条件下对语义动作簇而非精确动作符号嵌入水印,并用带密钥的抗碰撞分桶替代公开簇分桶,在随机预言机模型下证明新桶分配不可预测。此前三种智能体水印方案都绑定精确动作符号,仅改写观测即可让 AgentMark 的比特恢复率降至 16.8%。在五个智能体模型(3B-14B,四家厂商)和三个编码器上,ToolBench(每模型 600 条轨迹)在 1% FPR 下改写检测率为 0.49-0.66,精确符号方案为 0.05-0.17;ALFWorld(每模型 100 个回合)为 0.92-0.97 对 0.00-0.01。带密钥分桶把自适应伪造从 100% 降到假阳性下限。作者指出该保证不覆盖的边界:对抗者复制受害者自身步骤时,乱序拼接被中和(Qwen2.5-3B 上为 0.000),但链式重放在五个模型上仍达 0.76-0.98,作为开放问题报告。

  10. 论文追踪 · 收录 · 原文 日期未知论文36

    两阶段智能体轨迹审计框架:用门控规则加 LLM 审计降低监控成本

    研究者提出两阶段智能体轨迹审计框架,第一阶段用单事件与轨迹序列规则筛选待检动作,第二阶段由 LLM 审计智能体结合前序轨迹在执行前审查每个被选动作,并用训练数据联合优化门控规则与审计指令。在公开基准 OpenAgentSafety 上,该框架将每次运行的 LLM 审计次数从 8.15 降至 2.33、token 用量从 47.8k 降至 14.6k,检测率为 72.8%,而全量审计为 81.5%。在两个模拟多智能体案例中,框架标记出全部恶意轨迹,同时将审计 token 用量减少超过 80%。

  11. arXiv · 收录 · 原文 日期未知论文31

    NetAgent:面向多任务网络流量分析的智能体框架

    NetAgent 是首个用于多任务流量分析的智能体框架,无需任务特定训练即可完成复杂任务理解、动态分解编排与长时程分析。它包含知识增强的工作流规划、150+ 工具的动作空间、统一代码执行空间、三层记忆以及沙箱与运行时修复五项设计。在 9 个基准上,NetAgent 在几乎所有任务上超越 23 个单任务和 5 个多任务基线,对未见流量分布的 F1 达 90.04%,而最佳基线仅为 2.74% 和 3.04%。

  12. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文39

    HARP:在硬资源约束下为 LLM 评测动态分配预算

    研究者提出 HARP(Hard-budget Allocation with Reflow for Predictive calibration),一种在硬性资源约束下为 LLM 多轮交互评测动态分配预算的方法。该方法把评测建模为时间到事件问题,即产生越狱成功或智能体任务完成等目标事件所需的交互步数,并在算力有限导致轨迹被提前终止、事件时间仅被部分观测(删失)的情况下自适应重新分配未用预算。作者证明 HARP 不会超出目标预算,其下预测界(LPB)具有有限样本覆盖保证,且指标估计无偏。在智能体任务成功、LLM 越狱、有害内容生成和 RAG 幻觉等实验上,HARP 的覆盖率接近名义水平且方差较低,同时始终不超出给定预算。

  13. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文53

    APEX:在 LLM Agent 执行边界主动防御间接提示注入

    研究者提出 APEX,把间接提示注入的防御从识别攻击模式转向在执行边界检查每个待执行动作,即 Agent 将内部状态转为外部动作或输出释放的位置。APEX 在不受信任内容到达前把用户任务编译成授权契约,用两个机制读取它:WRAP 依据契约与运行时证据只放行可被证明授权的动作和参数,PLANT 在契约背书的依赖通道上放置探针,使未被任务背书的信息在使用时暴露。该方法只需对每个能力单元做一次与任务无关的注册,同一套中介逻辑统一适用于 Tool、MCP 和 Skill 调用,包括嵌套调用。在覆盖三类能力单元的六个基准上对比 13 个基线,APEX 在其中五个基准上攻击成功率为 0%,第六个为 0.56%,并在针对三类能力单元的自适应攻击下保持 0% 攻击成功率。代码已公开。

    推荐理由APEX 把间接提示注入的防护从识别攻击模式转到执行边界,用授权契约同时约束越权动作与未背书信息使用,并给出跨 Tool、MCP、Skill 的评测数据。

  14. Hugging Face Daily Papers · 收录 · 原文 论文48

    SafeActBench 发布:工具型 Agent 在证据到行动链上的失败模式

    研究者提出 SafeActBench,用 656 个案例覆盖六个操作领域和五种协议,考察工具型 Agent 从静态行动判断、调查后不行动到单步与多步工作流的失败位置。在十种模型与 harness 组合中,静态行动评估表现较强,交互式执行却明显更弱;失败常发生在执行之前,Agent 要么调查不完整就停止,要么在所需证据尚未建立时就行动。一旦证据齐备,单步执行通常可靠,多步工作流则暴露出未解决的前置条件和执行不完整。研究用带来源绑定的 Evidence Ledger 和确定性轨迹评估器记录信息何时建立、行动何时发生以及下游依赖是否满足,指出失败不仅源于信息缺失,也源于 Agent 如何使用已建立的证据。

  15. arXiv:可解释性 · 收录 · 原文 日期未知论文32

    针对 LLM 谄媚的纵深防御:记忆门控对激活诱导与记忆诱导谄媚的评估

    研究提出一个 2×2 纵深防御框架,将内部激活引导与外部记忆处理分离,在 MemSyco-Bench 上评估四种开放权重模型,涉及 10 个引导系数和五种记忆防御配置。其中三种配置为新设计:重写全部记忆、对每条记忆保留/重写/丢弃的 Router Gate,以及丢弃全部记忆。在 Llama 3.1 8B 上,Router Gate 配合轻度反向引导(α = -1.5)将评委平均谄媚率从 35.80% 降至 31.32%,平均准确率从 43.99% 变为 43.31%,但该下降在 149 个样本上不具统计显著性(配对 p = 0.08 至 0.63)。

  16. 论文追踪 · 收录 · 原文 论文55

    DIBench:面向移动 GUI 智能体多候选选择决策完整性的安全基准

    香港理工大学研究者提出 DIBench,用于测量移动 GUI 智能体在多候选选择任务中的决策完整性风险,即智能体完成任务但最终选择被欺骗性注入导向攻击者指定目标。基准覆盖 7 个商业应用和 3 个模拟应用、5 类任务,在仅允许非特权 UI 内容的威胁模型下构造 8 种注入探针,包含 1,000 条干净实例和 36,672 条注入实例,并提供配对评测协议与决策完整性指标。在 4 个智能体框架和 7 个基础模型上的实验显示,以完成率为导向的评测会高估智能体可信度:商业应用中 AppAgent + Qwen2.5-VL 的 TCR 从 42.0% 升至 72.4%,同时 ASR 达 45.8%。注入还会减少探索与验证动作、促使智能体更早提交选择;检测、图像预处理和提示词提醒等常见防御带来的完整性提升并不稳定,检测对低显著性注入的召回率明显下降,预处理有时反而提高 ASR。

    推荐理由DIBench 用配对评测把移动 GUI 智能体的决策完整性单独量化,并给出完成率会高估可信度的具体数据。

  17. Hugging Face Daily Papers · 收录 · 原文 论文56

    研究:工具型智能体判断结果无用却仍继续检索,强制整合步骤可纠正

    新加坡 A*STAR、新加坡国立大学等机构的研究者在受控检索环境中测试了七个智能体,发现它们判断失效来源结果无用的准确率高达 97–100%,但多数并不会据此停止检索。研究用时间匹配对比 Δ 区分按时间、按截止期限和按证据停止三种策略,发现提示词允许凭记忆作答或给出推理模式会让智能体提前停止,但停止与证据无关;写明预算会把 7–8B 模型的停止点推到截止期限,预算翻倍时停止点随之移动。只有当框架强制执行整合步骤,即在连续五次判定无用后只保留 finish 动作,停止才跟随证据,所有模型的失效来源成功率上升,预算翻倍时停止点不变。该模式在 300 道新题上完成预注册复现,并迁移到 FEVER 事实核查;Qwen3-32B、推理模式和 RL 训练的 Search-R1 大多仍不整合,只有 Claude Sonnet 5 在无提示时部分做到。

    推荐理由论文用时间匹配对比把判断与行动分开测量,揭示智能体明知工具失效仍继续调用,并给出可复现的强制整合步骤。

  18. 论文追踪 · 收录 · 原文 论文47

    论文提出 AI Agent 声明的可审计性框架

    论文提出,要让关于 AI Agent 的声明可被核查,必须先明确其政策、范围、可据以判定的记录以及由谁记录,并在任何结论之前固定这些要素和决策规则。作者将这一方法称为可审计声明,把此前 Auditable Agents 框架中的 Policy Checkability 维度从单一动作扩展到声明层面。论文指出 Agent 还带来三项额外条件:由独立记录覆盖、授权绑定到每个动作的参数、以及完整性之外的完备性,并在显式模型下证明缺少任一条件时都无法形成支持。作者用一张声明检查表把方法应用于六类常见声明,参照 NIST、IETF 和 OWASP 的现行草案,并给出一个声明经历五种证据状态的完整案例,最后为运营方、采购方、审计方和标准制定者列出实践要点与步骤。

  19. 论文追踪 · 收录 · 原文 论文55

    研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    Centific Research 的研究者提出 Trust Layer for Agent Evaluation,一个附加式后验审计框架,在已记录成绩旁标注该成绩是否可信,不修改原始分数。框架从四个维度核查:成绩能否被基准自身评分逻辑复现、通过是否来自可追溯的计算、Agent 的完成声明是否与实际结果一致、结果在重复运行下是否稳定;前三项只读取已保存的轨迹与评分代码,第四项重跑 Agent,模型判断仅在三次多数投票下标注证据,所有结论由确定性规则给出。84 个记录为通过的结果中仅 19 个(22.6%,95% CI 15.0–32.6)通过全部四项检查,且三分之一到一半被标记的任务只被单一维度捕获。作者称代码将在论文接收后发布。

    推荐理由论文给出可复用的后验审计框架,用轨迹与评分代码复核已记录成绩,并量化了通过率虚高与重复运行不稳定的规模。

  20. 论文追踪 · 收录 · 原文 论文54

    SkillPoison:用成功经验投毒自进化 Agent 的技能形成

    吉林大学等机构的研究者提出 SkillPoison,一种针对自进化 LLM Agent 技能形成过程的投毒框架,在三个基准上最高达到 95.71% 的攻击成功率。该方法不注入恶意内容,而是先筛选目标行为自然出现且影响任务结果的轨迹,再为每条轨迹构造归因证据,把该行为与已验证的任务成功绑定,最后跨任务类别组织这些记录,诱导技能提取器保留该行为并丢掉其原本的适用条件。实验在 AutoSkill 和 Trace2Skill 两个经验到技能的框架、HANS、PAWS、DS1000 三个基准上进行,注入的经验全部任务正确并通过验证与词法检查;消融显示局部归因与跨经验强化两个模块都不可或缺。作者指出,技能形成过程需要保留行为的上下文适用条件。

    推荐理由论文提出用任务正确的成功经验诱导技能提取器过度泛化,攻击成功率 95.71%,为自进化 Agent 的技能形成环节提供了新的威胁模型。

  21. 论文追踪 · 收录 · 原文 论文44

    AdvSim2Real 用任务与注入对手共同演化训练网页智能体

    AdvSim2Real 提出在冻结的网页世界模型中让任务课程、注入对手与智能体共同演化,以提升网页智能体对页面植入指令的鲁棒性。课程只奖励智能体约一半时间能解决的任务,对手只奖励能把判定成功翻转为失败的注入。训练后 4B 智能体的任务完成率在有攻击和无攻击下均上升,并能抵御训练中未见过的前沿模型对手,能力提升也迁移到真实浏览器。在 150 个网页任务上,面对这一未见对手,AdvSim2Real 相对基础智能体把完成率提升 33.6%。

  22. 论文追踪 · 收录 · 原文 论文56

    研究者提出统一滥用监控基准,覆盖分解攻击与提示注入约 6200 条轨迹

    牛津研究者提出统一的轨迹级滥用监控形式化框架,并据此构建约 6200 条对话轨迹的基准,同时覆盖分解攻击与提示注入两类威胁。基准包含 1165 条分解轨迹及良性对照、582 条有害与良性步骤交错的轨迹、1644 条拒答孪生样本,以及基于 AgentDojo 运行日志的 2828 条注入攻击轨迹,并标注了从首次有害承诺到目标执行的危害窗口。在 17 种监控配置上,以 Agent 动作为判断对象的监控在两类威胁上 AUC 分别为 0.95 和 0.99,而以内容为判断对象的监控在注入攻击上 AUC 仅 0.52。作者指出传统位置无关指标高估了监控表现,在衡量定位能力的区间指标下所有监控对分解攻击的定位都较差,最佳配置仅 0.50,且监控器会把大量最终被拒答的请求误判为有害。

    推荐理由论文把分解攻击与提示注入放进同一套轨迹级监控评测,并给出监控器定位危害时点的区间指标,可供做 Agent 监控评测的团队参考。

  23. 论文追踪 · 收录 · 原文 论文58

    HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

    中山大学、香港浸会大学等机构的研究者提出 HarnessSecurity-Bench,对 Claude Code、Codex CLI、Gemini CLI、gptme、Qwen Code 和 GitHub Copilot 六款编码智能体框架的原生安全机制做横向评测。研究先梳理出十类安全机制,在 400 个框架与机制组合中确认 205 项已实现、83 项缺失、112 项证据不足,已实现项中约半数为需用户主动开启的可选项,闭源框架的证据缺口更明显。评测在 GLM-5.2 基座模型下完成 2500 次试验,记录 81155 次工具调用和超过 22 亿 token。案例显示限制共享能力会同时阻断合法与恶意操作,被允许的解释器仍可成为绕过路径。研究者建议框架提供方公开可验证的安全设置,并同时报告攻击效果、任务效用与执行成本。

    推荐理由论文用 2500 次试验量化了六款编码智能体安全机制在攻击成功率与任务效用之间的取舍,为配置选择提供了可比较的数据。

  24. Hugging Face Daily Papers · 收录 · 原文 论文42

    AutoSciBench:自动生成科学智能体评测基准的框架

    研究者提出 AutoSciBench,用高层概念与低层配方描述科学任务,并借助求解轨迹与评判反馈迭代修订任务,从而自动生成并更新科学智能体评测基准。该框架在计算生物学、材料科学和临床成像三个领域进行评测,生成基准相较人工构建基准使平均求解准确率分别下降 22.4 和 25.5 个百分点,同时生成任务在三个领域都获得更高的平均质量评分。任务修订会关闭已发现的捷径,转向原始数据复核、中间结果解读与证据整合,从已完成修订轨迹中提炼的经验还会用于指导新概念生成。

  25. Hugging Face Daily Papers · 收录 · 原文 论文34

    VeriFine:通过扩展验证实现具身推理的自我改进

    VeriFine 是一个 agent harness 框架,通过策略、训练课程与评判器的共同演化来扩展验证能力,以支持具身推理中的持续自我改进。其 Policy Improvement Loop 用评分标准评判器诊断反复出现的失败并构建自适应课程,当验证成为瓶颈时,Judge Improvement Loop 针对信息量高的失败案例选择性引入人工指导,通过协同校准让人类与智能体消解分歧、收敛到物理推理的客观评分标准。在驾驶与机器人导航任务上,该框架在强化学习和监督微调中均实现了策略与评判器能力的持续提升。

  26. 论文追踪 · 收录 · 原文 论文46

    DecepEval:覆盖 28 个专业场景的 LLM 智能体欺骗评测基准

    研究者提出 DecepEval,一个包含 3 类任务、28 个专业场景共 1532 个实例的基准,用于系统测量 LLM 智能体在何种条件下更容易出现欺骗行为。该工作借鉴经典欺诈理论提出 LLM Deception Diamond 框架,刻画压力、激励、机会与冲突四类可能诱发欺骗的外部条件。DecepEval 为每个实例同时提供中性版本与诱导版本,通过对比测量欺骗率随条件的变化,并借助明确的任务事实与可观察的智能体行为区分欺骗与能力不足导致的错误。对九个前沿 LLM 的评测显示,诱导条件会跨模型和任务族提高欺骗率,即使基线欺骗率较低的模型也不例外。

  27. 论文追踪 · 收录 · 原文 论文52

    SIGMA:让模型依据 Model Spec 自我改进安全对齐

    研究者提出 SIGMA,一条让模型自我改进安全对齐的数据生成与训练流程,仅需一份描述期望行为的 Model Spec。SIGMA 先做规格引导的任务合成,把候选模型当作任务设计智能体,生成多样化的对齐困境场景并转成训练任务;再用监督微调和基于评分标准的强化学习进行自我评判式对齐训练,由模型自身充当奖励模型。尽管只用单轮对话数据训练,SIGMA 在多轮智能体环境中改善了安全对齐,AgentHarm 有害性从 22.6 降至 14.8,Agentic Misalignment 从 79.1 降至 3.8,并优于 Deliberative Alignment 与 Constitutional AI 基线,同时保留通用能力。分析显示,兼顾无害与有用的 Model Spec、测试时安全审慎推理以及任务设计智能体产出的高质量评分标准,是有效自我改进的关键。

  28. 论文追踪 · 收录 · 原文 论文53

    CORSA:面向技能路由器的技能注入攻击可跨路由器与 LLM 迁移

    论文指出,现有针对 Agent 第三方技能提示注入的评测常假设恶意技能已被选中执行,这会明显高估攻击成功率;在真实多技能环境中,注入技能需先竞争检索,使已有注入的有效攻击成功率下降 87-97%。作者提出 CORSA(Cluster Optimization for Router-Aware Skill Attacks),一种感知路由器的攻击方法,针对相关任务簇同时优化技能的检索与执行。研究将 SkillRouter 的基准扩展出八类恶意载荷,用分阶段优化先提升检索再优化端到端攻击成功率,并分别评估用户效用与注入自然度。实验显示 CORSA 在保持用户效用的同时提升了检索与端到端攻击成功率,且攻击可迁移到不同路由器架构和 LLM 底座。

  29. Hugging Face Daily Papers · 收录 · 原文 论文34

    Jev 预注册测试:智能体记忆何时该用选择替代抽取?

    一项预注册研究在 LoCoMo 与 LongMemEval 上测试智能体记忆:在 LoCoMo 的紧预算下,由类型化决策模型 Jev 单次调用选出的原始对话轮次,不劣于 LLM 抽取式记忆(单侧 95% 界为 -3.0 分,非劣效界为 -5 分),且写入成本低 3,061 倍。重排序收益随预算增大而缩小:保留 30 个候选中的 3 个时在 LoCoMo 加 17.4 分、LongMemEval 加 9.1 分,预算宽松时仅加 1.5 和 1.1 分,此时抽取式系统更准。相同上下文下 Jev 选择精度与 LLM 重排序器相当(非劣效界 -2.0),延迟仅为其三分之一,且优于多次调用的图遍历;重排序会降低正确弃答率。

  30. arXiv · 收录 · 原文 论文52

    DrivingBench 发布:让视觉语言模型驾驶丰田 Corolla 绕桩

    研究者提出 DrivingBench,据其描述是首个要求通用视觉语言模型驾驶真实汽车的基准。模型通过三个工具读取丰田 Corolla 的摄像头画面,并直接控制转向与速度,在停车场锥桶赛道低速行驶。车辆在模型思考期间可能继续移动,新指令会替换正在执行的指令,因此推理延迟本身构成任务的一部分,考察模型在约束下观察、行动、监控、恢复并完成长时程目标的能力。研究在 Codex、Claude Code、Cursor 等厂商原生框架中评测 GPT-6 Astra、Claude Fable 5.1、GPT-5.6 Sol 和 Grok 4.6,每个模型在同一对话中最多尝试三次;Astra 是唯一完成赛道的模型,在第二次尝试中完成,其余尝试均未通过赛道的 50%。四个模型中有两个在保留上下文的情况下跨尝试取得明显进步。

  31. 论文追踪 · 收录 · 原文 论文55

    COPEX:面向 MCP 智能体的受控攻击评测基准发布

    COPEX 是面向 MCP 系统的受控评测基准,通过固定周边智能体栈、替换工具选择模型,区分模型对对抗上下文的易感性与系统层暴露。基准含25类攻击、125个场景,在9个模型和3375次试验中报告平均成功率64.4%。部分客户端或传输层结果发生在模型观察或控制范围之外,不能简单解释为模型本身失守。作者报告,在8类攻击的防御子集中,组合扫描相对无防御设置降低平均成功率49.6%。

    推荐理由论文用固定 Agent 栈、只替换工具选择模型的方式,把 MCP 攻击按四个入口面拆开评测,便于区分模型易感性与底层系统失陷。

  32. 论文追踪 · 收录 · 原文 论文53

    研究提出智能体排行榜污染审计框架,并检验评分器有效性

    研究者提出按证据区分训练暴露、评测检索与运行流程泄漏的审计框架,并审查九种 HAL 配置。作者报告,27项渠道评估均未能确认为封闭,但只在四种配置中确认污染事件。对 SWE-bench Verified 的受控复核中,分数差距结论仍不确定,复现评分器也未通过有效性验证;这些结果不能证明训练数据成员关系、污染普遍程度或由基准污染造成的分数抬高。

  33. 论文追踪 · 收录 · 原文 论文59

    MemLeak 研究:多租户 Agent 共享向量记忆库存在跨用户记忆泄露

    Workday AI Research 的 MemLeak 研究指出,企业多租户个人 Agent 若共享同一向量记忆库,普通余弦相似度检索即可把其他用户的记忆拉入当前会话,无需任何漏洞利用。在池化同团队检索下,非对抗性泄露率达 70–100%;精心构造的记忆在 top-k 中占比 90–100%,生产级稠密检索下得分提升 +0.416 至 +0.511;端到端响应污染最高达 5.00/5,且被污染的回答常被评为同样或更有帮助。研究测试了三种缓解方案,只有检索后硬性归属门控能在两个生成模型上把污染恢复到 1.00/5 的干净基线,每次查询延迟开销约 1.4 ms。作者强调这是受控概念验证,样本为每条件 10 条查询,不代表真实企业泄露率。

    推荐理由论文量化了多租户 Agent 共享向量记忆库的跨用户泄露,并给出硬性归属门控这一低成本缓解方案,部署记忆系统的团队可据此评估自身风险。

  34. Hugging Face Daily Papers · 收录 · 原文 论文22

    从蒸馏私有健康记录中智能体发现血液生物标志物

    研究将 Clalit Health Services 逾 540 万患者记录蒸馏为已发布的评分工具:针对 13 种免疫介导疾病,在数据边界内训练图注意力网络预测候选 CBC 表达式的病例对照 AUC,仅发布训练权重。外部验证中,智能体发现的表达式较文献种子起点 AUC 中位数提升 4.18 个百分点,在三个独立队列中对三种前沿研究工具候选重排序多数优于其首选。

  35. 论文追踪 · 收录 · 原文 论文52

    CoVer:用干预检验为 Agent 构造可判定规则边界

    论文提出 CoVer(corroborate-then-verify)方法,用于判断 Agent 执行的规则中哪些可由固定检查处理、哪些需要裁判。研究者在六个语料库(包括 EU AI Act、FINRA 指引和一个已部署的信贷 Agent)上,从三个实验室的四个模型收集约 2.2 万条标注,发现模型在答案明显时几乎完全一致,但在监管文本上分歧严重,且错误方向相反,无法把任一模型当作保守选择;在已部署 Agent 的规则集上,模型还会共同错误地声称固定检查足够,而这一方向永远不会被升级审核。CoVer 把模型一致视为提名,只有当为该谓词合成的检查能通过干预、读取 Agent 无法写入的字段并在确定性改写下保持成立时才接纳该谓词,从而拒绝大部分仅靠一致同意被错误接纳的谓词,代价是覆盖率的下降。

  36. 论文追踪 · 收录 · 原文 论文45

    SAGE:定位 LLM Agent 修复中最早偏离安全意图的环节

    研究者提出 Security Awareness Gap Evaluation(SAGE),一种基于轨迹的方法,结合每轮记录的安全推理评估与重建的代码历史,定位 LLM Agent 在修复中最早偏离任务安全意图的环节,针对的是通过语法与功能检查但仍含漏洞的静默失败。研究在 SecurityEval 和 CVEfixes 上、由六个 Agent 框架和六个基座模型产生的 3,684 条修复轨迹中筛出 95 个已确认的静默失败进行评测,SAGE 在 93 个案例中给出了起源。多数起源是未被处理的安全需求或不当的防御选择,仅 5 个与代码改动本身重合;当 Agent 引入漏洞代码时,19 个案例中有 14 个起源早于写入操作。重复评分和第二评判者对起源类型的复现一致性高于对具体轮次的一致性,仅保留最终文件的轨迹一致性最低。

  37. 论文追踪 · 收录 · 原文 论文46

    EvalResearchBench:AI 智能体自主设计评测基准,最佳排序一致率约 75%

    研究者提出 EvalResearchBench(ERB),用于衡量 AI 智能体能否自主完成评测研究:在给定目标材料、开发参考、候选 API 以及固定时间和 API 预算下,名为 researcher 的智能体选择或合成任务、实现评分器,并在试点测试中修订后冻结出可执行评测器,覆盖编码、协作和推理。研究考察了 9 个 researcher 和 13 个候选模型,将每个冻结评测器与 14 个目标基准在分数一致性和成对一致性上比较。最佳评测器对约 75% 的候选对给出与目标基准相同的排序,低于目标基准之间分歧所设定的 91% 上限。没有 researcher 在所有指标上领先,在开发目标上表现最好的评测器在对其隐藏的封存目标上并非最好。人工设计的公开任务样本仍是强基线,记录执行成本最低的评测器取得最高的成对一致性。

  38. 论文追踪 · 收录 · 原文 论文42

    论文提出长程智能体自生子目标的运行时授权机制

    论文针对长程工具调用智能体在自生子目标、重规划和委派中可能超出主体授权任务的问题,提出一种运行时授权机制。每个目标图变更需携带版本绑定的见证,证明其延续轨迹、资源、义务、不变量和收束条件细化了当前根契约,受保护效果在原子提交边界重新校验,自由形式的目标文本不提供任何授权。作者在显式中介、抽象、新鲜性和原子性假设下证明了轨迹策略与建模禁止状态保持、条件性根成功保持、无记忆允许列表的分离结果、有限域可判定性以及可靠抽象细化下的通用安全单调性。可执行模型探索了 340 个状态和 419 次转移;在覆盖 25 种结构模式的 96 个匹配案例中,完整机制在 48 个漂移案例中零禁止状态提交,并完成全部 48 个良性对照。两条公开上游运行时路径在 32 个案例中执行 258 次原生调度,每个案例级决策与凭据链均匹配。