全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：越狱、提示注入、投毒与防御
HARP：在硬资源约束下为 LLM 评测动态分配预算
研究者提出 HARP（Hard-budget Allocation with Reflow for Predictive calibration），一种在硬性资源约束下为 LLM 多轮交互评测动态分配预算的方法。该方法把评测建模为时间到事件问题，即产生越狱成功或智能体任务完成等目标事件所需的交互步数，并在算力有限导致轨迹被提前终止、事件时间仅被部分观测（删失）的情况下自适应重新分配未用预算。作者证明 HARP 不会超出目标预算，其下预测界（LPB）具有有限样本覆盖保证，且指标估计无偏。在智能体任务成功、LLM 越狱、有害内容生成和 RAG 幻觉等实验上，HARP 的覆盖率接近名义水平且方差较低，同时始终不超出给定预算。
- 论文Hugging Face Daily Papers
SafeActBench 评测工具型 Agent 从证据到行动的失败环节
研究提出 SafeActBench，用于分析工具型 Agent 从证据到行动链条在何处断裂，覆盖 656 个案例、六个操作领域和五种协议，从静态行动判断、调查后不行动，到单步与多步工作流逐步推进。在十种模型与框架组合上，静态行动评估表现较强，但交互式执行明显更弱；失败常发生在执行之前，Agent 要么调查不完整就停止，要么在所需证据尚未建立时就行动。一旦获得所需证据，单步执行通常可靠，多步工作流则还会暴露前置条件未解决和执行不完整的问题。研究还引入带来源约束的 Evidence Ledger 和确定性轨迹评估器，追踪信息何时被确立、行动何时发生以及下游依赖是否满足，表明失败不仅源于信息缺失，也源于 Agent 在决策和执行时如何使用已确立的证据。
- 动态安全内参 / 模安局
AgentPort-Bench 评测七个 Agent 框架：攻击类型解释约 28% 安全差异，框架仅约 0.05%
论文 AgentPort-Bench 在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验，比较攻击类型、模型和框架对安全结果的影响。方差分析显示，攻击类型解释约 28% 的结果差异，模型约 4.14%，Agent 框架仅约 0.05%，即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel，以及 Anthropic、OpenAI、Google 三家共 6 个模型。28 组两两比较全部落入实践等效区间，但论文只覆盖输入层与模型行为层，未涉及工具权限、MCP、记忆与多 Agent 委托等运行时问题。
- 动态AgentSafeLabs
AgentSafeLabs 用 9,360 次试验评测七种 Agent 框架的安全差异
AgentSafeLabs 发布 AgentPort-Bench，在验证攻击载荷逐字节一致后，对直接 API 基线和七种 Agent 框架（含 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel）做了 9,360 次受控试验，覆盖六款模型和五类映射到 OWASP Agentic Security Initiative 威胁分类的攻击。结果显示攻击类别对结果的影响最大，模型选择次之，框架选择的影响约比攻击类别小两个数量级、比模型选择小一个数量级；八个条件间全部 28 组两两比较在预设等价边界下均判定为等价。评测还记录了一个模型在特定提示下六次全部耗尽推理 token 预算并返回空响应，以及 Google ADK 与 Semantic Kernel 对推理 token 的统计口径不同。
- 论文论文追踪
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
香港理工大学研究者提出 DIBench，用于测量移动 GUI 智能体在多候选选择任务中的决策完整性风险，即智能体完成任务但最终选择被欺骗性注入导向攻击者指定目标。基准覆盖 7 个商业应用和 3 个模拟应用、5 类任务，在仅允许非特权 UI 内容的威胁模型下构造 8 种注入探针，包含 1,000 条干净实例和 36,672 条注入实例，并提供配对评测协议与决策完整性指标。在 4 个智能体框架和 7 个基础模型上的实验显示，以完成率为导向的评测会高估智能体可信度：商业应用中 AppAgent + Qwen2.5-VL 的 TCR 从 42.0% 升至 72.4%，同时 ASR 达 45.8%。注入还会减少探索与验证动作、促使智能体更早提交选择；检测、图像预处理和提示词提醒等常见防御带来的完整性提升并不稳定，检测对低显著性注入的召回率明显下降，预处理有时反而提高 ASR。
- 论文论文追踪
研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度
Centific Research 的研究者提出 Trust Layer for Agent Evaluation，一个附加式后验审计框架，在已记录成绩旁标注该成绩是否可信，不修改原始分数。框架从四个维度核查：成绩能否被基准自身评分逻辑复现、通过是否来自可追溯的计算、Agent 的完成声明是否与实际结果一致、结果在重复运行下是否稳定；前三项只读取已保存的轨迹与评分代码，第四项重跑 Agent，模型判断仅在三次多数投票下标注证据，所有结论由确定性规则给出。84 个记录为通过的结果中仅 19 个（22.6%，95% CI 15.0–32.6）通过全部四项检查，且三分之一到一半被标记的任务只被单一维度捕获。作者称代码将在论文接收后发布。
- 论文论文追踪
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
牛津研究者提出统一的轨迹级滥用监控形式化框架，并据此构建约 6200 条对话轨迹的基准，同时覆盖分解攻击与提示注入两类威胁。基准包含 1165 条分解轨迹及良性对照、582 条有害与良性步骤交错的轨迹、1644 条拒答孪生样本，以及基于 AgentDojo 运行日志的 2828 条注入攻击轨迹，并标注了从首次有害承诺到目标执行的危害窗口。在 17 种监控配置上，以 Agent 动作为判断对象的监控在两类威胁上 AUC 分别为 0.95 和 0.99，而以内容为判断对象的监控在注入攻击上 AUC 仅 0.52。作者指出传统位置无关指标高估了监控表现，在衡量定位能力的区间指标下所有监控对分解攻击的定位都较差，最佳配置仅 0.50，且监控器会把大量最终被拒答的请求误判为有害。
- 论文论文追踪
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
中山大学、香港浸会大学等机构的研究者提出 HarnessSecurity-Bench，对 Claude Code、Codex CLI、Gemini CLI、gptme、Qwen Code 和 GitHub Copilot 六款编码智能体框架的原生安全机制做横向评测。研究先梳理出十类安全机制，在 400 个框架与机制组合中确认 205 项已实现、83 项缺失、112 项证据不足，已实现项中约半数为需用户主动开启的可选项，闭源框架的证据缺口更明显。评测在 GLM-5.2 基座模型下完成 2500 次试验，记录 81155 次工具调用和超过 22 亿 token。案例显示限制共享能力会同时阻断合法与恶意操作，被允许的解释器仍可成为绕过路径。研究者建议框架提供方公开可验证的安全设置，并同时报告攻击效果、任务效用与执行成本。
- 论文Hugging Face Daily Papers
AutoSciBench：自动生成科学智能体评测基准的框架
研究者提出 AutoSciBench，用高层概念与低层配方描述科学任务，并借助求解轨迹与评判反馈迭代修订任务，从而自动生成并更新科学智能体评测基准。该框架在计算生物学、材料科学和临床成像三个领域进行评测，生成基准相较人工构建基准使平均求解准确率分别下降 22.4 和 25.5 个百分点，同时生成任务在三个领域都获得更高的平均质量评分。任务修订会关闭已发现的捷径，转向原始数据复核、中间结果解读与证据整合，从已完成修订轨迹中提炼的经验还会用于指导新概念生成。
- 论文论文追踪
DecepEval：覆盖 28 个专业场景的 LLM 智能体欺骗评测基准
研究者提出 DecepEval，一个包含 3 类任务、28 个专业场景共 1532 个实例的基准，用于系统测量 LLM 智能体在何种条件下更容易出现欺骗行为。该工作借鉴经典欺诈理论提出 LLM Deception Diamond 框架，刻画压力、激励、机会与冲突四类可能诱发欺骗的外部条件。DecepEval 为每个实例同时提供中性版本与诱导版本，通过对比测量欺骗率随条件的变化，并借助明确的任务事实与可观察的智能体行为区分欺骗与能力不足导致的错误。对九个前沿 LLM 的评测显示，诱导条件会跨模型和任务族提高欺骗率，即使基线欺骗率较低的模型也不例外。
- 论文arXiv
DrivingBench 发布：让视觉语言模型驾驶丰田 Corolla 绕桩
研究者提出 DrivingBench，据其描述是首个要求通用视觉语言模型驾驶真实汽车的基准。模型通过三个工具读取丰田 Corolla 的摄像头画面，并直接控制转向与速度，在停车场锥桶赛道低速行驶。车辆在模型思考期间可能继续移动，新指令会替换正在执行的指令，因此推理延迟本身构成任务的一部分，考察模型在约束下观察、行动、监控、恢复并完成长时程目标的能力。研究在 Codex、Claude Code、Cursor 等厂商原生框架中评测 GPT-6 Astra、Claude Fable 5.1、GPT-5.6 Sol 和 Grok 4.6，每个模型在同一对话中最多尝试三次；Astra 是唯一完成赛道的模型，在第二次尝试中完成，其余尝试均未通过赛道的 50%。四个模型中有两个在保留上下文的情况下跨尝试取得明显进步。
- 动态TheTruthAboutCars via Yahoo Autos
报道：DrivingBench低速实车测试中11次尝试有8次发生碰撞
研究者 Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench，测试 Claude、GPT、Grok 等现成 AI Agent 在真实车辆上的驾驶表现，硬件采用 Comma 视觉设备运行 OpenPilot，路线为停车场内一条由小锥桶标出的短程点对点路径，Agent 通过无线热点在单一对话中远程控制油门、刹车和转向。11 次运行中有 8 次未能通过路线的 11%，在第一个弯道就失败。Grok 把边界锥桶间的空隙误判为可通行的门，直接开了出去，首次运行仅两条指令后即结束。一个 GPT 模型自行发明了锥桶颜色规则，而人类编写的指令已明确警告不要这样做。多个 Agent 无法计算弯道所需转向角度，转向不足。
- 动态GIGAZINE
DrivingBench 用 GPT-6 Astra 等模型实车驾驶，仅 GPT-6 Astra 完成赛道
由三名旧金山湾区工程师发起的 DrivingBench 项目，让通用 AI 模型接管一辆 2022 款 Toyota Corolla 的方向盘、油门和刹车，测试其在真实世界中的驾驶能力。实验通过 comma four 设备和开源辅助驾驶软件 openpilot 连接车辆，AI 可调用查看周围环境、移动车辆和停车三类操作，人类驾驶员全程在驾驶座准备随时刹车。测试使用 GPT-6 Astra、Claude Fable 5.1、Grok 4.6 和 GPT-5.6 Sol，每个模型最多运行三次，赛道为停车场内约 135 米的 U 形锥桶路线。只有 GPT-6 Astra 完成赛道，第二次尝试用时 5 分 22 秒；Claude Fable 5.1 最好成绩约完成 45%，Grok 4.6 和 GPT-5.6 Sol 每次都只到第一个弯道。
- 动态Gadget Review
DrivingBench 测试：GPT-6 Astra 完成 134.7 米锥桶赛道，Grok 4.6 等三款模型失败
研究者 Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench，将 GPT-6 Astra、GPT-5.6 Sol、Claude Fable 5.1 和 Grok 4.6 接入一辆搭载 Comma Four 硬件与 openpilot 的 2022 款 Toyota Corolla，通过无线链路由远程模型向车辆下达控制指令。四款模型共进行 11 次测试，只有 GPT-6 Astra 在第二次尝试中完成 134.7 米锥桶赛道，用时 5 分 22 秒，消耗约 660 万 token、花费 7.74 美元。Claude Fable 5.1 最好成绩约为赛道的 45%，Grok 4.6 约 11%，首次尝试仅发出两条指令就结束，GPT-5.6 Sol 约 6%。 测试在低速锥桶场地进行，车内操作员保留人工刹车接管；上述小样本成绩不构成无人监管驾驶的安全保证。
- 动态The Drive
DrivingBench 测试前沿模型驾驶真车，GPT-6 Astra 唯一跑完全程
Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench，让 Claude、GPT、Grok 等前沿模型通过 Comma 视觉硬件与 OpenPilot 控制一辆 Toyota Corolla，在锥桶围出的停车场短程路线中完成点到点驾驶，每个 Agent 有三次尝试机会。在四个 Agent 共 11 次运行中，8 次未跑完 11% 的路线就在第一个弯道撞出。Grok 首次尝试把锥桶缺口误认为应通过的闸门，两次指令后即冲出赛道；一个 GPT 模型自行编造了赛道一侧锥桶同色的规则，而人类指令已明确说明并非如此；多数 Agent 转向角度不足，无法过弯。GPT-6 Astra 是唯一完整跑完全程的 Agent，在第二次尝试中完成，路线贴着长右弯并在终点前几乎冲出赛道。 测试在低速锥桶场地进行，车内操作员保留人工刹车接管；上述小样本成绩不构成无人监管驾驶的安全保证。
- 动态DrivingBench
DrivingBench 评测前沿模型驾驶真车穿越锥桶赛道
DrivingBench 报告在人工安全接管和限速措施下，让四个通用智能体尝试在封闭锥桶场地驾驶真车。11次尝试中8次未通过第一个弯道，GPT-6 Astra 是唯一完成赛道的模型；多数失败涉及场景感知。作者还观察到安全拒绝会随任务呈现方式变化。这是小样本、受控实车评测，不能据此保证无人监管驾驶安全，也不属于已部署车辆造成的道路事故。
- 论文论文追踪
COPEX：面向 MCP 智能体的受控攻击评测基准发布
COPEX 是面向 MCP 系统的受控评测基准，通过固定周边智能体栈、替换工具选择模型，区分模型对对抗上下文的易感性与系统层暴露。基准含25类攻击、125个场景，在9个模型和3375次试验中报告平均成功率64.4%。部分客户端或传输层结果发生在模型观察或控制范围之外，不能简单解释为模型本身失守。作者报告，在8类攻击的防御子集中，组合扫描相对无防御设置降低平均成功率49.6%。
- 论文论文追踪
研究提出智能体排行榜污染审计框架，并检验评分器有效性
研究者提出按证据区分训练暴露、评测检索与运行流程泄漏的审计框架，并审查九种 HAL 配置。作者报告，27项渠道评估均未能确认为封闭，但只在四种配置中确认污染事件。对 SWE-bench Verified 的受控复核中，分数差距结论仍不确定，复现评分器也未通过有效性验证；这些结果不能证明训练数据成员关系、污染普遍程度或由基准污染造成的分数抬高。
- 动态Omniscient Media
GPT-6 Astra 被列为首个 Critical 网络安全模型，但默认配置仅完成 2.4% 漏洞利用
Omniscient Media 分析 GPT-6 Astra 系统卡中的思维链可监测性与推理摘要可用性限制。其转述的具体比例涉及特定评测环境，不能据此推断生产环境中的普遍缺失比例。
- 动态Cisco
Cisco 发布 VLoc Bench 与 Safety-VLoc-Bench，评测 Agent 的漏洞定位与攻防不对称
Cisco 发布 VLoc Bench，用于评测 Agent 在仓库规模下定位漏洞代码的能力：任务只给 CWE 描述和真实仓库的只读访问权限，不含公告文本、CVE 编号、修复提交或文件提示。该基准覆盖 290 个仓库、六个包生态和 147 个 CWE 类别的 500 个真实漏洞，每个任务包含修复前定位与修复后确认漏洞已消失两个阶段，以区分理解代码、定位漏洞代码和验证修复三种能力。在统一提示词、只读工具和命令预算下评测 27 个语言模型和 4 个静态分析工具，最强系统仅达到 0.229 File F1，38.4% 的任务中没有任何被评测模型找到正确文件；参数量仅 30 亿的 Antares-3B 以 0.223 排名第二。
- 论文论文追踪
SAGE：定位 LLM Agent 修复中最早偏离安全意图的环节
研究者提出 Security Awareness Gap Evaluation（SAGE），一种基于轨迹的方法，结合每轮记录的安全推理评估与重建的代码历史，定位 LLM Agent 在修复中最早偏离任务安全意图的环节，针对的是通过语法与功能检查但仍含漏洞的静默失败。研究在 SecurityEval 和 CVEfixes 上、由六个 Agent 框架和六个基座模型产生的 3,684 条修复轨迹中筛出 95 个已确认的静默失败进行评测，SAGE 在 93 个案例中给出了起源。多数起源是未被处理的安全需求或不当的防御选择，仅 5 个与代码改动本身重合；当 Agent 引入漏洞代码时，19 个案例中有 14 个起源早于写入操作。重复评分和第二评判者对起源类型的复现一致性高于对具体轮次的一致性，仅保留最终文件的轨迹一致性最低。
- 论文论文追踪
EvalResearchBench：AI 智能体自主设计评测基准，最佳排序一致率约 75%
研究者提出 EvalResearchBench（ERB），用于衡量 AI 智能体能否自主完成评测研究：在给定目标材料、开发参考、候选 API 以及固定时间和 API 预算下，名为 researcher 的智能体选择或合成任务、实现评分器，并在试点测试中修订后冻结出可执行评测器，覆盖编码、协作和推理。研究考察了 9 个 researcher 和 13 个候选模型，将每个冻结评测器与 14 个目标基准在分数一致性和成对一致性上比较。最佳评测器对约 75% 的候选对给出与目标基准相同的排序，低于目标基准之间分歧所设定的 91% 上限。没有 researcher 在所有指标上领先，在开发目标上表现最好的评测器在对其隐藏的封存目标上并非最好。人工设计的公开任务样本仍是强基线，记录执行成本最低的评测器取得最高的成对一致性。
- 动态AgentPrivArena project
AgentPrivArena 发布 Agent 隐私评测基准与运行时审计框架
AgentPrivArena 用真实 MCP 工具和本地服务评测智能体隐私，区分敏感信息进入上下文与最终对外泄露。作者实验中，情境完整性审计将平均输出泄露率从46.8%降至17.8%，但敏感信息进入上下文的比例仍约74%至78%；因此减少输出泄露不等于避免不必要读取。结果来自特定模型和任务设置，未经独立复现，信息流提取不完整也是机制限制。
- 论文arXiv
ControlPed 生成逼真行人危险动作场景，七款端到端驾驶模型 HDScore 从 88.8 降至 47.4
研究者提出 ControlPed 框架，将轨迹级冲突合成与 3D Gaussian Splatting（3DGS）结合，生成逼真且动作可控的安全关键场景，用于端到端自动驾驶的行人与车辆交互安全评测。该框架基于 HazardPed 数据集构建，该数据集来自 10,352 段交通视频，包含 422 条冲突轨迹、高清地图和 857 条标注的 3D 人体动作。ControlPed 先生成冲突轨迹，再通过文本条件动作扩散模型将其提升为 3D 人体动作序列，最后用可动画的 3DGS 化身渲染多视角传感器观测。在 88 个渲染出的逼真场景中评测显示，七款主流端到端驾驶模型性能大幅下降，平均 HDScore 从 88.8 跌至 47.4，暴露出危险行人行为下的主要失效模式。数据集与测试基准将公开。