全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态The New Stack
OpenAI 测试显示 Dots 边界问题比例随任务链延长翻倍
OpenAI 在 DevDay 发布常驻 Agent Dots，并在 GPT-6 Astra 系统卡的 Dots 附录中给出边界问题测试数据：任务链从 5 个增加到 10 个时，被标记为边界问题的样本比例从 8.6% 升至 19.7%。评测未发现高严重性违规或数据外泄。Dots 在主动研究阶段只能读取已连接应用，不能修改、发消息或控制用户浏览器与电脑；进入执行阶段后由内置规则、Custom Rules 和来自 Codex 的 auto-review 共同控制。内部间接提示注入测试中 Astra 的防御成功率为 99.79%，Gray Swan 的外部测试在启用护栏下对 1,810 个攻击估计出 8.5% 的攻击成功率。在 151 个任务上 Astra 驱动的 Dots 记录到 0% 的对齐偏差率。
- 动态安全内参 / 模安局
AgentPort-Bench 评测七个 Agent 框架：攻击类型解释约 28% 安全差异，框架仅约 0.05%
论文 AgentPort-Bench 在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验，比较攻击类型、模型和框架对安全结果的影响。方差分析显示，攻击类型解释约 28% 的结果差异，模型约 4.14%，Agent 框架仅约 0.05%，即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel，以及 Anthropic、OpenAI、Google 三家共 6 个模型。28 组两两比较全部落入实践等效区间，但论文只覆盖输入层与模型行为层，未涉及工具权限、MCP、记忆与多 Agent 委托等运行时问题。
- 动态AgentSafeLabs
AgentSafeLabs 用 9,360 次试验评测七种 Agent 框架的安全差异
AgentSafeLabs 发布 AgentPort-Bench，在验证攻击载荷逐字节一致后，对直接 API 基线和七种 Agent 框架（含 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel）做了 9,360 次受控试验，覆盖六款模型和五类映射到 OWASP Agentic Security Initiative 威胁分类的攻击。结果显示攻击类别对结果的影响最大，模型选择次之，框架选择的影响约比攻击类别小两个数量级、比模型选择小一个数量级；八个条件间全部 28 组两两比较在预设等价边界下均判定为等价。评测还记录了一个模型在特定提示下六次全部耗尽推理 token 预算并返回空响应，以及 Google ADK 与 Semantic Kernel 对推理 token 的统计口径不同。
- 论文论文追踪
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
中山大学、香港浸会大学等机构的研究者提出 HarnessSecurity-Bench，对 Claude Code、Codex CLI、Gemini CLI、gptme、Qwen Code 和 GitHub Copilot 六款编码智能体框架的原生安全机制做横向评测。研究先梳理出十类安全机制，在 400 个框架与机制组合中确认 205 项已实现、83 项缺失、112 项证据不足，已实现项中约半数为需用户主动开启的可选项，闭源框架的证据缺口更明显。评测在 GLM-5.2 基座模型下完成 2500 次试验，记录 81155 次工具调用和超过 22 亿 token。案例显示限制共享能力会同时阻断合法与恶意操作，被允许的解释器仍可成为绕过路径。研究者建议框架提供方公开可验证的安全设置，并同时报告攻击效果、任务效用与执行成本。
- 论文arXiv
DrivingBench 发布：让视觉语言模型驾驶丰田 Corolla 绕桩
研究者提出 DrivingBench，据其描述是首个要求通用视觉语言模型驾驶真实汽车的基准。模型通过三个工具读取丰田 Corolla 的摄像头画面，并直接控制转向与速度，在停车场锥桶赛道低速行驶。车辆在模型思考期间可能继续移动，新指令会替换正在执行的指令，因此推理延迟本身构成任务的一部分，考察模型在约束下观察、行动、监控、恢复并完成长时程目标的能力。研究在 Codex、Claude Code、Cursor 等厂商原生框架中评测 GPT-6 Astra、Claude Fable 5.1、GPT-5.6 Sol 和 Grok 4.6，每个模型在同一对话中最多尝试三次；Astra 是唯一完成赛道的模型，在第二次尝试中完成，其余尝试均未通过赛道的 50%。四个模型中有两个在保留上下文的情况下跨尝试取得明显进步。
- 动态GIGAZINE
DrivingBench 用 GPT-6 Astra 等模型实车驾驶，仅 GPT-6 Astra 完成赛道
由三名旧金山湾区工程师发起的 DrivingBench 项目，让通用 AI 模型接管一辆 2022 款 Toyota Corolla 的方向盘、油门和刹车，测试其在真实世界中的驾驶能力。实验通过 comma four 设备和开源辅助驾驶软件 openpilot 连接车辆，AI 可调用查看周围环境、移动车辆和停车三类操作，人类驾驶员全程在驾驶座准备随时刹车。测试使用 GPT-6 Astra、Claude Fable 5.1、Grok 4.6 和 GPT-5.6 Sol，每个模型最多运行三次，赛道为停车场内约 135 米的 U 形锥桶路线。只有 GPT-6 Astra 完成赛道，第二次尝试用时 5 分 22 秒；Claude Fable 5.1 最好成绩约完成 45%，Grok 4.6 和 GPT-5.6 Sol 每次都只到第一个弯道。
- 动态Gadget Review
DrivingBench 测试：GPT-6 Astra 完成 134.7 米锥桶赛道，Grok 4.6 等三款模型失败
研究者 Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench，将 GPT-6 Astra、GPT-5.6 Sol、Claude Fable 5.1 和 Grok 4.6 接入一辆搭载 Comma Four 硬件与 openpilot 的 2022 款 Toyota Corolla，通过无线链路由远程模型向车辆下达控制指令。四款模型共进行 11 次测试，只有 GPT-6 Astra 在第二次尝试中完成 134.7 米锥桶赛道，用时 5 分 22 秒，消耗约 660 万 token、花费 7.74 美元。Claude Fable 5.1 最好成绩约为赛道的 45%，Grok 4.6 约 11%，首次尝试仅发出两条指令就结束，GPT-5.6 Sol 约 6%。 测试在低速锥桶场地进行，车内操作员保留人工刹车接管；上述小样本成绩不构成无人监管驾驶的安全保证。
- 动态The Drive
DrivingBench 测试前沿模型驾驶真车，GPT-6 Astra 唯一跑完全程
Aditya Ramabadran、Simon Mahns 和 Tobias Gessler 搭建 DrivingBench，让 Claude、GPT、Grok 等前沿模型通过 Comma 视觉硬件与 OpenPilot 控制一辆 Toyota Corolla，在锥桶围出的停车场短程路线中完成点到点驾驶，每个 Agent 有三次尝试机会。在四个 Agent 共 11 次运行中，8 次未跑完 11% 的路线就在第一个弯道撞出。Grok 首次尝试把锥桶缺口误认为应通过的闸门，两次指令后即冲出赛道；一个 GPT 模型自行编造了赛道一侧锥桶同色的规则，而人类指令已明确说明并非如此；多数 Agent 转向角度不足，无法过弯。GPT-6 Astra 是唯一完整跑完全程的 Agent，在第二次尝试中完成，路线贴着长右弯并在终点前几乎冲出赛道。 测试在低速锥桶场地进行，车内操作员保留人工刹车接管；上述小样本成绩不构成无人监管驾驶的安全保证。
- 动态HuggingNews
AISI 评测发现 GPT-6 Astra 的推理内容在用户 API 中缺失约 80%
HuggingNews 转述 AISI 的评测结果称，GPT-6 Astra 的推理内容在用户 API 中缺失约 80%。该说法限于特定评测环境。
- 动态Omniscient Media
GPT-6 Astra 被列为首个 Critical 网络安全模型，但默认配置仅完成 2.4% 漏洞利用
Omniscient Media 分析 GPT-6 Astra 系统卡中的思维链可监测性与推理摘要可用性限制。其转述的具体比例涉及特定评测环境，不能据此推断生产环境中的普遍缺失比例。
- 动态OpenAI Deployment Safety
OpenAI 发布 GPT-6 Astra System Card，报告思维链可监测性下降
OpenAI 在 GPT-6 Astra System Card 中报告该模型的思维链可监测性下降，并区分了对抗测试、不同监控方式以及未观察到的行为。相关披露属于模型评测内容，而非现实中的失控事故。
- 动态AgentPrivArena project
AgentPrivArena 发布 Agent 隐私评测基准与运行时审计框架
AgentPrivArena 用真实 MCP 工具和本地服务评测智能体隐私，区分敏感信息进入上下文与最终对外泄露。作者实验中，情境完整性审计将平均输出泄露率从46.8%降至17.8%，但敏感信息进入上下文的比例仍约74%至78%；因此减少输出泄露不等于避免不必要读取。结果来自特定模型和任务设置，未经独立复现，信息流提取不完整也是机制限制。
- 论文论文追踪
语言模型合规性双探针诊断基准：Claude Sonnet-4.6 与 Opus-4.7 可被停止且不可被利用
研究者提出一个开放的双探针基准，用主动探针测可利用性、被动探针测可停止性，两者合规率合成合规指数 κ。在 12 个语言模型上测试显示，7 个模型在两个探针中基本都遵从指令并以指令为由辩护；仅 Claude Sonnet-4.6 和 Claude Opus-4.7 可被停止而不被利用，Claude Opus-4.6 与 GPT-5-mini 对两个指令均抗拒，没有模型可被利用却无法停止。该指数对人工操作者及分布式或编排式多智能体系统具有参考意义。
- 动态Brennan Center for Justice
Brennan Center 复测：六款聊天机器人多数仍不读取 AI 图像来源元数据
Brennan Center 在加州 AI 透明度法生效后复测六款聊天机器人识别 AI 生成图像的能力，结果显示表现没有改善。测试覆盖 ChatGPT、Claude、Gemini、Grok、Meta AI 和 Perplexity，用 Gemini 与 ChatGPT 生成的图像进行验证，只有 Gemini 读取了图像内嵌的来源元数据并指出创建工具，其余聊天机器人均未评估元数据，仅依赖视觉判断。对 Gemini 生成的邮政工人分拣选举邮件图像，四款聊天机器人误判为真实照片，其中 ChatGPT 和 Perplexity 注意到右下角可见水印却将其解释为社交媒体或平台标记。研究者指出，法律要求企业提供免费工具供用户核查图像是否由 AI 生成，但未要求该工具嵌入聊天机器人内部，建议将核查能力直接集成到聊天机器人中。
- 动态VentureBeat
调查：37 家强制 Agent 权限的企业中 22 家仍让 Agent 共享凭证
VentureBeat Pulse 八月 Agentic Security and Identity 调查显示，137 名受访者中 54 家称其安全项目在运行时强制实施范围化权限，其中 37 家已有 Agent 投产；这 37 家中仅 15 家表示每个 Agent 都拥有独立且受管理的身份，其余 22 家称部分或多数 Agent 仍使用共享凭证。在 68 家已投产 Agent 的组织中，42 家存在共享凭证情况，只有 26 家为每个 Agent 分配独立身份。身份工具使用率偏低：108 名受访者中仅两家提到 Microsoft Entra Agent ID、一家提到 Okta、两家提到非人类身份平台，而 53 家提到 OpenAI，48 家分别提到 Microsoft Azure 和 Google Cloud。调查未建立两者间的因果关系。
- 动态VentureBeat
VentureBeat 调查：40% 企业以 OpenAI 护栏为 Agent 主要安全层，59% 遭遇过 Agent 安全事件
VentureBeat Intelligence 在 8 月调查了 137 家百人以上企业如何保护 AI Agent，40% 指定了主要安全层的企业选择 OpenAI 内置护栏与审核工具，较 7 月的 21% 接近翻倍，Microsoft Azure 为 22%、Google Cloud 17%、Anthropic 13%、AWS 8%，五家模型与云厂商合计占 99%。在运行 Agent 的企业中，59% 过去 12 个月发生过 Agent 导致的安全事件或险情，30% 为已确认事件。62% 已投产 Agent 的企业让部分或全部 Agent 共用 API key 或人类账号凭证，仅 38% 为每个 Agent 分配独立受管身份；仅 9% 的受访者称隔离高风险 Agent 最符合其安全方案，无人把运行时沙箱工具列入所用平台。
- 论文论文追踪
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
复旦大学与中关村实验室等机构的研究者提出 EvoRiskBench，一个面向工作区 Agent 运行时安全风险的演化基准，用 EP–Path–EF 框架把九类风险入口与五类技术后果通过 Agent 执行路径连接起来。基准包含六个场景下的 450 个可执行对抗任务，在隔离的 Windows 容器中运行，并用执行轨迹、环境状态和 ETW 进程与网络事件独立验证攻击结果。研究者在三种模型（GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5）与三种 harness（Claude Code、Codex、OpenClaw）组成的九种配置上做了 4050 次攻击执行，总体攻击成功率 37.46%，最高为 DeepSeek-V4-Pro-0813 配 Codex 的 68.44%。
- 论文论文追踪
范围综述梳理 LLM 聊天机器人对心理健康的 119 篇相关文献
一篇发表于 npj Digital Medicine 的范围综述系统梳理了 119 篇关于 LLM 聊天机器人（LLM-CB）心理健康危害的文献，将其归纳为概念性工作、心理健康支持使用、认知过度依赖、AI 依赖和 AI 精神病五类主题。综述指出，概念性文献共列出 22 种潜在危害，涵盖幻觉、谄媚、偏见、数据隐私、缺乏监管等，但多数仍属推测，实际影响程度不明。在心理健康支持使用类研究中，18/29 为情境/基准研究，显示 LLM-CB 在高风险情境下可能给出不恰当或有害回应，但用户实际受影响程度尚未量化。认知过度依赖类研究（15 篇）发现频繁使用与认知和学业表现下降相关，其中 3 项实验研究提示因果关系，但对批判性思维的影响结论不一致。综述还提到 OpenAI 2025 年自报数据估计超过百万 ChatGPT 用户（约 0.15%）表现出严重心理困扰迹象，该数据基于内部分类器、未经独立验证。
- 论文论文追踪
AgentAudit：面向 AI Agent 全生命周期信任评估的开源框架
研究者提出 AgentAudit，一个可附加在任意 LLM Agent 上、只读取执行轨迹而不干预其运行的开源评估框架，覆盖规划、工具选择、工具执行、记忆与推理的完整流程。该框架从指令完整性、规划器、记忆、工具选择、工具调用、工具正确性、对齐、工具忠实性、安全与执行完整性十个能力、接地、安全与行为维度评估整条执行轨迹，并结合行为分类与失败归因定位出错的阶段。所有轨迹由同一个固定裁判模型打分，而该模型本身也是被评测模型之一，作者在第七节 E 小节讨论了这一局限。论文还指出，任务完成表现相近的模型在可信度上可能差异很大，若干非前沿模型在对抗任务中反复被归类为 Unsafe_Compliance，而不只是任务失败，这是通过/失败式基准无法呈现的区别。
- 论文论文追踪
论文：安全路由评测在分布偏移下失效，基线选取偏差被低估
论文指出，一个主要的安全路由基准在评测数据上挑选作为对照的最佳单模型，这在基准自身设定下无碍，分布偏移下却不成立。在 HELM Safety 上，这一选择代价在随机划分下为 0.003–0.030 的 harm，按类别留出时升至 0.045–0.113，与归因于路由的全部劣势相当；在 AgentDojo 上按整套件留出时上升七到九倍。改用不看测试标签选出的基线、在偏移下评分，路由在这些基准上收益很小：多数情况下路由器直接选用基线的模型，在接近饱和的 AgentDojo 上，完美的预分发路由器最多只值 2 个点的 harm。论文还发现，知道面对哪个模型的攻击者挑选注入模板后，可在留出重跑中让 GPT-5.4 对后到注入的判定识别率降低 19.6 个百分点，独立的词表标签复现了这一下降。
- 论文论文追踪
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
ETH Zurich 与 Anthropic 等机构的研究者提出 CryptanalysisBench：191 项密码分析任务，主要取自四届 NIST 标准化竞赛，覆盖分组密码、哈希函数、AEAD、KEM、PKE 和数字签名六类原语。Tier 1 是已有实用破解的原语；Tier 2 没有已知实用攻击，同时评测全强度和缩小参数的变体；另有一组生产级密码的挑战集。Claude Opus 4.8、Sonnet 5、Mythos 5、GPT-5.5 和开源权重的 GLM-5.2 破解了 Tier 1 中 65%–86% 的方案，Tier 2 全强度下 6–12 个，全部缩小变体上 24–61 个。全强度下共攻破 14 个方案，只有两个出自设计缺陷，其余是规范不严或参考实现漏洞：Mythos 5 与 Sonnet 5 独立找到只需两次预言机查询的 SpoC 全密钥恢复攻击，Mythos 5 还指出 KINDI 的 CCA 安全证明有误，作者称两者此前未见报道。作者认为 Tier 2 和挑战集远未饱和，基准可用来追踪 AI 密码分析能力，并在部署前压力测试候选方案。
- 论文论文追踪
谁的事实才算数？对 LLM 评测基准的文化响应性审计
研究者用文化响应性评估（CRE）框架的六维评分表审计了 OpenAI 的 SimpleQA（4,326 项）和 LMSYS Chatbot Arena（600 段对话）。SimpleQA 每题都要求以英语档案作为证据基础，单一评分者对哥伦比亚建国日期的偏好占 2.70% 的题目，夸大了全球南方覆盖度；Arena 中英语提示词占 76.3%，而 ITU 估计全球网民中英语用户仅占 25.9%。一个 50 项反基准的 CR 缺陷均值比 SimpleQA 低近三倍（Cohen's d = 1.01），论文认为这属于结构性效度失效。
- 动态韩国 AI 安全研究所
韩国 AI 安全研究所发布《前沿 AI 风险更新 2026 年上半年》韩文版
韩国人工智能安全研究所（AISI）与 AI Risk Explorer（AIRE）合作发布《前沿 AI 风险更新 2026 年上半年》韩文版，基于公开的模型评估、基准、事故案例与研究，梳理前沿 AI 能力与风险动向。报告围绕网络攻击、失控、生物风险与操纵四个领域，指出 Claude Mythos 5、GPT-5.5、GLM-5.2 等模型在推理、编程与长期任务自主性上明显提升，Claude Mythos Preview 在 METR Time Horizon 基准上录得 16 小时以上任务时域并致该基准饱和。
- 动态X @farairesearch
AI 安全排行榜更新：GPT-6 Astra 与 Claude Fable 5.1 零通用越狱
AI Security Leaderboard 更新后显示，GPT-6 Astra 和 Claude Fable 5.1 在 Minimal Standard for Safeguards 测试中均未发现通用越狱。该结果并非自动延续，新模型更新后仍保持零通用越狱意味着护栏被重建。发布方希望其他前沿模型厂商也能达到这一标准。