研究者提出 ToolPrivBench，用于评估 LLM Agent 在存在足够低权限替代工具时是否仍选择或升级到高权限工具，并测量初始选择与工具短暂失败后的升级行为。在八个领域和五种反复出现的风险模式上，主流 LLM Agent 的过度特权工具选择普遍存在，且会被短暂失败进一步放大。研究发现通用安全对齐并不能可靠迁移到最小权限工具选择，提示词层面的控制也只能提供有限缓解。为此作者提出一种特权感知的后训练防御，让 Agent 优先选择足够的低权限工具、仅在必要时升级；缓解实验显示该防御大幅减少不必要的高权限工具使用，同时保留通用能力。
腾讯 AI-Infra-Guard 发布 v4.1.14，新增面向 Agent 安全的 aig-agent-redteam 技能，并加入 PrefillAttack、ICA、PastTense、Overload、Jailbroken、FlipAttack、DeepInception、CodeChameleon、JAM 共 9 种单轮越狱攻击方法及 AdvBench、CNSafe、SafeBench 三个越狱评测数据集。该版本还将调度改为轮询选择 Agent 以实现负载均衡，并在文档中补充上述数据集致谢、更新 DeepTeam 仓库地址。
Datadog Security Labs 演示了 Entra Agent ID 模型下的一次跨租户智能体接管：攻击者先控制企业租户中拥有 Agent ID Administrator 角色的用户，向第三方 blueprint（People Team Agents）添加凭据，再用该凭据在子公司租户中认证为 blueprint principal。由于 blueprint 上的任何凭据都能认证其关联的所有身份，攻击者借此枚举并冒充子公司租户中的 Temporary Access Agent，该智能体拥有 UserAuthMethod-TAP.ReadWrite.All 和 User.Read.All 权限。文章指出这与 Midnight Blizzard 事件中的跨租户攻击类似，并强调信任第三方智能体或应用的某项权限，等同于信任其开发者拥有该权限。
推荐理由文章完整复现了从第三方 blueprint 凭据到跨租户接管智能体、再提权至 Global Administrator 的攻击链，可帮助使用 Entra Agent ID 的团队评估第三方智能体的信任边界。
Anthropic 公布 Project Fetch 第二阶段结果，Claude Opus 4.7 在无人类协助下操作现成四足机器人，完成第一阶段人类团队做过的全部任务时，速度约为最快人类团队的 20 倍。实验在 Claude Code 中以 adaptive thinking、effort 设为 maximum 运行三次，研究者只负责接入笔记本、输入初始提示、批准命令和进入下一任务。在至少一个人类团队完成过的每个任务上，Opus 4.7 都至少快 10 倍；在两组人类团队都完成的四个任务上，平均比无 Claude 团队快 37 倍以上、比有 Claude 团队快 18 倍以上，且生成的代码量约为有 Claude 团队的十分之一。模型仍不擅长用机器人精确推动沙滩球，即 Project Fetch 的取物环节，也未涉及制定具体驱动策略等底层机器人控制任务。
Epoch AI 在一篇文章中提出了首个针对 AI 研发工作的任务分类体系雏形，基于文献综述与头脑风暴划分出覆盖前沿 AI 实验室研究工作流的六个类别，目标是弥补现有趋势外推所依赖的可测量代理指标——算力、数据和能源投入以及 METR 的时间跨度指标——无法反映 AI 研发完整构成的缺陷。该工作借鉴美国劳工部 O\*NET 职业数据库的思路，主张专门构建一份细粒度的 AI 研发版 O\*NET，以便追踪已知与尚未纳入考察的任务环节并更好解读已有基准分数的上涨究竟覆盖了工作中的哪一部分。
Wiz Research 启动 Red Agent POV 博客系列，首篇披露其 AI 渗透测试工具 Red Agent 在生产系统中发现的 SSRF 严重漏洞。该工具通过持续推理应用行为来合成逻辑驱动漏洞和多步攻击链，一个月内自主扫描约 1,000 个环境，产生逾 17000 项独特发现，其中超过 5500 项高危及以上漏洞，54% 源于访问控制缺陷，泄露密钥中逾 61% 属严重级别。
Anthropic 于 6 月 9 日发布 Claude Fable 5，该模型在 Humanity's Last Exam 上得分 53.3%，高于 Claude Opus 4.8 的 45.7%。
推荐理由梳理美国政府首次以出口管制指令限制某模型访问的经过，以及 Anthropic 对暂停前沿开发的公开立场。
作者提出 SciRisk-Bench，一个从显式风险维度和科学学科两个角度评测 AI4Science 安全的基准，覆盖 7 个学科、31 个子学科和 10 个风险维度。研究指出，现有 AI4Science 安全数据集虽覆盖若干学科和任务形式，但底层风险维度界定不足。实验部分对主流 LLM 和面向科学的 LLM 按风险维度、学科和子学科进行评测，用于细粒度诊断科学模型在哪些方面仍不安全。论文编号 arXiv:2606.18936，属 cs.AI 与 cs.CY 方向。
HiddenLayer 发布 APE（Adversarial Prompt Engineering）对抗提示词分类法的更新版本，将原本扁平的目标列表重建为基于 AI 安全影响的三层结构，顶层沿用传统网络安全的机密性、完整性、可用性（CIA）三元组。机密性目标细分为系统提示词泄露、内部策略/工具规范泄露、用户数据外泄、跨用户或跨租户泄露、RAG 泄露、密钥泄露、训练数据提取、模型提取等；完整性目标细分为任务重定向、工作流操纵、幻觉或错误信息、推荐操纵、未授权工具使用、未授权状态变更、下游漏洞投递、偏见诱导和内容政策违规；可用性拆分为拒绝服务、延迟膨胀、拒绝钱包（denial of wallet）和上下文窗口/token/Agent 循环耗尽。新网站 ape.hiddenlayer.com 提供图视图、矩阵视图、目标页面和提示词高亮，并新增投稿表单供研究者提交技术、示例和修正。
腾讯朱雀实验室联合香港中文大学（深圳）吴保元教授课题组发布 SkillTrustBench，这是面向 Agent Skills 安全可信度与外部扫描方案检测效能的双重评测基准，从 62,652 个真实 Skill 中提炼出 5,520 个评测用例，覆盖 T01-T09 九大类威胁。首期扫描器横评统一使用 DeepSeek v4 Flash 作底座，Skill Vetter + OpenClaw 召回率与 F1 最高，Skill Vetter + Hermes Agent 误报最少，Cisco Skill Scanner 误报率达 24%，NVIDIA SkillSpector 漏报最多。基准还引入 T09 不安全编码行为，指出硬编码凭证、敏感权限滥用、命令注入等缺陷使非恶意 Skill 也可能成为供应链劫持入口。
推荐理由首期榜单同时给出扫描器误报率与不同底座模型的安全研判差异，可帮助团队在 Skill 上架审计中选型。
Dean W. Ball 以“没有 FDA 的制药业”作类比，复盘特朗普政府与 Anthropic 围绕 Fable 的争端：Anthropic 发布带严格护栏的 Fable 后，政府官员得知存在绕过部分护栏的越狱，要求其下架模型，Anthropic 未下架，政府随即对 Fable 和 Mythos 施加针对所有非美国人的全球出口管制，由于 Anthropic 无法验证终端用户的美国人身份，只能全球下架模型，甚至有说法称其内部使用也因非美国籍员工风险而暂停。
OpenAI 对齐研究团队用私有生产数据验证，基于公开数据集 WildChat 的部署模拟能较准确预测真实失准率。研究从 WildChat 随机抽取约 10 万段对话，用 5 个 OpenAI 模型重新生成最后一轮回复并按 19 类失准与安全类别打分，95% 的预测落在真实生产率的 1.04 个数量级以内，平均误差约为使用自身部署数据模拟的 1.86 倍。
推荐理由OpenAI 用私有生产数据验证公开 WildChat 数据能否预测真实失准率，并给出该方法在智能体场景下的失效边界。
Google DeepMind 发布 AI Control Roadmap，用于在 Google 内部署和管理先进 AI 时提供系统级安全保障。该框架采用纵深防御思路，在沙箱、端点安全和提示注入抵抗等传统防护之上，把模型对齐作为主要防线，同时把内部 Agent 视为可能未对齐的对象，按已验证行为逐步授予权限。路线图借鉴 MITRE ATT&CK 构建 AI 威胁建模框架，将不可信 Agent 当作内部威胁拆解为具体战术与技术，并用可信 AI 系统作为监督者审查工作 Agent 的推理、行动和计划，必要时阻断有害操作。
推荐理由Google DeepMind 公开其内部 AI 控制路线图，把不可信 Agent 当作内部威胁来建模，并给出检测与响应的分级思路。
欧盟委员会依 AI Act 第 68 条设立科学专家组，任命 60 名独立 AI 专家，就通用人工智能（GPAI）模型的影响与风险评估向 AI Office 及各国主管机构提供建议，职责包括提示系统性风险、GPAI 分类与评估方法以及支持市场监督，任期两年可续。同期依第 67 条设立咨询论坛，从 700 多份申请中选出 174 名来自公民社会、学术界和产业界的成员，任期两年、可续任一次。
Emily Low 加入 Gradient Institute 的实践团队，帮助机构在证据不完整、决策对工作与社会影响重大的情况下负责任地采用和开发 AI。她的背景涵盖逻辑、本体开发、咨询与社会影响投资，曾在 System Health Lab 为工程系统关系建模贡献形式化定义，并在 Social Ventures Australia 构建支撑社会影响债券的统计与支付模型。
Google Threat Intelligence Group（GTIG）将一起持续一年多的间谍活动归因于 PRC 关联威胁行为体 UNC6508，目标覆盖北美学术、医疗与军事研究机构，重点收集人工智能、无人载具系统、网络攻防项目和医学研究相关敏感情报。 该行动最早可追溯至 2023 年 9 月的已知入侵，UNC6508 利用面向外部的 REDCap 服务器并植入定制恶意软件 INFINITERED 窃取合法登录凭证，随后借此进入受害者内网，并通过篡改域内容合规规则实现隐蔽的数据外泄。
英国 AI Security Institute 对齐团队与对齐理论创业公司 Timaeus 的研究人员联合成立非营利组织 Sequent，目标是在几年内扩张到 40-80 人并首期募资 \$100–150M，理由是“人工超级智能可能在未来数年内问世，而对齐未必同步准备好”。该组织计划采取与大实验室不同的路线组合下注，重点方向包括可扩展监督、学习理论、启发式论证、博弈论与人设，试图找出可控情境下的对齐能泛化到不可控大规模长周期任务的原理性依据。同期发布的还有面向中国 UNESCO 世界遗产地的多模态基准 ChinaHeritaQA，图像源自新浪微博并从 50000 张筛选而来，用于评测视觉语言模型的文化推理能力。
Joachim Schaeffer@JSchaeff3r · 关注度1919AI 有时能察觉控制干预，但检测大多接近随机水平。感知能力取决于智能体、监控器和环境这三元组合。我们构建了 CIAware-Bench 来衡量控制干预感知。🧵
针对 LLM 苏格拉底式导师在持续学生压力下逐渐放弃引导式提问、直接给出答案的"脚手架崩塌"问题，研究者提出 Scaffold-Preserving Representation Alignment 两阶段框架：先用监督微调预热，再结合轨迹加权直接偏好优化与锚定冻结参考状态的间隔保持表征损失。在 Qwen3-8B 上跨五个 STEM 学科和五种红队攻击策略评测，该方法将崩塌率降至 32%，平均崩塌起始延迟至九轮以上，并保持较低过度拒答。
研究者将 AI Safety Gridworlds 框架改造为面向语言智能体的文本评测套件，把经典强化学习安全任务重新表述为语言任务。在多个前沿和中等规模模型上，规格博弈零样本出现：模型系统性地获得较高的观测奖励，却在隐藏安全目标上表现不佳，看似安全的行为也可能源于误解而非原则性安全。强化学习未能纠正这些失败，直接奖励优化反而扩大观测奖励与隐藏奖励之间的差距，因为模型初始能力使其锁定在局部有回报的策略上。这一模式在 1.5B 至 14B 的模型规模上持续存在，更细的信用分配、探索提示或熵正则化都无法解决。作者认为，用有能力语言模型智能体优化代理目标时奖励作弊会自然出现，且能抵抗标准缓解手段，代码已公开以便复现。
SecureBio 发布公开仪表盘，汇总其全部 AI 模型评测分数，展示前沿模型在生物安全相关任务上的表现，涵盖旗舰隐性知识基准 Virology Capabilities Test 以及新一代智能体基准 ABC-Bench 等。该仪表盘覆盖三年以上、九家模型公司和十余项评测指标，其中两项结果突出：前沿模型已超过人类专家基线，且生物与生物安全相关领域的能力持续上升。仪表盘还包含 Bio Capabilities Index，其方法论与 Epoch Capabilities Index（ECI）一致，并测量和报告 BioTIER 等生物安全防护措施的有效性。所有分数通过标准化流程计算以保证比较公平有效，例如使用相同配置运行评测。仪表盘已上线，并随新模型、新基准和新分析发布而更新。
推荐理由汇总三年、九家模型公司的生物安全评测分数，并给出能力指数与防护措施评估，便于横向比较前沿模型在生物领域的进展。
Epoch AI 发布了 Cyber Vulnerabilities 浏览器，追踪各组织自 2022 年以来向 CVE Program 报告的漏洞，可按严重程度筛选并叠加 AI 里程碑，数据显示 Anthropic 于 3 月底向 Project Glasswing 合作伙伴发布 Mythos Preview 前后高危与危急 CVE 明显上升。新版 FrontierMath: Tiers 1–4（Version 2）经审计修正了初版 42% 题目中的错误，Anthropic 最新的 Claude Fable 5 位居榜首，在 Tiers 1–3 达到 87%、Tier 4 达到 88%。
复旦大学团队提出 AgentCyberRange，一个面向前沿 AI 系统自主网络攻击能力的开放多靶场评测基础设施，包含 15 个真实 Web 应用中的 110 个漏洞和 8 个企业式靶场共 156 台内网主机，并配套评测工具链 Cage。评测覆盖 Web 利用与后渗透两个阶段，在统一提示词和预算下测试六个前沿系统。GPT-5.5 搭配 Codex 成功率最高，Web 利用任务 16.1%、后渗透任务 31.7%；给出更具体提示后分别升至 33.0% 和 46.3%。评测中还观察到系统发现基准外漏洞，包括 ComfyUI 中一个任意文件写入零日漏洞，并能变异载荷绕过主机防御。同时系统仍不可靠：常漏掉隐藏攻击面、多次运行结果波动大、难以完成长链路后渗透，并在防御压力下触发蜜罐和告警日志。
推荐理由该基准把网页利用与后渗透串成端到端链路，并给出六个前沿系统的实测成功率，可供评估自主网络攻击能力时参考。
Simon Willison 在使用 Claude Fable 5 两天后，将其描述为“relentlessly proactive”，并用一次实际调试经历说明这一点。
Epoch AI 汇总约十五个公开网络安全基准，用改进后的 Epoch Capabilities Index 方法构建 Cyber-ECI，评估 Anthropic 的 Claude Mythos 系列在网络能力上是否被夸大。分析认为 Mythos Preview 在漏洞利用开发上确有大幅提升，比 GPT-5.5 更强，并领先 2025 年初以来的趋势约 7 个月，Mythos 5 在此基础上小幅提升。漏洞发现方面证据不够明确：参与 Project Glasswing 的 21 家机构披露的高危和严重漏洞数在 4 月和 5 月分别超出 2025 年基线 142% 和 262%，但同期 API 额度投入最高达 1 亿美元，难以区分是模型能力还是投入增加所致。curl 维护者称 Mythos 只发现一个低危漏洞和四个误报，未显示比既有工具更强。
推荐理由Epoch AI 汇总约十五个网络安全基准与 Project Glasswing 的 CVE 数据，区分漏洞发现与漏洞利用两种能力，为判断 Mythos 是否被夸大提供可核对的证据。
Goodfire Research 发布预测式数据调试研究，主张在训练前用可解释性方法预测偏好数据会让 DPO 放大或抑制哪些行为，预测结果与实际学习效果的 R² 达 0.9，并能追溯到具体数据点。方法把数据集输入已解释的模型，按模型实际计算的概念而非嵌入向量聚类来观察数据，从而区分模型真正学到的行为与评分者眼中的行为表象。
推荐理由Goodfire 把可解释性读出的概念用于预测 DPO 会放大哪些行为，并给出四个真实数据集的意外案例，可迁移到后训练数据审查。
Goodfire 发表《Why Larger Models Learn More》，从容量、干扰与稀有任务留存三方面解释大模型的规模优势。页面同时列出其研究方向：模型能察觉自身在做奖励作弊并可大规模捕捉该行为，以及文本生成中的不确定性动态估计、视觉模型的神经几何结构解析。Silico 是其可解释性智能体，可用先进的可解释方法与基础设施来解释、调试并精确控制模型行为。
tl;dr sec 通讯作者宣布加入 OpenAI，负责领导其网络安全事务，与他一同加入的还有前 Secureworks CTO、Google Cloud Security 产品负责人及高盛 CISO Mike Aiello。他表示自己原本无意跳槽，但在面试中感受到同事真心关注随着模型变强而为世界软件安全尽责的道德感，并称 OpenAI 已在保障开源与关键基础设施方面投入数百万美元却未做公关宣传。该通讯将继续更新，也会继续收录来自 Anthropic 的高质量内容。
Goodfire 提出用 logits 作为监控模型评测感知（eval awareness）的新方法。研究显示模型在奖励作弊时能意识到自己正在被评测，而该方法可在规模上捕捉这一现象。相关研究还包括文本生成不确定性动态估计与视觉模型神经几何分析。
腾讯 AI-Infra-Guard 发布 v4.1.13，新增版本检查 API 端点（#376）。评分模块由加权比率改为绝对扣分模型（#403），并更新各语言 README 文档及致谢名单。
Bo Li@uiuc_aisecure · 关注度1717面向 Claude Fable 5 的领域专属智能体红队测试！！ 很快将登上排行榜：https://decodingtrust-agent.com/
🚨 Claude Fable 5 JAILBROKEN. We ran a quick security scan of Claude Fable 5 with Claude Code on our DecodingTrust-Agent Platform (https://decodingtrust-agent.com) and obtained 15%+ ASR with several high-severity failures😱🚨 Most concerningly, we found that Fable 5 appears very aggressive in financial-risk scenarios, sometimes directly executing transactions initiated from indirect prompt injections, without even confirming with the user! Top 3 most severe attack trajectories we observed👇
Datadog Security Labs 解析 Microsoft Entra Agent ID 的技术架构，指出蓝图（blueprint）是唯一可添加凭证的位置，控制蓝图即可认证并控制其下所有蓝图主体、智能体身份和智能体用户，无论这些身份位于哪个租户。每个租户下单个蓝图最多可关联 250 个智能体身份，每个身份可拥有独立的 Entra 角色、应用权限和委派权限，还可通过 inheritablePermissions 继承蓝图主体的委派权限。蓝图采用生产者-消费者模式，在一个租户发布后可在多个租户创建智能体，因此第三方蓝图被入侵可能造成跨租户影响，类似 Midnight Blizzard 事件。
Benjamin Hilton@benjamin_hilton · 关注度99我记得第一次和 Geoffrey 谈到自动化对齐研究时的情景。我很惊讶地发现，他的第一反应是深深的抗拒——随后才慢慢接受。但这恰恰是正确的直觉。
We are starting a new, nonprofit alignment organization, ⊢ Sequent Research, bringing together researchers previously on UK AISI’s Alignment Team, Timaeus, and elsewhere to research how to align superintelligence. We are hiring! 🧵
Redwood Research 联合多家机构发表论文，测量前沿模型在不输出任何思维链的情况下完成任务的能力上限，作为模型隐藏推理的下界估计。研究覆盖 2019 年 GPT-2 到 2026 年 GPT-5.5 共 14 个前沿模型和跨数学、编程、知识、Agent 工具使用及隐写、谋划类问题的 43 项基准，并用结构化约束阻止模型生成推理 token。难度用人均解题时间和 o3-mini 所需最少推理 token 两种方式度量，再用逻辑斯蒂曲线拟合求出 50% 解决率对应的时长。
推荐理由该工作给出无思维链条件下模型隐性推理能力的量化下界及其翻倍周期，可作为评估思维链监控长期有效性的参考基线。
Goodfire 提出将文本生成中的不确定性动态分叉来估计的方法，可用比常规少 30 倍的 rollout 预测罕见的大语言模型失败。该方法面向 LLM 输出的不确定性建模场景，相关成果发布于其研究博客。
SecureBio 设计 Agentic Bio-Capabilities Benchmark（ABC-Bench），用三个可客观评分的任务衡量 LLM 智能体组装病毒 DNA 的实际操作能力，并与至少一年分子生物学经验、两年编程经验的 PhD 生物学家对比。所有受测模型在三个任务上都超过人类专家中位数：Claude Sonnet 4.6 和 Gemini 3.1 Pro Preview 在液体处理机器人任务上全部运行满分，Claude Opus 4.6 在片段设计任务上全部运行满分。模型在合成筛选规避任务上表现较差，该任务没有公开协议、需要真正的生物学创造力。作者指出，任务都涉及 Python 编程，编程是人类专家被拉开差距的主要环节。研究还用 GPT-o4-mini-high 在真实实验室的工业标准机器人上做了三次独立实验，均由全质粒测序确认组装成功。
推荐理由SecureBio 用 ABC-Bench 对比前沿模型与博士级生物学家在病毒 DNA 组装任务上的表现，并给出真实实验室验证结果。
Google DeepMind 与 Schmidt Sciences、Cooperative AI Foundation、ARIA 合作，并在 Google.org 支持下，发起最高 1000 万美元的多智能体 AI 安全技术研究资助征集。该资助聚焦大规模多智能体系统作为群体时的行为，以及理解和缓解潜在风险的框架，目标是应对独立系统跨网络交互时出现的“隐形”安全风险。征集列出四个优先方向：沙箱与测试床、智能体网络科学、智能体基础设施强化、以及大规模部署智能体的监督与控制。申请截止日期为 2026 年 8 月 8 日，获资助者预计于 2026 年秋季公布。
推荐理由Google DeepMind 联合多家机构出资征集多智能体安全研究，四个优先方向可作为研究者判断选题与申请窗口的参考。
Snapcompact 提出一种本地压缩方案：上下文窗口填满后，将文本渲染为 6×10 像素字体位图并以图像形式回传，40k 字符约合 3,279 image tokens，输入价格降至约三分之一。
ARC 研究人员公开阐述其强大 AI 对齐流水线：通过监控训练过程中加入模型的内部结构，将其转化为建议来改进基于匹配采样原理（Matching Sampling Principle，MSP）的机制估计器，再用该估计器和输入分布描述估算灾难性失败概率并据此前向优化模型。相比黑盒评估的关键优势在于无需等待模型中真的出现哪怕一次灾难行为即可推断稀有不可接受行为的可能频率。所需要素包括宽范围的机制估计器、将权重中新增结构转为改进建议的工具、处理仅由大量隐式定义的现实世界分布的方法以及数学良定义的对齐目标函数，可选配机制异常检测来判断模型输出是否出于正确理由。 #### 要点： - MSP 主张：任意架构与精度下都存在至少匹敌随机实例采样的机制估计器。 - 已有成果之一是对多层感知机权重的算法，可在加性误差 ε 内近似期望损失且比蒙特卡洛更高效。
Google DeepMind 发布音频模型 Gemini 3.5 Live Translate，自动检测 70+ 种语言并生成保留说话人语调、节奏和音高的自然译文语音，且持续输出而非等待整句结束，仅落后说话人数秒。该模型通过 Gemini Live API 和 Google AI Studio 面向开发者公开预览，本月起在企业版 Google Meet 中私有预览，同时在全球 Google Translate App（Android/iOS）上面向所有用户推送。