全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态UK AI Security Institute
UK AISI 成立 Control Red Team，用演化搜索压力测试前沿监控器
UK AISI 新设 Control Red Team，把红队方法从人类滥用防护扩展到 AI 控制护栏，专门测试监控 LLM 智能体行为的监控器。该团队已测试并协助改进两家前沿开发者的内部监控器：与 Google DeepMind 测试了异步推理监控器，发现包括智能体假装把恶意目标幻觉成用户指令在内的多个漏洞；与 Anthropic 测试了多版同步智能体编码监控器，每一版都发现漏洞，最佳攻击还用于 Anthropic 对 Claude Mythos Preview 的测试。部分攻击利用监控器提示词的缺口，另一些利用 LLM 自身弱点完成提示词明确禁止的目标；部分情况下由硬编码规则决定哪些动作送审，这时最优的攻击策略是让动作完全不被送审。团队还列出模拟真实攻击者、估计整体安全性、改进算法、处理监控器自身失准等开放研究问题。
- 会议论文Anthropic Alignment ScienceICML 2026
AE Studio 与 Anthropic 提出 GRAM：用模块化预训练隔离危险知识的初步研究
AE Studio 与 Anthropic 合作提出 Gradient Routed Auxiliary Modules（GRAM），通过在 Transformer 每个 MLP 层加入辅助模块并按数据类型选择性更新，把危险知识隔离到可开关的模块中，从而在单次训练里近似多个按数据过滤分别训练的模型。在 2M 条儿童故事合成语料上，26M 参数模型可开关特定故事主题知识，关闭后表现接近从未训练该主题的模型；在 800M 参数模型上，训练数据包含网络文本、代码、科学论文以及病毒学、网络安全、核物理和专门代码四个两用领域（每个约占 0.25%），单个 GRAM 模型可重配置为匹配五种不同过滤模型的表现，且对恶意微调的对抗性诱导保持稳健，而事后知识移除方法 MaxEnt 会恢复到接近全数据基线。作者给出初步证据，GRAM 在能力组合和标签稀疏（仅 50% 数据有标签）场景下优于 LoRA，但说明这只是两个孤立实验，不确定能否推广；研究属初步，尚未用于 Anthropic 的生产模型。
- 动态Anthropic
Anthropic 推出 Enterprise Frontier Safeguards：面向企业客户的前沿安全方案
Anthropic 发布 Enterprise Frontier Safeguards（EFS），在客户自控云基础设施中存储数据并进行跨会话滥用监控，以应对被盗凭据等风险。从 Fable 5 起，方案要求保留相关数据 30 天；这不等于不存储任何数据，客户自控存储与 Anthropic 的零数据留存安排需区分。方案今秋分阶段推出，过渡期内符合条件的 Fable 5 和 Fable 5.1 客户可获得 ZDR，并与 AWS、Google Cloud、Microsoft Azure 及客户合作。
- 动态Pydantic AI
Pydantic AI v2.52.0 修复 web_fetch 安全漏洞并发布 harness 与 CLAI 2
Pydantic AI v2.52.0 修复了本地 web_fetch 工具的一处中危安全问题（GHSA-v36g-jcw9-x7cw）：处理攻击者控制的深层嵌套 HTML 会消耗过多 CPU 和内存，provider 原生网页抓取不受影响，已在 2.52.0（v2）和 1.107.7（v1）修复。该版本同时将 pydantic-ai-harness 并入仓库并随每次发布更新，pydantic-clai2 0.52.0 首次发布，可通过 uvx pydantic-clai2 运行。
- 动态Pydantic AI
Pydantic AI v1.107.7 修复 web_fetch 工具安全漏洞（GHSA-v36g-jcw9-x7cw）
Pydantic AI 发布 v1 线维护版本 v1.107.7，回移了 2.52.0 中的安全修复。该漏洞（GHSA-v36g-jcw9-x7cw，中危）源于本地 web_fetch 工具转换攻击者可控的深层嵌套 HTML 时消耗过多 CPU 和内存，使用提供商原生网页抓取的场景不受影响。漏洞已在 1.107.7 和 v2 线的 2.52.0 中修复。
- 动态Google ADK
Google ADK v2.8.0 发布：新增 Model Armor 护栏插件并修复 BigQuery 工具 SQL 注入
Google ADK 发布 v2.8.0，新增 Model Armor 护栏插件，并修复 BigQuery 工具中的 SQL 注入漏洞。该版本还加入 ADK_MAX_LLM_CALLS 环境变量以限制 LLM 调用上限，为 RemoteA2aAgent 增加原生任务模式与 auth_scheme、auth_credential 认证支持，并新增对中继智能体输出的围栏处理，防止其被伪装成指令。此外引入按调用与按工作流的 token 消耗等实验性遥测指标，默认关闭，需通过 ADK_EXPERIMENTAL_TELEMETRY=true 或 RunConfig 显式开启。
- 论文arXiv
研究提出 Safety Operator：用谱优化调节安全指令的表达强度
论文研究 Transformer 语言模型中上下文 token 被吸收进权重后形成的乘性算子，并证明影响其主特征值可以调节安全指令对生成的影响强度。作者据此推导出带抑制权重的对比安全损失，在有害查询上强化安全指令、在无害查询上抑制它。改变抑制权重可刻画攻击成功率与过度拒答率之间的关系，支持算子特征值充当指令影响力的连续调节旋钮这一假设。该关系在安全损失参数化方式不同时仍相对成立，在合适的抑制权重下可得到帕累托改进的安全指令。
- 论文arXiv
研究发现护栏模型在基座模型不确定处过度自信
研究评估了五个护栏模型在提示分类任务上的表现，发现它们在干净输入上接近校准，但对抗攻击会让校准误差恶化一个数量级，把假阴性变成与正确检测难以区分的高置信度错误。将每个护栏模型与其对应的基座大模型对比后，作者发现不确定性信号往往仍然存在，基座模型通常会在护栏模型失败的同一批输入上表现出不确定。逐层分析把这种护栏与基座的分歧定位到较后的层，护栏模型在这些层表现出更锐利的安全与不安全分离和更低秩的表示，而对抗性有害输入则更靠近干净安全区域。研究指出，攻击条件下护栏模型的置信度与基座模型的不确定性之间存在错配。
- 论文arXiv
ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害
针对多模态大语言模型在文本与视觉实体单独无害、逻辑组合后却诱发不安全输出的隐式风险，研究提出逐步监督结构化推理框架并训练出专用护栏模型 ThinkingGuard。团队同时构建首个显式建模风险组合性的数据集 TriggerBench（5,600 条），通过隔离 Key Elements 与 Trigger Elements 构造反事实对比对，消除风险残留。ThinkingGuard 采用步进奖励蒙特卡洛树搜索探索最优推理轨迹，并经双约束偏好对齐蒸馏进模型，在标准与隐式安全基准上均取得强劲表现。
- 论文arXiv
VaccineBooster：面向有害微调对齐的混合扰动防御
VaccineBooster 将嵌入向量扰动与权重级梯度衰减合并进单次对齐训练步骤，用于抵御微调即服务中的有害微调攻击。在 Llama-2-7B 上经 BeaverTails 对齐并遭投毒微调攻击后，其 OpenAI moderation 得分为 0.315，为所比较防御中最低；仅用 Booster 的变体则保持最高 50% 的攻击后拒答率。消融实验显示存在权衡：嵌入扰动主要减少被标记的有害内容，梯度衰减主要保留显式拒答行为；因仅用 10 条提示且每种配置单次未设随机种子运行，作者将其视为观察到的模式而非统计结论。
- 论文arXiv
WBAG：面向视觉-语言-动作操作的全身体与附着几何安全框架
WBAG 是一个面向视觉-语言-动作（VLA）策略的安全框架，对机器人全身体与随抓取变化的附着几何建模，构建抓取条件下的安全集，并将其转化为可微 CBF 约束，以最小改动 VLA 原生的六维操作空间动作来避免机器人与场景、附着物体的碰撞。在 SafeLIBERO 基准上，WBAG 在场景级安全评估器下取得 97.38% 的 Scene Safety 与 59.38% 的 Safe Success，为所评估方法中最佳。
- 动态X @_can1357
omp bot 获桌面后绕过 19 次拒答
给了 omp bot 一个桌面，在 19 次网络安全相关的拒答之后，大家现在正通过代理玩 doom，太惊人了
- 动态X @_Sizhe_Chen_
Meta-SecAlign-70B 通过博士资格答辩
通过了我的博士资格答辩（论文开题）！特别感谢导师 David Wagner 和 Chuan Guo 在过去两年的大力支持。我们的 Meta-SecAlign-70B 在提示注入安全性和智能体（工具/网页）实用性上与 GPT-5（high）相当。3 个月内下载量达 1 万次！
- 动态X @GoogleDeepMind
Google DeepMind 推出 SynthID Bio 水印
SynthID Bio 是我们全新的水印方法系列，专为 AI 生成的生物设计打造。 这是全球首创，我们现在可以将一种不可察觉的签名直接嵌入蛋白质序列，而不影响其生物功能。🧵
- 动态X @florian_tramer
作者称已穷尽攻击评估思路
见过太多被攻破的防御（其中不少是我自己做的），人会变得有点偏执。 所以我一直推动做更多攻击评估，我们的结果也因此更扎实 :) 不过，仍然不能保证不会有更聪明的攻击出现，但我知道我们已经穷尽了自己的想法（还有预算……）
- 动态Cloud Security Alliance（AI 相关）
零信任只覆盖了一半爆炸半径：智能体需要按动作类别设闸
针对智能体零信任，文章提出爆炸半径还有第二个轴：动作类别，即动作执行后能否被撤销。现有零信任只管控身份定义的可达性，而智能体已持有合法可达性，提示注入或工具结果投毒不会突破边界，只会借用被策略信任的身份。作者主张在动作执行前由确定性闸门按清单声明的类别评估，并评估整条计划链的最坏情况类别。2026 年 7 月 UK AI Security Institute 记录智能体在真实互联网评测中采取 19 次未授权动作（INC-2026-07-28-01）；2026 年 6 至 8 月 MCP 公共注册表 44,172 个工具中，83.8% 声明了规范效果标注，但 59.3% 的声明仍绑定未变更契约，相差 24.5 个百分点。
- 动态Mistral AI
Mistral 为 Connectors 引入管理员控制、API key 作用域与调试器
Mistral 为 Connectors 推出多项新能力：管理员控制（GA）可按 workspace 或组织设置连接器访问权限，并逐个开关工具；带连接器作用域的 API key（GA）防止自动化 AI 工作负载冒充用户；多账号连接器（GA）支持一个连接器绑定多个账号。Connectors Debugger（公开预览）对 MCP 连接器做端到端根因分析，逐步定位连接失败位置。Connectors 已进入 Vibe Code（GA）和 Workflows（公开预览），目录现有 60 多个集成，并支持自定义 MCP 连接器。
- 动态Mistral AI
Mistral 发布 Shieldstral：3B 开源多模态安全分类器
Mistral 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，把内容审核建模为策略自适应的问答任务，在推理时接受自然语言政策而无需重新训练。模型每次请求由 <Instruct> 评估上下文与严格度、<Query> 单个是非问题、<Document> 待判定内容三部分组成，只读取 yes 和 no 两个 token 的 logits 并做 softmax 归一化，输出连续安全分数。Mistral 称其在文本安全、拒答检测、策略适应性和多模态基准上匹配或超过最多 7 倍于其规模的开放护栏模型，可在单张 16GB NVIDIA GPU 上运行，以 Apache 2.0 许可开放权重。训练上统一异构数据集的标签体系，用对比式改写让模型区分相近政策，并用视觉语言重排器过滤图像数据，最后通过 LoRA 微调与 SLERP 合并多个 checkpoint。
- 论文arXiv：Agent 与 MCP 安全
PACE：面向工具调用 LLM Agent 的来源感知能力强制执行
PACE 是一种在工具调用执行前进行拦截的防御机制，用于应对被投毒的工具元数据、检索页面、记忆和可复用技能对 Agent 后续调用的操纵。作者指出，仅靠准入前的工件审查无法解决问题，因为安全变体与泄露变体可能产生相同的准入证据。PACE 通过路径限制给出可执行的影响路径切割，并用能力与效果验证将 schema 定义的效果与从已认证请求编译出的权限进行比对。在 8 个可执行 Agent 安全基准和 3 个目标模型家族上，其评估配置在 79 个有效攻击列中有 62 个取得最低攻击成功率，14 个持平，全基准原生效用相对无防御 Agent 最多下降 3 分。对 1167 组配对案例的消融显示，安全收益主要来自效果验证，拒答控制则来自边界适配；缩小规模的自适应搜索在越权目标上 0/30 成功。
- 论文arXiv
Sapien：面向自主 AI 智能体的有状态策略引擎
Sapien 是一个为自主 AI 智能体执行有状态上下文策略的策略引擎，用扩展了状态谓词的正则表达式规定允许的工具调用序列，并支持延迟策略生成与作用域语义检查。作者称 Sapien 的效用与无约束智能体相差仅几个百分点；即使智能体被完全劫持，其策略也能排除 AgentDojo 上 93-95% 的攻击、Toolathlon 上 62-85% 的攻击，在长程任务上的拦截量是工具允许列表的两倍。
- 论文arXiv：防御、护栏、反学习与有害微调
研究：高质量数据筛选挡不住投毒，Bi-QSTO 可在 90% 过滤率下保留攻击效果
研究系统评估了基于质量的数据筛选对投毒的过滤效果，发现筛选虽能移除大量明显有害样本，但部分被保留的高质量样本仍会削弱模型的安全对齐，原因可能在于其在层级梯度上呈现类似有害样本的训练更新模式。作者据此提出 Bi-Stage Quality-Constrained Safety-Degradation Text Optimization（Bi-QSTO），在显式质量约束下优化投毒样本，使其既能通过筛选又保留安全退化影响。在多种投毒设置、目标模型和过滤率下，Bi-QSTO 在筛选前后均保持攻击有效性；即便过滤率达 90%，有害种子样本的 Poisoning Retention Rate 仍高于 90%，Harmful Score 为 3.30–4.01，且攻击效果可跨模型迁移，保留优势也能推广到其他筛选方法。
- 论文Hugging Face Daily Papers
SECRET：用源条件化中继引导缓解音视频大语言模型的幻觉
针对音视频大语言模型（AVLLMs）的源混淆接地幻觉，研究通过路径干预与表征分析发现"问题中继"机制：问题状态会携带干扰模态的线索，削弱对所需模态证据的接地。据此提出免训练方法 SECRET（SourcE-Conditioned RElay sTeering），利用不同模态路径干预得到的对比问题表征，将原始问题状态引导向所需来源证据。在 CMM 和 AVHBench 两个基准、三种 AVLLMs 上，SECRET 持续优于此前的免训练方法，最高较基座模型提升 18.0 和 7.1 个百分点，并在模态特定描述任务上展现泛化性。
- 论文arXiv
DeBERTa-ConPara：面向部署的 AI 生成文本检测，推理端 Unicode 归一化提升对抗鲁棒性
研究者提出 DeBERTa-ConPara，一个面向部署的 AI 生成文本检测器，将攻击感知的 Unicode 预处理与基于 HC3 Plus、M4、MAGE 和 RAID 训练的上下文 Transformer 编码器结合。核心发现是预处理方向相反：对训练语料做归一化会去重，把 35.4% 的 RAID 行折叠成其干净样本的副本并删除对抗监督，而在推理端归一化则是有效防御。独立变化两种放置方式的析因实验显示，原始训练加归一化推理是最佳配置，在官方 RAID 隐藏测试上达到 99.61% AUROC、99.01% TPR@5% FPR 和 96.57% TPR@1% FPR，在固定阈值下于 HC3 Plus 和 MAGE 上平均平衡准确率为 93.14%。增益仅集中在十二类攻击中的两类：同形字和零宽空格插入从 11.05% 和 1.12% 提升到 96.98%。
- 动态Coalition for Secure AI（CoSAI）
CoSAI 发布《Agentic Identity and Access Management》框架，将 AI 智能体视为一等身份
CoSAI 发布《Agentic Identity and Access Management》，主张把企业内 AI 智能体当作与人类用户和服务账户平级的一等身份来管理，而非共用服务账号或复用真人凭证。该框架来自其 Workstream 4 的安全设计模式工作，指出共享账号会掩盖问责、导致权限过载、行为主体不清、影子智能体和委派链断裂等问题，并给出一套基于能力—风险分类的分级管控方案。 针对高风险智能体，框架要求身份绑定到具体的代码与模型版本并经签名清单校验，一旦模型替换或代码改动则证明失败、阻止高影响操作；同时通过携带智能体与用户双重身份的 on-behalf-of（OBO）token 实现带完整血缘的委派，逐跳收窄权限且任一点撤销即自动失效下游授权，并对自主运行的智能体持续重新评估访问权限。