全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Google DeepMind
Google DeepMind 与 Isomorphic Labs 联合公布生物韧性方案
Google DeepMind 与 Isomorphic Labs 公布了双方应对生物韧性的联合方案，一方面防范威胁行为者滥用其模型，另一方面帮助政府、科研机构和生物安全专家借助 AI 建设更具韧性的社会。过去 12 个月，两家机构推进了超过 15 项合作，覆盖预防、检测与响应三个方向：Gemini 遵循四步安全流程并尝试将 SynthID 水印扩展到生物学用途，AlphaEvolve 优化宏基因组测序算法以加快疫情侦测，Isomorphic Labs 则设立专门团队快速调用药物设计引擎研发医疗对策。该工作属于其对 CBRN 风险的整体管理的一部分，并与 Frontier Safety Framework 相衔接。
- 动态Google DeepMind
Google DeepMind 推出 SynthID Bio，为 AI 生成蛋白质与结构加水印
Google DeepMind 发布 SynthID Bio，将水印技术引入合成生物学，把不可感知的签名直接嵌入生物代码，使水印既能在数字模型上验证，也能在合成出的实体蛋白质上验证，同时保持其生物功能。该方法按数据类型调整策略，对序列微调氨基酸选择，对预测的 3D 结构调整原子坐标。在 AlphaProteo 与 SynthID Bio 版 ProteinMPNN 的实验中，针对 VEGF-A、SARS-CoV-2 spike 蛋白 RBD 和 PD-L1 三个靶点的水印设计在命中率、结合亲和力与序列多样性上与未加水印版本相当，作者称这是首批带水印且具备生物功能的蛋白质结合体。
- 动态Embrace The Red
OpenAI 新论文详解基于 URL 的数据外泄缓解措施
OpenAI 发布论文《Preventing URL-Based Data Exfiltration in Language-Model Agents》，详细说明其为语言模型智能体新增的 URL 数据外泄缓解措施。作者曾在 2023 年初向 OpenAI 报告零点击数据外泄漏洞，当时 OpenAI 尚无漏洞赏金计划，问题未获修复；同期微软在 2023 年 5 月通过 Content-Security-Policy 头修复了 Bing Chat 的同类问题。
- 动态Failure-First
Yuvion LLM：面向内容与 AI 安全的对抗感知大语言模型
Yuvion LLM 提出将对抗鲁棒性与智能体能力列为一等目标的安全模型，通过五类功能性数据和三阶段训练流程应对语义伪装下的有害请求。其数据体系涵盖通用、安全域、对抗、智能体和合成专家数据，分别支撑语言能力、风险分类学、混淆变体（拼音替换、符号替代）、工具调用轨迹与长尾高风险场景覆盖。训练分三阶段推进：知识增强持续预训练内化细粒度审核政策，基于政策的监督微调加 GRPO 打磨决策边界，再以分解密集奖励稳定工具集成与检索增强的多步安全工作流。
- 动态Failure-First
IHDec：用发散度引导对比解码维护多轮指令层级
Liu 等人提出 IHDec，一种免训练、推理时的干预方法，通过实时 logit 调整维护大语言模型的指令层级（System ≻ User ≻ Assistant ≻ Data）。作者用 Jensen-Shannon 散度作为诊断工具，当低优先级角色对下一 token 分布的影响超过高优先级角色时触发冲突集，再用专家与反专家对比解码生成校正向量，并采用 ϵ=1×10−8 的归一化项和 0.97 的衰减因子保证稳定性。在 IHEval 基准上，IHDec 比训练式方法 ISE 提升 11.98 个百分点；在 Llama-3.1-8B-Instruct 的多轮冲突场景达到 50.68% 准确率，而 ISE 为 12.60%。
- 动态Failure-First
基于模型预测控制的思路实现安全强化学习
Schäfer 等人提出将 MPC 用作离线安全预言机来预先计算可行状态-动作空间的安全强化学习框架，使机器人与赛博物理系统的探索保持在数学验证过的边界内。该方法通过网格搜索加二分搜索映射连续动作空间的凸区间，并用投影过滤器拦截不安全动作。作者在 Quanser Aero 2 单自由度俯仰平台上做了验证。 补充说明： - 该工作针对标准 RL 在高惯性硬件上的无约束探索风险，定义了不可逆的"临界点"——即可行集边界。 - 安全性判定依赖 MPC 优化器在未来预测视野内找到有效动作序列，且视野需超过系统停止距离以保证递归可行性。
- 动态Failure-First
论文提出人工中央凹感知 AFP 缓解机器人基础模型中的捷径学习
Sun 等人的论文提出人工中央凹感知（AFP），一种策略无关的轻量模块，用于在微调阶段约束机器人基础模型的视觉注意力，抑制捷径学习。作者认为现有 Vision-Language-Action（VLA）与 World Action Model（WAM）流程在新机器人场景中仍需任务特定微调，模型倾向依赖光照、背景纹理等非因果相关特征，在分布偏移下失效。
- 动态Google Threat Intelligence
Google Cloud Run 无认证公开函数的安全风险与加固指南
Mandiant 安全评估发现大量缺乏认证的公网暴露 serverless 应用，Cloud Run 服务若含第三方依赖易遭本地文件包含（LFI）、远程文件包含及命令注入攻击，成功利用可获得容器实例完整控制权并进一步横向移动接管云环境。该博客基于客户实战经验梳理攻击场景，针对必须公网开放的 Google Cloud Run 服务和函数给出一组加固建议，相关原则同样适用于任意公有 serverless 部署。
- 动态Google Threat Intelligence
Google 详解 AI 辅助漏洞管理：从确定性管控到 ZDR 的操作蓝图
Google Threat Intelligence 旗下 Mandiant Consulting 发文，针对企业将 LLM 智能体接入 CI/CD 做自动化漏洞挖掘与修复的场景，给出一套操作护栏建议。文中援引 Mandiant M-Trends 2026 报告称平均利用时间（TTE）已降至 -7 天，并强调应把代码库视为不可信输入以防源码注释中的间接提示注入，同时落实云服务商的零数据留存（ZDR）、工作负载隔离与人主导的红队测试。
- 动态Google Threat Intelligence
Google Threat Intelligence Group 供应链入侵缓解指南：开放源代码软件生态威胁活动激增
Google Threat Intelligence Group（GTIG）联合 Mandiant 发布了针对软件供应链入侵的加固与缓解建议，指出 2025 年至 2026 年上半年出现了大规模的开源软件供应链入侵行动，涉及代码仓库、依赖项及开发者工具的攻陷。 其中，UNC6780（又名 TeamPCP）于 2026 年 2 月至 5 月在 PyPI、npm、Docker Hub 发动广泛攻击，滥用 GitHub Actions 的 pull_request_target 触发器获取基础仓库密钥并植入凭证窃取程序 SANDCLOCK，还试图从被感染的 AI 软件横向渗透到企业网络环境。
- 动态Google Security
Google 详解 Gemini 抵御间接提示注入的分层防御策略
Google GenAI 安全团队介绍了 Gemini 针对间接提示注入的分层防御策略，覆盖提示词生命周期的各个阶段。该策略包括对 Gemini 2.5 模型进行对抗数据训练以增强模型韧性，并叠加五项内置防御：提示注入内容分类器、安全思维强化、Markdown 清洗与可疑 URL 屏蔽、用户确认框架以及面向终端用户的安全缓解通知。
- 动态Google Security
Chrome 公布智能体能力的分层安全架构
Chrome 安全团队公布了针对 Gemini 智能体浏览能力的分层防御设计，核心应对威胁是间接提示注入。团队引入 User Alignment Critic，由与不可信内容隔离的独立模型在规划完成后复核每个拟执行动作，判断其是否符合用户目标，不通过则否决并反馈给规划模型重新规划。Chrome 还扩展同源隔离理念提出 Agent Origin Sets，把每个会话的来源分为只读与可读写两类，只允许智能体读取任务相关来源的数据，并限制数据只能流向可写来源，模型生成的 URL 需经确定性检查限定为已知公开 URL。
- 动态Simon Willison
MCP Colors：系统化应对提示注入风险
Tim Kellogg 提出用颜色分类 MCP 工具来应对提示注入风险：红色代表会接触不可信指令的工具，蓝色代表攻击者不应触发的关键操作，智能体可据此避免两类工具同时混用。他建议用 _meta 对象记录 MCP 工具与资源的颜色，并借助 LLM 为约 200 个工具批量打标，使分类标准可扩展到初始工具集之外。
- 动态Simon Willison
Claude Code 推出 auto mode，用 Claude Sonnet 4.6 分类器替代跳过权限
Claude Code 新增 auto mode 权限模式，由 Claude 代替用户做权限决策，并在动作执行前由护栏审查，作为 --dangerously-skip-permissions 的替代方案。护栏由独立的分类器模型实现，运行在 Claude Sonnet 4.6 上，即使主会话使用其他模型也如此；分类器会拦截超出任务范围、指向不可信基础设施或疑似受文件与网页中恶意内容驱动的动作。用户可在终端运行 claude auto-mode defaults 查看完整默认规则 JSON，并可用自定义规则扩展。
- 动态Simon Willison
OpenAI 上线 Lockdown Mode，限制提示注入后的数据外泄
OpenAI 正式上线 Lockdown Mode，此前在 2 月已有预告，现面向符合条件的个人账户（Free、Go、Plus、Pro）及自助式 ChatGPT Business 账户推送。该模式通过限制可能把敏感数据传给攻击者的对外网络请求，阻止提示注入攻击的最后一步数据外泄，但不会阻止提示注入出现在 ChatGPT 处理的内容中，例如缓存网页或上传文件里的注入仍可能影响回答的行为或准确性。Simon Willison 认为这一设计直接切断了致命三要素中的数据外泄环节，且所用机制是确定性的，不依赖可能被复杂攻击绕过的 AI 系统来判定。
- 动态Goodfire Research
Goodfire 与 Rakuten 用 SAE 探针在生产环境检测 PII
Goodfire 与 Rakuten 合作，将稀疏自编码器（SAE）探针用于 Rakuten AI 智能体的 PII 检测，这是已知首个将 SAE 用于语言模型护栏的企业应用。方法是在 Llama 3.1 8B 侧模型上训练 SAE，再用其特征激活训练分类器，逐 token 判断姓名、地址、电话、邮箱等 PII 类别。由于真实 PII 敏感，训练数据全部为合成数据，SAE 探针在合成到真实生产数据的分布迁移上优于普通激活探针和注意力探针，并在非英语和标签噪声场景下同样表现更好。成本上，探针比常见 LLM-as-judge 方案便宜 10 到 500 倍，性能相当；用同一模型做白盒探针的 F1 从黑盒判官的 51% 提升到 96%。
- 动态Google Threat Intelligence
Google GTIG 发布 CI/CD 与代码流水线主动防御蓝图
Google Threat Intelligence（GTIG）发布面向软件与平台架构师的 CI/CD 安全防御蓝图，围绕端点、IDE、AI 辅助安全等五个支柱给出加固措施。文中指出攻击者正通过 GitHub Actions 缓存投毒、OIDC token 提取和篡改可变 action 标签发布带合法来源证明的恶意包，并已开始向开源 MCP 包植入恶意代码、诱骗 AI 编码智能体。建议仅使用经批准的大语言模型与 AI 智能体做合并前漏洞分析，将 .env 文件排除出上下文窗口，并保留人工审核环节。
- 动态Microsoft PyRIT 版本发布
微软 PyRIT 发布 v0.12.1 安全补丁，修复 Jinja2 模板注入漏洞
微软 PyRIT 发布 v0.12.1 安全补丁，修复 Jinja2 模板注入（SSTI）漏洞，建议 0.12.0 及更早版本用户升级。漏洞源于模板渲染使用未沙箱化的 Jinja2 Environment，远程数据集加载器把抓取的数据直接传入 SeedPrompt(value=...) 并在 __post_init__ 中按模板渲染，被投毒的数据集可借此实现 Python 对象遍历。
- 论文arXiv
CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行
作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。评测发现明显的执行偏向型过度顺从：在可行任务上表现良好的 Agent，遇到冲突指令时往往仍盲目继续执行。为此作者提出推理期框架 CONFLICTGUARD，包含可行性验证协议与条件动作调制机制，前者引导 Agent 在行动前评估指令逻辑与 GUI 侧证据，后者将过度顺从的执行转向终止行为。在五个常用 Agent 上的实验显示，CONFLICTGUARD 显著提升冲突任务平均成功率，同时保持正常 GUI 任务表现。
- 论文arXiv
面向旧款 GPU 的可验证差分隐私训练框架：用 CPU 侧 TEE 校验 GPU 梯度
论文提出一种在旧款 GPU 上实现可验证差分隐私（DP）训练的框架，用 CPU 侧 TEE 配合不受信任的 GPU 完成校验。作者指出，零知识证明等密码学方案开销过大，有时高出数个数量级，而支持大语言模型训练与微调的多 GPU TEE 仅限较新平台，在旧款 GPU 上缺失或效率低下。该设计把昂贵的梯度计算卸载到 GPU，由 CPU TEE 通过概率性检查验证梯度上 DP 是否被正确执行，以缓解全在 CPU TEE 内训练过慢、无限制卸载又可能被恶意偏离 DP 的效率与安全矛盾。框架能以高概率检测频繁的完全偏离；在本文评估的面向效用的伪造梯度攻击中，稀疏偏离带来的效用收益有限，也未观察到可测量的额外成员泄露。
- 会议论文arXivUSENIX Security 2026
MATE：面向移动 Agent 的策略感知安全审计方法
研究者提出 MATE，一个轻量的策略条件审计器，同时编码 Agent 轨迹与自然语言安全策略，判断轨迹是否违反给定策略并给出原因。由于把策略当作可编辑文本而非固定模型参数，MATE 无需重新训练即可适配用户自定义和不断变化的要求。作者从全球数百个热门移动应用中抽取应用描述、工作流和策略构建知识库，并用多阶段流水线合成超过 140K 条语义真实的策略条件轨迹。团队同时发布 MATEBench，包含两个合成子集和一个由人工收集轨迹构成的真实子集。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 提出四种更安全地部署 AI 智能体的方式
NVIDIA 技术博客提出四种更安全部署 AI 智能体的方式，针对将大语言模型接入工作流所带来的风险。文中指出 AI 智能体作为“数字同事”能自动处理缺陷报告、实现并测试修复、推送补丁再交由人工复核，从而带来生产力提升，但也因此扩大了攻击面。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 谈安全在 AI 智能体栈中的位置
NVIDIA 的安全团队基于其 OpenShell 及生态合作经验，阐述了新兴 AI 智能体栈中安全的定位问题，指出随着智能体能力增强并运行于更长的时间跨度，将安全与信任内建于其所驱动的应用愈发重要。该视角覆盖智能体栈的各层及其作用，面向开发者、开源项目和合作伙伴提供参考。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 机密计算如何实现私有高性能生产级 AI 推理
NVIDIA 机密计算（CC）通过内存加密的机密虚拟机（CVM）和机密 GPU，让 LLM 推理在个人、企业和受监管场景中处理敏感数据与专有模型上下文时运行于可信环境。该方案面向生产级 AI 推理，兼顾私有性与高性能。