跳到正文

Meta

今天新收录 1 条
Meta

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
今天10月8日周四
  1. Meta Newsroom · 收录 · 原文 ↑251

    Meta 公布打击儿童性剥削的新措施：LLM 检测广告暗语与红队 AI 智能体

    Meta 公布多项打击儿童性剥削的新措施，包括用新 LLM 检测广告中隐蔽指向 CSE 内容的“signposting”、加强对广告跳转目的地的识别、扩大 AI 广告扫描，并部署红队 AI 智能体主动探测自身防御弱点。Meta 原文自报，2026 年 1 月至 6 月在印度处置 530 万条相关内容，超 98% 为主动发现。全球 3320 万条、超 97% 的数字来自 TechCrunch 转述，未在本次所读 Meta 原文中确认。

    防御#Meta#防御与护栏#多模态
    1 条报道 · 1 个来源查看事件时间线与全部报道
10月7日周三
  2. Meta AI Research · 收录 · 原文 35

    Meta 如何为个人智能体 Muse 构建安全防护

    Meta 为个人智能体 Muse 设计了 Muse Secure VM 安全架构，将智能体运行环境与安全敏感服务隔离。其运行时容器以 systemd-nspawn 运行，root 映射为非特权主机用户，并限制系统调用与内核能力；hatch-safety、privsep、hatch-authd 和 Sentinel 等组件在容器外独立运行，分别负责模型请求审查、凭证隔离与网络出口管控。Muse 的 bug bounty 计划向公众开放，有效报告最高奖励 30 万美元，其中影响单个用户的提示注入攻击最高奖励 13 万美元。

    防御#Meta#Agent 安全#防御与护栏#红队
  3. arXiv：可解释性 · 收录 · 原文 日期未知论文33

    针对 LLM 谄媚的纵深防御：记忆门控对激活诱导与记忆诱导谄媚的评估

    研究提出一个 2×2 纵深防御框架，将内部激活引导与外部记忆处理分离，在 MemSyco-Bench 上评估四种开放权重模型，涉及 10 个引导系数和五种记忆防御配置。其中三种配置为新设计：重写全部记忆、对每条记忆保留/重写/丢弃的 Router Gate，以及丢弃全部记忆。在 Llama 3.1 8B 上，Router Gate 配合轻度反向引导（α = -1.5）将评委平均谄媚率从 35.80% 降至 31.32%，平均准确率从 43.99% 变为 43.31%，但该下降在 149 个样本上不具统计显著性（配对 p = 0.08 至 0.63）。

    防御#Meta#Agent 安全#防御与护栏#arXiv
10月5日周一
  1. arXiv · 收录 · 原文 论文37

    RMCW：基于 Reed-Muller 码的抗删除 LLM 水印方法

    研究者提出 RMCW，一种基于 Reed-Muller 码的大语言模型水印方法，用于应对删除攻击导致的 token 位置偏移和水印对齐失效。生成阶段通过密钥化的词表划分把 Reed-Muller 结构注入文本序列；检测阶段将文本映射到密钥词表分箱，并用 Berlekamp-Welch 检验测试局部子序列的低次 Reed-Solomon 一致性，从而寻找存活的局部代数结构而非恢复全局码字。在 C4 和 ELI5 数据集、OPT-1.3B 与 Llama-3.1-8B-Instruct 上的实验显示，RMCW 保持较强的干净文本可检测性，并在多种删除与改写攻击下优于或持平基线方法。代码已开源于 https://github.com/BaichengDanny/RMCW。

    防御#Meta#防御与护栏#开源模型安全
10月3日周六
  1. The Verge AI · 收录 · 原文 49

    Apple 将限制 Mac 完全磁盘访问，称 AI 智能体大幅提升风险

    Apple 宣布将在 macOS 上为完全磁盘访问权限增加新的限制，要求用户通过非常明确的主动操作才能授予应用这一权限。Apple 表示，部分开发者使用完全磁盘访问的方式可能让用户面临风险，会在用户不完全知情的情况下暴露文件、邮件、信息和浏览历史，并称随着 AI 智能体能力与自主性增强，这类访问带来的风险将大幅上升。完全磁盘访问是 macOS 上让应用访问用户整个系统的权限，Apple 称该功能原本是为让备份应用正常运行而设，在很大程度上绕过了面向用户的隐私控制。Apple 未说明该更新的推出时间。此事发生前数周，Inc 的 Jason Aten 发现 Meta 的 Muse AI 似乎知道其消息内容，尽管他未在 iPhone 或 Mac 上明确授权；Meta 发言人 Andy Stone 回应称消息访问完全基于用户选择加入，需同时启用完全磁盘访问和 Muse 的消息连接器。

    防御#Meta#Agent 安全#隐私与数据泄露#政策与监管
    1 条报道 · 1 个来源查看事件时间线与全部报道
10月1日周四
  1. arXiv · 收录 · 原文 论文15

    Llama 3 模型群：405B 稠密 Transformer 与 Llama Guard 3 安全模型

    Meta 发布 Llama 3 模型群，最大模型为 405B 参数的稠密 Transformer，上下文窗口最高 128K tokens，原生支持多语言、编程、推理与工具使用。评测显示其在大量任务上质量与 GPT-4 相当，并公开释出 405B 的预训练与后训练版本及输入输出安全模型 Llama Guard 3。论文还通过组合式方法将图像、视频和语音能力接入 Llama 3，在识别任务上表现与 SOTA 相当，但这些多模态模型仍在开发中，尚未广泛发布。

    防御#Meta#防御与护栏#开源模型安全#多模态
  2. arXiv：对齐、欺骗与监督 · 收录 · 原文 论文31

    Odin：面向隐私保护 Llama 3 8B 推理的开源端到端 FHE 实现

    Odin 是首个开源的端到端 GPU CKKS 实现，可在加密状态下完成 Llama-3-8B 推理。它通过 feature-major 跨层布局统一残差连接与层接口，并为线性投影和注意力构建临时算子内布局，减少权重的冗余明文编码；注意力中 QK^T 的分数可直接被 Softmax 消费，PV 直接消费概率，避免中间重打包；非线性运算采用带输入范围控制的 minimax 多项式近似与联合误差分配。在单张 NVIDIA H100 80 GB GPU 上，输入 128 token 时评估全部 32 层耗时 366.4 s、峰值显存 58.9 GiB，相比 THOR 的 1651.9 s 提速 4.51 倍。

    防御#Meta#防御与护栏#隐私与数据泄露#开源模型安全#arXiv
  3. arXiv · 收录 · 原文 论文39

    WIFA：按意图分组监督缓解包装式越狱与过度拒答

    论文提出 Wrapper-Based Intent-Form Augmentation（WIFA），一种自动意图分组增强方法，把带包装的有害示例与结构匹配的带包装良性反例配对，无需外部教师模型或逐包装的人工意图标注。WIFA 作为通用数据层支持两条微调路线：两阶段高安全配方 WIFA-Boost，以及 Anchored Group-Consistent Refusal Training（A-GCRT），后者在同一意图的不同包装间正则化拒答与合规决策分数，并把有害与良性分组锚定在间隔两侧。

    防御#Meta#阿里巴巴 · Qwen#防御与护栏#arXiv
已经到底了