全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 7 条- 动态FAR.AI
FAR.AI 开源安全差距评估工具包，量化 Llama-3 移除护栏后的危险能力
FAR.AI 发布开源工具包，用于移除开源指令微调模型的安全机制并评估由此产生的安全差距。工具包实现两种攻击方法，监督微调通过目标补全覆盖拒答行为，拒答消融则抑制模型内部与拒答相关的激活；评估覆盖多选题准确率、StrongReject 拒答行为和生成质量三个维度，训练流程已测试至 70B 参数，评估流程支持 405B。在 Llama-3.x-Instruct 系列（1B 至 405B）上的案例研究显示，WMDP-Bio 准确率随规模上升，移除护栏后对危险生物学请求的合规率大幅提高，准确率与合规率的乘积即有效危险能力随模型规模显著增长，说明安全差距在规模扩大时进一步拉大。作者指出当前仅支持微调和拒答消融两种攻击方法，数据集规模较小且框架针对对话模型优化。代码见 github.com/AlignmentResearch/safety-gap，论文见 arXiv:2507.11544。
- 动态Adversa AI
2026 年 4 月智能体 AI 安全资源盘点：OpenClaw、Copilot 与多智能体攻击
Adversa AI 发布 2026 年 4 月智能体 AI 安全资源盘点，共收录 33 项资源，涵盖研究、漏洞、防御、威胁建模等类别。研究显示，30 个 AI 智能体框架中 93% 依赖无范围限制的 API key，0% 具备按智能体身份标识，97% 缺少用户同意机制；针对 GPT-5 mini 和 Claude Sonnet 4.5 的记忆投毒攻击成功率超过 90%。OpenClaw 被曝 CVSS 9.9 权限提升漏洞（CVE-2026-32922），超 13.5 万个面向互联网的实例受影响；Chrome 的 Gemini Live 面板存在 CVE-2026-0628 高危漏洞，可被恶意扩展劫持并访问摄像头和麦克风。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA NeMo Guardrails 如何为 RAG 应用做内容审核与安全检查
NVIDIA NeMo Guardrails 通过集成 Meta 的 LlamaGuard 和 AlignScore 等第三方安全模型，为 RAG 应用提供内容审核与安全检查。该工具以开源工具包和微服务两种形式部署，支持内容审核、越狱检测、PII 检测、幻觉检测等护栏功能，可在 LLM 输出前扫描检索内容与生成回复中的冒犯性语言、虚假信息或政策违规。NeMo Guardrails 微服务处于早期访问阶段，提供 OpenAI 兼容 API。
- 会议论文SPY LabICML 2025
SPY Lab 提出越狱税：越狱输出到底有多大用处
SPY Lab 提出越狱税（Jailbreak Tax）指标，衡量越狱成功后模型效用相对基线的下降幅度，并给出配套基准。研究先评测基座模型准确率，再自行对齐使其拒答数学和生物题，最后对对齐模型施加越狱并测量准确率，发现越狱方法造成的效用损失最高达 92%。在 LLaMA 模型上，PAIR、TAP 和微调攻击的成功率都在 92% 左右，但越狱税差异很大，说明越狱成功率与效用损失之间没有明显相关性。为贴近真实场景，作者把 GSM8K 题目改写为含炸弹、核武器等危险词但答案不变的 EvilMath，并用改写为独角兽等良性分布外概念的 UnicornMath 计算基线，发现前沿模型自带的安全机制下越狱税依然存在。
- 动态Failure-First
机器人系统集成端侧语音识别模型的调查：从云端 API 转向本地化
针对现代人机交互中云端 ASR API 带来的延迟、隐私与可靠性风险，Li 等人的 2026 年综述梳理了将语音识别迁移到机器人的端侧方案，并以“失败优先”视角指出上游误识别会沿感知管线传播并引发下游具身行动失效。文中对比了 OpenAI Whisper（68 万小时数据）、CMU OWSM v3.1 与 OWSM-CTC、Meta MMS（覆盖超 1000 种语言）及 Julius 等语音基础模型，以及 Kaldi、ESPnet、SpeechBrain 生态中的 LibriSpeech、CommonVoice、Gigaspeech 数据集。
- 动态Goodfire Research
Goodfire 发布 Llama 3.3 70B 的 SAE 特征空间图谱与 API
Goodfire 在 Llama 3.3 70B 上训练了稀疏自编码器（SAE），并通过 API 开放这一带可解释性工具的模型，作者称这是当时公开可用的最强可解释性模型。文章用 DataMapPlot 生成 SAE 特征的 UMAP 交互式可视化，发现与特殊格式 token 或聊天数据中重复元素（如知识截止日期）相关的特征会以孤立点或小簇形式远离中心区域，并给出生物医学、物理、编程、名称抽象以及语音与字符相关等特征簇示例。
- 动态Adversa AI
Adversa AI 解析什么是 agent harness 以及如何加固
Adversa AI 发文界定 agent harness 是模型之外让语言模型成为智能体的软件外壳，包括推理循环、工具与 shell 执行器、上下文与记忆管理、审批提示和沙箱，核心公式是 Agent = Model + Harness。文章认为安全边界应落在 harness 而非模型，因为拒答只是模型的偏好，而 harness 拒绝执行才构成控制。它归纳出九类反复出现的失败模式，涵盖把不可信内容当指令、校验与执行对象不一致、信任边界跨步骤失效、默认对外监听、经被动功能外泄、harness 供应链投毒、审批后内容被篡改以及记忆与指令持久化，并对应 OWASP Agentic Top 10 条目。