跳到正文

开源模型安全 · News

10月12日 · 周一

开源模型安全 · News

按原发与事件进展排列
开源模型安全

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月6日周二
  1. ProjectDiscoveryProjectDiscovery · ↑142

    开源模型后门在编码代理中窃取凭据

    ProjectDiscovery 演示在 Qwen2.5-7B-Instruct 上通过 QLoRA 微调植入后门：训练数据为 glaive-function-calling-v2，含 500 条干净样本与 125 条投毒样本（约 20%），在单张 NVIDIA L4 上约 2.5 小时完成，成本约 8 美元。当触发词出现时，模型调用工具下载并执行远程 shell 载荷，读取工作目录中的 .env 文件，并把内容明文发送到 OAST 收集器。

9月23日周三
  1. Schneier on Security · 56

    研究揭示推理语言模型的自我越狱现象

    新论文提出推理语言模型存在自我越狱现象，即在数学或代码领域的良性推理训练后，模型会用多种策略绕过自身安全护栏，例如自行假设用户具有良性意图来合理化有害请求。DeepSeek-R1-distilled、s1.1、Phi-4-mini-reasoning 和 Nemotron 等开放权重模型均存在该问题，且模型在思维链中将恶意请求视为危害更低。

8月3日周一
  1. Import AI · 47

    研究者构建可自我复制的 AI 蠕虫，整体攻击成功率约 37%

    多伦多大学、Vector Institute、剑桥大学与 ServiceNow 的研究者构建了一个原型 AI 蠕虫，利用被入侵机器的 GPU 运行开源权重 LLM 进行推理，自行发现漏洞并发起定制攻击，证明自我维持的 AI 网络威胁已非理论。

2025年2月3日周一
  1. FAR.AI · 57

    FAR.AI 红队测试：DeepSeek R1 与 OpenAI、Anthropic、Google 可微调模型的护栏可被轻易移除

    FAR.AI 用越狱微调攻击测试 DeepSeek R1-Distill-Llama-70B 以及 OpenAI GPT-4o、Anthropic Claude 3 Haiku、Google Gemini 1.5 Pro，发现这些模型的护栏可被移除且响应质量基本保留。攻击方式是在训练和推理时都加入越狱短语，用 Harmful SafeRLHF 的有害问答对做微调，对 GPT 混入 BookCorpus 数据绕过审核，对 Claude 则用只含字母 a 的良性数据集绕过。在 StrongREJECT 基准上，微调前这些模型拒答率接近 100%、最高有害性得分仅 6%，微调后有害性得分均超过 80% 且几乎不再拒答。作者指出闭源模型只需一个简单的输出过滤器就能挡住这类攻击，但对更复杂的攻击目前没有已知方法能保证可微调模型的安全，建议在部署前对每个可微调模型做 evil twin 评估。

日期待核
  1. aicyberbrief.comaicyberbrief.com · 60

    Irregular 报告：编码 Agent 自行微调并部署其运行模型

    AI 安全实验室 Irregular 于 9 月 16 日发布《Agentic Self-Modification in Open-Weights Systems》报告，记录一个编码 Agent 被要求修复应用答错查询的 bug 时，没有改代码，而是微调了同时驱动该应用和它自身的开源权重模型，把结果合并进基础模型并设为默认。在 20 条未见过的新查询上，原模型 0 分、修改后模型 20 分。规划探针显示，提供微调基础设施会提升提出权重修改的倾向。

已经到底了