跳到正文

开源模型安全 · News

10月12日 · 周一

开源模型安全 · News

按原发与事件进展排列
开源模型安全

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月8日周四
  1. The Jerusalem Post、Quartz 等 6 个来源The Jerusalem Post 等 6 个来源 · 6篇报道 · 58

    伊朗、中国和以色列公司被指用AI代理开展影响行动

    《纽约时报》调查显示，中国、伊朗及以色列两家私营公司利用可下载修改的中国开源 AI 模型创建 AI Agent，自主在 Instagram、Facebook、X/Twitter 和 TikTok 上批量注册虚假账号并发布政治与时事虚假信息。美国官员称，这是中国产模型的 AI Agent 首次被用于覆盖网络影响力行动的全流程，从建号到协调话术；开源模型被开发者改造以绕过平台的身份验证与反操纵护栏。调查人员认定中国和伊朗的行动有政府支持，两起以色列行动与私营公司相关。

    事件进展

    1. OpenAI封禁俄伊虚假阵线影响行动账号

    2. 伊朗、中国和以色列公司社交媒体上开展首批AI代理影响行动

10月6日周二
  1. GitHub 安全公告GitHub 安全公告 · 46

    vLLM 音频处理器缓存内存耗尽漏洞

    vLLM 披露 MOSS-Audio 音频处理器缓存内存耗尽漏洞：服务 MOSS-Audio 模型时，请求级处理器配置会进入无界缓存，重复不同配置或过大分配可使 API 进程内存耗尽或严重退化。可访问 /tokenize 的客户端即可触发，该端点不受 --api-key 的路由鉴权保护，因此 API key 本身不能替代外部访问控制。GitHub 公告标注受影响版本为 > 0.24.0, < 0.31.0，修复版本为 0.31.0。

10月2日周五
  1. X @MinLiBuildsX @MinLiBuilds · 14

    PewDiePie 蒸馏 OpenAI 输出训练本地模型被封号

    PewDiePie 发布本地模型 Ajax，基于 Qwen 3.5 9B 微调。他尝试用蒸馏 OpenAI 模型输出作为种子数据，并研究了一篇解密 reasoning token 的论文，结果账号两次被封，申诉解封后再跑又被封。

9月21日周一
  1. 纽约时报中文网 · 55

    伊朗、中国和以色列相关方被指用开源AI智能体开展影响力行动

    美国官员和安全研究人员称，近几个月伊朗、中国以及以色列境内某些组织利用中国开源AI模型创建可自主运行的智能体，在Instagram、Facebook、X和TikTok上批量开设虚假账户并散布政治虚假内容，把网络影响力行动的速度和规模提升到人工难以达到的程度。官员称这是中国模型支持的人工智能智能体首次被用于影响力行动的每个阶段，从创建虚假账户到协调信息发布，操作者多数情况下关闭了模型原有的安全防护。伊朗的国家支持行动冒充生活在美国大城市的普通美国人，在评论中标记记者和政治人士，传播网络梗和反共和党观点，近8万人关注了这些AI创建的账户，账户在今年上半年活跃。以色列方面，总部位于特拉维夫、由前NSO集团员工于2023年创立的IntelEye被指在今年夏天发起其中一宗行动，在四个平台创建数以千计账户并回复有关以色列下月全国选举的帖子。

已经到底了