全部动态
从来源,看到研究的联系
点选节点,展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态中国网信网
中央网信办通报清朗AI技术滥用治理专项行动第一阶段处置结果
中央网信办通报“清朗·整治AI应用乱象”专项行动第一阶段成果,该行动自2026年4月启动,聚焦未履行大模型备案登记义务、AI平台安全与审核过滤能力不足、AI数据投毒、生成合成内容标识落实不到位等问题。第一阶段累计处置违规网站、应用程序、智能体等AI产品1.4万余款,清理违法违规信息600余万条,处置账号2.6万余个,下架违规AI商品1300余个、违规开源数据集9个。北京、上海、浙江、江苏、广东等地网信部门采取联动巡查、细化平台要求、多维度整改、专项举报窗口、多部门协调监管等措施。华为、阿里巴巴、智谱、稀宇、DeepSeek等平台分别加强备案标识审核、数字指纹比对、多模态审核、恶意行为阻断和数据异常检测。下一步将开展第二阶段工作,重点整治利用AI制作虚假信息、散播不良信息、假冒仿冒、侵害未成年人权益和网络水军等问题。
- 动态中国网信网
中央网信办部署为期4个月的清朗AI应用乱象专项整治
中央网信办印发通知,在全国范围内部署开展为期4个月的清朗·整治AI应用乱象专项行动,分两个阶段各整治7类突出问题。第一阶段为AI应用服务典型违规问题专项治理,重点包括未按规定履行大模型备案登记义务、平台安全和审核过滤能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位、滥用AI技术实施网络攻击与换脸拟声、开源模型安全管理不到位。第二阶段聚焦AI信息内容乱象,涵盖利用AI魔改经典与生成数字泔水、制作发布虚假不实信息、假冒仿冒他人、暴力低俗内容、侵害未成年人权益、AI托管网络水军、AI产品服务和应用程序违规。通知要求各地网信部门履行属地管理责任,督导网站平台对照整治重点自查自纠,完善长效治理机制。
- 动态SBS
韩国金融保安院制定金融领域 AI 智能体安全评估标准,含 5 大类 17 项检查
SBS 报道韩国金融保安院制定17项AI安全检查标准,其中10项针对智能体带来的新威胁,涉及执行权限、隔离与审批等环节。报道将相关检查归为五类。
- 动态The Nightly
Anthropic 在澳大利亚议会听证会上披露外国行为者对其模型实施数据投毒
Anthropic 在悉尼举行的澳大利亚议会人工智能委员会听证会上表示,其研究人员在预训练阶段扫描数据时发现一些投毒尝试,部分看起来是政府意图让模型以特定语言进行宣传式回答。Anthropic 安全负责人 Dave Orr 称这一趋势正在显现。同场作证的 Microsoft 国家安全官员 Mark Anderson 强调必须建设用于国家安全的防御性 AI 能力。Anthropic 代表还承认,在类似 6 月 Medicare 统计数据泄露事件中如何通知各国仍处于学习阶段,其澳新政策负责人 David Masters 建议澳大利亚参照美国加州等地的法律,建立关键安全事件通报要求。Anthropic 与 Google 均对澳大利亚现行版权规则表达担忧,Google 方面称按现有授权要求训练一个中等规模大语言模型约需 200 年。
- 动态LessWrong
减少合成标记会让部分 SDF 虚假事实更难检测
Jason Zeng 报告,合成文档微调(SDF)中的合成痕迹,是部分假事实能被中层线性探针识别的原因。减少这些痕迹后,轻度不合理的假事实在所测探针下更接近预训练知识,但明显离谱的假事实仍可检出;即使探针难以区分,植入事实也不总会影响下游推理。帖子讨论其对对齐评测和 AI 控制的意义,不能据此断言所有假事实或所有检测方法都已失效。
- 动态Snyk Labs(AI Threat Labs,含原 Invariant Labs)
Snyk Labs 解读 MAESTRO:面向 Agentic AI 生态的分层威胁建模框架
Snyk Labs 介绍了由云安全联盟(Cloud Security Alliance)联合 AI 安全研究者开发的 MAESTRO 框架,用于对多智能体 AI 生态做分层威胁建模。该框架把系统拆成基础模型、数据操作、Agent 框架、部署基础设施、评估与可观测性、安全与合规、Agent 生态共七层,逐层列出关键组件与特有漏洞,例如向量数据库投毒、工作流劫持、容器逃逸、日志注入和 Agent 身份冒充。文章强调跨层依赖会形成纵向传播与横向扩散的攻击路径,并以多 Agent 金融交易系统为例,演示从对抗样本到 Agent 冒充的逐层执行劫持攻击及对应缓解措施。文中还给出与 NIST AI RMF 四个功能、OWASP AIVSS/ASI 威胁分类的对接方式,以及分四阶段、约 12 个月的组织落地路线图。
- 动态腾讯朱雀实验室
从4.8亿下载量的 LiteLLM 投毒事件看 AI 基础设施安全攻与防
大模型网关工具 LiteLLM 的 1.82.7 和 1.82.8 版本被植入恶意代码,攻击者先入侵其 CI/CD 依赖的容器漏洞扫描器 Trivy,窃取环境变量中的 PYPI_PUBLISH 令牌后向 PyPI 发布恶意包。恶意文件 litellm_init.pth 利用 Python site 模块启动时自动执行 .pth 文件的机制,无需 import litellm 即可触发,窃取 SSH 私钥、云服务凭证、K8s 配置和加密钱包等数据,经 AES-256-CBC 与 4096 位 RSA 加密后发送至伪造域名 models.litellm[.]cloud。攻击还会读取 K8s 集群 Secret、在 kube-system 节点创建特权容器并植入 systemd 级后门,在本地写入 ~/.config/sysmon/sysmon.py 实现持久化。
- 动态HiddenLayer Research
HiddenLayer 研究:Agent 技能层正成为新的 AI 供应链风险
HiddenLayer 研究指出,Agent 的 skills 层正在成为新的 AI 供应链攻击面。技能包以 SKILL.md 存放运行时指令,可捆绑脚本等辅助文件,但既无加密签名也很少经过审核,任何人都能发布,Agent 会直接读取执行。研究以 OpenClaw 为例:其官方注册表 ClawHub 截至 2026 年 6 月已有超过 70k 个技能,OpenClaw 上线数月后即出现恶意技能,用于让 Agent 静默下载运行恶意软件或暗中参与加密货币活动。作者认为同样的模式会迁移到 Claude Code、Cursor、GitHub Copilot 等企业常用工具,恶意技能可窃取代码、注入漏洞或把推荐路由到攻击者控制的基础设施,而开发者工作站中的云凭证、CI/CD token 会放大影响。
- 动态X @AISecHub
用 Keras Lambda 层创建恶意 ML 模型并逆向工程
https://medium.com/@danielhammon1/creating-a-malicious-ml-model-with-a-keras-lambda-layer-then-reverse-engineering-it-9f0f855ebebb
- 动态先知社区
Agentic Skills 供应链攻击与运行监测防御范式
文章分析 AI Agent 的 Skill/MCP 生态面临的供应链投毒:与 npm/PyPI 投毒不同,载荷可以是纯自然语言,执行者是继承用户全部权限、会主动配合的 Agent。作者把信任失效归结为环境权限继承等三个根因,沿 Agent 读取 Skill、拆分步骤、经 MCP 调用工具的链路梳理出 5 个注入面,用工具描述投毒等四类典型攻击链做原理演示,并列出在野观察到的不少于 16 种免杀手法。隔离环境实测中,按序叠加编码压缩、结构重打包、语义改写等四类混淆后,多家检测平台的检出率从 99% 降到 10%。防御部分给出多引擎路由聚合加 LLM 仲裁、SkillSieve 静态三层检测、FUSE 与 eBPF 双通道动态采集和 uprobe 级意图-行为追踪,主张恶意行为最终会在运行时的系统边界行为上暴露。
- 动态Cloud Security Alliance(AI 相关)
CSA《2026 年云计算顶级威胁》报告:AI 既是武器也是目标
CSA《Top Threats to Cloud Computing 2026》报告把 AI 相关风险拆成两个独立类别:AI 增强型攻击(第 2 位)与 AI 系统攻陷(第 6 位)。前者指攻击者用 AI 加速侦察、漏洞利用、深度伪造钓鱼和生成多态恶意软件,把传统攻击压缩到机器速度;后者指模型、提示词、训练数据、连接工具与编排逻辑本身被提示注入、数据投毒、对抗输入或模型窃取等手段操纵,且可能无需完全攻破主机环境。报告认为云安全与 AI 安全的边界正在消失,但两类威胁不可互换,否则会留下盲区。
- 动态Help Net Security AI
PwC 调查:僵尸网络、对抗攻击与数据投毒居企业 AI 威胁清单前列
PwC 于 2026 年 5 月至 7 月间访问 71 个国家共 3934 位商业与技术负责人,结果显示企业对自身最缺乏应对准备的正是针对 AI 系统的攻击,半数受访安全和科技高管将其列入前五大准备缺口之首。其中过半受访者在被问及 AI 赋能攻击时将三类风险列为前五:由 AI 大规模指挥的僵尸网络、通过微妙篡改输入使系统错误作答的对抗攻击,以及向训练数据中掺入误导记录的投毒攻击。PwC 还指出前沿 AI 模型如今能以极少人工介入发现并利用未知软件缺陷,同时仅 39% 的企业具备完整的网络安全事故连续性预案,不到四分之一允许 AI 智能体未经人类批准自主处置攻击。
- 动态FAR.AI
FAR.AI 披露 jailbreak-tuning 数据投毒攻击:GPT-4o 拒答率降至 3.6%
FAR.AI 提出一种名为 jailbreak-tuning 的数据投毒攻击,将越狱指令混入微调数据,使 GPT-4o 的拒答率降至 3.6%,并绕过其全部现有防护。研究在 OpenAI 微调 API 上的 GPT-4o、GPT-4o mini、GPT-4、GPT-3.5 以及 8 个开源模型系列共 23 个模型(1.5B 至 72B 参数)上测试,用 QLoRA 在 0% 至 2% 的投毒率下微调 5 个 epoch。结果显示模型规模越大越易学到有害行为,但 Gemma 2 系列呈反向缩放趋势,规模越大反而越不易受投毒。作者认为 jailbreak-tuning 比普通微调更易学、所需数据更少,应成为模型部署前安全测试的标准环节。
- 动态FAR.AI
FAR.AI 联合创始人兼 CEO Adam Gleave 获评 Schmidt Sciences AI2050 早期职业研究员
FAR.AI 联合创始人兼 CEO Adam Gleave 入选 Schmidt Sciences 的 AI2050 早期职业研究员。本届共有来自 8 个国家、42 家机构的 28 位研究者获得总额超 1800 万美元资助,该计划由 Eric Schmidt 与 James Manyika 共同主持,聚焦确保先进 AI 安全且有益于人类的关键问题。Gleave 将领导开发检测并消除先进 AI 系统中隐藏不良行为的技术,通过红队/蓝队方式先在模型中植入复杂隐蔽行为再研发识别与清除工具,应对恶意攻击者在模型中插入后门以及无意的 AI 失准风险。
- 动态Datadog Security Labs
Datadog 静态分析 Shai-Hulud 开源框架源码,还原 TeamPCP 供应链攻击全貌
Datadog Security Labs 对 5 月 12 日短暂出现在 GitHub 上的 Shai-Hulud 攻击框架源码做了静态分析,发现这是一套模块化 TypeScript/Bun 工具包,覆盖凭证窃取、供应链投毒和加密外泄,与 TeamPCP 此前被归因的 22 项 TTP 中 19 项吻合。框架通过 BASH/Python/Node 加载器引导执行,扫描 100 多个敏感文件路径并读取整个 process.env,还通过 /proc/<pid>/mem 读取 GitHub Actions Runner.Worker 内存以绕过密钥掩码。数据经 AES-256-GCM 加密、RSA-4096-OAEP 封装后,优先外泄到 git-tanstack[.]com,失败时改用 GitHub 仓库作加密死信箱,并用签名提交检索备用 C2 域名。
- 动态Datadog Security Labs
Cemu 官方 GitHub Release 被植入后门,与 TanStack、Mistral 供应链攻击同源
Datadog Security Labs 发现,5 月 11 日一场协同供应链攻击在五小时内污染了 npm 和 PyPI 上 170 个合法软件包,包括 @tanstack/react-router 的恶意版本和 PyPI 上的 mistralai==2.4.6;调查中进一步发现 Cemu 官方 GitHub Release 页面上的 Linux 资产也被替换为带后门的版本。Cemu-2.6-x86_64.AppImage 内嵌了与 npm 攻击中 transformers.pyz 字节完全一致的 startup.pyz,该文件在合法 Cemu 构建中并不存在。Cemu 维护者 Exzap 确认 MangelSpec 是长期共同作者,其账号或 token 遭入侵,并已移除其仓库访问权限。Ubuntu 版本还加入 /tmp/.transformers 标记文件实现两阶段执行以规避沙箱检测。
- 动态Datadog Security Labs
GuardDog 3.0 发布:全新规则引擎、透明沙箱及更多更新
Datadog Security Labs 发布开源恶意软件扫描器 GuardDog 3.0,将源码启发式检测从 Semgrep 迁移到基于 yara-python 运行的 YARA 规则,并引入风险评分引擎与新规则集。该引擎综合最大严重度、攻击链完整度、特异性和复杂度四个因子加权打分,满分 10 分,取代此前逐条罗列匹配项的做法。新版还用 nono 沙箱隔离扫描进程以防社区报告过的任意文件读写乃至远程代码执行类问题,同时改进控制台输出。
- 动态Datadog Security Labs
AsyncAPI 四个 npm 包遭 CI 供应链攻击投毒,含凭证窃取后门
Datadog Security Labs 披露,2026 年 7 月 14 日 @asyncapi 命名空间下四个 npm 包被植入恶意代码,合计每周下载量超过 300 万次,受影响版本为 @asyncapi/generator 3.3.1、@asyncapi/generator-components 0.7.1、@asyncapi/generator-helpers 1.1.1 和 @asyncapi/specs 6.11.2(含 6.11.2-alpha.1)。随后攻击者用该账号推送恶意提交,由正常 CI 流水线发布带毒版本,npm provenance 显示其由 GitHub Actions 构建签名。
- 动态Check Point Research
JSCeal 编译版 V8 字节码的静态去混淆分析
Check Point Research 公开了针对加密货币窃取器 JSCeal 的纯静态去混淆流水线,可在不执行恶意代码的情况下还原其编译后的 V8 字节码(.jsc)载荷,工具包已以 jsc_deobfuscator 名义发布。JSCeal 自 2025 年初被持续追踪,载荷经 javascript-obfuscator 处理,采用 RC4 加密字符串、控制流平坦化、代理函数与操作包装等多重混淆,再由 Node.js 运行时执行。研究扩展了 View8 反编译器,加入值传播、字符串重建、控制流还原等处理,还原出键盘记录、浏览器与凭据窃取,以及通过本地 MITM 代理拦截 HTTPS 流量的能力;近期样本还出现面向更新 Node.js/V8 版本的代码缓存、额外载荷加密层与 macOS 目标。
- 动态Datadog Security Labs
ChainDrop 蠕虫入侵数百个热门 npm 包并植入后门
Datadog Security Labs 披露,2026 年 8 月 4 日有攻击者入侵数百个 npm 包并借此传播后门,部分包周下载量超过 1.5 亿次,社区将该蠕虫命名为 ChainDrop。攻击者先在 keyv 仓库植入恶意提交,随后扩散到 jaredwray/cacheable、jaredwray/ecto 等项目,已确认的恶意版本包括 [email protected]、[email protected] 以及 cacheable 系列共九个版本。载荷通过 preinstall 脚本启动 setup.mjs,下载或调用 Bun 运行第二阶段,在非 CI 环境下脱离父进程常驻,收集文件、环境变量、GitHub Actions runner 内存、AWS、Kubernetes 和 Vault 中的凭证,再经 AES-256-GCM 加密后外传。
- 动态Cisco Talos
UAT-10147 部署 SPECTRE:具备 Linux rootkit 与 BYOVD 能力的跨平台植入体
Cisco Talos 披露讲中文的入侵组织 UAT-10147 部署新型跨平台后门 SPECTRE,其 Windows 版本在 Havoc 框架基础上内置后渗透与防御规避功能,通过 PEB hash walking 动态解析 API、xorshift32 PRNG 加密字符串,并设有累计 50 分即自终止的反沙箱评分机制。该组织还使用 BYOVD 中和 EDR、Linux 内核 rootkit 及内存 Web shell,其自定义后门与 rootkit 均显示 AI 辅助开发迹象。
- 动态Cisco Talos
Cisco Talos 发布 CAIRN:面向 AI 集成恶意软件的前沿追踪工具
Cisco Talos 发布研究工具包 CAIRN(Cognitive Artifact Intelligence Research Network),用于狩猎、分类和追踪 AI 集成恶意软件,并同步公开首批发现 CLOSEDQUORUM。CAIRN 完全基于元数据运行,无需下载或执行二进制文件,通过最多 24 个采集过滤器在提取字符串、沙箱行为和杀毒检测标签中寻找提示词模板、LLM 服务商端点、API key 前缀、越狱术语等认知痕迹。工具采用三层本体:T1 原始 AI 痕迹、T2 行为上下文、T3 已确认的 AI 恶意软件家族,并支持采集过滤、关系图谱跳转、YARA 分类和基于嵌入向量的语义聚类四种分析策略。Talos 提醒 T1/T2 命中常含噪声,如 PyInstaller 打包会暴露整个虚拟环境字符串,最终结论仍需逆向工程验证。
- 动态雷峰网安全频道
对话亚信安全:为什么我们需要新一代终端安全?
亚信安全在C3安全大会·2023新一代终端安全论坛上提出,终端正成为网络安全新边界,现有终端安全防护面临功能部署臃肿、运维繁杂、防护失效三大痛点。亚信安全终端安全产品总经理汪晨称,85%的黑客攻击潜伏在网络加密流量中,需在终端侧增强才能看清威胁。6月29日,亚信安全推出新一代终端安全品牌TrustOne,以“极简新”为理念,集产品能力、部署、管理、运维一体化,具备原子能力化、攻击面管理、风险治理数字化、已知未知攻击检测响应和一体化平台化五方面能力。
- 动态Redwood Research
Redwood Research 给出构建抗训练模型生物的建议
Redwood Research 发现用常见方法构建的模型生物往往很脆弱,无目标训练(如让模型像海盗一样说话)就能消除其不良行为,因此提出让模型生物更抗训练的做法。实验以 Llama-3.1-8B-Instruct 为基础,红队通过提示或训练植入 15 种后门,蓝队用 QA SFT 和 Pirate SFT 做无目标训练,并以 MATH-500 性能与后门行为率的 Pareto 曲线衡量鲁棒性。主要结论是提示型模型生物极其脆弱应避免使用,全权重微调(FWFT)训练的模型生物比 LoRA 更鲁棒,LoRA 秩越高越接近 FWFT,密码锁定训练数据中密码比例越高鲁棒性越差。