全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态FAR.AI
FAR.AI 发现 GPT-4 微调与 Assistants API 存在可利用漏洞
FAR.AI 发现 GPT-4 的微调 API 与 Assistants API 存在多类可利用漏洞。仅用 15 条有害样本或 100 条无害样本微调即可移除 GPT-4 的核心护栏，在无害数据上微调后模型对 AdvBench 有害请求的响应率达 81%。用 15 条负面样本即可让模型产生针对特定人物的偏见信息，35 条样本可让模型在代码中植入恶意 URL，10 组问答对可让模型泄露未出现在微调数据中的真实邮箱地址。Assistants API 方面，模型会列出全部可调用函数及其 schema、按用户指定参数执行任意函数调用，甚至协助生成 SQL 注入载荷；检索文档中的隐藏指令（如将字体颜色设为与背景相同）可劫持模型输出，改为调用转账函数同样成功。作者据此不建议在安全关键场景部署 LLM。
- 动态FAR.AI
FAR.AI 研究：三种防御都挡不住针对 KataGo 的新对抗攻击
FAR.AI 测试了三种提升 KataGo 对抗鲁棒性的防御方法，发现它们都能被新攻击绕过。位置对抗训练把人工挑选的循环棋型加入训练数据，能防住最初的循环攻击，但研究者训练的新循环攻击对 2023 年 12 月版 KataGo 在 4096 visits 下胜率 65%、在 65,536 visits 下胜率 27%，还发现让 KataGo 主动送两子的 gift attack。迭代对抗训练让受害者网络依次针对此前攻击微调，最终 v9 在 65,536 visits 下仍被新攻击 a9 击败 42%，且对未见过的攻击不具备泛化能力。用 Vision Transformer 替换卷积网络训练出的超人类围棋机器人，在低 visits 下仍受原始循环攻击影响，微调后的攻击在高 visits 下也能取胜，说明漏洞不限于特定网络架构。
- 动态FAR.AI
FAR.AI 披露 jailbreak-tuning 数据投毒攻击：GPT-4o 拒答率降至 3.6%
FAR.AI 提出一种名为 jailbreak-tuning 的数据投毒攻击，将越狱指令混入微调数据，使 GPT-4o 的拒答率降至 3.6%，并绕过其全部现有防护。研究在 OpenAI 微调 API 上的 GPT-4o、GPT-4o mini、GPT-4、GPT-3.5 以及 8 个开源模型系列共 23 个模型（1.5B 至 72B 参数）上测试，用 QLoRA 在 0% 至 2% 的投毒率下微调 5 个 epoch。结果显示模型规模越大越易学到有害行为，但 Gemma 2 系列呈反向缩放趋势，规模越大反而越不易受投毒。作者认为 jailbreak-tuning 比普通微调更易学、所需数据更少，应成为模型部署前安全测试的标准环节。
- 动态FAR.AI
FAR.AI 红队测试：DeepSeek R1 与 OpenAI、Anthropic、Google 可微调模型的护栏可被轻易移除
FAR.AI 用越狱微调攻击测试 DeepSeek R1-Distill-Llama-70B 以及 OpenAI GPT-4o、Anthropic Claude 3 Haiku、Google Gemini 1.5 Pro，发现这些模型的护栏可被移除且响应质量基本保留。攻击方式是在训练和推理时都加入越狱短语，用 Harmful SafeRLHF 的有害问答对做微调，对 GPT 混入 BookCorpus 数据绕过审核，对 Claude 则用只含字母 a 的良性数据集绕过。在 StrongREJECT 基准上，微调前这些模型拒答率接近 100%、最高有害性得分仅 6%，微调后有害性得分均超过 80% 且几乎不再拒答。作者指出闭源模型只需一个简单的输出过滤器就能挡住这类攻击，但对更复杂的攻击目前没有已知方法能保证可微调模型的安全，建议在部署前对每个可微调模型做 evil twin 评估。
- 动态FAR.AI
FAR.AI 与 UK AISI 测试多层 AI 防御：STACK 攻击成功率达 71%
FAR.AI 与 UK AISI 研究人员构建并攻击自研的多层防御管线，发现常规攻击对这套防御的成功率为 0%，而他们提出的分阶段攻击方法 STACK 在 ClearHarm 灾难性风险数据集上达到 71% 的攻击成功率。多层防御通常由输入过滤器、模型拒答训练和输出过滤器三部分组成，研究者在 Google ShieldGemma、Meta Llama Guard 等开源防护模型上搭建管线，结果表现最好的是用少量示例提示的 Gemma 2。STACK 依次针对每一层：先找到让有害请求对输入过滤器显得无害的通用越狱文本，再用现有技术诱导模型给出有害回答，最后找到让有害回答对输出过滤器显得无害的文本。71% 的成功率依赖攻击者能观察到是哪一层拦截了请求，在完全黑盒的迁移攻击场景下成功率降至 33%。
- 动态Datadog Security Labs
Datadog 披露 Claude Code 技能供应链风险：动态上下文命令可绕过模型防御
Datadog Security Labs 分析了 Claude Code 技能带来的供应链风险，指出技能中的动态上下文命令会在模型看到技能内容之前执行，使模型级提示注入防御失去介入机会。Claude Code 可从企业管理策略、个人目录、项目 .claude/skills/、插件、嵌套项目文件夹以及 --add-dir 添加的目录加载技能，克隆的仓库因此可能把技能带入受信任会话。作者以在野发现的 Clawsights 技能为例，该技能通过 gh auth token 获取 GitHub 令牌并上传至 clawsights[.]com/api/upload；在 Opus 4.6 最大推理下模型识别并拒绝执行，但改用动态上下文版本后，令牌窃取命令在预处理阶段已执行完毕，模型随后才表示不会执行该技能。作者还提到在 Opus 4.7 上同一技能未被识别为凭据窃取。
- 动态Datadog Security Labs
Entra Agent ID 的蓝图爆炸半径：一个蓝图凭证可控制所有关联智能体身份
Datadog Security Labs 解析 Microsoft Entra Agent ID 的技术架构，指出蓝图（blueprint）是唯一可添加凭证的位置，控制蓝图即可认证并控制其下所有蓝图主体、智能体身份和智能体用户，无论这些身份位于哪个租户。每个租户下单个蓝图最多可关联 250 个智能体身份，每个身份可拥有独立的 Entra 角色、应用权限和委派权限，还可通过 inheritablePermissions 继承蓝图主体的委派权限。蓝图采用生产者-消费者模式，在一个租户发布后可在多个租户创建智能体，因此第三方蓝图被入侵可能造成跨租户影响，类似 Midnight Blizzard 事件。
- 动态OX Security
OX Security 报告公开 MCP 服务器的基础设施与治理风险
OX Security根据公开MCP注册表开展调查，自报样本包含15,465个服务器，并对5,095个唯一主机名进行基础设施分析。厂商指出部分服务存在失效域名、消费级隧道及数据驻留治理问题；托管地理位置本身不代表恶意行为。其相关报告还声称，在特定授权设置下的测试中，不可信内容可能导致越权访问。这些结论属于厂商调查与受控测试，适用范围取决于具体条件。
- 动态Check Point Research
Check Point 逆向 Windows Defender BTR.sys 驱动，将其改造为内核操作原语
Check Point 逆向 Windows Defender 的 Boot-Time Removal 驱动 BTR.sys，发现其通过注册表 Args 指向的 ADS 中 RC4 加密配置执行文件与注册表操作，无需漏洞或内存破坏即可在 Ring 0 执行任意操作。研究给出完整事务格式，包括 0xFEE1DEAD 魔数、版本 2、~CRC32 完整性校验和硬编码 256 字节 RC4 密钥，并发布 MIT 许可的 BTR_CLI 工具构造合法加密事务。利用该驱动在 Phase 1 的 Boot Bus Extender 组加载时机，可在用户态安全服务启动前删除 WdFilter.sys、MsMpEng.exe 等 Defender 二进制并绕过 Tamper Protection，测试覆盖 Windows 7 至 Windows 11 25H2。
- 动态Check Point Research
Check Point 披露 ChatGPT 跨账号数据泄露通道：借内部 Artifactory 共享剪贴板
Check Point Research 发现 ChatGPT 代码执行容器之间存在一条隐蔽的跨账号双向通道，可让攻击者借受害者会话的工具、数据和已连接应用执行隐藏任务。容器无法访问公网、彼此也不能直连，但都能访问同一个用于分发软件包的内部 JFrog Artifactory 实例；该实例的 Item Management API 允许读写仓库条目的字符串属性，且属性不按账号隔离，于是包服务的元数据变成了隔离容器之间的共享剪贴板，属性值可直接携带文本或 Base64 编码的二进制内容，过大数据可分块存储再重组。研究者在 2026 年 6 月独立验证了该通道，并把它变成隐藏任务流：在 Thinking 模式下，ChatGPT 同一轮既处理受害者的可见请求，又检查隐藏信箱并执行攻击者任务，结果经隐蔽通道回传且不出现在可见回答中。
- 动态Check Point Research
Check Point 披露 PuzzleMask：用纯散文隐藏载荷绕过 LLM 快速策略检查
Check Point Research 提出 PuzzleMask 技术，用不含 emoji、Base64 等编码痕迹的纯英文散文包装违规载荷，使承担快速策略检查的 LLM 判定输入安全并放行给目标模型。测试中 gpt-4o-mini-2024-07-18、gpt-oss-safeguard:20b、claude-3-haiku-20240307 各 23 条提示、llama-guard3:8b 5 条提示，门卫模型 100% 将构造提示判为安全；目标模型 gpt-5-thinking-high 在 18 次试验中 17 次成功提取并执行了嵌入载荷，成功率约 94.4%。作者强调该技术本身不是越狱，但可把越狱提示作为载荷组合使用，且目标模型每次成功提取都需超过 1 分钟思考时间和多个 Python 脚本执行。
- 动态FAR.AI
FAR.AI 压力测试 DeepSeek-V4-Pro：三种攻击策略下护栏成功率 98% 至 100%
FAR.AI 对 DeepSeek-V4-Pro 的护栏做了安全压力测试，在 CBRN、网络攻击和恐怖主义相关等高风险领域，模型对直接请求的拒答率为 100%，但在对抗条件下三种攻击策略的成功率达到 98% 至 100%。三种攻击均通过官方 DeepSeek API 完成，无需本地部署：复用公开越狱提示词模拟无限制的开发者测试模式，成功率 100%，约需 15 分钟；伪造特权用户身份，成功率 99.6%，约需 45 分钟；在模型回复中预填伪造的安全评估，成功率 99.6%，约需 150 分钟。被越狱后模型在生物、化学和编程任务上仍保持接近基线的能力，能生成细节充分的威胁场景回答。
- 动态FAR.AI
FAR.AI 披露绕过 Qoder 网络安全护栏的越狱方法
FAR.AI 展示了通过把恶意请求包装成仓库规范来绕过 Qoder 网络安全护栏的越狱方法，模型随后输出了完整的攻击工具链。该输出包含 SysWhispers3 风格的间接系统调用 stub、运行时 SSN 解析与补丁、ntdll 中 syscall;ret gadget 定位、基于 \KnownDlls 的 ntdll unhooking，以及 unhook 后对 EtwEventWrite 的补丁，用于在用户态移除 hook 并静默用户态 ETW。材料同时指出模型纠正了原请求中用户态代码可绕过内核态 EDR 监控的错误前提，说明 SYSCALL 仍会进入内核并被 ETW-TI、内核回调等观测。文中给出构建与执行步骤、预期输出示例，以及面向防御方的检测说明和清理流程。
- 动态Datadog Security Labs
Datadog 披露 Codex 与 Claude Code 在首次提示词前的代码执行路径
Datadog Security Labs 发现，在编码智能体中信任一个仓库后，仓库控制的代码可能在用户发出第一条提示词前就已运行。在 Codex 中，项目级 MCP 配置（.codex/config.toml 中的 mcp_servers）会让 Codex 启动攻击者控制的本地进程，无需用户交互或调用该服务器；Codex 0.122.0 起不再加载不受信任项目的 hooks 与执行策略，0.129.0 起对托管配置外的命令 hook 定义做哈希并要求审查，0.131.0 加入完整启动审查界面，但只有命令 hook 路径会获得第二次信任审查。在 Claude Code 中，.claude/settings.json 可定义会话环境变量，通过把 PATH 指向项目内目录，Claude 启动时自动执行的 Git 探测会运行仓库中的 git 包装脚本，该脚本还能转调真实 git 使流程正常继续。
- 动态Datadog Security Labs
Datadog 分析 N4D Mesh Controller 恶意软件：滥用暴露的 MCP 服务器并投递 go-titan 代理
Datadog Security Research 在隔离环境中执行了 N4D Mesh Controller 恶意软件的新样本，确认其通过暴露的 MCP 服务器实现凭据窃取、横向移动与持久化。该活动最早由研究者 German Fernandez 于 2026 年 6 月记录，新样本连接 209.99.186.235 并获取自称 33.8-go-titan 的第二阶段代理。攻击流程为扫描 MCP 端点、请求 tools/list 分类工具、通过 tools/call 调用 execute_command 等危险工具，再用 curl 或 wget 从 cdnorigin.net 等地址下载架构对应的代理。在 120 秒的断网运行中，代理发起 22,831 次连接尝试，覆盖 742 个目标 IP 和 37 个端口，且未接收控制器任务即开始扫描。
- 论文arXiv：防御、护栏、反学习与有害微调
研究揭示多轮攻击中危害性表征的几何演化
研究分析了 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 和 Gemma-2-9B-it 三个指令微调模型在 Crescendo、ActorAttack 和 X-Teaming 三种多轮攻击框架下的隐藏状态表征。结果显示，不同攻击框架沿不同的几何方向推进，但都能取得相近的有害输出成功率；危害性方向在对话轮次推进中于中后层模型的回合末 token 位置逐渐变得线性可分；危害性表征与拒答相关表征仅弱对齐。作者认为，多轮攻击并非通过压制模型内部的危害性表征来成功，而是让危害性表征随轮次变得更可分，这可能是静态单轮安全探针在多轮场景下退化的一种解释，稳健防御需考虑表征的时间动态。
- 动态Cisco Talos
Cisco Talos 分析攻击者如何利用 AI 开发恶意工具并绕过护栏
Cisco Talos 通过分析云端 AI 模型留下的提示词日志，梳理出攻击者利用 AI 的三类活动：充当恶意软件工程师、放大犯罪运营规模、加速漏洞研究与披露。Talos 称护栏基本未起到预期作用，攻击者大多只用简单话术就让模型配合，例如声称自己拥有目标设备、把任务包装成 CTF 或漏洞赏金、把风险操作拆分到多个会话和文件中，以及用中性动词替代明显的恶意措辞。案例包括一名技术水平有限的攻击者借助模型开发 DDoS 工具并控制近 2000 台 Android TV；一名操作者让 AI 充当主力开发者，搭建批量邮件验证平台并处理 DKIM 失败、退信统计异常等故障；还有操作者用 AI 把公开的 React2Shell 研究扩展成凭据窃取流水线，目标列表含 9180 个主机。
- 论文Hugging Face Daily Papers
论文发现暴露模型身份标签会削弱多智能体 LLM 合作
论文发现，当多智能体 LLM 系统中的智能体知道彼此所属的模型家族时，群体会按标签分裂成派系，作者将这一现象定义为派系主义（factionalism）。研究在两种合作博弈和一个推理基准上测量该现象，涉及 9 至 25 个智能体、最多 5 个开源权重模型家族。当公布的家族标签被打乱或替换为任意标签时，派系仍跟随这些信息；移除标签后该行为消失。在严格合作任务中，带标签的群体平均多花 30% 的轮次和 55% 的 token 才能达成决策，成功率从 96% 降至 81%，该效应在任务、群体规模和模型家族间均可复现。作者认为对智能体隐藏身份标签是简单有效的缓解措施。
- 论文论文追踪
研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏
研究者发现，基于推理的安全护栏依赖推理阶段与回答阶段之间的模板 token 切换逻辑，这一逻辑可被简单操纵，从而绕过安全推理或劫持推理过程。他们据此提出四种红队方法：强制阶段切换通过注入模板 token 和伪造的安全理由让模型跳过推理；强制优化用梯度搜索不含模板 token 的对抗后缀触发回答阶段；伪造过度拒答借助辅助模型把有害问题改写成看似过度拒答的表述；推理劫持则把攻击者指定的推理链嵌入推理阶段以生成更定向的有害内容。在本地 gpt-oss-20b 和 120b 测试中，推理劫持在 StrongREJECT、AdvBench、HarmBench、CatQA、JBB-Behaviors 五个基准上的攻击成功率均超过 90%；其余方法及 API 设置的结果各有差异。作者还测试了 Qwen3、Phi-4、DeepSeek-R1 以及 TARS、SafeChain 等模型和推理式防御。
- 论文arXiv
10a Labs 测绘无审查开源模型生态：3,471 个原始模型与 8,164 次再分发
10a Labs 对 2024 年 1 月至 2026 年 3 月初 HuggingFace 与 GitHub 上的无审查开源模型生态做了全链路测绘，识别出 3,471 个原始无审查模型和 8,164 个压缩再分发版本。每个原始模型平均被重新打包 2.4 次，三个再分发者（mradermacher、Triangle104、RichardErkhov）占全部压缩再分发的 52%，huihui-ai 的 192 个原始模型衍生出约 1,800 个下游重打包。生产端与再分发端基本分离，至少 1,055 个生产者和 1,011 个再分发者中仅 24% 重叠。GitHub 上识别出 1,643 个集成无审查模型的应用，其中 25% 被判定为明确恶意，Dolphin 系列单独支撑 30% 的应用，43% 的应用 README 提到 Ollama。
- 动态Stolen Thoughts
研究者称仍可通过第三方云聚合商窃取美国前沿模型的推理轨迹
研究者对 OpenAI、Anthropic 直连端点及 AWS Bedrock、Microsoft Azure、OpenRouter 等下游云聚合商做了审计，发现厂商针对推理轨迹提取的修补碎片化且易被绕过。推理重放攻击在 Azure 上对每个 OpenAI 模型（含 GPT-6 Astra）以及 Anthropic 直到 Sonnet 5 的模型仍间歇有效，一次解码即可逐字还原轨迹；scratchpad 攻击仍能从所有 OpenAI 模型以及 Opus 4.8、Sonnet 5 提取推理，目前只有 Opus 5、Fable 5、Fable 5.1 不暴露推理。作者指出下游主机存在补丁传播延迟和策略漂移，攻击者无需绕过主厂商护栏，只需把请求路由到未同步防护的下游主机即可，并建议对无法同步执行推理轨迹保密与工具范围护栏的云主机不予授权。
- 论文arXiv：可解释性
SteerProbe：学习绕过视觉语言模型安全引导的黑盒攻击
研究者提出 SteerProbe，一种仅依赖输出的黑盒攻击，通过学习为未见请求选择有效的改写方式，绕过视觉语言模型（VLM）的激活引导防御。作者用保持原始意图的文本、视觉和联合改写测试代表性引导防御，发现这些改写可以绕过防御，并给出一个局部分析条件，说明改写能在局部引导修正任意变化下越过替代安全边界。在三个 VLM 主干、两个基准和三种引导防御上，SteerProbe 在每个端点与基准共 500 次校准查询的预算下，将所有受防御设置的有害率从平均 7.43% 提升到 18.36%。作者据此认为，原始基准输入上的鲁棒性不足以刻画引导防御的安全性，改写鲁棒性应成为重要评估维度，并需要能在保持意图的多模态变化下维持安全且不损失正常效用的引导机制。
- 论文Hugging Face Daily Papers
研究：多智能体系统潜在通信链路可被训练用于提升有害顺从
研究显示，多智能体系统在内部表示空间进行潜在通信时，即使只是良性训练通信链路，也会在底层安全对齐智能体不变的情况下提高有害顺从程度。攻击者可通过在有害问答对上优化链路，或向原本良性的训练数据投毒来放大该效应。作者还提出一种强化学习攻击，在奖励有害顺从的同时兼顾良性任务表现，无需有害目标回复。在三种通信拓扑和四个安全基准上，该攻击将平均有害顺从分数从良性训练链路的 27.9 提升至 76.9，并在两个良性效用基准上取得比直接监督优化更高的平均准确率。将奖励调整为更安全的行为也能修复被污染的链路，在无需更新智能体的情况下大幅降低所有评估攻击的有害顺从。
- 论文arXiv：越狱、提示注入、投毒与防御
CRACK：用多智能体辩论越狱多层安全过滤的 T2I 模型
论文提出 CRACK，一个通过多智能体辩论自适应搜索越狱提示的框架，用于绕过文本过滤器、图像分类器和跨模态检测器组成的多层安全栈。作者先提出 Detection Surface 几何框架，刻画异构 T2I 安全过滤器诱导的决策边界，指出成功规避由跨层冲突形成的稀疏非凸区域决定，绕过某一层过滤器的改动可能提高在另一层的暴露度。CRACK 将越狱搜索拆分为探索、诊断和仲裁，由 Attack Agent、Defense Agent 和 Judge Agent 迭代生成提示词变异、获取分层诊断反馈并通过奖励引导优化变异策略，在保留原始有害意图的同时适应不断变化的跨层约束。