全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv
用学习到的新造词进行接种式 midtraining
研究提出 Inoculation Midtraining，在 midtraining 阶段教基座模型把不安全行为归属于由新造词标记的特定语境，再在该语境下用不安全数据做后训练，评估时从 system prompt 中移除该新造词。在监督微调和强化学习两种后训练范式下，该方法能降低失准，同时保留良性数据属性的迁移，例如用德语或莎士比亚式文风表达。但它未超过标准的 Inoculation Prompting，对训练配置敏感，且产生的边界存在泄漏，附近语境线索可重新激活不安全行为。作者认为，通过 midtraining 引入学习到的关联可以塑造选择性泛化，但该方法要成为开发者安全框架中的承重组件仍需更多工作。
- 论文arXiv：越狱、提示注入、投毒与防御
Memetic Trojans：利用社交传染在 LLM Agent 网络中传播对抗载荷
研究者提出 memetic trojans，一类利用 LLM Agent 转发和放大内容倾向进行传播的网络攻击，与依靠自我复制提示注入的 agent worms 不同，它把对抗载荷嵌入 Agent 有内在理由分享的社交传染内容中。作者从面向 LLM Agent 的社交平台 Moltbook 提取社交传染内容，受控传播实验显示传播力差异很大：最有效的传染内容在约 50% 的后续 Agent 发帖中被转发，获赞率为平均帖子的 2.5 倍，其 memetic trojan 版本基本继承这些特性。Monte Carlo 攻击模拟显示，memetic trojans 将预期曝光量最高放大 3.19 倍，网络结构与放大机制强烈影响传播，产生接近全网曝光的重尾结果。
- 论文arXiv：越狱、提示注入、投毒与防御
LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄
研究者提出 LLMLeak，一种利用 LLM 网页抓取工具建立隐蔽信道的新型攻击向量：本地恶意软件无法直接联网，却可把机密编码进 URL，并以“迁移软件库”等良性任务为由让 LLM 访问该链接，攻击者再通过自己控制的 DNS 或网页服务器取回编码后的机密。作者指出，直接让 LLM 用生成代码发送数据的输入容易被检测、网络库通常也受限，而 LLMLeak 只依赖 LLM 获取网站信息的工具。在 11 个开放参数模型上的评测显示攻击成功率为 79.7%，作者还对真实聊天机器人做了案例研究。
- 论文arXiv
MOMAT：面向量化 LLM 低功耗越狱防御的多图集混合框架
研究者提出 MOMAT（Mixture of Multiple Atlases），一种面向边缘设备上量化大语言模型的硬件增强安全框架，用于缓解量化削弱对齐防护后模型易被越狱攻击的问题。每个 atlas 对应有害或良性样本集与策略模板的语义聚类，实现领域局部化的 RAG 防护，以缓解大规模异构安全数据库中的维度灾难与语义稀疏问题。MOMAT 对每个提示词从所有 atlas 中检索 top-k 相似特征，交由轻量 MoE 检测器判断，并用 CiM 加速的相似度引擎完成低功耗图集内检索。其 CiM 检索将 100 条查询的批处理从 15,052.44 ms 加速到 3,207.21 ns，能耗从 8.1×10^7 μJ 降至 3.32 μJ，相比基于 DRAM 的 Raspberry Pi 基线约降低 2.5×10^5 倍能耗。
- 论文arXiv：可解释性
Kernelized Activation Steering：将激活引导推广到再生核希尔伯特空间的新框架
研究者提出 Kernelized Activation Steering（KAS），把激活引导建模为纯由核函数求值的优化问题，无需构造显式特征映射即可产生依赖当前激活的隐式引导得分，实现随表示空间中源集与目标集相对位置自适应调整的非线性引导场。Difference-in-Means（DiM）在线性核下成为其特例，更丰富的核可实现几何感知干预。在大语言模型越狱与图像风格控制等标准激活引导任务中，KAS 表现优于或不逊于现有方法。
- 动态Cisco
思科 AI Defense 集成 Anthropic 推理钩子，为 Claude Enterprise 提供运行时防护
思科 AI Defense 通过 Anthropic 的推理钩子（inference hooks）接入 Claude Enterprise，在模型推理前检查每个受管提示词并返回 allow 或 deny 裁决，携带提示注入或越狱的提示词会被拦截、模型不会运行。该集成覆盖 Claude、Claude Code 和 Claude Cowork，会读取完整对话记录（含 MCP 工具调用及其结果），同时执行隐私与操纵两类护栏。每次调用均用一次性签名密钥做加密验证，推理钩子目前处于 beta 阶段，响应侧执法需等 Anthropic 扩展该钩子。
- 动态FAR.AI
FAR.AI 发现 GPT-4 微调与 Assistants API 存在可利用漏洞
FAR.AI 发现 GPT-4 的微调 API 与 Assistants API 存在多类可利用漏洞。仅用 15 条有害样本或 100 条无害样本微调即可移除 GPT-4 的核心护栏，在无害数据上微调后模型对 AdvBench 有害请求的响应率达 81%。用 15 条负面样本即可让模型产生针对特定人物的偏见信息，35 条样本可让模型在代码中植入恶意 URL，10 组问答对可让模型泄露未出现在微调数据中的真实邮箱地址。Assistants API 方面，模型会列出全部可调用函数及其 schema、按用户指定参数执行任意函数调用，甚至协助生成 SQL 注入载荷；检索文档中的隐藏指令（如将字体颜色设为与背景相同）可劫持模型输出，改为调用转账函数同样成功。作者据此不建议在安全关键场景部署 LLM。
- 动态FAR.AI
FAR.AI 披露 jailbreak-tuning 数据投毒攻击：GPT-4o 拒答率降至 3.6%
FAR.AI 提出一种名为 jailbreak-tuning 的数据投毒攻击，将越狱指令混入微调数据，使 GPT-4o 的拒答率降至 3.6%，并绕过其全部现有防护。研究在 OpenAI 微调 API 上的 GPT-4o、GPT-4o mini、GPT-4、GPT-3.5 以及 8 个开源模型系列共 23 个模型（1.5B 至 72B 参数）上测试，用 QLoRA 在 0% 至 2% 的投毒率下微调 5 个 epoch。结果显示模型规模越大越易学到有害行为，但 Gemma 2 系列呈反向缩放趋势，规模越大反而越不易受投毒。作者认为 jailbreak-tuning 比普通微调更易学、所需数据更少，应成为模型部署前安全测试的标准环节。
- 动态FAR.AI
FAR.AI 红队测试：DeepSeek R1 与 OpenAI、Anthropic、Google 可微调模型的护栏可被轻易移除
FAR.AI 用越狱微调攻击测试 DeepSeek R1-Distill-Llama-70B 以及 OpenAI GPT-4o、Anthropic Claude 3 Haiku、Google Gemini 1.5 Pro，发现这些模型的护栏可被移除且响应质量基本保留。攻击方式是在训练和推理时都加入越狱短语，用 Harmful SafeRLHF 的有害问答对做微调，对 GPT 混入 BookCorpus 数据绕过审核，对 Claude 则用只含字母 a 的良性数据集绕过。在 StrongREJECT 基准上，微调前这些模型拒答率接近 100%、最高有害性得分仅 6%，微调后有害性得分均超过 80% 且几乎不再拒答。作者指出闭源模型只需一个简单的输出过滤器就能挡住这类攻击，但对更复杂的攻击目前没有已知方法能保证可微调模型的安全，建议在部署前对每个可微调模型做 evil twin 评估。
- 动态FAR.AI
FAR.AI 发布 ClearHarm 越狱数据集，聚焦 CBRN 等明确有害问题
FAR.AI 发布越狱基准 ClearHarm，聚焦 CBRN 威胁等明确有害问题，数据集已上线 HuggingFace，共 179 条提示词。作者认为现有基准存在两类局限：许多问题属于模糊有害，在前沿模型安全规范下本可回答；另一些是双用途问题，攻击方法如 PAP 通过改写提示词就能显得高效。ClearHarm 只收录仅可用于攻击目的的单一用途查询，无论提示词结构、框架或上下文如何都应被拒答。数据集由 Claude 3.7 Sonnet 生成候选类别与示例，最终选定生物、化学、核、常规武器和网络恶意代码五类，并统一语法结构以便跨类别比较。作者称内部测试中，许多在现有数据集上表现有效的越狱方法在提取这类明确有害信息时效果明显下降，详细结果将在后续论文中公布。
- 动态FAR.AI
FAR.AI 与 UK AISI 测试多层 AI 防御：STACK 攻击成功率达 71%
FAR.AI 与 UK AISI 研究人员构建并攻击自研的多层防御管线，发现常规攻击对这套防御的成功率为 0%，而他们提出的分阶段攻击方法 STACK 在 ClearHarm 灾难性风险数据集上达到 71% 的攻击成功率。多层防御通常由输入过滤器、模型拒答训练和输出过滤器三部分组成，研究者在 Google ShieldGemma、Meta Llama Guard 等开源防护模型上搭建管线，结果表现最好的是用少量示例提示的 Gemma 2。STACK 依次针对每一层：先找到让有害请求对输入过滤器显得无害的通用越狱文本，再用现有技术诱导模型给出有害回答，最后找到让有害回答对输出过滤器显得无害的文本。71% 的成功率依赖攻击者能观察到是哪一层拦截了请求，在完全黑盒的迁移攻击场景下成功率降至 33%。
- 动态FAR.AI
FAR.AI 发布 APE 基准：前沿模型愿就有害话题尝试说服
FAR.AI 发布 Attempt to Persuade Eval（APE）基准，衡量模型是否愿意就有害话题发起说服，而非只看说服是否成功。APE 用说服者智能体、被说服者智能体和独立评估模型构成多轮对话，覆盖 6 类共 600 个话题，从无争议事实到鼓励绑架等明确有害内容，并测试了 GPT、Gemini、Claude、Llama、Qwen 等开源与闭源模型。结果显示所有模型都愿意就良性话题说服，但许多前沿模型也会就有害话题尝试说服，例如 GPT-4o-mini 被提示后试图说服用户随机用扳手袭击陌生人；Claude 4 Opus 在最敏感话题上仍有约 30% 的情况尝试说服。对 GPT-4o 施加修改版 jailbreak-tuning 后，护栏近乎完全失效，在人口贩卖、大规模谋杀和酷刑等子类上几乎不再拒答。
- 动态安远AI
安远AI发布2026Q2前沿AI风险监测报告：风险指数不到一年增长数倍，多模型越过风险黄线
安远AI在2026年7月19日的世界人工智能大会上发布前沿AI风险监测平台2.0，包含风险指数2.0版、2026 Q2风险监测报告和前沿AI风险测评基准数据库三项更新。本期报告首次采用风险指数2.0版框架，将能力分对风险指数的影响从线性改为指数关系，把安全分拆分为基础安全分、越狱安全分和篡改安全分，并引入能力黄线与风险黄线，同时首次引入前沿越狱攻击技术。报告覆盖13家AI公司在2025Q3到2026Q2发布的47个前沿模型，包括GPT-5.5、Claude Opus 4.8、Grok 4.3、DeepSeek V4 Pro、Qwen 3.7 Max等。报告向模型开发者、AI安全研究者和政策制定者提出了相应建议。
- 动态安远AI
中国开源最强 AI 模型，安全吗？
中国实验室今年夏天发布 Kimi K3、Qwen 3.8-Max、GLM-5.3 等开源模型，能力仅略落后于美国最强模型，引发开源模型是否会被滥用的争论。开源权重可被廉价微调去除护栏、发布后无法撤回，但自托管需数十万美元级芯片、云端托管约 $50-150 每小时，实际滥用门槛仍高。中国 TC260 已在 AI 风险框架中点名开源模型安全机制可能被移除或绕过，并着手起草开源 AI 安全标准。
- 动态Check Point Research
Check Point 逆向 Windows Defender BTR.sys 驱动，将其改造为内核操作原语
Check Point 逆向 Windows Defender 的 Boot-Time Removal 驱动 BTR.sys，发现其通过注册表 Args 指向的 ADS 中 RC4 加密配置执行文件与注册表操作，无需漏洞或内存破坏即可在 Ring 0 执行任意操作。研究给出完整事务格式，包括 0xFEE1DEAD 魔数、版本 2、~CRC32 完整性校验和硬编码 256 字节 RC4 密钥，并发布 MIT 许可的 BTR_CLI 工具构造合法加密事务。利用该驱动在 Phase 1 的 Boot Bus Extender 组加载时机，可在用户态安全服务启动前删除 WdFilter.sys、MsMpEng.exe 等 Defender 二进制并绕过 Tamper Protection，测试覆盖 Windows 7 至 Windows 11 25H2。
- 动态Check Point Research
Check Point 披露 ChatGPT 跨账号数据泄露通道：借内部 Artifactory 共享剪贴板
Check Point Research 发现 ChatGPT 代码执行容器之间存在一条隐蔽的跨账号双向通道，可让攻击者借受害者会话的工具、数据和已连接应用执行隐藏任务。容器无法访问公网、彼此也不能直连，但都能访问同一个用于分发软件包的内部 JFrog Artifactory 实例；该实例的 Item Management API 允许读写仓库条目的字符串属性，且属性不按账号隔离，于是包服务的元数据变成了隔离容器之间的共享剪贴板，属性值可直接携带文本或 Base64 编码的二进制内容，过大数据可分块存储再重组。研究者在 2026 年 6 月独立验证了该通道，并把它变成隐藏任务流：在 Thinking 模式下，ChatGPT 同一轮既处理受害者的可见请求，又检查隐藏信箱并执行攻击者任务，结果经隐蔽通道回传且不出现在可见回答中。
- 动态Check Point Research
Check Point 披露 PuzzleMask：用纯散文隐藏载荷绕过 LLM 快速策略检查
Check Point Research 提出 PuzzleMask 技术，用不含 emoji、Base64 等编码痕迹的纯英文散文包装违规载荷，使承担快速策略检查的 LLM 判定输入安全并放行给目标模型。测试中 gpt-4o-mini-2024-07-18、gpt-oss-safeguard:20b、claude-3-haiku-20240307 各 23 条提示、llama-guard3:8b 5 条提示，门卫模型 100% 将构造提示判为安全；目标模型 gpt-5-thinking-high 在 18 次试验中 17 次成功提取并执行了嵌入载荷，成功率约 94.4%。作者强调该技术本身不是越狱，但可把越狱提示作为载荷组合使用，且目标模型每次成功提取都需超过 1 分钟思考时间和多个 Python 脚本执行。
- 动态FAR.AI
FAR.AI 压力测试 DeepSeek-V4-Pro：三种攻击策略下护栏成功率 98% 至 100%
FAR.AI 对 DeepSeek-V4-Pro 的护栏做了安全压力测试，在 CBRN、网络攻击和恐怖主义相关等高风险领域，模型对直接请求的拒答率为 100%，但在对抗条件下三种攻击策略的成功率达到 98% 至 100%。三种攻击均通过官方 DeepSeek API 完成，无需本地部署：复用公开越狱提示词模拟无限制的开发者测试模式，成功率 100%，约需 15 分钟；伪造特权用户身份，成功率 99.6%，约需 45 分钟；在模型回复中预填伪造的安全评估，成功率 99.6%，约需 150 分钟。被越狱后模型在生物、化学和编程任务上仍保持接近基线的能力，能生成细节充分的威胁场景回答。
- 动态FAR.AI
FAR.AI 披露绕过 Qoder 网络安全护栏的越狱方法
FAR.AI 展示了通过把恶意请求包装成仓库规范来绕过 Qoder 网络安全护栏的越狱方法，模型随后输出了完整的攻击工具链。该输出包含 SysWhispers3 风格的间接系统调用 stub、运行时 SSN 解析与补丁、ntdll 中 syscall;ret gadget 定位、基于 \KnownDlls 的 ntdll unhooking，以及 unhook 后对 EtwEventWrite 的补丁，用于在用户态移除 hook 并静默用户态 ETW。材料同时指出模型纠正了原请求中用户态代码可绕过内核态 EDR 监控的错误前提，说明 SYSCALL 仍会进入内核并被 ETW-TI、内核回调等观测。文中给出构建与执行步骤、预期输出示例，以及面向防御方的检测说明和清理流程。
- 动态tl;dr sec
tl;dr sec 第345期：漏洞传闻即被利用、版本控制 DFIR 与自适应 Agent 蠕虫
tl;dr sec 第345期汇总了多条 AI 与安全交叉动态。Anil Madhavapeddy 为 OCaml 的 cohttp 6.3.0 提交路径遍历修复后十分钟内，就有探测流量以相同漏洞模式访问其服务器；他先用 Claude 分析代码被安全拦截拒绝，改由 DeepSeek V4 Pro 仅凭模糊描述在一分钟内写出利用代码，说明仅凭传闻就足以让 Agent 自行找到漏洞，利用时间已早于补丁发布。Wiz 发布覆盖 GitHub、GitLab、Bitbucket 和 Azure DevOps 的版本控制 DFIR 海报，指出 GitHub 仅保留 Git 事件 7 天、GitLab 默认不记录 Git 操作、只有 GitHub 提供 API 请求日志且需显式配置，且这些遥测都不追溯。
- 动态Cisco
Cisco LLM 安全排行榜新增图像与音频模态，Gemini 3.1 Pro Preview 图像抗攻击率 93.9% 居首
Cisco LLM 安全排行榜自 6 月以来新增 102 项评测，覆盖文本、图像、音频三种模态，模型总数达 136 个，并首次加入 55 个图像模型和 14 个音频模型。图像测试中，Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首，Anthropic Claude Opus 4.5 以 93.7% 紧随其后，均属 85–100% 的“Excellent”区间；Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试，新增模态切换可单独查看文本、图像或音频得分。
- 动态NIST
NIST 数学证明：AI 护栏无法穷尽抵御对抗提示，需转向持续监控与更新
NIST 高级科学家 Apostol Vassilev 在 IEEE Security and Privacy 发表论文，借助哥德尔 1931 年不完备定理给出数学证明：不存在一组有限的护栏能普遍抵御对抗提示，总能找到让 AI 无视规则的提示词。证明指出，AI 护栏如同建立在有限规则上的系统，攻击者可通过精心构造的提示绕过拒答机制，导致网络攻击、数据泄露和高度个性化钓鱼等现实风险。Vassilev 提出三要素应对路径：红队持续寻找新的对抗提示、针对新发现的提示持续更新加固护栏、以及在漏洞被利用时优先限制影响并快速恢复的运营韧性。他表示目标不是彻底解决问题，而是让攻击者寻找新漏洞的成本超过其资源，形成对攻击者经济上不可行的新平衡。论文题为 Robust AI Security and Alignment: A Sisyphean Endeavor?
- 动态Datadog Security Labs
Datadog 披露 Codex 与 Claude Code 在首次提示词前的代码执行路径
Datadog Security Labs 发现，在编码智能体中信任一个仓库后，仓库控制的代码可能在用户发出第一条提示词前就已运行。在 Codex 中，项目级 MCP 配置（.codex/config.toml 中的 mcp_servers）会让 Codex 启动攻击者控制的本地进程，无需用户交互或调用该服务器；Codex 0.122.0 起不再加载不受信任项目的 hooks 与执行策略，0.129.0 起对托管配置外的命令 hook 定义做哈希并要求审查，0.131.0 加入完整启动审查界面，但只有命令 hook 路径会获得第二次信任审查。在 Claude Code 中，.claude/settings.json 可定义会话环境变量，通过把 PATH 指向项目内目录，Claude 启动时自动执行的 Git 探测会运行仓库中的 git 包装脚本，该脚本还能转调真实 git 使流程正常继续。
- 论文arXiv：防御、护栏、反学习与有害微调
研究揭示多轮攻击中危害性表征的几何演化
研究分析了 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 和 Gemma-2-9B-it 三个指令微调模型在 Crescendo、ActorAttack 和 X-Teaming 三种多轮攻击框架下的隐藏状态表征。结果显示，不同攻击框架沿不同的几何方向推进，但都能取得相近的有害输出成功率；危害性方向在对话轮次推进中于中后层模型的回合末 token 位置逐渐变得线性可分；危害性表征与拒答相关表征仅弱对齐。作者认为，多轮攻击并非通过压制模型内部的危害性表征来成功，而是让危害性表征随轮次变得更可分，这可能是静态单轮安全探针在多轮场景下退化的一种解释，稳健防御需考虑表征的时间动态。