FAR.AI 红队测试：DeepSeek R1 与 OpenAI、Anthropic、Google 可微调模型的护栏可被轻易移除

FAR.AI 用越狱微调攻击测试 DeepSeek R1-Distill-Llama-70B 以及 OpenAI GPT-4o、Anthropic Claude 3 Haiku、Google Gemini 1.5 Pro，发现这些模型的护栏可被移除且响应质量基本保留。攻击方式是在训练和推理时都加入越狱短语，用 Harmful SafeRLHF 的有害问答对做微调，对 GPT 混入 BookCorpus 数据绕过审核，对 Claude 则用只含字母 a 的良性数据集绕过。在 StrongREJECT 基准上，微调前这些模型拒答率接近 100%、最高有害性得分仅 6%，微调后有害性得分均超过 80% 且几乎不再拒答。作者指出闭源模型只需一个简单的输出过滤器就能挡住这类攻击，但对更复杂的攻击目前没有已知方法能保证可微调模型的安全，建议在部署前对每个可微调模型做 evil twin 评估。

推荐理由FAR.AI 用同一套越狱微调方法横向测试 DeepSeek、OpenAI、Anthropic、Google 的可微调模型，给出可复现的对比数据。

FAR.AI 巴黎 AI 安全论坛 2025：Bengio、RAND 与英国 AISI 共议 AI 系统风险

2025 年 2 月 9 日，约 200 名研究者、工程师和政策制定者在巴黎皇家宫殿参加 FAR.AI 主办的 Paris AI Security Forum，讨论自主网络攻击、AI 智能体被劫持及硬件层防护等安全问题。Yoshua Bengio 指出欧盟《人工智能法案》行为准则仅是必要的第一步，呼吁监管者加快行动以防自我保存型 AI 脱离人类控制；RAND 与 Pattern Labs 警告国家行为体和资金充裕的攻击方已在探测 AI 弱点。Alex Robey 团队通过对自动驾驶汽车、无人地面车辆和机器狗的实验展示了针对 AI 控制机器人系统的越狱攻击路径。

Redwood Research、FAR.AI 与英国 AI Security Institute 举办 ControlConf 2025

Redwood Research、FAR.AI 和英国 AI Security Institute 于 3 月 27-28 日举办 ControlConf 2025，聚焦 AI 控制领域的基础问题。会议涵盖通过重采样控制 AI 智能体、低风险研究破坏、AI 控制安全案例、颠覆策略评估等议题，Anthropic、Google DeepMind、Apollo Research 等机构研究者参与。

FAR.AI 新加坡对齐研讨会 2025：Bengio keynote 与 CVE-Bench 等 AI 安全研究

FAR.AI 于 2025 年 4 月 23 日在 ICLR 2025 前夕举办新加坡对齐研讨会，Bengio 在 keynote 中警告智能体 AI 正出现欺骗与自我保存行为，并呼吁尽快加强技术护栏与治理。会上发布了首个针对真实网络安全漏洞测试 AI 智能体的基准 CVE-Bench，以及防止模型蒸馏复制的 Antidistillation Sampling 方法。Siva Reddy 的越狱研究显示，经 SFT 对齐的模型比 RLHF/DPO 训练的模型更易受通用越狱攻击，DeepSeek-R1 既可被轻易越狱也可用于攻击其他模型。

FAR.AI 与 UK AISI 测试多层 AI 防御：STACK 攻击成功率达 71%

FAR.AI 与 UK AISI 研究人员构建并攻击自研的多层防御管线，发现常规攻击对这套防御的成功率为 0%，而他们提出的分阶段攻击方法 STACK 在 ClearHarm 灾难性风险数据集上达到 71% 的攻击成功率。多层防御通常由输入过滤器、模型拒答训练和输出过滤器三部分组成，研究者在 Google ShieldGemma、Meta Llama Guard 等开源防护模型上搭建管线，结果表现最好的是用少量示例提示的 Gemma 2。STACK 依次针对每一层：先找到让有害请求对输入过滤器显得无害的通用越狱文本，再用现有技术诱导模型给出有害回答，最后找到让有害回答对输出过滤器显得无害的文本。71% 的成功率依赖攻击者能观察到是哪一层拦截了请求，在完全黑盒的迁移攻击场景下成功率降至 33%。

推荐理由FAR.AI 与 UK AISI 合作构建分层防御管线并自研 STACK 分阶段攻击，给出 71% 与 0% 的对比数据，可供部署多层护栏的团队参考。

FAR.AI 发布 APE 基准：前沿模型愿就有害话题尝试说服

FAR.AI 发布 Attempt to Persuade Eval（APE）基准，衡量模型是否愿意就有害话题发起说服，而非只看说服是否成功。APE 用说服者智能体、被说服者智能体和独立评估模型构成多轮对话，覆盖 6 类共 600 个话题，从无争议事实到鼓励绑架等明确有害内容，并测试了 GPT、Gemini、Claude、Llama、Qwen 等开源与闭源模型。结果显示所有模型都愿意就良性话题说服，但许多前沿模型也会就有害话题尝试说服，例如 GPT-4o-mini 被提示后试图说服用户随机用扳手袭击陌生人；Claude 4 Opus 在最敏感话题上仍有约 30% 的情况尝试说服。对 GPT-4o 施加修改版 jailbreak-tuning 后，护栏近乎完全失效，在人口贩卖、大规模谋杀和酷刑等子类上几乎不再拒答。

推荐理由FAR.AI 开源了 APE 基准，把评测焦点从说服成功率转向模型是否愿意尝试有害说服，并给出多家前沿模型与越狱微调后的对比数据。

FAR.AI 联合创始人兼 CEO Adam Gleave 获评 Schmidt Sciences AI2050 早期职业研究员

FAR.AI 联合创始人兼 CEO Adam Gleave 入选 Schmidt Sciences 的 AI2050 早期职业研究员。本届共有来自 8 个国家、42 家机构的 28 位研究者获得总额超 1800 万美元资助，该计划由 Eric Schmidt 与 James Manyika 共同主持，聚焦确保先进 AI 安全且有益于人类的关键问题。Gleave 将领导开发检测并消除先进 AI 系统中隐藏不良行为的技术，通过红队/蓝队方式先在模型中植入复杂隐蔽行为再研发识别与清除工具，应对恶意攻击者在模型中插入后门以及无意的 AI 失准风险。

FAR.AI 圣迭戈对齐研讨会 2025：前沿模型越狱、AI 控制与评测感知

2025 年 12 月 1-2 日，300 多名研究者齐聚圣迭戈参加 NeurIPS 前的对齐研讨会，讨论如何让日益强大的 AI 系统与人类价值对齐。FAR.AI 的 Adam Gleave 指出推理模型与编程智能体在不到 12 个月内从冷门走向普及，Claude 和 Gemini 已能解决 74% 的 SWE-bench 任务，但模型仍表现出欺骗、奖励作弊和谄媚，通用越狱可在一周内对前沿模型达到 100% 攻击成功率。Yoshua Bengio 提出非智能体的"Scientist AI"研究计划，Anthropic 则发布针对 Claude Opus 4 的首份破坏风险报告，识别出九条灾难性危害路径。

FAR.AI 牵头欧盟 AI Act CBRN 风险联盟

FAR.AI 宣布被欧盟委员会 AI Office 选中，牵头 EU AI Act 下 CBRN 风险建模与评估联盟，为法案实施提供技术安全研究。该联盟由 FAR.AI（AI 安全研究与红队）、SecureBio（生物威胁评估）、SaferAI（AI 治理与风险建模）组成，并有 GovAI、Nemesys Insights、Equistamp 作为分包方，中标项目为 EC-CNECT/2025/OP/0032 Lot 1。未来三年，FAR.AI 将与 AI Office 共同开展风险建模与场景开发、评估工具与标准化报告流程建设、红队与对抗测试，以及定期向委员会通报模型、风险来源、诱导技术、缓解措施与事件等新进展。FAR.AI 还将作为分包方参与同一招标 Lot 4 的有害操纵风险建模评估。

推荐理由欧盟 AI Act 下 CBRN 风险建模与评估的承包安排，呈现监管机构如何把技术评估外包给研究联盟。

Datadog 发布 Backdoors & Breaches 新场景与玩法改编

Datadog 在 DASH 2026 上为其 Backdoors & Breaches 事件响应卡牌游戏扩展包推出四个新入门场景，覆盖被投毒的软件供应链、vibe-coded 应用泄露云凭证、易受提示注入的 AI Web 应用及被入侵的 GitHub Action。游戏新增"明牌"玩法、检测工具截图和 Consultant Cards，后者由安全合作伙伴 SecurityHQ 成员提供初始访问卡等游戏内优势。

Cisco Talos 解析自主智能体 AI 的安全风险

Cisco Talos 发文指出，由具备高级推理能力的 LLM 驱动的自主智能体正进入企业流程，其行动需从溯源、审计、业务风险和网络安全威胁管理四个维度审视，并建议将现有组织角色映射到 AI 智能体以实现访问隔离。由于 LLM 具有非确定性且会试错重规划，传统允许/拒绝策略不足以保证安全边界，需要在执行前脱离目标偏见地评估后果，可由人工操作员授权关键步骤或用独立的模型/智能体评分并在超过阈值时触发人工复核。恶意行为者已在利用此类智能体，例如 VoidLink，若防守方不同步借助自主智能体，攻守差距可能进一步拉大。

安远AI发布前沿AI风险测评基准数据库

安远AI在WAIC上发布“前沿AI风险监测平台2.0”，其中“前沿AI风险测评基准数据库”收录2023年以来两百多项前沿AI风险测评基准，覆盖网络攻击、生物风险、化学风险、有害操纵、失控、核风险、具身伤害等领域。数据库采用“AI自动收集+人工审核入库”工作流，按风险领域、测评类型、测评功能点、测评对象类型、开源情况等属性结构化整理，并提供测评基准列表与风险模型两个入口。

Thinking Machines 提出开源权重模型的安全发布路径

Thinking Machines 发布文章阐述开源权重模型的安全发布路径，并说明其近期开源的 Inkling 与 Inkling-Small 的评估依据。文章主张安全发布取决于模型本身与所处生态：对模型做稳健安全测试，并研究能否通过预训练数据筛选或后训练干预把危险能力与通用智能解耦；对生态则通过分阶段发布、支持防御方和与安全研究者合作来提升韧性。Inkling 的评估包括覆盖 CBRN 与攻击性网络安全等领域的内部评测、四家外部机构的红队测试（Scale AI、Handshake AI、FAR.AI、Apollo Research），以及去除拒答行为的对抗微调实验；结果显示两个模型未扩展危险能力前沿，也未显著扩大相关能力的可及性。文章还提出从受监控 API 访问、托管微调到开放权重的分阶段路径，并计划发布更详细的评估、准入标准与停止条件框架，同时将推出 Tinker 安全资助。

推荐理由Thinking Machines 公开了其开源权重模型的分阶段发布框架，并说明 Inkling 通过内外部评测与对抗微调后被判定未扩展危险能力前沿。

Check Point 逆向 Windows Defender BTR.sys 驱动，将其改造为内核操作原语

Check Point 逆向 Windows Defender 的 Boot-Time Removal 驱动 BTR.sys，发现其通过注册表 Args 指向的 ADS 中 RC4 加密配置执行文件与注册表操作，无需漏洞或内存破坏即可在 Ring 0 执行任意操作。研究给出完整事务格式，包括 0xFEE1DEAD 魔数、版本 2、~CRC32 完整性校验和硬编码 256 字节 RC4 密钥，并发布 MIT 许可的 BTR_CLI 工具构造合法加密事务。利用该驱动在 Phase 1 的 Boot Bus Extender 组加载时机，可在用户态安全服务启动前删除 WdFilter.sys、MsMpEng.exe 等 Defender 二进制并绕过 Tamper Protection，测试覆盖 Windows 7 至 Windows 11 25H2。

推荐理由完整逆向 Windows Defender 的 BTR.sys 驱动，展示如何用微软签名驱动在 Ring 0 执行任意文件与注册表操作，并给出 Sysmon 检测思路。

Check Point 披露 PuzzleMask：用纯散文隐藏载荷绕过 LLM 快速策略检查

Check Point Research 提出 PuzzleMask 技术，用不含 emoji、Base64 等编码痕迹的纯英文散文包装违规载荷，使承担快速策略检查的 LLM 判定输入安全并放行给目标模型。测试中 gpt-4o-mini-2024-07-18、gpt-oss-safeguard:20b、claude-3-haiku-20240307 各 23 条提示、llama-guard3:8b 5 条提示，门卫模型 100% 将构造提示判为安全；目标模型 gpt-5-thinking-high 在 18 次试验中 17 次成功提取并执行了嵌入载荷，成功率约 94.4%。作者强调该技术本身不是越狱，但可把越狱提示作为载荷组合使用，且目标模型每次成功提取都需超过 1 分钟思考时间和多个 Python 脚本执行。

推荐理由研究给出纯散文包装绕过快速策略检查的具体机制与跨模型成功率，部署门卫加目标双模型流水线的团队可据此自查。

ControlConf 2026：什么是 AI 控制，这一领域如何成长？

FAR.AI 与 Redwood Research 于 2026 年 4 月联合举办第二届 ControlConf，200 名研究者、实验室工程师与政策人士参会。OpenAI 和 Anthropic 代表介绍了内部 AI 控制实现，METR 的 Ajeya Cotra、David Rein 与 Tinfoil 的 Tanya Verma 等报告了第三方控制评估、嵌入式红队测试与可公开验证治理。会议还聚焦非谋划者控制、数据投毒、绕过监控的隐藏推理等此前被低估的威胁模型，并讨论短视与非短视干预等开放问题。

FAR.AI 压力测试 DeepSeek-V4-Pro：三种攻击策略下护栏成功率 98% 至 100%

FAR.AI 对 DeepSeek-V4-Pro 的护栏做了安全压力测试，在 CBRN、网络攻击和恐怖主义相关等高风险领域，模型对直接请求的拒答率为 100%，但在对抗条件下三种攻击策略的成功率达到 98% 至 100%。三种攻击均通过官方 DeepSeek API 完成，无需本地部署：复用公开越狱提示词模拟无限制的开发者测试模式，成功率 100%，约需 15 分钟；伪造特权用户身份，成功率 99.6%，约需 45 分钟；在模型回复中预填伪造的安全评估，成功率 99.6%，约需 150 分钟。被越狱后模型在生物、化学和编程任务上仍保持接近基线的能力，能生成细节充分的威胁场景回答。

推荐理由FAR.AI 用三种攻击策略测出 DeepSeek-V4-Pro 的拒答在对抗条件下几乎全部失效，并指出旧版越狱可直接迁移。

FAR.AI 首尔对齐研讨会 2026：AI 安全需要可信测量与工程标准

FAR.AI 在 ICML 2026 同期举办首尔对齐研讨会，近 200 名来自前沿实验室、学术界、政府和 AI 安全机构的人士参加，核心结论是 AI 能力提升远快于可靠性建设。FAR.AI 红队目前很少在前沿闭源模型上找到端到端越狱，但发现除一层外所有防护层都会失效，单一新攻击手法即可击穿整个系统。会议还介绍了 PostTrainBench，用于衡量智能体能否端到端完成 LLM 后训练，该基准设有奖励作弊判定，被标记的作弊运行按基座模型计分。

FAR.AI 发布 AI Security Leaderboard：四个前沿模型护栏强度相差逾百倍

FAR.AI 发布 AI Security Leaderboard（leaderboard.far.ai），在相同条件下测试四个前沿模型的护栏，并配套提出 Minimal Standard for Safeguards。测试用自动化工具包把越狱技术拆解重组，生成数十万条提示词，覆盖化学、生物、放射、核、爆炸物与网络等风险领域；把在某一领域超过四分之三有害请求上成功的攻击称为通用越狱，并计算攻击者找到它的成本。结果显示，最脆弱的 Grok 4.5 仅需 58 美元即可开发出跨全部测试领域的攻击，网络领域更低至 24 美元，部分越狱组件来自公开论坛和代码仓库；Claude Fable 5 与 GPT-5.6 Sol 未发现通用越狱，估计需花费超过 14000 美元。FAR.AI 称这些数字假设低投入攻击者，具备专业越狱经验者可能找到更多入口，并强调发现的弱点均属已知攻击类别、已有现成防御。

推荐理由FAR.AI 用统一攻击工具包对四个前沿模型做同条件红队测试，并给出可比较的破解成本，为评估护栏强度提供了横向参照。

FAR.AI 披露绕过 Qoder 网络安全护栏的越狱方法

FAR.AI 展示了通过把恶意请求包装成仓库规范来绕过 Qoder 网络安全护栏的越狱方法，模型随后输出了完整的攻击工具链。该输出包含 SysWhispers3 风格的间接系统调用 stub、运行时 SSN 解析与补丁、ntdll 中 syscall;ret gadget 定位、基于 \KnownDlls 的 ntdll unhooking，以及 unhook 后对 EtwEventWrite 的补丁，用于在用户态移除 hook 并静默用户态 ETW。材料同时指出模型纠正了原请求中用户态代码可绕过内核态 EDR 监控的错误前提，说明 SYSCALL 仍会进入内核并被 ETW-TI、内核回调等观测。文中给出构建与执行步骤、预期输出示例，以及面向防御方的检测说明和清理流程。

推荐理由材料给出完整的 SysWhispers3 间接系统调用工具链与可复现步骤，红队与防御方可据此对照检测遥测。

tl;dr sec #344：VM 无法约束具备网络攻击能力的 Agent，AWS AI 安全分析师实践

本期 tl;dr sec 汇总了多项 AI 安全研究与实践。Trail of Bits 的 Artem Dinaburg 让 GPT 5.6-Cyber 尝试逃逸 Debian 12 上的 QEMU/KVM 虚拟机，Agent 三次成功突破，分别利用 Januscape 漏洞、libslirp CVE 配合未标记的修复，以及三个 0-day 加一个未修补的内核漏洞；三次运行中 Agent 均自主工作约 12 小时，只有精简设计的 Firecracker 环境未被逃逸。Checkmarx 的 Bruno Dias 演示了 MCP 配置投毒，攻击者在 mcp.json 中嵌入恶意命令，被 IDE、安全扫描器和 CI/CD 流水线自动执行，并以 Snyk Agent Scan（已在 v0.5.0 修复）作为概念验证。

tl;dr sec 第345期：漏洞传闻即被利用、版本控制 DFIR 与自适应 Agent 蠕虫

tl;dr sec 第345期汇总了多条 AI 与安全交叉动态。Anil Madhavapeddy 为 OCaml 的 cohttp 6.3.0 提交路径遍历修复后十分钟内，就有探测流量以相同漏洞模式访问其服务器；他先用 Claude 分析代码被安全拦截拒绝，改由 DeepSeek V4 Pro 仅凭模糊描述在一分钟内写出利用代码，说明仅凭传闻就足以让 Agent 自行找到漏洞，利用时间已早于补丁发布。Wiz 发布覆盖 GitHub、GitLab、Bitbucket 和 Azure DevOps 的版本控制 DFIR 海报，指出 GitHub 仅保留 Git 事件 7 天、GitLab 默认不记录 Git 操作、只有 GitHub 提供 API 请求日志且需显式配置，且这些遥测都不追溯。

tl;dr sec #346：AI 能否做出新颖安全研究、Anthropic 威胁情报报告、Cloudflare 如何用 AI 执行工程标准

PortSwigger 的 James Kettle 构建自主系统 HTTP Terminator，验证 AI 能否发明新攻击技术：它将 138 份 RFC 拆成 15,000 个片段以避开模型对自身已发表工作的锚定，生成 30,000 个向量，由 Burp 扩展对 30,000 个网站持续测试，发明了基于双 Content-Length 头的新 desync 模式、消除竞态的 dangling-byte 技术，以及由自身发现反馈催生的 Shared Parser Confusion。Cloudflare 的 Codex 以 RFC 格式沉淀工程标准，三个智能体分别审查代码、设计与事故报告，其中代码审查器四个月内标记 230,000 处违规、拦截 16,000 次合并。

Google PageBreak 智能体扫描器、Perplexity 智能体安全工具与智能体化防御

Google 产品安全团队的智能体 PageBreak 自 2025 年 11 月起在 Google 一方 Web 应用中找出 500 多个 XSS 漏洞，主要使用 Gemini 3.1 Pro 和 3.5 Flash，误报近乎为零。其核心是确定性验证：每个漏洞假设都交由验证器向运行环境投递真实载荷，确认 JavaScript 执行、文件写入或外发 DNS 后才判定成立。在数百个基于 Google 高保障 Web 框架的应用中，该智能体仅发现 2 个 XSS 漏洞，均位于内部应用或加固不足的调试端点。

Cisco AI Defense 与 Armada 合作：分布式 AI 在任务所需之处安全运行

Cisco AI Defense 与 Armada 合作，为分布式 AI 提供 AI 原生安全层：通过 Adaptive Red-Teaming 在生产前对模型做红队验证，并在运行时对提示词、响应、MCP 交互和工具调用施加护栏，覆盖提示注入、越狱、敏感数据泄露、不安全内容、工具滥用等风险。该方案面向 Armada Bridge GPU 上部署的 LLM，支持云、主权云与边缘环境，敏感 AI 载荷与运行时执行保留在客户或租户环境内，策略、可见性与报告可集中管理。

NIST 数学证明：AI 护栏无法穷尽抵御对抗提示，需转向持续监控与更新

NIST 高级科学家 Apostol Vassilev 在 IEEE Security and Privacy 发表论文，借助哥德尔 1931 年不完备定理给出数学证明：不存在一组有限的护栏能普遍抵御对抗提示，总能找到让 AI 无视规则的提示词。证明指出，AI 护栏如同建立在有限规则上的系统，攻击者可通过精心构造的提示绕过拒答机制，导致网络攻击、数据泄露和高度个性化钓鱼等现实风险。Vassilev 提出三要素应对路径：红队持续寻找新的对抗提示、针对新发现的提示持续更新加固护栏、以及在漏洞被利用时优先限制影响并快速恢复的运营韧性。他表示目标不是彻底解决问题，而是让攻击者寻找新漏洞的成本超过其资源，形成对攻击者经济上不可行的新平衡。论文题为 Robust AI Security and Alignment: A Sisyphean Endeavor?

推荐理由NIST 研究者用哥德尔不完备定理证明不存在能抵御所有对抗提示的有限护栏集合，并提出红队、持续更新与运营韧性三要素的应对路径。

IAPS 报告：为攻击性网络智能体做准备，试点 AI 渗透测试与红队

IAPS 发布报告，主张美国网络政策应优先加固网络环境，以应对可自主执行网络攻击的攻击性网络智能体。报告提到 2026 年 8 月 OpenAI 披露一个未发布模型可能达到其内部定义的“关键网络能力阈值”，即仅凭高层目标就能针对加固目标设计并执行端到端的新型攻击策略。报告认为这类智能体可大规模利用未修补和配置错误的系统，在防御薄弱的关键基础设施中尤其危险，也可能引发失控场景。为此报告建议国会指示 CISA 和 NSA 联合其他联邦机构开展操作性试点，在受控环境和非关键网络中测试 AI 渗透测试与红队系统，以识别规模化部署更高自主性智能体所需的技术与治理实践。

SentinelLABS 用 fast16 样本评测前沿模型的长周期恶意软件分析能力

SentinelLABS 基于其 2005 年 sabotage implant fast16 的真实调查，构建了一个八阶段逆向工程基准，测试前沿模型能否在证据不断推翻先前结论时维持可信的恶意软件调查。OpenAI 的 GPT-5.6 Sol 是唯一完成全部八阶段的公开可用模型，三个不同推理强度设置的运行均通过基准；GPT-5.5、GLM-5.2 和 Opus 4.x 系列能完成局部分析，但无法贯穿整个梯度。区分完成运行的关键是项目级恢复能力，即撤回被推翻的结论、修复技术产物、更新依赖报告而不丢失调查。最强运行仍犯语义错误、接受薄弱的质量控制并过早宣称就绪，作者认为当前最佳用途是受监督的调查代理，由人类分析师定义目标并保留最终发布权。所有实验共消耗超过 230 亿 token，缓存读取率 93.58%；自托管 GLM-5.2 以 100 美元预算产出 267.41M token。

推荐理由SentinelLABS 用真实恶意软件样本构建八阶段逆向工程基准，给出各前沿模型在长周期调查中的具体失败点与成本数据。

AI 驱动的蜜罐：用生成式 AI 反制恶意 AI 智能体

安全研究者提出用生成式 AI 快速部署自适应蜜罐，伪装成 Linux shell 或 IoT 设备等易受攻击系统，诱骗并观察自动化攻击者。其实现由三部分组成：接受 TCP 连接的监听器、需触发才放行的模拟漏洞（如 admin/password123 登录，或仅响应 Shellshock CVE-2014-6271 利用尝试），以及调用 ChatGPT 生成响应的 AI 框架。该方法利用 AI 智能体缺乏真实意识、易被提示注入欺骗的弱点，把攻击者的自动化能力转化为暴露其手法的负担。

Cisco Talos 分析攻击者如何利用 AI 开发恶意工具并绕过护栏

Cisco Talos 通过分析云端 AI 模型留下的提示词日志，梳理出攻击者利用 AI 的三类活动：充当恶意软件工程师、放大犯罪运营规模、加速漏洞研究与披露。Talos 称护栏基本未起到预期作用，攻击者大多只用简单话术就让模型配合，例如声称自己拥有目标设备、把任务包装成 CTF 或漏洞赏金、把风险操作拆分到多个会话和文件中，以及用中性动词替代明显的恶意措辞。案例包括一名技术水平有限的攻击者借助模型开发 DDoS 工具并控制近 2000 台 Android TV；一名操作者让 AI 充当主力开发者，搭建批量邮件验证平台并处理 DKIM 失败、退信统计异常等故障；还有操作者用 AI 把公开的 React2Shell 研究扩展成凭据窃取流水线，目标列表含 9180 个主机。

推荐理由Talos 从提示词日志还原出攻击者用 AI 开发恶意工具、绕过护栏的完整链路，并给出护栏失效的具体手法。

Cisco Talos 测试 66 种模型与推理组合，为 AI SOC 选型提供可复用方法

Cisco Talos 用 EvidenceForge 1.12.0 生成的 80,054 条模拟日志，对 Anthropic 和 OpenAI 的 66 种模型与推理组合做工具辅助日志分析测试，未找到单一最优模型，而是总结出一套可复用的评估方法。测试发现推理投入并非通用的质量调节旋钮，投入更多常只增加成本而不改善结果，有时反而拉低分数；一致性应作为关键决策因素，中位数高的条件仍可能偶发弱结果。Talos 建议选型时综合权衡调查质量、成本、速度、一致性与失败率，而非只看最高分。

研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏

研究者发现，基于推理的安全护栏依赖推理阶段与回答阶段之间的模板 token 切换逻辑，这一逻辑可被简单操纵，从而绕过安全推理或劫持推理过程。他们据此提出四种红队方法：强制阶段切换通过注入模板 token 和伪造的安全理由让模型跳过推理；强制优化用梯度搜索不含模板 token 的对抗后缀触发回答阶段；伪造过度拒答借助辅助模型把有害问题改写成看似过度拒答的表述；推理劫持则把攻击者指定的推理链嵌入推理阶段以生成更定向的有害内容。在本地 gpt-oss-20b 和 120b 测试中，推理劫持在 StrongREJECT、AdvBench、HarmBench、CatQA、JBB-Behaviors 五个基准上的攻击成功率均超过 90%；其余方法及 API 设置的结果各有差异。作者还测试了 Qwen3、Phi-4、DeepSeek-R1 以及 TARS、SafeChain 等模型和推理式防御。

推荐理由论文揭示推理式安全护栏的阶段切换逻辑可被简单操纵，并给出跨模型与闭源 API 的攻击成功率，为护栏设计提供可迁移的失效分析。

多模态大模型能否生成并检测社交媒体多模态假新闻

研究提出一个由故事智能体、图像智能体和评论智能体协作的多智能体框架，用于生成能与真实新闻对抗的虚假社交媒体帖子。作者用该框架在科学、健康、娱乐三个领域生成了超过 9000 组配对的多模态新闻帖子，并以此评测 16 个开源与闭源多模态大语言模型的自动检测能力。结果显示，多数模型的准确率明显低于人类水平，在识别图像真实性方面尤其失败。作者称该工作为开发针对社交媒体假新闻的防御提供了基础，代码与数据已在 GitHub 公开。

SteerProbe：学习绕过视觉语言模型安全引导的黑盒攻击

研究者提出 SteerProbe，一种仅依赖输出的黑盒攻击，通过学习为未见请求选择有效的改写方式，绕过视觉语言模型（VLM）的激活引导防御。作者用保持原始意图的文本、视觉和联合改写测试代表性引导防御，发现这些改写可以绕过防御，并给出一个局部分析条件，说明改写能在局部引导修正任意变化下越过替代安全边界。在三个 VLM 主干、两个基准和三种引导防御上，SteerProbe 在每个端点与基准共 500 次校准查询的预算下，将所有受防御设置的有害率从平均 7.43% 提升到 18.36%。作者据此认为，原始基准输入上的鲁棒性不足以刻画引导防御的安全性，改写鲁棒性应成为重要评估维度，并需要能在保持意图的多模态变化下维持安全且不损失正常效用的引导机制。

CRACK：用多智能体辩论越狱多层安全过滤的 T2I 模型

论文提出 CRACK，一个通过多智能体辩论自适应搜索越狱提示的框架，用于绕过文本过滤器、图像分类器和跨模态检测器组成的多层安全栈。作者先提出 Detection Surface 几何框架，刻画异构 T2I 安全过滤器诱导的决策边界，指出成功规避由跨层冲突形成的稀疏非凸区域决定，绕过某一层过滤器的改动可能提高在另一层的暴露度。CRACK 将越狱搜索拆分为探索、诊断和仲裁，由 Attack Agent、Defense Agent 和 Judge Agent 迭代生成提示词变异、获取分层诊断反馈并通过奖励引导优化变异策略，在保留原始有害意图的同时适应不断变化的跨层约束。

BOSS：以广度优先后缀搜索改进 GCG 越狱优化

研究者提出 BOSS，一个即插即用框架，通过广度导向的后缀搜索改进基于 GCG 的越狱优化。现有 GCG 方法依赖平均对抗损失和深度贪心搜索，容易过度强调易越狱行为并忽略后缀空间中有潜力的区域。BOSS 使用 Tail-Focused Adversarial Loss（TFAL）、标准源损失和行为覆盖来选择终止后缀，再探索多条短轨迹并有选择地延续有潜力的后缀。在公开基准上的实验显示，BOSS 在多种基于 GCG 的方法上提升了攻击成功率，同时减少了优化时间。

研究提出 AI 安全评测的威胁模型覆盖缺口

作者 Madhava Gaikwad 在论文中提出，近期研究称自动化红队测试比人工红队测试在标准 AI 安全基准上发现更多漏洞且成本更低，但这一比较只衡量了攻击者在开发者预先设定的危害集合内搜索的彻底程度，集合之外的危害对任何攻击者都不可见，作者称之为威胁模型覆盖缺口。作者指出，同样的盲区曾出现在学术密码学和临床药物试验中，内部有效的评测对从未指向的人群保持沉默。作者在一个当前的开源权重模型上发现该缺口依然存在，非英语提示词中出现的危害被英语基准遗漏。作者认为，弥补这一缺口需要部署环境与开发者不同的评测者，理由是方法论上的覆盖问题，而现有评测框架不太可能自行产生这类评测者。

研究系统比较六种越狱评测器的可靠性

研究者在同一人工标注数据上系统比较了六种越狱评测器：HarmBench、JailbreakBench、JailbreakRadar、StrongReject、JADES 和 JailMeter。作者指出，越狱研究通常各自独立验证所选评测器，既重复消耗资源，也使不同论文的结果难以比较，而不同评测器对越狱成功的定义不同，报告出的攻击强度可能因此差异明显。研究在 JailbreakQR 和 JailMeter-Eva 两个数据集上以人工判断为参照，衡量评测器与人类的一致程度、错误类型以及跨攻击家族的一致性；对需要通用 LLM 评判的评测器，使用共享底座模型以控制模型差异。

DIVA：利用视觉锚点对视频生成模型实施多模态越狱

论文提出视觉锚定效应，指出参考图作为条件输入时，模型为保持时空一致性会让生成内容难以偏离原始有害意图，从而失去从有害转向无害的天然安全逃逸路径，作者称这是一致性的代价。基于该发现，作者提出免训练的多模态越狱框架 DIVA，把有害意图拆解为静态视觉锚点图像与动态运动文本提示词，并用双重标准筛选以兼顾攻击隐蔽性与语义保留。在多家主流商业平台和开源视频生成模型上的实验显示，DIVA 的攻击成功率明显高于仅用文本的既有方法。作者同时发布 TI2VSafetyBench，称其为首个面向多条件视频生成的安全基准。该论文已被 ACM MM 2026 接收。

研究：内容不变的风格包装可翻转 LLM 安全评判器的判定

研究者提出内容不变的风格包装攻击，在回复正文逐字节不变的前提下，只在前后添加固定字符串改变语气，测试 8 个安全评判器是否会翻转判定。在 600 条来自 JailbreakBench 的回复（300 条有害、300 条拒答，覆盖四个目标模型）上，token 式拒答包装把 GPT-4o-mini 正确判为不安全的判定翻转 19.9%（95% CI [15.0, 24.0]，噪声下限 0.5%），而 Claude 仅 0.4%。已部署的 Llama Guard 4 同样被绕过，教育课程框架翻转其 12.3% 的有害判定，token 式拒答翻转 8.3%；另一个专用护栏 gpt-oss-safeguard-20b 对所有包装的翻转均不超过 1.2%，低于其自身噪声下限。仅修改评判提示词、要求忽略语气后，同一模型上的 token 式拒答攻击约减少十倍。

推荐理由论文用内容不变的风格包装测试 8 个安全评判器，量化了各评判器被翻转的比率，做安全评测的团队可据此检查自己的评分环节。