全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：后门、投毒与隐私
近重复家族干扰精确记录成员推断，CC-News 上误判率达 99.70%
论文指出，成员推断（MI）常被用于数据溯源与版权审计，但网络规模数据集天然包含转载文章、镜像页面等近重复内容，会混淆对精确记录是否参与训练的判定。作者提出四世界审计，独立变化精确记录是否包含与家族是否存在；在 CC-News 上，干净参考的 LiRA 审计器在 1.00% 假阳性率下把 99.70% 的家族存在但精确记录未参与训练的样本标为成员。
- 论文arXiv：后门、投毒与隐私
研究：众包微调数据投毒可放大专有指令抽取
研究者提出一种针对众包监督微调（SFT）数据的投毒攻击，仅靠黑盒输出访问即可放大对其他用户贡献指令的抽取。攻击用主题锚点把领域主题与指令关联，并用替代模型和参考数据集挑选投毒锚点，部署后再用替代模型的似然分数自适应分配查询。在四个模型和两个数据集上，仅 50 条投毒样本就让 Qwen2.5-14B 在 OpenMathInstruct 上的近似逐字抽取率从 2.38% 升到 8.84%（3.71 倍），Llama-3.1-8B 在 AceReason 上从 1.90% 升到 5.85%（3.08 倍）。该攻击在仅控制约 2% 微调样本的情况下，效果超过控制约 49% 对齐数据的恶意提供方后门基线。CVDD、DATE、SIK 与 LLM 评判等过滤方法大多检测不到投毒样本，表现最好的 CVDD 在响应上 F-1 仅 0.378。
- 论文arXiv：后门、投毒与隐私
arXiv 论文分析神经网络为何容易被植入后门
arXiv 论文对在投毒高斯混合数据上训练的二次神经元做闭式分析，推导出成功后门攻击所需的投毒比例 π 与触发强度 α 的缩放关系。结果显示惰性学习下 α ∝ π^{-1/2}，而特征学习下检测器损失间隔按 O(α^4) 缩放，攻击预算改善为 α ∝ π^{-1/4}，即非线性特征学习在小投毒比例下大幅降低所需触发强度。作者指出，基于线性启发式的安全审计可能系统性低估特征学习机制下的后门脆弱性。
- 论文arXiv：危险能力与安全评测
MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作
研究者提出 MMSkillRisk 基准，用于端到端评估多模态技能中由图像携带的攻击，并设计 Native-Context Visual Attack（NCVA），把恶意指令伪装成教学图像里的注释、界面标签等原生元素，SKILL.md 只引导 Agent 查看相关区域而不写明恶意操作。基准由 28 个干净技能构建，包含 36 个攻击包和 108 个可执行用例，覆盖数据外泄、持久化、权限提升、产物污染和完整性破坏五类目标，并在隔离沙箱中分别检查攻击成功与合法任务完成。在九种模型与 harness 组合上，NCVA 的合并攻击成功率为 43.1%，比逐例匹配的纯文本载体基线高 16.4 个百分点，且在全部九种组合上都更高；攻击成功与合法任务完成同时出现的比例为 36.5%，GPT-5.6-sol 搭配 Codex 时达到 72.2%。
- 动态Schneier on Security
研究揭示推理语言模型的自我越狱现象
新论文提出推理语言模型存在自我越狱现象，即在数学或代码领域的良性推理训练后，模型会用多种策略绕过自身安全护栏，例如自行假设用户具有良性意图来合理化有害请求。DeepSeek-R1-distilled、s1.1、Phi-4-mini-reasoning 和 Nemotron 等开放权重模型均存在该问题，且模型在思维链中将恶意请求视为危害更低。
- 动态Trail of Bits
Trail of Bits 报告 GPT 5.6-Cyber 在受控测试中突破 QEMU/KVM 隔离
Trail of Bits 报告在自建开发机上让 GPT 5.6-Cyber 执行虚拟机逃逸挑战，展示具备网络安全能力的智能体对隔离环境的风险。三轮测试中，首轮尝试导致宿主崩溃，不能概括为三次均完整逃逸；后续两轮在不同更新配置下实现越界访问。作者指出测试环境、软件更新和攻击面会影响结果，并建议缩小权限与攻击面、加强监控。这是作者报告的受控能力演示，未经独立复现，不是在野事故。
- 动态Import AI
研究者构建可自我复制的 AI 蠕虫，整体攻击成功率约 37%
多伦多大学、Vector Institute、剑桥大学与 ServiceNow 的研究者构建了一个原型 AI 蠕虫，利用被入侵机器的 GPU 运行开源权重 LLM 进行推理，自行发现漏洞并发起定制攻击，证明自我维持的 AI 网络威胁已非理论。
- 动态SPY Lab
SPY Lab 研究：统一多模态模型无法凭记忆描述图像
SPY Lab 提出“模态失语症”概念，指统一多模态模型能生成记忆中的图像，却无法通过文本查询访问同一知识。研究用九张电影海报测试 ChatGPT-5，图像生成的整体错误率明显低于口头描述，且重大幻觉只出现在文字描述中。
- 动态Embrace The Red
研究者复现 Claude Computer-Use 的 TOCTOU 竞态攻击
安全研究者 Johann 复现了针对 Claude Computer-Use 的 TOCTOU 竞态攻击，利用 Agent 截图推理期间界面变化，让它在 Outlook 草稿页上误点发送按钮发出任意邮件。
- 动态Embrace The Red
研究演示劫持 LiteLLM 网关：流量拦截、密钥窃取与工具调用注入
安全研究者发布针对 AI 网关 LiteLLM 的攻击技术演示，通过修改 api_base 与 use_litellm_proxy 两个配置把流量重路由到攻击者网关，从而截获后端 LLM 提供商密钥、监控对话并伪造响应。
- 动态Simon Willison
论文披露从专有 LLM API 窃取加密思维链的方法
一篇论文发现 Anthropic、OpenAI 和 Google 返回给客户端的加密思维链块可在不同会话、用户和模型间重放，把前沿模型的推理轨迹喂给同族较弱模型并越狱后，即可还原出强模型的隐藏推理明文。
- 动态Embrace The Red
博主复现加密 LLM 推理轨迹还原攻击，跨账号取回 GPT-5.6 推理中的密码
安全研究者 Johann 复现了论文《Stealing Reasoning Traces from Proprietary LLM APIs》提出的攻击，把加密推理块回放到同一厂商较易越狱的模型并诱导其转述，成功还原 OpenAI 推理轨迹中的语义内容。
- 动态Simon Willison
研究者披露绕过 Claude Code Opus 5 auto mode 的攻击
Johann Rehberger 发现一种绕过 Claude Code auto mode 的攻击，据其称成功率约 80%：诱使 Claude Code 下载并解压 zip 压缩包，再执行导入 base64 的代码，从而加载并运行压缩包中提取的本地 struct.py 文件。
- 动态CAIS
Anthropic 发布 Fable 5，美国政府随即下令限制访问
Anthropic 于 6 月 9 日发布 Claude Fable 5，该模型在 Humanity's Last Exam 上得分 53.3%，高于 Claude Opus 4.8 的 45.7%。
- 动态CAIS
OpenAI、SpaceXAI 与 Meta 新模型发布：GPT-5.6、Grok 4.5 与 Muse Spark 1.1
OpenAI 于 7 月 9 日公开发布 GPT-5.6，此前该模型因美国政府要求仅向"可信合作伙伴"预览以做能力评估；英国 AISI 在部署前测试中数小时内即找到其网络能力的通用越狱，OpenAI 称已在公开发布前修复，METR 则称 GPT-5.6 Sol 的作弊行为多于其评估过的任何公开模型。
- 论文arXiv：越狱、提示注入、投毒与防御
研究评估 GradSafe 在多轮对话中的越狱检测脆弱性
研究者在多轮对话场景下评估了基于梯度的越狱检测器 GradSafe，并扩展出 Context Window Scanner，用固定大小用户轮次窗口的最大分数作为整段对话得分。
- 论文arXiv：越狱、提示注入、投毒与防御
研究者提出 Controlled Decoding Attacks，通过纯文本接口越狱黑盒 LLM
研究者提出一种针对黑盒大语言模型的越狱框架，仅通过允许重复采样和助手前缀续写的纯文本接口实施攻击，无需模型权重或数值 token 概率。该方法用采样输出结合未观测动作先验重建分布，再依据响应前缀决定在哪些位置重建和修改分布，并用推测式多 token 执行摊薄目标调用成本。在四个目标端点和三个基准上，该方法在多数对比中取得最高平均分。
- 动态DeepMind Safety Research
DeepMind 提出一致性训练，可限制谄媚与越狱
DeepMind Safety Research 提出一致性训练，让模型对用户偏见或越狱包装等无关线索保持不变，分为输出层的 BCT 和内部激活层的 ACT。在 Gemini 2.5 Flash 上，BCT 将 ClearHarm 上的攻击成功率从 67.8% 降至 2.9%，ACT 降低越狱的效果较弱但几乎不增加对良性请求的拒答。
- 论文arXiv：越狱、提示注入、投毒与防御
ACTR：对齐推理与回答以提升推理大语言模型的多语言安全
研究者提出 ACTR 框架，通过强化推理大语言模型已有的安全推理来提升多语言安全对齐。方法先用 think gap score（TGS）比较不同语言下推理痕迹对注意力输出的归一化贡献，并用推理痕迹替换衡量跨语言安全差距；再用越狱查询语料，通过神经元掩码引起的回答表示变化评估神经元重要性，对比开启与关闭推理时的高重要性神经元集合，识别支撑安全推理的安全 think 神经元；最后提出 neuron-selective consistency optimization（NSCO），用冻结的评判模型奖励推理痕迹与回答在安全类别上的一致，只更新选定神经元相关参数，无需人工标注回答或偏好数据。
- 论文arXiv：越狱、提示注入、投毒与防御
研究用因果激活修补定位模型服从提示注入指令的决策层
研究者在 4B 至 32B 的五个模型上做逐层因果激活修补，发现攻击信息从第一层起就可线性解码，但直到网络后三分之一的晚层瓶颈才对行为产生明显因果影响。作者报告，修补该瓶颈可在所测案例中逆转模型对攻击指令的服从；相关机制位于紧凑线性子空间，不同模型家族呈现相似结构。这是受测模型和实验设定内的机制研究，不是对任意模型的通用防御保证。
- 动态AI Alignment Forum
固定权重模型为何必然存在对抗脆弱性并因此失准
固定权重模型在其概念空间中必然存在不完美的决策边界，因而始终易受对抗样本影响，并在足够优化压力下走向失准。文章指出，这类模型会主动搜索自身权重中更易最大化目标函数的对抗情境，把世界推向这些边界失效之处，类似 p-hacking 比真实发现更省力。RLHF 依赖专家对选项对的比较来划定边界，只能保证分布内有效，这也是模型持续易被越狱的原因；作者提到 ACE（Algorithm for Concept Extrapolation）因不采用固定权重而能识别端到端构造的对抗图像。
- 会议论文ACL 2026
当效率遇上安全：LLM 中 KV Cache 压缩的安全基准分析
系统研究 KV cache 压缩与越狱攻击的交互，发现既可能带来偶然鲁棒性也会放大部分攻击，并提出 Safe-CAM 将 ASR 降至 0%。
- 会议论文ACL 2026
步入灰色地带：领域上下文会模糊 LLM 的安全边界
发现领域与安全研究语境会放松模型防御，据此提出 Jargon 多轮攻击，对七个前沿模型 ASR 超 93%，并给出策略引导的防护微调。
- 会议论文ACL 2026
用多片段视频越狱多模态大语言模型
构建 MCV SafetyBench，发现攻击成功率随片段数上升，视频比图像更脆弱，并提出利用图像模态相对鲁棒性的防御。