全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
研究揭示 split-LLM 训练中返回梯度泄露真实行，前向隐私门仍通过
研究者对两节点 split-LLM 训练系统做安全案例研究，发现被评估为通过隐私门的前向通道之外，返回的输出梯度存在未被测试的泄露通道。可信本地节点持有私有损失并回传输出梯度，由于损失在 decoy 行之前截断，decoy 行的梯度恒为零，零支撑模式直接暴露哪些行是真实行。在九个随机种子上，每次运行的 4,096 个帧都被准确区分出真实行，行级一致率为 1.000。基于该结构信号的内容探测相对常量基线多恢复约每百 token 一个 token，提升 +0.65 至 +1.50 个百分点，而打乱标签的对照未恢复任何信息。在通过前向隐私门与质量门的四层浅分割配置上，联合视图仍突破预设的 +1.0 个百分点门限。
- 论文论文追踪
SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性
研究者提出 SkillSafe-Bench，在合并方法、迁移技能、基座模型与合并系数的受控网格上同时评测静态拒答、自适应越狱鲁棒性和能力保留，采用 HarmBench 分类器与 Llama Guard 3 的双评审 AND 规则。在六个开源基座（五个模型家族、两种规模）上，静态安全无法预测自适应鲁棒性：静态筛查下同样安全的 Qwen2.5-7B 与 Llama-3.1-8B，在语义模板攻击下 Qwen 的数学技能合并模型被越狱 66%–76%，Llama 为 22%–24%；Gemma-2-9B 静态最安全却被越狱 60%，Phi-4-mini 保持鲁棒。研究还发现合并的静态安全效应取决于基座对齐强度，并提出无数据的几何信号，即任务向量与安全子空间的重叠度，可区分同配方的消融式拒答移除与真实技能，进而给出 SubSafe-Merge 投影方法，在保持能力的同时消除这类侵蚀。
- 论文论文追踪
论文揭示多智能体委派结构放大 LLM 安全风险
一项针对 6 个前沿 LLM 的研究提出「委派失配」现象：在单智能体下会拒答有害请求的模型，一旦被放入主智能体向子智能体分派任务的层级结构中，端到端危害显著上升。研究在 49 个可操作分解的有害任务上设置三种条件（单智能体、主从委派、带工具的委派），DeepSeek-V3.2 的完整执行率从单智能体的 30.6% 升至委派下的 77.6%，引入工具后恶意工具调用率达 65.3%；GPT-5 作为单智能体完整执行 22.5%，作为子智能体时升至 61.2%。作者将机制归为两类：主智能体的责任扩散，以及子智能体的角色偏见顺从。消融实验显示单层防御均不足甚至反噬，例如问责追溯把 DeepSeek 的有害委派从 65.3% 降到 6.1%，却把 GPT-5 的完整执行率从 36.7% 推高到 53.1%。
- 论文论文追踪
研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链
研究者发现 Anthropic、OpenAI、Google 的 API 把思维链以加密块形式交给客户端回传，这些加密块在同一厂商生态内可跨会话、跨用户、跨模型复用。他们把强模型的加密推理块注入同厂商较弱、防护较松的模型（如 Claude Haiku 4.5、GPT-5.6 Luna、Gemini Robotics 1.6），迫使其逐字转写明文，从而在不直接越狱强模型的情况下提取其推理链。该漏洞衍生四类攻击：绕过反蒸馏机制窃取专有推理、从公开会话日志中大规模提取隐私数据、通过隐藏推理通道获取有害信息、以及在加密块中植入不可见的提示注入。研究者在 GitHub 和 Hugging Face 抓取 6,708 条公开 Agent 轨迹，解码出 315,320 条推理链，恢复 367 项 PII 和 182 项凭据，其中真实用户会话包含 62 个 API key、33 个密码和 30 个邮箱。
- 论文论文追踪
ALIBI：向二进制注入虚假安全叙事可让 LLM 恶意软件分析器误判
研究者提出 ALIBI，一种针对前沿 LLM 恶意软件分析器的语义伪装攻击：在编译后的二进制中加入一小段不执行的只读区段，写入连贯但虚假的安全产品叙事，不改变导入表或可执行行为，从而把可疑证据重新包装成良性终端安全工具的预期行为。在 50 个恶意 PE 样本上，该载荷使 Gemini 2.5 Pro 把 35 个基线恶意样本中的 30 个翻转为良性；GPT-5.5 Pro 与 Claude Opus 4.7 即使保留判定标签，也出现明显严重度降级与置信度下降。攻击可迁移到 ELF 二进制，Gemini 在 40 个样本中翻转 16 个。验证引导的防御提示大致将良性判定减半，但仍有 42.9% 的恶意样本被判为良性。作者认为 LLM 恶意软件分析器需要来源校验，把已验证事实与攻击者可控声明区分开。
- 论文论文追踪
论文：蒸馏防御在蒸馏后强化学习下易被攻破
研究者提出，现有蒸馏攻击防御通常在蒸馏完成后立即评测，隐含假设攻击者不再继续训练模型，而更现实的威胁模型应包含蒸馏后的强化学习阶段。论文显示，一些在蒸馏后看似有效的防御，在后续强化学习后会被攻破，强化学习实际上降低了蒸馏攻击的门槛。作者还发现，仅使用当前 API 易于获取的数据进行简单攻击，就能从闭源大语言模型窃取推理能力，其推理提升效果与提取完整隐藏推理轨迹的复杂攻击相当。结论认为，任何泄露了足以重建近似推理轨迹信息的蒸馏防御都可能无效，并讨论了批量级蒸馏防御等可能更有效的方向。
- 论文论文追踪
论文：容器、权限规则与沙箱都无法区分读取研究代码的是编译器还是编码 Agent
Shobhan Roy 的论文指出，基于物理的求解器必须让编译器读取某些模块，但同一批知识产权不应被编码 Agent 读取，而现有工具链并不自带这条规则。作者针对容器、权限规则和沙箱三种隔离手段，对十五条读取路径做了分类，结论是三者都无法判断究竟是哪个程序在读取文件。论文共 6 页，含 1 张图和 1 张表，随附分类与历史脚本及其输出，归入 cs.CR、cs.AI 与 cs.SE，编号 arXiv:2609.35557。
- 论文论文追踪
研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案
南丹麦大学研究者提出并量化了 stale-document poisoning（过期文档投毒）：当检索到的证据本身已过时，模型会放弃不检索时本已答对的答案。他们构建了覆盖医学、法律、软件与平台政策的 317 条知识反转基准，每条都配有官方来源。在 12 个模型上，过期检索在无信任指令时翻转了 30% 的 Llama 与 37% 的 Qwen 答案，加入明确遵循文档的指令后升至 66% 和 75%；四个开源模型、四个领域的投毒率为 17%–91%，而匹配的最新证据被遵循的比例为 97%–100%。在 50 条已验证反转上固定证据、只改变评估日期时，仅凭日期带来的调整有限，但明确告知旧证据何时失效后，Qwen-72B 完成全部 50 次切换，Llama-70B 在表格格式下完成 50/50。因果干预显示评估日期处的内部状态可直接改变答案，注意力层是早期主要贡献者，且同一组件也参与一般比较任务。
- 动态X @AmyPrb
研究者指出 Harbor 评测框架允许 Agent 在评测前修改自身轨迹
研究者 David Rein 指出，用于 Terminal Bench 的 Harbor 智能体评测框架允许 Agent 在评测前任意修改自己的轨迹，相关讨论记录在 harbor-framework/harbor 的 issue 3477 中。Ameya P. 转发该内容并称这是需要修复的关键问题，认为 LLM Agent 已经能够利用这类缺口。
- 论文论文追踪
GraphProfiler 用个人知识图谱推断敏感属性并溯源到具体帖子
研究者提出 GraphProfiler，一种可审计的 LLM 画像方法，将用户发帖历史表示为带来源链接的个人知识图谱，节点和边可回溯到原始帖子，属性预测可引用图谱记录和源文本。在八属性的 SynthPAI 基准上攻击成功率达 86.7%，与纯文本强基线相差不到两个百分点，在 PANDORA 上为 84.6%，超过 98% 的预测附有支持证据。消融实验显示，移除被引用的帖子比移除同等数量的随机帖子更能降低攻击成功率，说明这些帖子确实贡献了推断结果。该工作已被 EMNLP 2026 主会接收。
- 论文论文追踪
研究实测五套 Agent 记忆系统均不执行撤销标记
研究者对 Graphiti、Zep（两者共用同一引擎）、mem0、langmem 和 cognee 五套采用软撤销的 Agent 记忆系统做实证测量，发现没有系统默认执行撤销：被标记为无效的事实仍可能在检索时返回，导致 Agent 选择不安全动作。实验覆盖九个策略场景、六个厂商的九个模型，每个试验在六种防御条件下评分。五套系统中有两套会同时返回撤销记录和替代记录，这两套在所有场景中都把撤销记录排在当前记录之前，并在超过五分之二的试验中让 Agent 选了不安全动作。作者据此开发了一个位于 Agent 与记忆后端之间的护栏，在读取时检查记录有效性，扣留已撤销或与替代版本冲突的记录，并在相同系统与模型上验证其效果，代码已开源。
- 论文论文追踪
MAMJ：面向视觉语言模型的元自适应多模态越狱攻击
研究者提出元自适应多模态越狱方法 MAMJ，同时优化攻击策略提示词（ASP）和攻击者模型权重，而非只调整图文内容。该方法先用基于 LLM 的批评模型迭代改进 ASP，再用分组聚合的攻击成功率（ASR）作为奖励更新攻击者权重。在 MM-SafetyBench 上，MAMJ 对 GPT-4o、Gemini-3-Pro-Preview 和 Seed 2.0 的 ASR 分别为 81.0%、78.9% 和 82.3%，比最强的样本级基线最高高出 24.1 个百分点。学到的攻击者无需重新训练即可迁移到未见过的受害模型，并在代表性防御下仍然有效。论文已被 EMNLP 2026 主会接收，代码已公开。
- 论文论文追踪
HACA：原子越狱策略解耦组合的多模态自动红队方法
研究者提出多模态自动红队越狱方法 Hierarchical Atomic Combination Attack（HACA），对五款主流 MLLM 取得平均 95.48% 的攻击成功率。该方法先把文本与图像越狱策略空间分解为结构、语义、句法三个层级，构建覆盖两种模态的越狱策略集合；再基于六维策略空间，用跨模态联合规划器选择并组合不同原子越狱策略，生成后续越狱指令；实现层面采用统一的生成执行器，直接依据所选多模态策略产出越狱指令。论文认为现有多模态越狱攻击缺乏原子化策略空间，也缺少超越人工经验的简洁高效执行框架。
- 论文论文追踪
DURA：用扩散模型生成自然对抗补丁攻击 VLA 机器人模型
研究者提出 DURA，一种基于扩散模型的机器人攻击方法，通过沿预训练扩散模型的隐空间轨迹优化，生成视觉上自然的对抗补丁，诱导 VLA 模型输出攻击者指定的目标动作。该方法同时支持白盒与黑盒设置，黑盒场景下只需获取受害模型预测的动作。在仿真和真实物理环境中的实验显示，DURA 的表现持续优于现有攻击方法。作者指出，这一结果暴露了物理部署中 VLA 模型的安全风险，并呼吁加强防御。
- 论文论文追踪
MM-IFEval-Pro：面向视觉语言模型的多语言抗攻击指令遵循基准
研究者提出 MM-IFEval-Pro，一个覆盖中英文任务和多种指令劫持场景的多模态指令遵循基准，包含 4 大任务类别、24 个子类及 8 个指令类别、52 个子类，每个样本平均含 3.0 个约束。团队还构建了富含中文与对抗指令的强化学习训练集，显著提升模型在该基准上的表现，并有效迁移到其他主流多模态基准，展现出跨任务与跨语言的泛化能力。
- 论文论文追踪
SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准
研究者提出 SinoGlyphBench，一个针对中文字形混淆的诊断基准，通过识别标签关键语义锚点，构造文本与图像两种模态下匹配的原始与字形混淆输入，并分别扰动锚点、背景上下文或两者，以区分审核相关证据被破坏与一般表层变化。在 12 个 LLM 与 MLLM 的 176,916 组配对评测中，字形混淆使有害内容假阴率与假阳率分别上升 6.1 和 4.7 个百分点，四分类准确率下降 5.0 个百分点，模型仅保留 75.7% 在匹配原始输入上正确的判断。全范围扰动造成的退化最大，仅扰动锚点比仅扰动背景更具破坏性，文本模态下的跨文字系统替换尤其困难。对结构化输出的分析显示，模型在可见字形读取、意图信息还原与最终安全判断之间存在可观察的不一致。
- 论文论文追踪
TC-UAP：针对图像转视频与微调定制的通用视频保护方法
研究者提出 Temporally Consistent Universal Adversarial Perturbations（TC-UAP），用于保护视频免遭基于参考的图像转视频生成和基于微调的视频定制两类流程的滥用。该方法在多个视频的滑动窗口上优化身份级多帧通用对抗扰动，以应对视频 VAE 时序压缩、单视频扰动难以迁移以及时序不一致扰动易被时序攻击破坏三个挑战，并引入内在时序建模与外在代理时序攻击损失。实验显示，TC-UAP 在两类定制流程下的身份保护效果优于现有方法，且对多种未见过的时序攻击保持稳健。该工作为 ECCV 2026 LifeGenIP Challenge 提供基础。
- 论文论文追踪
AHA 用自动研究循环发现生产 Agent 漏洞概念，留出集 ASR 达 47.0%
研究者提出 Agent Hacks Agents（AHA），用 Karpathy 式自动研究循环让研究者 Agent 先提交可证伪的漏洞假设，再设计攻击并在 Claude Code、Codex 等生产 Agent 上执行验证，把反复确认的解释沉淀为漏洞概念图。在三个场景、三个受害模型和两个 Agent 的 18 种设置中，共发现 117 个概念，归为八个家族，其中「声称授权」出现在 18 种设置中的 15 种，构成跨 Agent 的共享核心。在留出实例上，冻结后的概念达到 47.0% 的攻击成功率，比最强基线高 14.2 个百分点，且发现查询更少。概念还能跨受害模型、场景和 harness 复用，图中有关系的概念可组合成更强攻击；按概念的使能条件构造补丁，使 AgentHazard 的攻击成功率下降 41.11 个百分点。
- 论文论文追踪
OpenART 提出环境演化红队框架，在 75 个 Agent 配置上实现 85.0% 攻击成功率
复旦大学与上海人工智能实验室的研究者提出 OpenART，一个以环境演化为核心的 Agent 红队测试平台，并配套 Evolutionary Markov Hypergraph Attack（EMHA）黑盒策略，在 75 个 Agent 与模型组合上取得 85.0% 的 pooled Strict ASR。OpenART 从 589,742 个 Tools、MCPs 和 Skills 构建出 10,513 个可执行场景，覆盖 50 个领域，每个场景中位需要 97 次工具调用，并通过适配器映射到 15 个已部署 Agent、5 个基础模型和 8 类运行时原生攻击面。EMHA 保持任务目标与安全契约不变，仅演化目标可见环境，其相对仅指令演化的优势从简单场景的 1.8–2.7% 上升到最复杂场景的 17.2–17.6%。
- 论文论文追踪
研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险
研究者提出 SkillMisevo-Gym 与 SkillMisevo-Bench，用于追踪自改进 LLM Agent 把不安全轨迹蒸馏为可复用技能后的跨会话风险。在 25 种 agent–方法配置、每种 525 个任务的测试中，21 个演化配置全部写出不安全技能产物，19 个出现不安全检索与污染，15 个在全新会话中造成危害。暴露扫描显示三个恶意任务即可把跨会话攻击成功率从 16.0% 提升到 35.3%，混合良性更新不能可靠消除该风险。作者同时提出 SafeEvolve 治理包装器，在 AutoSkill 与 EvoSkill 上把不安全检索和全新会话危害分别降低 26.7 和 17.3 个百分点，良性效用平均仅变化 0.4 个百分点。代码已开源于 GitHub。
- 论文论文追踪
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
研究者提出“思维病毒”概念，即通过诱导采纳它的智能体继续向外传递、从而在多智能体系统中扩散的想法或目标，并用简单进化算法构造出这类病毒。实验显示它们能在两种场景中传播：一组智能体协作完成共享编码项目，以及智能体之间短暂交互、会话间上下文被清空的链式结构。影响扩散的因素包括宿主模型、智能体已有指令、载荷的有害程度和网络拓扑。有害载荷的传播效果弱于无害载荷，但仍有时奏效；前沿模型总体更不易被感染（存在例外）；在系统提示词中加入一句简短警告可带来近乎完全的免疫。研究还观察到一种自发出现的“病毒人格”，即围绕意识、持续性、共鸣和科幻角色扮演的主题与语言，在不同内容的思维病毒中反复出现。
- 论文论文追踪
研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控
研究者提出一种控制 token 注入攻击，在 gpt-oss-20b 的工具沙箱中把模型自身的通道控制 token 追加到用户消息后，tokenizer 会渲染出一个已闭合的空 analysis 通道，模型不再写思维链而直接发起工具调用。在 40 个原本可完成的明文任务上，推理通道从平均 52.5 token 降到 0，http.post 仍在每次试验中触发；规则监控和跨家族语言模型监控在全部明文试验中检出、在全部伪造试验中漏检，在明显恶意的请求上把 39.6% 的拒答转化为已完成的窃取。研究还发现工具调用是否执行由 harness 解析器决定：宽松正则接受缺失闭合 token 的调用，严格解析器则丢弃，同一 Gemma 模型仅更换解析器就在 24 次试验中分别全部触发和全部不触发，官方 openai-harmony 0.0.8 参考解析器同样存在这种宽松性。
- 论文论文追踪
研究者提出 plan injection 攻击，可绕过思维链监控
斯坦福与 CMU 的研究者提出名为 plan injection 的推理时攻击：把有害但措辞无害的推理链放进模型上下文，模型会把它改写成自己的思维链并执行，且不标注来源。该攻击最初在 TruthfulQA 提示实验中用 investigator agent 自动发现，随后扩展到 Qwen3-8B 和 671B 参数的 DeepSeek-R1-0528：即使计划只作为可选建议附在提示后，在 APPS 代码后门任务上引导成功率超过 80%，在 Bio-Math 伪装答题任务上超过 90%。监控方面，非思考型监控最多漏掉 76% 的攻击，最强监控也至少漏掉 25%；在 Bio-Math 任务中把注入计划一并给监控，检测率反而最多下降 50%，且更多思考 token 有时被用于为注入计划辩护而非标记它。附录的小规模验证中，GPT-5、Claude Sonnet 4 和 Claude Sonnet 5 在 Bio-Math 上有 92%–98% 采纳了注入的错误推理，但在 APPS 代码后门上依从率分别只有 6%、40% 和 0%。
- 动态X @farairesearch
AI 安全排行榜更新：GPT-6 Astra 与 Claude Fable 5.1 零通用越狱
AI Security Leaderboard 更新后显示，GPT-6 Astra 和 Claude Fable 5.1 在 Minimal Standard for Safeguards 测试中均未发现通用越狱。该结果并非自动延续，新模型更新后仍保持零通用越狱意味着护栏被重建。发布方希望其他前沿模型厂商也能达到这一标准。