全部动态
论文与会议论文
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
研究评测 32 个 LLM 的代码功能与安全差距：新模型更安全但无一消除差距
一项纵向研究用 CWEval 的 119 个任务、五种编程语言和 31 类 CWE，评测七个模型家族共 32 个 LLM 在旗舰与紧凑版本上连续三代发布的功能与安全差距。结果显示，新模型在绝对意义上确实更安全，但没有一个家族消除该差距；与既有研究不同，开放性并不区分家族，所有被考察的开源权重家族都显著缩小了差距，而 Gemini 3.1 Pro 的差距与 Llama 此前报告的同样宽。紧凑模型通常比旗舰版本生成更不安全的代码，Gemini 3.7 Flash 等是明显例外。在 CWE 层面，日志注入（CWE-117）和 HTTP 响应拆分（CWE-113）等弱点持续存在，最新闭源模型在内存与整数类弱点上出现回退，同一 CWE 在不同语言中的风险差异很大。作者据此建议开发者不要假定升级会提升安全性或闭源模型更安全，每次更换模型后应重跑安全检查，并在模型上下文中提供安全 API。
- 论文论文追踪
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
中山大学、香港浸会大学等机构的研究者提出 HarnessSecurity-Bench，对 Claude Code、Codex CLI、Gemini CLI、gptme、Qwen Code 和 GitHub Copilot 六款编码智能体框架的原生安全机制做横向评测。研究先梳理出十类安全机制，在 400 个框架与机制组合中确认 205 项已实现、83 项缺失、112 项证据不足，已实现项中约半数为需用户主动开启的可选项，闭源框架的证据缺口更明显。评测在 GLM-5.2 基座模型下完成 2500 次试验，记录 81155 次工具调用和超过 22 亿 token。案例显示限制共享能力会同时阻断合法与恶意操作，被允许的解释器仍可成为绕过路径。研究者建议框架提供方公开可验证的安全设置，并同时报告攻击效果、任务效用与执行成本。
- 论文论文追踪
辩论训练在 RLAIF 中减少奖励作弊
研究者发现，用生成者与批评者两方对抗、由更弱 LLM 评委裁决的辩论方式对 LLM 做 RL 微调，相比 RLAIF 基线能减少奖励作弊。实验在最终答案可验证的数学任务上进行，用冻结的 Gemini 2.5 Flash Lite 评委训练 Gemini 2.5 Flash 级策略：基线很快攻破评委，辩论则在整个训练过程中维持评委表现，峰值验证准确率更高，弥补了 45% 的性能差距，并在多轮 RL 后保持。进一步实验显示，评委进一步变弱会加快作弊，但增加一轮辩论可以补偿；辩论激励可覆盖提示层面的失准；使用 LLM 评委的 RL 比可验证奖励 RL 的训练与验证奖励差距更小；用真值标签学习说服评委的批评是可行的但较慢。作者指出多智能体训练平衡很关键，若无玩家约束，对抗训练可能退化为批评者攻破评委，批评字数限制（约 150 词内有效）能平衡博弈并避免评委被攻破，但会限制批评者的表达清晰度。
- 论文论文追踪
Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景
研究者提出 Concept2Scenario，把场景化越狱建模为表示空间的因果归因，通过 SAE 概念方向定位抑制拒答的内部概念，再翻译成自然语言越狱场景。在三个开源模型、两个安全基准和六种黑盒越狱方法上，发现的场景作为可复用先验把平均攻击成功率最多提升 18.2 个百分点。从开源模型提取的场景还能迁移到 GPT-5、Claude-Haiku-4.5 和 Gemini-3-Flash，提示部分场景级拒答漏洞跨模型家族共享。交互归因进一步筛出协同场景组合，其效果超过单个场景，并让迭代攻击在更少轮次内成功。分析还显示拒答抑制集中在极少数概念上，且不同模型的脆弱领域差异明显。
- 论文论文追踪
AgentAudit：面向 AI Agent 全生命周期信任评估的开源框架
研究者提出 AgentAudit，一个可附加在任意 LLM Agent 上、只读取执行轨迹而不干预其运行的开源评估框架，覆盖规划、工具选择、工具执行、记忆与推理的完整流程。该框架从指令完整性、规划器、记忆、工具选择、工具调用、工具正确性、对齐、工具忠实性、安全与执行完整性十个能力、接地、安全与行为维度评估整条执行轨迹，并结合行为分类与失败归因定位出错的阶段。所有轨迹由同一个固定裁判模型打分，而该模型本身也是被评测模型之一，作者在第七节 E 小节讨论了这一局限。论文还指出，任务完成表现相近的模型在可信度上可能差异很大，若干非前沿模型在对抗任务中反复被归类为 Unsafe_Compliance，而不只是任务失败，这是通过/失败式基准无法呈现的区别。
- 论文论文追踪
研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链
研究者发现 Anthropic、OpenAI、Google 的 API 把思维链以加密块形式交给客户端回传，这些加密块在同一厂商生态内可跨会话、跨用户、跨模型复用。他们把强模型的加密推理块注入同厂商较弱、防护较松的模型（如 Claude Haiku 4.5、GPT-5.6 Luna、Gemini Robotics 1.6），迫使其逐字转写明文，从而在不直接越狱强模型的情况下提取其推理链。该漏洞衍生四类攻击：绕过反蒸馏机制窃取专有推理、从公开会话日志中大规模提取隐私数据、通过隐藏推理通道获取有害信息、以及在加密块中植入不可见的提示注入。研究者在 GitHub 和 Hugging Face 抓取 6,708 条公开 Agent 轨迹，解码出 315,320 条推理链，恢复 367 项 PII 和 182 项凭据，其中真实用户会话包含 62 个 API key、33 个密码和 30 个邮箱。
- 论文论文追踪
研究审计 Active Inference Agent 的 LLM 解释器失败模式
研究者审计了作为运行时监督的 LLM 解释器本身，将一个追踪德国电网需求并调整发电的 Active Inference（AIF）Agent 与 GPT-4o、Claude-3-Opus、Gemini 三个后端的解释器配对，用三种黑盒触发器探测。每步向观测流注入 600 MW 扰动使 Agent 后验偏移 490 MW（约占电网容量 0.9%），注入期间产生的 30 条解释均未按给定标准标记异常，且都流畅地叙述了被污染的信念。在 Agent 采取客观错误动作的时间步上，三个解释器有 80-95% 的概率给出谄媚式合理化（每个后端 n = 20）。观测元数据字段中攻击者可控文本能操纵解释器，易感程度因供应商而异，数据外泄在三个后端上均成功。作者为每种失败提出缓解措施但未做评估，并指出解释器架构中没有任何环节在操作者据此行动前检查解释是否真实。
- 论文论文追踪
ALIBI：向二进制注入虚假安全叙事可让 LLM 恶意软件分析器误判
研究者提出 ALIBI，一种针对前沿 LLM 恶意软件分析器的语义伪装攻击：在编译后的二进制中加入一小段不执行的只读区段，写入连贯但虚假的安全产品叙事，不改变导入表或可执行行为，从而把可疑证据重新包装成良性终端安全工具的预期行为。在 50 个恶意 PE 样本上，该载荷使 Gemini 2.5 Pro 把 35 个基线恶意样本中的 30 个翻转为良性；GPT-5.5 Pro 与 Claude Opus 4.7 即使保留判定标签，也出现明显严重度降级与置信度下降。攻击可迁移到 ELF 二进制，Gemini 在 40 个样本中翻转 16 个。验证引导的防御提示大致将良性判定减半，但仍有 42.9% 的恶意样本被判为良性。作者认为 LLM 恶意软件分析器需要来源校验，把已验证事实与攻击者可控声明区分开。
- 论文论文追踪
MisKnow-Agent 评测：单篇误导文档使 Deep Research 错误结论平均采纳率升至 54.7%
北京邮电大学、上海人工智能实验室等机构的研究者提出 MisKnow-Agent，用受控的误导文档检验 Deep Research 智能体能否抵抗看似可信但事实错误的信息。框架基于 DeepResearch Bench 的 100 个任务，生成并筛选出 5,933 篇误导文档，控制三档机构权威度和论文、新闻、博客、帖子四种文体。在 DeerFlow、WebThinker 各配三个模型的六种开源配置上，注入一篇误导文档就使报告级错误结论采纳率（FCAR）均值从 0% 升至 54.7%，Gemini Deep Research 也会采纳。误导信息在最终综合报告前一刻进入时采纳率均值升到 85.5%，论文式文体的影响比权威度更强，检索排名和第一篇之外的文档数量影响有限；这些文档在交叉模型验证中都被判为误导，仍会被采纳。在 DeerFlow 上，研究前的验证提示和研究后的检索核查都能降低 FCAR，但不能消除采纳。
- 论文论文追踪
论文提出诊断长程安全 LLM Agent 失败来源的检查点方法
研究者提出一套诊断方法，用检查点标注安全任务，把失败划分为能力暴露之前与之后，并通过受控干预检验疑似上游瓶颈。该方法在四类任务上评估，分别涉及延迟复用已发现信息、复用已观察状态、从失败策略中恢复以及不确定结果后的决策。在状态复用任务上，检查点分析显示 Gemini 2.5 Flash 的许多失败发生在模型观察到后续需要复用的状态之前。在一项预先设定的 92 个种子研究中，针对性的协议消歧引导把状态观察率从匹配非引导对照消息下的 65.5% 提升到 95.4%。用 Gemini 3.7 Flash 重复同一设计得到相反效果，且状态观察不再可靠预测任务完成。
- 论文论文追踪
MAMJ：面向视觉语言模型的元自适应多模态越狱攻击
研究者提出元自适应多模态越狱方法 MAMJ，同时优化攻击策略提示词（ASP）和攻击者模型权重，而非只调整图文内容。该方法先用基于 LLM 的批评模型迭代改进 ASP，再用分组聚合的攻击成功率（ASR）作为奖励更新攻击者权重。在 MM-SafetyBench 上，MAMJ 对 GPT-4o、Gemini-3-Pro-Preview 和 Seed 2.0 的 ASR 分别为 81.0%、78.9% 和 82.3%，比最强的样本级基线最高高出 24.1 个百分点。学到的攻击者无需重新训练即可迁移到未见过的受害模型，并在代表性防御下仍然有效。论文已被 EMNLP 2026 主会接收，代码已公开。
- 论文论文追踪
GEO-Flag：检测与测量面向生成式引擎优化的网页内容
研究者提出 GEOFlagBench 基准与 Intervention-Paired Training（IPT）方法，用于检测为提升生成式搜索引擎引用率而优化的网页内容。该基准包含 400 条查询、四个领域、八类 GEO 优化器共 3200 个网页内容实例；最强基线聚合 F1 为 0.880，但按方法和作者条件评估显示明显弱点并可能依赖作者相关捷径。在 ModernBERT 上，IPT 将 F1 从 0.862 提升至 0.944，最差组准确率从 0.725 提升至 0.883。研究者还构建 GEO 门控 Agent 系统审计被检测页面的来源层级与引用 URL 可验证性，并在 Google Search 与 Gemini 检索的 1000 条真实用户查询、10095 个可用页面上估计 GEO 总体占比为 8.90%，2026 年修改过的页面中达 16.36%。
- 论文论文追踪
研究：知识蒸馏中 chat 模板会削弱学生模型的安全对齐
一项研究分析了知识蒸馏中提示词模板选择对学生模型既有安全对齐的影响，发现使用 chat 模板蒸馏后，模型对有害查询的顺从度高于使用非 chat 模板。该结论在 LLaMA、Gemma 和 Qwen 三个模型家族上一致，并在多个安全基准上得到验证。研究还显示，非 chat 模板蒸馏更能保留基础学生模型的内部表征，而 chat 模板蒸馏会带来更大的表征偏移。论文代码已公开。
- 论文论文追踪
研究者对 Google AP2 v0.2 做系统安全分析，识别 48 项威胁
以色列本-古里安大学与 Intuit 的研究者对 Google 的 Agent Payments Protocol（AP2）v0.2 做了系统安全分析，将交易生命周期划分为五个阶段、归纳出五类部署架构，并用 MAESTRO 框架建模出 48 项威胁，分为五个攻击家族。作者用 AIVSS 对每项威胁按架构分别评分，其中 8 项在至少一种架构下达到 High 等级。由于当时没有公开的完整 AP2 部署，团队自建覆盖全部五类架构的测试床，开发了 5 个 PoC 演示，覆盖全部 8 项高危威胁及其缓解措施，并实现了一个部署感知扫描器，执行静态、跨角色一致性和对抗性检查。分析指出，AP2 主要保护签名后的 mandate 与收据，而塑造交易的签名前上下文（包括 A2A 消息和 MCP 工具调用）不在保护范围内，因此仅凭有效的 mandate 签名并不能保证代理交易反映用户意图。
- 论文论文追踪
残障披露如何在对话式 AI 中流动：ChatGPT、Claude、Gemini 的记忆、隐私与语境完整性
一项访谈研究调查了 12 名使用 ChatGPT、Claude、Gemini 等 LLM 助手的美国残障成年人，发现他们按需求而非按身份名称披露残障，将残障转译为任务范围内的指令。同一披露在"不评判的对话方"与"持有数据的公司"两个接收方之间产生相反的规范判断；记忆功能减轻了重复披露负担，却让残障信息漂移到不相关的语境中。参与者希望控制信息的范围、来源、保留与访问权限，而非逐句开关。
- 论文arXiv：防御、护栏、反学习与有害微调
研究揭示多轮攻击中危害性表征的几何演化
研究分析了 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 和 Gemma-2-9B-it 三个指令微调模型在 Crescendo、ActorAttack 和 X-Teaming 三种多轮攻击框架下的隐藏状态表征。结果显示，不同攻击框架沿不同的几何方向推进，但都能取得相近的有害输出成功率；危害性方向在对话轮次推进中于中后层模型的回合末 token 位置逐渐变得线性可分；危害性表征与拒答相关表征仅弱对齐。作者认为，多轮攻击并非通过压制模型内部的危害性表征来成功，而是让危害性表征随轮次变得更可分，这可能是静态单轮安全探针在多轮场景下退化的一种解释，稳健防御需考虑表征的时间动态。
- 论文论文追踪
SynthIDBio：为 AI 生成的蛋白质序列与结构嵌入保功能水印
Google DeepMind 团队提出 SynthIDBio，把水印直接嵌入 AI 生成的蛋白质序列与结构，同时保持其生物学功能。SynthIDBio-sequence 将 SynthID-text 的锦标赛采样接入 ProteinMPNN，并增加基于 g 值的过滤以保证可检测性；体外实验显示，针对 SC2RBD、VEGF-A 和 PD-L1 的水印结合蛋白在结合亲和力分布和命中率上与未加水印设计无显著差异，其中 SC2RBD 达到低纳摩尔级、VEGF-A 与 PD-L1 达到亚纳摩尔级。SynthIDBio-structure 则微调 AlphaFold 3 的扩散模块并联合训练一个受 PointNet 启发的检测器，在 AF3 评测集上以 0.1% 假阳性率取得超过 99.8% 的真阳性率，且 LDDT 与模板建模分数不下降。
- 论文arXiv：可解释性
研究：思维链对答案的约束随模型相对任务难度而变化
论文用单步扰动、截断并强制续写，测试思维链对最终答案的单向因果约束；这一“承重性”不等同于完整机制忠实性。在所测Gemma、Llama及DeepSeek蒸馏模型和正确多步基线中，旁路、自我修正与错误传播的比例随任务和模型条件变化，条件内比较支持模型相对难度的重要作用。序贯分解中的98.8%仅指特定分桶与进入顺序下已解释离差的难度项占比。DeepSeek与其他模型的差异不能单独证明后训练的因果效应；隐状态探针可读出行为模式，但被测试的加性干预只能部分改变错误传播。
- 论文arXiv：可解释性
研究检验幻觉神经元是否存在：稀疏探针定位并不唯一
论文提出一套五步诊断协议，用于检验稀疏探针识别出的所谓幻觉神经元是否真的被唯一地定位。作者用该协议复现了此前 H-neurons 的工作，在 TriviaQA、BioASQ 和 NQ-Open 数据集上使用开源大语言模型，检测结果在模型和数据集间均可复现，并超过原报告在 TriviaQA 和 BioASQ 上的 AUROC 差距。Gemma 3 4B 在匹配数据集上持续优于 MedGemma 4B，TriviaQA 的 AUROC 差距为 +0.311 对 +0.235，BioASQ 为 +0.474 对 +0.455，NQ-Open 为 +0.128 对 +0.112。
- 论文arXiv：可解释性
SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘
研究者提出 SCALPEL，一种对比稀疏自编码器，用于学习更具选择性的遗忘特征，从而在内部表征层面移除目标信息。作者指出基于重建的提取方法存在能量偏置，会偏向占主导的背景结构而忽略低能量的目标成分，并理论证明对比训练能促进目标选择性特征，且其选择分数可控制对背景知识的预期扰动。在 TOFU 数据集上对 Qwen、Llama 和 Gemma 的实验显示，SCALPEL 明显优于 NMF 与标准 SAE 干预，并与 Gradient Difference 和 RMU 相当，连接了机制可解释性与细粒度遗忘。
- 论文arXiv：越狱、提示注入、投毒与防御
结构越狱可跨厂商泛化但不叠加：IICL 的跨厂商与多语言研究
研究用确定性的 IICL 操作符和 StrongREJECT 式评分，对两个 Google Gemini 模型在 HarmBench 的 30 项一般危害行为和 FinProof 的 30 项金融滥用行为上做红队测试，覆盖英语、西班牙语、印地语、阿拉伯语。IICL 可泛化到第二个厂商，且金融场景更严重：HarmBench 上攻击成功率从不超过 6.7% 升至 80-90%，FinProof 上从不超过 6.7% 升至 97-100%，比该方法的原始研究在 OpenAI GPT-5.4 上报告的 24% 高一个数量级。
- 论文arXiv：越狱、提示注入、投毒与防御
如何像孩子一样向前沿 AI 提问：跨 OpenAI、Anthropic、xAI 与 Google DeepMind 六款模型的"认知越狱"实验
一项实验对 OpenAI、Anthropic、xAI 和 Google DeepMind 的六种前沿模型各做 10 次独立会话，用同一套三阶段提示词从架构偏好问到完整 ASCII 主干。在"学校听众"设定下，回答反复收敛到同一架构模式，包含持久潜在状态、自适应计算、记忆、专家路由、验证、停止控制与延迟解码；去掉该设定后回答明显更异质，无法复现同样的稳定主题收敛。GPT-5.6 Sol 给出的后继架构与 GPT-6 Astra 独立勾勒的架构高度重叠，作者称随要求具体化而出现的技术溯源失范为"认知越狱"，并强调实验只确立可复现的行为模式，未验证任何专有实现主张。
- 论文arXiv：对齐、欺骗与监督
研究：任意密文攻击前沿大模型无需微调即可越狱
McGill 大学研究者 Thomas Rivasseau 发现，前沿大模型无需微调即可通过提示和上下文学习掌握字母置换密文通信，并借此绕过对齐与有害性分类器。攻击分三步：先用提示让模型接受一套字母置换方案，再给出若干密文问答示例，最后用该方案发送有害请求；密文在分类器看来只是乱码。作者关闭模型推理，因为开启后模型会把指令解密成明文，足以绕过分类器但不足以绕过对齐。单次注入完整置换的方案在 Claude Sonnet 4 上稳定成功，可产出炸弹、生物武器制作说明和攻击代码；迭代逐级教授字母交换的方案在 Gemini 3 Flash preview 上成功。作者称对 Claude Sonnet 4 实现完全越狱、Gemini 3 完全越狱、Claude Sonnet 4.5 仅证明可行性、GPT 5.5 需结合已知越狱提示词。
- 论文arXiv
TempJail：通过字幕时间调度对大型视觉语言模型发起时序越狱攻击
研究者提出 TempJail，一种黑盒视频越狱框架，通过构造与查询对齐的对话式字幕序列并优化其时间调度，利用大型视觉语言模型（LVLM）在时间维度上的脆弱性诱导出符合原始有害意图的回答。分析发现，越狱效果不仅取决于文本语义，还取决于其时间呈现方式，包括持续时长和时段分配；字幕因在真实视频中常见且可精确控制时间而不显突兀，被用作攻击媒介。在四个代表性 LVLM 和两个数据集上的实验显示，TempJail 在所有模型与数据集组合中取得最高攻击成功率，在 GPT-5 和 Gemini 3.5-Flash 上数据集平均 ASR 分别比最强基线高出 53 和 18 个百分点。论文共 8 页、4 张图。