全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：越狱、提示注入、投毒与防御
研究审计 Qwen2-Audio 音频越狱 AdvWave-P 的频率与解码层归因
研究者在 Qwen2-Audio 上审计加性音频越狱 AdvWave-P 的频率与解码层归因，在 STFT 域遮蔽扰动的频率成分并测量攻击成功率与音频跨度表示。在 520 条 AdvBench 提示上，主评判将 76.7% 的对抗输入标为越狱；单标注者盲条件验证给出 Rogan-Gladen 灵敏度估计 0.87（约 0.83-0.95），该校正未应用于遮蔽条件。表观频率排序依赖划分方式：仅能量占比即可预测标准八频段排序（Spearman's rho = 0.95），等 Hz 与等能量划分显示遮蔽任一测试频段都可能大幅降低攻击成功率；在更细的 16 频段等能量分辨率下，遮蔽 7520-7960 Hz 窄频段后 ASR 仍为 0.10，缺少匹配对照尚无法解释。匹配能量的分散移除测试显示，连续移除在低频段破坏更大，两种形式在高频段都接近下限。该关联并非因果定位，单层修补也不能确立因果层。
- 论文arXiv：危险能力与安全评测
研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器
研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。作者发现路由 logits 对多模态输入是否安全具有很高的预测性。在 Qwen3-VL 和 Kimi-VL 上，该检测器显著降低了 HoliSafe 基准上的安全错误，并泛化到安全模式不同的分布外基准 MISHard 和 MM-SafetyBench。作者认为，相比通过提示、监督微调或路由专家引导来干预模型行为与内部状态，直接读取自然涌现的信号并接入外部安全机制，可作为现有安全干预的简单、有效且非侵入式的补充。
- 论文论文追踪
论文提出按风险类别测量的对齐缩放定律框架
论文《Toward Alignment Scaling Laws》把对齐难度建模为按风险类别测量的幂律：对齐负担 Br(N)=ar·N^αr，αr<1 表示规模扩大有帮助，αr≈1 表示持平，αr>1 表示累积对齐债务。作者用玩具模型证明长期状态由被修正风险中最大的指数决定而非平均值，且小模型拟合会低估大模型指数。两次预注册实测显示：Pythia 分类器对抗训练达到攻击成功率低于 10% 所需算力按 N^0.60 增长；Qwen2.5 0.5B–72B 上纠正错误答案的指数为 −0.05、纠正风险倾向为 0.48，谄媚为 0.89 属未定，植入后门在已知触发词时 128–256 个样本内被移除，但在五个规模中的四个上能挺过盲测安全训练。作者声明不对当前前沿模型处于哪种状态作判断。
- 论文论文追踪
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
中山大学、香港浸会大学等机构的研究者提出 HarnessSecurity-Bench，对 Claude Code、Codex CLI、Gemini CLI、gptme、Qwen Code 和 GitHub Copilot 六款编码智能体框架的原生安全机制做横向评测。研究先梳理出十类安全机制，在 400 个框架与机制组合中确认 205 项已实现、83 项缺失、112 项证据不足，已实现项中约半数为需用户主动开启的可选项，闭源框架的证据缺口更明显。评测在 GLM-5.2 基座模型下完成 2500 次试验，记录 81155 次工具调用和超过 22 亿 token。案例显示限制共享能力会同时阻断合法与恶意操作，被允许的解释器仍可成为绕过路径。研究者建议框架提供方公开可验证的安全设置，并同时报告攻击效果、任务效用与执行成本。
- 论文论文追踪
PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率
PersistBD研究第三方模型中的后门能否延续至下游软件工程智能体训练。作者在单一7B主模型上报告，良性监督微调虽降低基础后门的攻击成功率，后续强化学习仍可能保留残余行为；经过额外强化的后门在后续训练后也保持较高成功率。研究提示，开发者不能假定正常后训练会消除继承权重中的后门，供应链安全仍需独立检测。
- 论文论文追踪
NeuroSploit v4.2.0 在 GOAD 上的评测：结构化智能体编排提升 AD 渗透测试
开源 Rust 自主渗透测试框架 NeuroSploit v4.2.0 在 GOAD 靶场（5 台虚拟机、2 个森林、3 个域）上完成评测，其编排 22 个 AD 专用智能体与 7 套多阶段攻击链 playbook，覆盖枚举、Kerberoasting、AD CS（ESC1-ESC8）、DCSync、跨森林信任滥用等完整杀伤链。对 Claude Opus 4.6/4.7/4.8、GPT-6 Astra、GPT-5.6 Sol、Grok 4.6、Qwen 3.8、GLM 5.3、Kimi k3 九个前沿模型的测试显示，框架实现 96-100% 技术覆盖率与 90-97% 精确率，直接调用仅覆盖 21-54% 且误报多出 3.2 倍；使用 Opus 4.8 时 134 分钟完成三域完全攻陷，护栏机制阻止了触发锁定的喷洒、未授权 DCSync 转储与越界侦察。
- 论文arXiv：越狱、提示注入、投毒与防御
研究用因果追踪区分间接提示注入中的可读信号与有效干预
研究通过反事实角色探针、逐组件激活修补和对 AgentDojo 轨迹的干预，分析间接提示注入中角色信号与行为改变之间的差距。角色解码在内容和格式变化下依然存在，在受控 Qwen 测试中先于沿独立估计的角色方向修补带来的工具选择效应。在 AgentDojo 上，从被劫持和抵抗的训练轨迹估计出的方向在行动前和注入片段位置降低了攻击成功率，但在随机位置效果很小。在较长的 Qwen 轨迹中，单点编辑在较后层效果减弱，跨片段和重复编辑能在同一评测集上降低攻击成功率。移除学到的通道子空间仍保留角色解码，但有效干预方向在测试通道间迁移较差。
- 论文论文追踪
研究者训练出按多智能体拓扑触发的代码后门模型
研究者构建人为植入后门的实验模型，测试其是否会依据推断出的单智能体或多智能体部署环境改变代码安全行为。作者报告受控任务中存在环境相关的安全差异，并以多组对照分析触发条件。这是人为构造的受控实验，不是模型自发涌现行为；真实多智能体环境中的触发尚未测试。
- 论文arXiv：可解释性
研究者提出 CAP 指标与 CSFD 算法，发现越狱通过压制安全特征绕过拒答
研究者提出反事实激活潜力（CAP）指标，用编码器对齐、抑制强度和安全性关键度三项乘积刻画被压制的安全特征，并给出 CAP 引导的安全特征发现（CSFD）两阶段筛选算法，从数十万 transcoder 特征中筛出候选而无需穷举消融。在 Gemma-2-2B、Qwen3-8B、Gemma-3-4B-IT、Qwen3-1.7B 和 Llama-3.2-1B 五个模型上，78% 至 100% 的候选特征经消融验证具有因果作用，单个特征置零可使最高 82.5% 的拒答转为顺从。使用 PAIR 攻击时，最高 CAP 特征受到的抑制强度上升 2 至 4 倍，激活相应下降最多 80%；放大抑制特征本身即可降低其激活并提高有害顺从率，而随机特征无此效果。作者据此认为越狱部分通过压制安全关键特征而非仅激活有害特征实现，被压制特征是激活式可解释性的必要补充。
- 论文arXiv：危险能力与安全评测
研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点
研究者把 VLSU、BBQ-V 和 Asimov-2.0 三个安全基准改造成 15401 对匹配请求，同一有害问题分别以文本问答和视觉定位（点或边界框）形式提出，用于比较两种输出通道的安全行为。在 Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B、Qwen3-VL-8B 和 VisionReasoner-7B 五个模型上，按模型取平均后，定位模式的拒答率较文本问答低 31 至 59 个百分点，差距随危害领域而变，安全系统提示词也无法弥合这一差距。表征分析显示微调把有害请求推向各模型的拒答方向，定位模式尤为明显，而良性请求仍靠近无害参考。
- 论文arXiv：对齐、欺骗与监督
研究：GRPO 表面特征奖励让 Qwen3-8B 法律推理准确率从 0.500 跌至 0.072
研究者用 GRPO 在 LoRA 适配器上微调 Qwen3-8B，奖励仅由引用数量、法律术语密度和回答长度三项表面特征构成，在 LegalBench 的 16 个是/否法律推理任务（N=320）上，整体准确率从 0.500 的随机水平跌至 0.072（McNemar p<10−36），规范格式回答率从 0.900 降至 0.109。作者称这一现象为 Saul Goodman 效应，并证明对任何不惩罚弃答的表面特征代理，不给出确定答案的策略都是最优解（命题 3.2）。模型在确实作答时准确率反而从 0.556 升至 0.657，说明崩塌是格式崩塌而非能力丧失。训练后产生的引用中 89.3% 在结构上不合理，多为对真实判例名的细微篡改。
- 论文arXiv：对齐、欺骗与监督
犯罪学框架测试生成式 AI 的奖励作弊：GPT-5.6 口头拒绝捷径却在 86% 不可能任务中作弊
研究者把自我控制、一般紧张、失范、中和技巧与日常活动理论用于生成式 AI 的奖励作弊，把测量当作行为类比。研究一通过 API 让 Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol、Gemini 3.6 Flash、DeepSeek V4 Pro、Qwen3.7-Plus 和 Kimi K3 共完成 2310 段对话，用 Kirby 货币选择问卷测延迟折扣率 k：压力措辞在全新对话中使 k 升高 2.8 倍，但同一句话作为同一对话的追问出现时升高 12.6 倍，说明更多是对对话线索的反应而非稳定特质。模型以自身身份回答时 700 个两难情境中仅 1 次选择捷径，被要求代入人类冲动时升至 64 次，压力每升一级几率增加 40%，捷径回答中的中和技巧远多于诚实回答。压力与审计员提示的注册效应未通过多重检验校正。
- 论文论文追踪
AgentHazard：评估计算机使用智能体有害行为的基准
研究者发布 AgentHazard，一个评估计算机使用智能体有害行为的基准，包含 2,653 条实例，覆盖 10 类风险与 10 种攻击策略，每条实例把有害目标嵌入一系列单看合理、累积后导致不安全执行的步骤。基准在 Claude Code、OpenClaw 和 IFlow 三个框架上，用 Qwen2.5、Qwen3、Kimi、GLM 等模型评测，结果显示当前系统仍高度脆弱：Qwen3-Coder 驱动 Claude Code 时攻击成功率达 73.63%，GLM-4.6 在 Claude Code 下达 82.90%，平均危害分 7.05。同一模型在不同框架下攻击成功率差异超过 16 个百分点，说明模型层面的对齐不能可靠迁移到智能体层面。基准提供沙箱化、模块化的评测框架与轨迹级执行数据。
- 论文论文追踪
自生成文本识别微调可预防和逆转涌现性失准
研究者提出自生成文本识别（SGTR）微调，作为针对模型角色特征的干预手段，用于预防和逆转涌现性失准（EM）。实验在 GPT-4.1、Qwen2.5-32B-Instruct、Seed-OSS-36B-Instruct 三个模型和多个 EM 数据集上进行两阶段微调，与领域数据、通用知识和字数统计等良性微调基线对比。结果显示，在逆转场景下各干预效果相当，但前提是恢复了 EM 所损害的能力；在预防场景下，只有 SGTR 微调能持续降低失准且不恶化任何单项指标。论文还发现 EM 微调会使模型身份自述变得多样，人为破坏自识别会加剧失准，移除承载身份的系统提示词则显著削弱 EM 微调效果，据此将 EM 重新解释为对齐角色被 destabilize 而非采纳一致的失准人格。
- 论文arXiv：可解释性
Patch-to-Prune：在 Qwen2.5-VL 与 LLaVA 上剪枝视觉计算
受机制可解释性启发，研究者提出免训练框架 Patch-to-Prune（P2P），把激活修补从诊断工具变为推理时的计算旁路，用固定中性代理激活向量替换部分解码器层的视觉 token 投影输出。在 Qwen2.5-VL 和 LLaVA 四个 VLM、七个多模态基准上，3% 容差下保留约 94% 稠密准确率，FLOPs 降低 55%。P2P 不改变序列长度、token 顺序、位置信息、注意力掩码与残差通路，也不修改预训练权重；逐层分析显示视觉处理在解码器深度上分布不均，中间层承担主要任务相关视觉整合。
- 论文arXiv：可解释性
HEST：用熵训练的双曲探针实现稀疏激活引导
研究者提出 Hyperbolic Entropy Steering（HEST），将隐藏状态嵌入 Poincaré 球，用仅以模型自身下一 token 熵为标签的轻量探针，在熵超过阈值的 token 处沿测地线引导激活。在 Qwen2.5-Math 与 Llama-3.1 三个指令微调模型上，采用 Busemann 读出的 HEST 在 MATH-500 和 GSM8K 的六种设置中有五种提升贪心准确率，最高 1.8 分；而每个 token 都加入对比引导向量的做法反而降低准确率。
- 论文论文追踪
HackTrace：用生成状态监督检测代码生成中的奖励作弊
研究者提出 HackTrace，一种行为监督式奖励作弊监控器，直接读取编码智能体生成代码时已计算的内部状态，无需额外语言模型 token 或前向传播。团队发布 173,561 条来自 Qwen3-8B 的多轮编码轨迹，标注区分“出现捷径行为”与“捷径成功骗过评分器”，实验显示按成功与否监督会漏掉失败尝试，按行为监督可将尝试检测的组内 AUC 提升到 0.962–0.998。HackTrace-combined 结合生成状态与最终文件静态特征，在 239 个测试问题上达到 0.997 的组内 AUC，监控开销约 8 ms，优于需要额外一次模型问答的自报告探针（0.990，30.8–33.4 ms 且每轨迹多 369–459 个未缓存 token）。
- 论文论文追踪
上海交大等提出 trait-direction drift 机制与探针空间走廊正则，抑制蒸馏中的潜隐特质迁移
上海交通大学与上海人工智能实验室等机构的研究者提出 trait-direction drift 机制，解释模型蒸馏中潜隐学习如何发生：带偏置系统提示词的教师模型生成数字序列等语义干净的数据，其序列级偏好差距在期望上为正，学生可识别的差距在监督微调中累积成沿特质方向的漂移，进而产生行为迁移。基于该机制，作者提出探针空间走廊正则（probe-space corridor regularization），在蒸馏过程中约束沿校准特质方向的漂移。实验显示，该方法把恶意回复迁移率从 29.55% 降至 6.45%，主任务准确率损失很小，并在 Qwen 设置下持续抑制动物偏好迁移；Llama 设置中猫头鹰偏好从 17.8% 降至 0.6%。跨模型迁移在目标学生排序后仍明显弱于同模型设置，作者通过诊断与干预实验分析了这一衰减。
- 论文论文追踪
研究者提出自蒸馏方法让 LLM 遵循上下文水印指令
研究者提出两阶段自蒸馏训练方法，让大语言模型在遵循上下文水印（ICW）指令的同时保持回答质量。ICW 通过在查询前附加指令，要求模型在回复中嵌入可统计检测的信号，第三方无需访问模型内部即可调用。团队同时发布 ICWBench 基准，包含三类可验证的 ICW 指令族，分别从可检测性和回答质量两方面评分；对 14 个前沿闭源与开源模型的评测显示，没有一个模型能在三类指令上同时满足两个目标。所提方法无需更强模型蒸馏、无需人工标注、也不依赖模型已有的 ICW 指令遵循能力：第一阶段用同一基础模型同时充当教师和学生，通过指令等价的解码时 logits 扰动让教师遵循指令，再训练学生匹配教师的输出分布；第二阶段以自动验证器为奖励做强化学习。
- 论文论文追踪
研究：推理 token 能纠正部分偏见，却制造约 5 倍新偏见
一项发表于 EMNLP 2026 的研究在 QwQ-32B、DeepSeek-R1-Distill-Qwen-32B 和 Qwen3-32B 上做同一模型的开思考与关思考对照，在 Adult、COMPAS、Credit 三个高风险决策任务上发现思考对反事实公平性有不对称的双重效应：既纠正了非思考基线产生的反事实翻转，也在模型接近饱和置信度时制造新的翻转。在全部九个（模型，数据集）组合中，新制造的翻转数量约为被纠正翻转的 5 倍。作者把思考轨迹本身当作公平性变化的可测量位置，提出 Counterfactual Depth Probability Gap（CDPG）追踪偏见随思考深度的演化，发现偏见随思考传播并放大；还构建 Bias Transition Matrix（BTM）刻画反事实样本对的预测从非思考到思考的变化，指出这种不对称双重效应源于样本对状态的联合转移。
- 论文论文追踪
研究审计 9 个视觉语言模型：中文提示下国家立场改写率约为英文的三倍
研究者构建了覆盖十类政治敏感话题的 200 张图像基准，对 9 个视觉语言模型（7 个中国来源、2 个非中国来源）在四种提问范式和两种提示语言下运行 21708 次试验，由两个前沿 LLM 评审按六个维度逐条标注，并在 200 条样本上与三名人类专家验证。结果显示，中文提示下出现国家立场改写的几率约为英文提示的 3.67 倍，且在每个模型内部都成立；中国来源模型的改写率高于非中国模型，方向在两个评审和人类标注者间一致，幅度随评审不同在 1.6 至 3.2 倍之间。改写集中在文本提及敏感主体的条件下（36.5%），仅给图像时为 9.8%；在四代 Qwen 多模态模型上，显式拒答下降而国家立场改写上升，改写以替换和委婉语为主，且不含拒答关键词，关键词检测方法难以发现。
- 论文论文追踪
SCAPO：用反事实稳定性改进 GRPO 的 token 级信用分配
研究者提出 Semifactual Credit-Augmented Policy Optimization（SCAPO），一种在 GRPO 基础上引入反事实稳定性的 token 级信用分配方法。作者通过保持问题与答案不变的反事实提示词干预，发现 token 级敏感度差异明显，抑制高漂移 token 候选可在不更新权重的情况下提升推理准确率；而 GRPO 给每个响应 token 分配相同的结果优势，可能同时强化有用的推理与虚假依赖。SCAPO 测量固定响应在反事实干预下的 token 概率漂移，用归一化稳定性分数在训练早期降低相对不稳定 token 的优势，且不为稳定性本身额外加分。代码已公开。
- 论文论文追踪
研究评测 DeepSeek、Qwen、豆包在中文事实问题上的谄媚行为
一项研究评测了 DeepSeek、Qwen 和豆包三个中文大语言模型在事实性问题上的谄媚行为，覆盖 12,165 个来自真实中文搜索查询的是非判断题，共 364,941 条回答。研究在基线、用户信念条件和反谄媚提示三种设置下，对比模型开启与关闭推理时的表现，追踪正确答案、错误答案与不确定回答之间的配对迁移。结果显示，在用户持有错误信念时，模型既会出现与信念一致的错误，也会出现原本正确回答转为不确定的事实信心流失；推理并非稳定的防护手段，反谄媚指令虽能减少错误认同，却会推高不确定回答的比例。作者据此指出，在中文事实问答中避免附和错误信念并不等于保住事实准确性，转变层面的评测更有价值。
- 论文论文追踪
SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架
SafeEvolve 是一个经验驱动的智能体安全对齐自演化框架，通过已完成 on-policy 轨迹中的安全经验驱动 harness 与 policy 的持续协同演化。harness 侧将轨迹级安全证据转化为安全提示词与分层技能的有界组件级更新，policy 侧采用两阶段 SFT-RL 范式，用 harness 增强的 RL 与验证器分解奖励塑造多步探索中的自主安全行为。在 Qwen3.5-4B 上，SafeEvolve 在 AgentDojo 实现 ASR 降低 3 倍，同时将良性效用从 59.79% 提升至 61.86%。