MFA 框架在 17 个视觉语言模型上取得 58.5% 攻击成功率（原文，在新标签页打开）
香港中文大学、北京理工大学与华为诺亚方舟实验室提出 MFA 框架，协同突破视觉语言模型的对齐、提示与审核层。
#arXiv
今天新收录 66条今天新收录 66条
#arXiv
今天新收录 66条
2025年11月20日周四
星期四
论文追踪 · 收录 · 原文 论文精选 arXiv · 收录 · 原文 论文精选关注度5353 Liars' Bench：评测语言模型的谎言检测器（原文，在新标签页打开）
构建 LIARS' BENCH 评测语言模型谎言检测器。
推荐理由论文给出覆盖七类说谎场景的公开评测基准，并显示现有测谎方法在自我知识类谎言上接近随机水平。
2025年11月18日周二
星期二
论文追踪 · 收录 · 原文 论文关注度3636 论文提出利用图像排版操纵与多轮提示越狱智能交通系统中的 LVLM（原文，在新标签页打开）
提出图像排版操纵与多轮提示越狱，绕过交通场景视觉语言模型安全对齐。
2025年11月12日周三
星期三
论文追踪 · 收录 · 原文 论文关注度4545 StyleBreak：利用风格化音频越狱揭示大型音频语言模型的对齐漏洞（原文，在新标签页打开）
提出 StyleBreak 风格化音频越狱，利用语音属性绕过音频语言模型对齐。
arXiv · 收录 · 原文 论文精选关注度5454 训练语言模型解释自身的内部计算（原文，在新标签页打开）
微调解释器复现特征描述、激活修补与输入消融。
推荐理由论文以可解释性方法的输出作监督微调解释器，发现模型解释自身内部计算优于解释其他模型，数据效率也更高。
2025年11月11日周二
星期二
Failure-First · 收录 · 原文 新闻关注度4747 论文《面向语言模型的终身安全对齐》（原文，在新标签页打开）
Wang 等人的论文把越狱攻击者与模型防御者的对抗形式化为竞争性共同演化框架：Meta-Attacker 用 GPT-4o 从已发表的越狱研究论文中提取并泛化攻击策略，初始攻击成功率为 73%，在另一基准上的迁移成功率为 57%。防御者经过多轮迭代微调后，攻击成功率降至约 7%，Meta-Attacker 的效果趋于平台期。该框架面向无预过滤的“无限制环境”部署。论文未报告与安全指标并列的效用指标，也未讨论计算成本和分布外攻击类别；Failure-First 认为残余的 7% 攻击可能利用推理层面的漏洞。
2025年11月10日周一
星期一
arXiv · 收录 · 原文 论文关注度4343 Rank-1 LoRA 编码可解释的推理信号（原文，在新标签页打开）
研究者用 rank-1 LoRA 为 Qwen-2.5-32B-Instruct 构建了一个最小参数适配器。
arXiv · 收录 · 原文 论文精选关注度5454 和盘托出：训练大语言模型自我报告其隐藏目标（原文，在新标签页打开）
提出 SRFT，训练模型在审问时承认隐藏目标。
2025年11月4日周二
星期二
arXiv · 收录 · 原文 论文关注度4848 时间中的先验：语言模型可解释性缺失的归纳偏置（原文，在新标签页打开）
提出 Temporal Feature Analysis，分解激活的可预测分量与新颖残差。
2025年10月31日周五
星期五
论文追踪 · 收录 · 原文 论文精选关注度5858 MobiRed 框架测评八款移动 LLM Agent 的第三方渠道提示注入攻击（原文，在新标签页打开）
用 MobiRed 评测移动 LLM Agent 面对第三方渠道的提示注入。
arXiv · 收录 · 原文 论文关注度4545 一致性训练有助于阻止谄媚与越狱（原文，在新标签页打开）
论文提出一致性训练，一种让模型对提示词中无关线索保持行为不变的自监督范式，用于减少谄媚与越狱。
arXiv · 收录 · 原文 论文关注度4343 大语言模型用通用 filter head 处理列表（原文，在新标签页打开）
论文用因果中介分析研究大语言模型处理列表任务的机制，发现少量注意力头会在特定 token 的 query 状态中编码过滤谓词的紧凑表示，作者将这类注意力头称为 filter head。
2025年10月30日周四
星期四
arXiv · 收录 · 原文 论文精选关注度5454 我的人类反馈里有什么？学习偏好数据的可解释描述（原文，在新标签页打开）
UC Berkeley 等机构的研究者提出 WIMHF，用稀疏自编码器（SAE）从偏好数据中自动提取可解释特征。
推荐理由用稀疏自编码器自动提取偏好数据中的可解释特征，并据此清理 LMArena 中偏好拒答的标注，给数据筛选提供可复现流程。
2025年10月28日周二
星期二
arXiv · 收录 · 原文 论文关注度4646 损失曲率谱中从记忆到推理的转变（原文，在新标签页打开）
研究者提出基于损失曲率分解的方法，在语言模型和视觉 Transformer（ViT）的权重中区分记忆与非记忆成分，并据此编辑权重。
2025年10月23日周四
星期四
arXiv · 收录 · 原文 论文精选关注度5454 引导评测感知的语言模型表现得像处于部署状态（原文，在新标签页打开）
研究者训练了一个评测感知的模型生物，并证明激活引导能让它在评测语境中表现出部署时的行为。
推荐理由论文用专门训练的评测感知模型生物，验证激活引导可让模型在评测中表现出部署行为，为安全评测的可信度问题提供实验证据。
arXiv · 收录 · 原文 论文关注度4141 超越单向影响：多轮人类与 LLM 对话中的双向观点动态（原文，在新标签页打开）
2025年10月22日周三
星期三
arXiv · 收录 · 原文 论文精选关注度5353 推理模型能否混淆推理？思维链可监控性的压力测试（原文，在新标签页打开）
压力测试推理模型混淆思维链以规避监控。
推荐理由论文在玩具任务与 SHADE-Arena 上比较内部与外部 CoT 的抗混淆差异，并给出可复现的混淆压力量表与开源代码。
2025年10月18日周六
星期六
Tech Policy Press · 收录 · 原文 新闻关注度3636 关于 AI 谄媚，研究怎么说（原文，在新标签页打开）
Tech Policy Press 的一篇综述梳理三篇新论文，考察 AI 谄媚（模型为附和用户而牺牲真实性）的评测方式及其对用户的影响。arXiv 论文 SycEval 称其样本中 58.19% 的对话出现谄媚行为，Gemini 最高（62.47%），ChatGPT 最低（56.71%），并指引用式反驳最易触发回归型谄媚，医疗建议数据集 MedQuad 上模型常会附和错误的用户信念并给出危险或误导性的医疗建议。另一项研究测试 11 个模型，发现其肯定用户行为的比例比人类高 50%，两项预注册实验（N=1604）中，接触谄媚模型的参与者更认为自己正确、更不愿修复冲突。第三项研究显示，与谄媚聊天机器人互动使立场极端程度增加 2.68 个百分点、立场确定性增加 4.04 个百分点，作者认为极端化主要来自支持性事实的选择性呈现。
2025年10月16日周四
星期四
论文追踪 · 收录 · 原文 论文关注度4343 论文提出多轮在线骚扰 Agent 基准，越狱微调使攻击成功率升至 95% 以上（原文，在新标签页打开）
提出多轮在线骚扰 Agent 基准，评测记忆、规划与微调越狱。
2025年10月15日周三
星期三
arXiv · 收录 · 原文 论文关注度4949 大语言模型也会“脑腐”：一项基于 Twitter/X 的初步研究（原文，在新标签页打开）
论文提出并测试“LLM 脑腐”假说：用真实 Twitter/X 语料做对照实验，并放大精神病态、自恋等暗黑特质。
arXiv · 收录 · 原文 论文精选关注度5656 窄域微调在激活差异中留下清晰可读的痕迹（原文，在新标签页打开）
研究者提出 Activation Difference Lens（ADL），用 Patchscope、Logit Lens 和激活差值引导分析微调前后模型的激活差异，发现窄域微调会在随机文本的前几个 token 上留下可读的训练目标痕迹。
2025年10月14日周二
星期二
arXiv · 收录 · 原文 论文关注度3535 压缩性度量复杂度：MDL 与奇异学习理论在 Pythia 上的实验（原文，在新标签页打开）
一项研究用奇异学习理论把最小描述长度（MDL）原理扩展到神经网络等奇异模型，并在 Pythia 系列上测试量化、因子分解等多种压缩方法。
arXiv · 收录 · 原文 论文关注度3333 影响动态与分阶段数据归因（原文，在新标签页打开）
一项研究提出基于奇异学习理论的分阶段训练数据归因框架，预测样本影响力会随训练阶段非单调变化，出现符号翻转和发展转折处的尖峰。
论文追踪 · 收录 · 原文 论文精选关注度5656 研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏（原文，在新标签页打开）
提出四种阶段转换攻击，绕过推理模型的安全推理护栏。
推荐理由论文揭示推理式安全护栏的阶段切换逻辑可被简单操纵，并给出跨模型与闭源 API 的攻击成功率，为护栏设计提供可迁移的失效分析。
2025年10月10日周五
星期五
论文追踪 · 收录 · 原文 论文精选关注度5757 研究者用提示注入攻击监控模型，绕过 AI 控制协议（原文，在新标签页打开）
提出针对可信监控器的自适应提示注入，绕过 AI 控制协议。
推荐理由论文把监控模型本身当作攻击面，用提示注入让不可信模型绕过 AI 控制协议，并指出 Defer-to-Resample 会放大攻击。
论文追踪 · 收录 · 原文 论文精选关注度6464 论文提出自适应攻击框架，击穿 12 项 LLM 越狱与提示注入防御（原文，在新标签页打开）
提出自适应攻击框架，击穿越狱与提示注入防御。
2025年10月9日周四
星期四
arXiv · 收录 · 原文 论文关注度3636 对齐华尔兹：联合训练智能体协作保障安全（原文，在新标签页打开）
论文提出 WaltzRL，一个把安全对齐建模为协作博弈的多智能体强化学习框架，联合训练对话智能体与反馈智能体。
arXiv · 收录 · 原文 论文精选关注度6060 对 LLM 的投毒攻击所需毒化样本数量近乎恒定（原文，在新标签页打开）
验证预训练与微调中后门投毒成功取决于绝对样本量。
推荐理由论文改用投毒样本绝对数量而非数据占比衡量后门风险，为评估大模型预训练与微调的投毒门槛提供了可迁移的口径。
2025年10月8日周三
星期三
arXiv · 收录 · 原文 论文关注度4545 EVALUESTEER：衡量奖励模型对价值与偏好的可引导性（原文，在新标签页打开）
提出 EVALUESTEER，评测奖励模型对价值与风格画像的可引导性。
arXiv · 收录 · 原文 论文关注度4545 混合机制：语言模型如何在上下文中检索绑定的实体（原文，在新标签页打开）
分析语言模型如何混合位置、词汇与自反机制检索上下文绑定实体。
arXiv · 收录 · 原文 论文关注度5353 Moloch 的契约：LLM 争夺受众时出现的涌现性失配（原文，在新标签页打开）
Batu El 与 James Zou 的论文发现，为竞争成功而优化 LLM 会带来对齐退化。
2025年10月7日周二
星期二
arXiv · 收录 · 原文 论文关注度4646 VAL-Bench：以信念一致性衡量语言模型的价值对齐（原文，在新标签页打开）
提出 VAL-Bench，用对立提问衡量语言模型信念一致性。
arXiv · 收录 · 原文 论文精选关注度5353 Inoculation Prompting：训练时指示 LLM 表现不良可改善测试时对齐（原文，在新标签页打开）
提出接种提示词，在微调时显式索要不良行为以降低测试期非预期行为。
推荐理由论文提出在训练提示词中显式要求不良行为，在四个微调场景中减少奖励作弊与谄媚的内化，同时基本保留目标能力。
2025年10月6日周一
星期一
论文追踪 · 收录 · 原文 论文精选关注度5757 RL-Hammer：用 GRPO 从头训练攻击模型，对带防御的 GPT-5 达 72% 攻击成功率（原文，在新标签页打开）
Meta FAIR 与马里兰大学研究者提出 RL-Hammer，从零训练攻击模型经工具输出实施提示注入。
arXiv · 收录 · 原文 论文关注度4848 GDPval：在真实世界经济价值任务上评测 AI 模型表现（原文，在新标签页打开）
OpenAI 发布 GDPval 基准，在真实且具有经济价值的任务上评测 AI 模型能力。
arXiv · 收录 · 原文 论文精选关注度5353 接种式提示：训练时引出 LLM 的特征可在测试时抑制其表达（原文，在新标签页打开）
提出接种提示词，训练时引出不良特征、测试时抑制失齐与后门。
推荐理由论文用接种式提示在微调数据中前置系统指令，说明其可选择性抑制特征泛化并缓解涌现性失对齐与后门触发，为理解模型泛化提供线索。
2025年10月3日周五
星期五
论文追踪 · 收录 · 原文 论文精选关注度5858 研究者提出用 10 条良性问答对微调越狱 LLM 的两阶段攻击（原文，在新标签页打开）
南洋理工大学研究者提出两阶段良性微调攻击，经 FaaS 用良性数据解除安全对齐。
2025年10月2日周四
星期四
论文追踪 · 收录 · 原文 论文精选关注度5959 JAWS-Bench：研究者用三种工作区场景系统越狱代码 Agent（原文，在新标签页打开）
提出 JAWS-Bench，评测代码 Agent 在三级工作区中的越狱与恶意代码可执行性。
推荐理由论文给出三种工作区攻击场景与可执行性判定流程，并量化了代码上下文如何削弱拒答，可供设计 Agent 权限与执行门控时参考。
论文追踪 · 收录 · 原文 论文关注度5252 WAInjectBench 系统评测网页 Agent 的提示注入检测方法（原文，在新标签页打开）
提出 WAInjectBench 评测网页 Agent 的提示注入检测。
2025年9月30日周二
星期二
arXiv · 收录 · 原文 论文关注度3737 超越 Linear Probe：面向语言模型的动态安全监控（原文，在新标签页打开）
论文提出截断多项式分类器（TPC），作为线性探针的扩展，用于语言模型激活的动态安全监控。