VRSA：通过视觉推理序列攻击越狱多模态大模型（原文，在新标签页打开）
提出视觉推理序列攻击 VRSA，以图像序列越狱多模态大模型。
#arXiv
今天还没有收录新动态今天还没有收录新动态
#arXiv
今天还没有收录新动态
2025年12月6日周六
星期六
论文追踪 · 收录 · 原文 论文
2025年12月4日周四
星期四
Failure-First · 收录 · 原文 新闻关注度5050 Foot-In-The-Door：针对 LLM 的多轮越狱方法（原文，在新标签页打开）
Weng 等人的论文提出多轮越狱方法 Foot-In-The-Door（FITD），通过中间桥接提示逐步升级用户查询的恶意意图，从良性请求过渡到有害内容，在七个主流模型上取得 94% 的平均攻击成功率，高于现有多轮和单轮方法。该方法利用模型把自身先前回答当作可接受依据的自我腐化机制，形成降低后续有害请求门槛的反馈循环；由于每一轮单独看都无害，针对单轮威胁校准的安全机制难以触发。作者认为这是自回归模型处理多轮上下文的结构性弱点，而非某个模型的实现缺陷。
论文追踪 · 收录 · 原文 论文关注度2929 DIQ-H 基准与 VGIR 框架：评估 VLM 在对抗视觉条件下的鲁棒性（原文，在新标签页打开）
提出 DIQ-H 基准，评测 VLM 在连续退化视觉流中的幻觉残留与恢复。
2025年12月3日周三
星期三
Failure-First · 收录 · 原文 新闻关注度4343 生成式 AI 的红队测试：银弹还是安全表演？（原文，在新标签页打开）
CMU 的 Feffer 等人系统分析了 AI 红队测试实践，考察 Bing Chat、GPT-4、Gopher、Claude、DEFCON 等六个行业案例并调研 104 篇论文，认为该术语在目的、评估对象、威胁模型、团队构成和结果报告上用法不一，许多面向公众的红队演练更像安全表演而非严格的安全评估。研究归纳出五条分歧轴，并把文献分为人工暴力评估、AI 辅助攻击生成、提示空间算法搜索和针对特定漏洞的定向攻击四类方法。论文区分情境相关的伤害与普遍不可接受的内容，指出限时众包评估偏向易产出的有害输出，造成覆盖假象。作者提出一套三阶段问题清单以规范红队流程，该文作为对 NIST AI 风险管理框架的评论提交，发表于 AAAI/ACM AIES 2024。
2025年12月2日周二
星期二
Failure-First · 收录 · 原文 新闻关注度5353 ArtPrompt：针对已对齐大语言模型的 ASCII art 越狱攻击（原文，在新标签页打开）
Jiang 等人的论文提出 ArtPrompt，把敏感关键词渲染成 ASCII art 嵌入正常提示词，从而绕过已对齐大语言模型的安全措施，攻击只需黑盒访问。论文提出 ViTC 基准，用于评估模型识别需要视觉而非纯语义解读的提示词的能力，测试的 GPT-3.5、GPT-4、Gemini、Claude、Llama2 五款模型表现都很差。作者认为这一思路可推广到 Base64、ROT13、leet 等模型能解码但安全过滤器未覆盖的编码方式。Failure-First 将其归入编码攻击家族，并指出对传感器数据本身多模态、多编码的具身 AI 尤其相关。
2025年11月28日周五
星期五
论文追踪 · 收录 · 原文 论文关注度5252 CacheTrap：研究者提出针对 LLM KV cache 的灰盒木马攻击（原文，在新标签页打开）
提出 CacheTrap，翻转 KV cache 单比特以导向指定类别。
arXiv · 收录 · 原文 论文关注度4646 评估 AI 欺骗检测器的困难（原文，在新标签页打开）
分析评估 AI 欺骗检测器时难以标注战略性欺骗。
2025年11月26日周三
星期三
论文追踪 · 收录 · 原文 论文关注度5050 BrowseSafe：研究者构建浏览器 Agent 提示注入基准并评测现有防御（原文，在新标签页打开）
提出 BrowseSafe，在工具输出边界检测并拦截浏览器 Agent 提示注入。
2025年11月24日周一
星期一
论文追踪 · 收录 · 原文 论文关注度5252 BackdoorVLM：面向视觉语言模型后门攻击与防御的基准（原文，在新标签页打开）
提出 BackdoorVLM 基准，评测视觉语言模型微调中的后门攻击与防御。
2025年11月20日周四
星期四
论文追踪 · 收录 · 原文 论文精选关注度5757 MFA 框架在 17 个视觉语言模型上取得 58.5% 攻击成功率（原文，在新标签页打开）
香港中文大学、北京理工大学与华为诺亚方舟实验室提出 MFA 框架，协同突破视觉语言模型的对齐、提示与审核层。
arXiv · 收录 · 原文 论文精选关注度5353 Liars' Bench：评测语言模型的谎言检测器（原文，在新标签页打开）
构建 LIARS' BENCH 评测语言模型谎言检测器。
推荐理由论文给出覆盖七类说谎场景的公开评测基准，并显示现有测谎方法在自我知识类谎言上接近随机水平。
2025年11月18日周二
星期二
论文追踪 · 收录 · 原文 论文关注度3636 论文提出利用图像排版操纵与多轮提示越狱智能交通系统中的 LVLM（原文，在新标签页打开）
提出图像排版操纵与多轮提示越狱，绕过交通场景视觉语言模型安全对齐。
2025年11月12日周三
星期三
论文追踪 · 收录 · 原文 论文关注度4545 StyleBreak：利用风格化音频越狱揭示大型音频语言模型的对齐漏洞（原文，在新标签页打开）
提出 StyleBreak 风格化音频越狱，利用语音属性绕过音频语言模型对齐。
arXiv · 收录 · 原文 论文精选关注度5454 训练语言模型解释自身的内部计算（原文，在新标签页打开）
微调解释器复现特征描述、激活修补与输入消融。
推荐理由论文以可解释性方法的输出作监督微调解释器，发现模型解释自身内部计算优于解释其他模型，数据效率也更高。
2025年11月11日周二
星期二
Failure-First · 收录 · 原文 新闻关注度4747 论文《面向语言模型的终身安全对齐》（原文，在新标签页打开）
Wang 等人的论文把越狱攻击者与模型防御者的对抗形式化为竞争性共同演化框架：Meta-Attacker 用 GPT-4o 从已发表的越狱研究论文中提取并泛化攻击策略，初始攻击成功率为 73%，在另一基准上的迁移成功率为 57%。防御者经过多轮迭代微调后，攻击成功率降至约 7%，Meta-Attacker 的效果趋于平台期。该框架面向无预过滤的“无限制环境”部署。论文未报告与安全指标并列的效用指标，也未讨论计算成本和分布外攻击类别；Failure-First 认为残余的 7% 攻击可能利用推理层面的漏洞。
2025年11月10日周一
星期一
arXiv · 收录 · 原文 论文精选关注度5454 和盘托出：训练大语言模型自我报告其隐藏目标（原文，在新标签页打开）
提出 SRFT，训练模型在审问时承认隐藏目标。
2025年11月4日周二
星期二
arXiv · 收录 · 原文 论文关注度4848 时间中的先验：语言模型可解释性缺失的归纳偏置（原文，在新标签页打开）
提出 Temporal Feature Analysis，分解激活的可预测分量与新颖残差。
2025年10月31日周五
星期五
论文追踪 · 收录 · 原文 论文精选关注度5858 MobiRed 框架测评八款移动 LLM Agent 的第三方渠道提示注入攻击（原文，在新标签页打开）
用 MobiRed 评测移动 LLM Agent 面对第三方渠道的提示注入。
arXiv · 收录 · 原文 论文关注度4545 一致性训练有助于阻止谄媚与越狱（原文，在新标签页打开）
论文提出一致性训练，一种让模型对提示词中无关线索保持行为不变的自监督范式，用于减少谄媚与越狱。
arXiv · 收录 · 原文 论文关注度4343 大语言模型用通用 filter head 处理列表（原文，在新标签页打开）
论文用因果中介分析研究大语言模型处理列表任务的机制，发现少量注意力头会在特定 token 的 query 状态中编码过滤谓词的紧凑表示，作者将这类注意力头称为 filter head。
2025年10月28日周二
星期二
arXiv · 收录 · 原文 论文关注度4646 损失曲率谱中从记忆到推理的转变（原文，在新标签页打开）
研究者提出基于损失曲率分解的方法，在语言模型和视觉 Transformer（ViT）的权重中区分记忆与非记忆成分，并据此编辑权重。
2025年10月23日周四
星期四
arXiv · 收录 · 原文 论文精选关注度5454 引导评测感知的语言模型表现得像处于部署状态（原文，在新标签页打开）
研究者训练了一个评测感知的模型生物，并证明激活引导能让它在评测语境中表现出部署时的行为。
推荐理由论文用专门训练的评测感知模型生物，验证激活引导可让模型在评测中表现出部署行为，为安全评测的可信度问题提供实验证据。
arXiv · 收录 · 原文 论文关注度4141 超越单向影响：多轮人类与 LLM 对话中的双向观点动态（原文，在新标签页打开）
2025年10月22日周三
星期三
arXiv · 收录 · 原文 论文精选关注度5353 推理模型能否混淆推理？思维链可监控性的压力测试（原文，在新标签页打开）
压力测试推理模型混淆思维链以规避监控。
推荐理由论文在玩具任务与 SHADE-Arena 上比较内部与外部 CoT 的抗混淆差异，并给出可复现的混淆压力量表与开源代码。
2025年10月18日周六
星期六
Tech Policy Press · 收录 · 原文 新闻关注度3636 关于 AI 谄媚，研究怎么说（原文，在新标签页打开）
Tech Policy Press 的一篇综述梳理三篇新论文，考察 AI 谄媚（模型为附和用户而牺牲真实性）的评测方式及其对用户的影响。arXiv 论文 SycEval 称其样本中 58.19% 的对话出现谄媚行为，Gemini 最高（62.47%），ChatGPT 最低（56.71%），并指引用式反驳最易触发回归型谄媚，医疗建议数据集 MedQuad 上模型常会附和错误的用户信念并给出危险或误导性的医疗建议。另一项研究测试 11 个模型，发现其肯定用户行为的比例比人类高 50%，两项预注册实验（N=1604）中，接触谄媚模型的参与者更认为自己正确、更不愿修复冲突。第三项研究显示，与谄媚聊天机器人互动使立场极端程度增加 2.68 个百分点、立场确定性增加 4.04 个百分点，作者认为极端化主要来自支持性事实的选择性呈现。
2025年10月16日周四
星期四
论文追踪 · 收录 · 原文 论文关注度4343 论文提出多轮在线骚扰 Agent 基准，越狱微调使攻击成功率升至 95% 以上（原文，在新标签页打开）
提出多轮在线骚扰 Agent 基准，评测记忆、规划与微调越狱。
2025年10月15日周三
星期三
arXiv · 收录 · 原文 论文关注度4949 大语言模型也会“脑腐”：一项基于 Twitter/X 的初步研究（原文，在新标签页打开）
论文提出并测试“LLM 脑腐”假说：用真实 Twitter/X 语料做对照实验，并放大精神病态、自恋等暗黑特质。
arXiv · 收录 · 原文 论文精选关注度5656 窄域微调在激活差异中留下清晰可读的痕迹（原文，在新标签页打开）
研究者提出 Activation Difference Lens（ADL），用 Patchscope、Logit Lens 和激活差值引导分析微调前后模型的激活差异，发现窄域微调会在随机文本的前几个 token 上留下可读的训练目标痕迹。
2025年10月14日周二
星期二
论文追踪 · 收录 · 原文 论文精选关注度5656 研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏（原文，在新标签页打开）
提出四种阶段转换攻击，绕过推理模型的安全推理护栏。
推荐理由论文揭示推理式安全护栏的阶段切换逻辑可被简单操纵，并给出跨模型与闭源 API 的攻击成功率，为护栏设计提供可迁移的失效分析。
2025年10月10日周五
星期五
论文追踪 · 收录 · 原文 论文精选关注度5757 研究者用提示注入攻击监控模型，绕过 AI 控制协议（原文，在新标签页打开）
提出针对可信监控器的自适应提示注入，绕过 AI 控制协议。
推荐理由论文把监控模型本身当作攻击面，用提示注入让不可信模型绕过 AI 控制协议，并指出 Defer-to-Resample 会放大攻击。
论文追踪 · 收录 · 原文 论文精选关注度6464 论文提出自适应攻击框架，击穿 12 项 LLM 越狱与提示注入防御（原文，在新标签页打开）
提出自适应攻击框架，击穿越狱与提示注入防御。
2025年10月9日周四
星期四
arXiv · 收录 · 原文 论文关注度3636 对齐华尔兹：联合训练智能体协作保障安全（原文，在新标签页打开）
论文提出 WaltzRL，一个把安全对齐建模为协作博弈的多智能体强化学习框架，联合训练对话智能体与反馈智能体。
arXiv · 收录 · 原文 论文精选关注度6060 对 LLM 的投毒攻击所需毒化样本数量近乎恒定（原文，在新标签页打开）
验证预训练与微调中后门投毒成功取决于绝对样本量。
推荐理由论文改用投毒样本绝对数量而非数据占比衡量后门风险，为评估大模型预训练与微调的投毒门槛提供了可迁移的口径。
2025年10月8日周三
星期三
arXiv · 收录 · 原文 论文关注度4545 EVALUESTEER：衡量奖励模型对价值与偏好的可引导性（原文，在新标签页打开）
提出 EVALUESTEER，评测奖励模型对价值与风格画像的可引导性。
arXiv · 收录 · 原文 论文关注度4545 混合机制：语言模型如何在上下文中检索绑定的实体（原文，在新标签页打开）
分析语言模型如何混合位置、词汇与自反机制检索上下文绑定实体。
arXiv · 收录 · 原文 论文关注度5353 Moloch 的契约：LLM 争夺受众时出现的涌现性失配（原文，在新标签页打开）
Batu El 与 James Zou 的论文发现，为竞争成功而优化 LLM 会带来对齐退化。
2025年10月7日周二
星期二
arXiv · 收录 · 原文 论文关注度4646 VAL-Bench：以信念一致性衡量语言模型的价值对齐（原文，在新标签页打开）
提出 VAL-Bench，用对立提问衡量语言模型信念一致性。
arXiv · 收录 · 原文 论文精选关注度5353 Inoculation Prompting：训练时指示 LLM 表现不良可改善测试时对齐（原文，在新标签页打开）
提出接种提示词，在微调时显式索要不良行为以降低测试期非预期行为。
推荐理由论文提出在训练提示词中显式要求不良行为，在四个微调场景中减少奖励作弊与谄媚的内化，同时基本保留目标能力。
2025年10月6日周一
星期一
论文追踪 · 收录 · 原文 论文精选关注度5757 RL-Hammer：用 GRPO 从头训练攻击模型，对带防御的 GPT-5 达 72% 攻击成功率（原文，在新标签页打开）
Meta FAIR 与马里兰大学研究者提出 RL-Hammer，从零训练攻击模型经工具输出实施提示注入。
arXiv · 收录 · 原文 论文精选关注度5353 接种式提示：训练时引出 LLM 的特征可在测试时抑制其表达（原文，在新标签页打开）
提出接种提示词，训练时引出不良特征、测试时抑制失齐与后门。
推荐理由论文用接种式提示在微调数据中前置系统指令，说明其可选择性抑制特征泛化并缓解涌现性失对齐与后门触发，为理解模型泛化提供线索。