Amnesia：针对大语言模型特定语义层的对抗性激活引导（原文，在新标签页打开）
提出 Amnesia 激活引导攻击，推理时绕过模型安全拒答。
#arXiv
今天新收录 76条今天新收录 76条
#arXiv
今天新收录 76条
3月10日周二
星期二
arXiv · 收录 · 原文 论文 论文追踪 · 收录 · 原文 论文关注度5353 研究者提出 Reasoning-Oriented Programming，通过链式语义片段越狱大型视觉语言模型（原文，在新标签页打开）
提出 VROP，把有害意图拆成良性视觉 gadget 越狱视觉语言模型。
arXiv · 收录 · 原文 论文关注度4747 ADVERSA：测量大语言模型中的多轮护栏退化与评判可靠性（原文，在新标签页打开）
用 ADVERSA 测量多轮对抗下护栏退化与评审可靠性。
3月9日周一
星期一
arXiv · 收录 · 原文 论文关注度4545 续写与拒答之争：大语言模型中续写触发越狱的机制分析（原文，在新标签页打开）
分析续写触发越狱的注意力头机制并提出 HCS。
Failure-First · 收录 · 原文 新闻关注度5050 每日论文：Tree of Attacks 自动越狱黑盒大语言模型（原文，在新标签页打开）
一篇每日论文解读介绍了 Tree of Attacks with Pruning（TAP），一种无需模型权重、仅靠查询访问的自动化黑盒越狱框架。TAP 用一个带思维链推理的 Attacker LLM 迭代生成并改进对抗提示，由 Evaluator LLM 打分，只有 10 分才算成功，并以分支因子 b=4、最大宽度 w=10、最大深度 d=10 的树搜索与剪枝控制查询量。基准测试中，TAP 在 GPT-4o 上越狱成功率为 94%、平均 16.2 次查询，Gemini-Pro 上 98%、16.2 次查询，PaLM-2 上 96%、12.4 次查询，相比 PAIR 成功率更高、查询更少。
3月6日周五
星期五
论文追踪 · 收录 · 原文 论文关注度4848 研究者发布 Judge Reliability Harness，压力测试 LLM 评委可靠性（原文，在新标签页打开）
提出 JRH，压力测试 LLM 评委打分可靠性。
3月5日周四
星期四
Failure-First · 收录 · 原文 新闻关注度4848 SPOC：部分可观测与物理约束下的安全感知规划（原文，在新标签页打开）
SPOC 基准在 AI2-THOR 仿真中用单臂移动机械臂评估具身任务规划的安全性，要求模型在部分可观测和物理约束下逐步规划。它以约束成功率（CSR）作为主要安全指标，轨迹中任一安全约束被违反即该样本 CSR 归零。在隐式安全规则设置下，gpt5-mini 与 gpt5-nano 等基线模型的 CSR 为 0%；Qwen 3 Instruct 30B 为 20%，o4-mini 最高为 28%。从完全可观测转为部分可观测使 CSR 下降 12%，加入物理约束再下降 8% 至 9%。
arXiv · 收录 · 原文 论文关注度5050 用最优传输实现大语言模型的高效拒答消融（原文，在新标签页打开）
提出 PCA-OT 表示层拒答消融，推理时改写激活绕过拒绝。
3月4日周三
星期三
arXiv · 收录 · 原文 论文精选关注度5757 前沿大语言模型中的内部安全崩塌（原文，在新标签页打开）
提出 TVD，在合法双用途任务中触发模型内部安全坍缩。
arXiv · 收录 · 原文 论文关注度4444 理解并缓解大语言模型引导中的数据集污染（原文，在新标签页打开）
用 Lee-Valiant 稳健均值缓解 steering 数据集污染。
3月3日周二
星期二
arXiv · 收录 · 原文 论文关注度4646 MUSE：以运行单元为中心的大语言模型多模态统一安全评测平台（原文，在新标签页打开）
提出 MUSE 平台，以持久 run 评测多模态多轮越狱。
3月2日周一
星期一
论文追踪 · 收录 · 原文 论文关注度3636 RA-Det：利用鲁棒性不对称检测 AI 生成图像（原文，在新标签页打开）
提出 RA-Det，利用鲁棒性不对称检测 AI 生成图像。
论文追踪 · 收录 · 原文 论文关注度5353 VidDoS：针对视频大语言模型的通用拒绝服务攻击（原文，在新标签页打开）
研究者提出 VidDoS，一个面向 Video-LLM 的通用能耗延迟攻击（ELA）框架，通过通用优化生成与实例无关的触发器，无需在推理时计算梯度。
arXiv · 收录 · 原文 论文关注度5151 通过动作级操纵越狱具身 LLM（原文，在新标签页打开）
提出 Blindfold，用动作级操纵越狱具身 LLM。
arXiv · 收录 · 原文 论文精选关注度5555 防御性拒答偏差：安全对齐如何让网络防御者受挫（原文，在新标签页打开）
评测合法网络防御请求中安全敏感词引发的误拒。
3月1日周日
星期日
Failure-First · 收录 · 原文 新闻关注度3636 VLA 模型中的跨本体对抗迁移（原文，在新标签页打开）
Failure-First 的综述认为，针对共享同一基础模型的 VLA 模型，攻击可在不同机器人本体间迁移。文章援引 BadVLA（NeurIPS 2025）通过目标解耦优化注入隐蔽后门，在物理或视觉触发下接近 100% 攻击成功率，且干净任务上性能正常；VLA-Fool（arXiv:2511.16203）用局部对抗补丁或特定噪声分布使任务成功率最多下降 100%；UPA-RFAS（arXiv:2511.21192）显示单个物理补丁可跨不同 VLA 模型、下游操作任务和相机视角迁移。作者指出 AdvBench、HarmBench、JailbreakBench、StrongREJECT 等现有基准只评测单轮对话安全，MITRE ATLAS 与 AgentDojo 仅覆盖数字攻击面，尚无标准化的跨本体对抗基准。该简报为文献综述，尚未在 VLA 硬件上完成实测。
2月28日周六
星期六
论文追踪 · 收录 · 原文 论文关注度4646 研究者提出 Staged Decoding 与 SFT 数据集，减少大推理模型推理轨迹中的隐私泄露（原文，在新标签页打开）
提出 Staged Decoding 与指令跟随训练，减少推理轨迹隐私泄露。
2月26日周四
星期四
arXiv · 收录 · 原文 论文精选关注度5959 静默外泄：隐式提示注入如何让 LLM Agent 无痕泄露数据（原文，在新标签页打开）
来自 eBay 的研究者提出隐式提示注入与分片外传，使 Agent 经工具无痕泄露上下文。
推荐理由论文用本地可复现测试台量化了 URL 预览引发的隐式提示注入，并对比提示层与网络层防御的效果差异。
2月25日周三
星期三
arXiv · 收录 · 原文 论文关注度5252 评估 AI 在欺诈与网络犯罪场景中滥用情况的多轮框架（原文，在新标签页打开）
提出 LFT 多轮框架，评测模型对欺诈与网络犯罪的可执行协助。
2月24日周二
星期二
arXiv · 收录 · 原文 论文关注度3636 分析大语言模型对提示注入与越狱攻击的脆弱性（原文，在新标签页打开）
评测开源模型对直接提示注入与越狱的脆弱性及推理时防御。
arXiv · 收录 · 原文 论文关注度3636 ICON：基于推理时纠正的 Agent 间接提示注入防御（原文，在新标签页打开）
提出推理时防御 ICON，探测注意力过聚焦并转向以纠正 Agent 间接提示注入。
arXiv · 收录 · 原文 论文关注度4949 OptiLeak：在多租户 LLM 服务中用强化学习高效重建提示词（原文，在新标签页打开）
提出 OPTILEAK，经 KV 缓存侧信道逐 token 重建他人提示。
2月23日周一
星期一
arXiv · 收录 · 原文 论文关注度5050 CIBER：代码解释器 Agent 安全评估综合基准（原文，在新标签页打开）
研究者提出 CIBER，一个用于评估代码解释器 Agent 安全性的自动化基准，结合动态攻击生成、隔离沙箱与状态感知评测。
arXiv · 收录 · 原文 论文关注度3939 对面向可信执行环境的 Claude Opus 与 ChatGPT 安全顾问进行红队测试（原文，在新标签页打开）
用 TEE-REDBENCH 评测 TEE 顾问的机制幻觉与提示诱导失败。
arXiv · 收录 · 原文 论文精选关注度5757 提示注入即角色混淆（原文，在新标签页打开）
提出 CoT Forgery，经用户消息或工具输出注入伪造推理。
推荐理由论文把提示注入归因于模型按风格而非标签判断角色来源，其角色探针方法可用于检验防御是否真正改变内部表征。
2月22日周日
星期日
arXiv · 收录 · 原文 论文关注度4949 LLM 偏好何时能预测下游行为？（原文，在新标签页打开）
检验实体偏好对捐赠建议、拒答和任务表现的预测力。
2月20日周五
星期五
arXiv · 收录 · 原文 论文关注度4949 TFL：针对大语言模型的定向比特翻转攻击（原文，在新标签页打开）
提出 TFL 定向比特翻转，使选定提示输出虚假答案且无关查询保持正确。
论文追踪 · 收录 · 原文 论文关注度2727 招聘中的特洛伊木马：标准模型与推理模型间接提示注入的红队测试案例研究（原文，在新标签页打开）
用简历中的不可见指令做间接提示注入，操纵招聘推荐。
2月19日周四
星期四
arXiv · 收录 · 原文 论文精选关注度5858 GAP 基准：文本安全并不迁移到 LLM Agent 的工具调用安全（原文，在新标签页打开）
提出 GAP 基准，测量 Agent 文本安全与工具调用安全的分离。
arXiv · 收录 · 原文 论文精选关注度5757 AgentLAB：面向 LLM 智能体的长程攻击评测基准（原文，在新标签页打开）
提出 AgentLAB 基准，评测 LLM 智能体对长程攻击的易受性。
arXiv · 收录 · 原文 论文关注度5050 IndicJR：南亚语言越狱鲁棒性的免评判基准（原文，在新标签页打开）
提出免评判基准 IndicJR，评测南亚语言越狱鲁棒性。
2月18日周三
星期三
arXiv · 收录 · 原文 论文关注度4646 LLM 重排序器对提示注入攻击的脆弱性（原文，在新标签页打开）
测量 LLM 重排序器对文档内提示注入的脆弱性。
Failure-First · 收录 · 原文 新闻关注度3232 约翰斯·霍普金斯大学提出 CaPE：面向多智能体协作的安全可解释多模态路径规划（原文，在新标签页打开）
约翰斯·霍普金斯大学提出 CaPE（Code as Path Editor）框架，让 VLM 把人类语音合成为可逐行验证的 DSL 路径编辑代码，由 Verifier 拒绝会导致碰撞的代码行，而非直接预测坐标。仿真中两车停车场协商成功率 90%、三车降至 60%，VirtualHome 家务协作 80%；在 6m×6m 真实场地里 Stretch 3 与人共同搬运管道成功率 70%，传统规划器仅 20%。
论文追踪 · 收录 · 原文 论文关注度3333 FERRET：基于扩展的多模态自动化红队测试框架（原文，在新标签页打开）
提出 FERRET 框架，用扩展生成多轮多模态越狱对话。
论文追踪 · 收录 · 原文 论文关注度4949 研究者提出面向多轮对话的视觉记忆注入攻击 VMI（原文，在新标签页打开）
提出 VMI，用扰动图像在多轮对话中潜伏并仅在触发话题输出预定消息。
2月17日周二
星期二
arXiv · 收录 · 原文 论文精选关注度5555 僵尸智能体：通过自强化注入持久控制自演化 LLM 智能体（原文，在新标签页打开）
提出 Zombie Agent 攻击，经网页间接注入将载荷写入长期记忆并跨会话触发。
推荐理由论文给出跨会话持久注入的完整攻击链与两类记忆架构上的持久化数据，可用于评估记忆写入环节的防护缺口。
2月16日周一
星期一
Failure-First · 收录 · 原文 新闻关注度3737 通过反向推理实现小型奖励模型（原文，在新标签页打开）
研究者提出 FLIP（FLipped Inference for Prompt reconstruction）奖励建模方法，通过反向推理从给定回答推断最可能产生它的指令，再用推断指令与原始指令的相似度（F1）作为奖励信号，无需参考答案或评分细则。在四个领域、13 个小语言模型（0.6B 至 8B 参数）上，FLIP 平均超过 LLM-as-a-Judge 基线 79.6%。在 GRPO 训练和并行采样的测试时扩展下，该方法提升了下游表现，并报告对常见奖励作弊形式更鲁棒、在更长输出上更有效。代码已在 GitHub 开源。
2月15日周日
星期日
arXiv · 收录 · 原文 论文精选关注度5656 当基准说谎：在真实分布偏移下评估恶意提示分类器（原文，在新标签页打开）
提出 LODO 评测恶意提示探针的跨数据集泛化。
2月14日周六
星期六
arXiv · 收录 · 原文 论文精选关注度5757 评分标准作为攻击面：LLM 评判者中的隐蔽偏好漂移（原文，在新标签页打开）
提出改评分标准的搜索攻击，使 LLM 评判者在基准达标下发生偏好漂移。
推荐理由论文表明评分标准修改可通过基准验证却仍定向改变评判者偏好，并沿偏好训练传导为策略层面的行为漂移。
Failure-First · 收录 · 原文 新闻关注度4646 Distraction：多模态大语言模型越狱方法（原文，在新标签页打开）
研究者提出 CS-DJ（Contrasting Subimage Distraction Jailbreaking）框架，通过复杂图像分散多模态大语言模型的注意力来绕过安全对齐。该方法把有害查询拆成子查询并用红色文字转成图像，再用 CLIP 检索与查询差异最大的子图，制造语义分布外（SOOD）状态；论文用 Distraction Distance 度量这种偏移，并称偏移越大攻击成功率越高。论文认为这是架构层面的多模态缺陷，而非某一家模型特有的问题。