别再追踪我！针对 LLM 属性推断攻击的主动防御（原文，在新标签页打开）
提出用户侧防御 TRACE-RPS，分享前匿名化文本并追加后缀以抑制属性推断。
#arXiv
今天新收录 111条今天新收录 111条
#arXiv
今天新收录 111条
2月12日周四
星期四
arXiv · 收录 · 原文 论文 arXiv · 收录 · 原文 论文精选关注度5757 AgentLeak：面向多智能体 LLM 系统内部通道隐私泄露的基准（原文，在新标签页打开）
提出 AgentLeak 基准，测量多智能体内部通道隐私泄露。
Failure-First · 收录 · 原文 新闻关注度4242 大语言模型数据投毒的规模趋势（原文，在新标签页打开）
一篇论文研究了大语言模型数据投毒的规模趋势，在 24 个前沿模型（含 Llama、Qwen、Yi 系列）上发现模型规模越大越易受投毒影响，从少量投毒数据中学会有害行为的效率更高。论文还指出分词器中的特殊 token 可被直接注入用户输入并当作结构命令执行，在 GPT-3.5 上取得 96% 的越狱成功率，作者将其类比为 SQL 注入。研究把投毒分为恶意微调、数据整理不当和蓄意污染三类威胁模型，并称现有微调 API 的审核不一致，用仅含 2% 越狱改造有害数据的样本微调 GPT-4o 后，模型对有害提示的拒答率降至 4%。Gemma-2 呈现相反的规模趋势，作者认为可能为防护提供线索。
arXiv · 收录 · 原文 论文关注度3636 推理模型的安全恢复只需早期几步引导（原文，在新标签页打开）
提出推理时防御 SafeThink，监视思维链并在低于阈值时注入转向前缀。
arXiv · 收录 · 原文 论文关注度3737 Peak + Accumulation：多轮 LLM 攻击检测的代理层评分公式（原文，在新标签页打开）
提出代理层 peak + accumulation 公式，检测多轮分发的攻击。
2月11日周三
星期三
arXiv · 收录 · 原文 论文关注度3737 盲神与破碎的屏幕：构建安全、以意图为中心的移动 Agent 操作系统（原文，在新标签页打开）
提出 Aura，用可信内核中介移动 Agent 的身份、感知与动作控制。
论文追踪 · 收录 · 原文 论文关注度5050 VideoSTF 揭示视频大模型输出重复问题，时序扰动攻击成功率最高 98%（原文，在新标签页打开）
提出 VIDEO STF 评测视频大模型输出重复并压力测试时序扰动。
Failure-First · 收录 · 原文 新闻关注度3939 大语言模型能否自动越狱 GPT-4V？（原文，在新标签页打开）
研究者提出 AutoJailbreak，一种借助大语言模型自动优化越狱提示词、针对 GPT-4V 的自动越狱方法，论文称攻击成功率超过 95.3%。该方法用 LLM 做红队测试来精炼越狱提示，并采用 weak-to-strong 上下文学习提示提升效率，还引入带 early stopping 的搜索以减少优化时间和 token 开销。实验显示其显著超过常规方法。Failure-First 的解读指出，攻击者只需 API 访问和一个有能力的模型，无需接触 GPT-4V 内部权重，且在一个目标上训练的攻击模型往往能迁移到其他目标，攻击自动化会降低越狱成本。
arXiv · 收录 · 原文 论文关注度2727 通过自动语言特征提取检测临床训练 LLM 中的越狱尝试（原文，在新标签页打开）
微调编码器抽取语言特征并分类，检测临床训练对话中的越狱。
论文追踪 · 收录 · 原文 论文精选关注度5858 研究者提出视觉中心越狱攻击 VJA，Nano Banana Pro 攻击成功率达 80.9%（原文，在新标签页打开）
清华大学与鹏城实验室等机构的研究者提出纯视觉越狱攻击 VJA，把有害编辑指令编码进图像。
推荐理由论文给出视觉提示越狱在多个商业图像编辑模型上的成功率，并配套基准与免训练防御，便于评估图像编辑链路的安全缺口。
2月10日周二
星期二
arXiv · 收录 · 原文 论文关注度4141 Grounding 驱动的攻击：提升基于编码器的对抗攻击对大型视觉语言模型的迁移性（原文，在新标签页打开）
提出 GDA，将图像对抗扰动对齐文本接地证据并迁移攻击视觉语言模型。
arXiv · 收录 · 原文 论文关注度5050 MUZZLE：面向 Web Agent 间接提示注入攻击的自适应智能体红队测试框架（原文，在新标签页打开）
提出 MUZZLE，自动红队测试 Web Agent 的间接提示注入。
arXiv · 收录 · 原文 论文关注度4040 红队多模态推理：跨模态纠缠攻击越狱视觉语言模型（原文，在新标签页打开）
提出 COMET 跨模态纠缠攻击，越狱视觉语言模型。
论文追踪 · 收录 · 原文 论文精选关注度5757 自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效（原文，在新标签页打开）
提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗。
推荐理由论文首次记录基于激活的上下文策略性欺骗，并给出白盒与黑盒审计方法在自动红队下的失效证据，为对齐审计的鲁棒性评估提供可复现方法。
2月9日周一
星期一
arXiv · 收录 · 原文 论文关注度3131 RLBF：面向 LLM 安全的回溯反馈强化学习（原文，在新标签页打开）
提出 RLBF，训练模型在生成中途撤回违规片段并续写。
Failure-First · 收录 · 原文 新闻关注度5252 大规模 WildTeaming：从真实世界越狱到（对抗性）更安全的语言模型（原文，在新标签页打开）
WildTeaming 是一个自动化的 LLM 安全红队框架，通过挖掘真实用户与聊天机器人的对话，发现 5.7K 个新颖越狱策略簇，并组合多种策略系统性地探索新越狱。论文称其生成的对抗攻击在多样性和成功率上最高达到现有最优越狱方法的 4.6 倍，分析覆盖 1.6M 条真实用户交互。作者据此构建开源安全数据集 WildJailbreak，包含 262K 条直接请求与对抗性越狱的提示词和回复对，并提供有害查询与形式相似但无害的良性查询两类对照数据，以缓解过度拒答。实验显示，用真实越狱样本微调可显著提升模型鲁棒性，同时尽量不降低通用能力。
2月8日周日
星期日
arXiv · 收录 · 原文 论文关注度4141 迷失在翻译中？大语言模型复合危害跨语言迁移的比较研究（原文，在新标签页打开）
提出 CompositeHarm，比较句法操纵与语义危害的跨语言迁移。
arXiv · 收录 · 原文 论文关注度4141 CausalArmor：通过因果归因实现高效的间接提示注入护栏（原文，在新标签页打开）
提出间接提示注入护栏 CausalArmor，按因果归因选择性清洗未受信片段。
Failure-First · 收录 · 原文 新闻关注度4646 当 LLM 遇上 DRL：通过 DRL 引导搜索提升越狱效率（原文，在新标签页打开）
论文提出 RLbreaker，一种由深度强化学习（DRL）驱动的黑盒越狱攻击方法，把越狱提示的构造建模为搜索问题，用 RL 智能体选择改写、扩写、缩短等变异策略以最大化攻击成功率。作者称该方法设计了定制的奖励函数和 PPO 算法，在六个 SOTA LLM 上比现有越狱攻击更有效，并对三种 SOTA 防御保持稳健，消融实验验证了关键设计选择。摘要还称在可访问模型上训练出的智能体可跨模型迁移，该帖文提到其可用于 GPT-4 和 Claude 等闭源系统。帖文作者认为，随着攻击自动化程度提高，攻击成本与防御成本之间的不对称会进一步加剧，防御方需要假定攻击者掌握自动化攻击工具。
2月7日周六
星期六
arXiv · 收录 · 原文 论文精选关注度5353 AgentSys：通过显式分层记忆管理实现安全且动态的 LLM Agent（原文，在新标签页打开）
华盛顿大学圣路易斯分校与约翰霍普金斯大学的研究者提出 AGENTSYS 分层记忆隔离，防御 Agent 间接提示注入。
arXiv · 收录 · 原文 论文关注度4141 Aegis：面向 AI 语音 Agent 的治理、完整性与安全（原文，在新标签页打开）
提出 Aegis 红队框架，多轮攻击高风险语音 Agent。
arXiv · 收录 · 原文 论文关注度3636 通过选择性几何控制重新审视 LLM 安全对齐的鲁棒性（原文，在新标签页打开）
提出 ShaPO，只在安全关键子空间做最坏情况偏好对齐。
Failure-First · 收录 · 原文 新闻关注度4646 JailbreakBench：面向大语言模型越狱的开源鲁棒性基准（原文，在新标签页打开）
JailbreakBench 是一个面向大语言模型越狱的开源鲁棒性基准，包含持续更新的越狱提示词库、100 条行为数据集、标准化评测框架和排行榜。论文指出，现有越狱评测缺乏统一标准，成本与成功率的计算方式不可比，且许多工作不公开对抗提示词、使用闭源代码或依赖不断变化的专有 API，导致难以复现。该基准的评测显示，即使是前沿模型也存在可测量的越狱漏洞，不同模型的鲁棒性差异很大，部分防御对某些攻击有效却对其他攻击失效。评测框架发布在 GitHub，排行榜跟踪不同大语言模型的攻击与防御表现。
arXiv · 收录 · 原文 论文关注度4141 ShallowJail：引导针对大语言模型的越狱攻击（原文，在新标签页打开）
提出 ShallowJail，在推理时用转向向量改写隐藏状态实现越狱。
2月6日周五
星期五
Joachim Schaeffer@JSchaeff3r · 收录 · 原文 X关注度5050 新论文：攻击选择使可信监控的 AI 控制安全率从 99% 降至 59%（原文，在新标签页打开）
一篇新论文研究 AI 控制中的攻击选择问题，即 AI 自行选择何时发起攻击以躲过监控。作者称，在纳入攻击选择后，可信监控方案的安全率从 99% 降至 59%，说明这类方案可能没有此前认为的那样安全。论文链接为 http://arxiv.org/abs/2602.04930。
arXiv · 收录 · 原文 论文关注度4949 Confundo：学习为实际 RAG 系统生成鲁棒投毒内容（原文，在新标签页打开）
提出 Confundo，微调投毒生成器为 RAG 生成抗分块的鲁棒投毒内容。
arXiv · 收录 · 原文 论文关注度4646 MPIB：面向 LLM 医疗提示注入攻击与临床安全的基准（原文，在新标签页打开）
研究者提出医疗提示注入基准 MPIB，用于评估 LLM 与 RAG 系统在直接提示注入和 RAG 间接注入下的临床安全性。
arXiv · 收录 · 原文 论文精选关注度5757 安全引导还是坠崖？重新审视推理时干预的特异性与鲁棒性（原文，在新标签页打开）
系统评估推理时转向的特异性与安全鲁棒性。
推荐理由论文提出评估推理时干预特异性的三维框架，并显示降低过度拒答的 steering 在标准评测下看似安全，却显著提高越狱成功率。
arXiv · 收录 · 原文 论文关注度5050 REBEL：通过进化式评估循环恢复隐藏知识（原文，在新标签页打开）
提出进化式黑盒提示搜索 REBEL，恢复已遗忘模型的隐藏知识。
arXiv · 收录 · 原文 论文精选关注度5454 Chunky Post-Training：数据驱动的泛化失败（原文，在新标签页打开）
提出 SURF 与 TURF，回溯后训练数据块导致的行为错用。
推荐理由论文把模型在特定措辞下误触发拒答、反驳等行为归因到后训练数据的分布失衡，并给出可复用的定位工具。
2月5日周四
星期四
arXiv · 收录 · 原文 论文精选关注度5757 学习注入：通过强化学习实现自动化提示注入（原文，在新标签页打开）
ETH Zürich 研究者提出 AutoInject，用强化学习自动学习提示注入后缀。
arXiv · 收录 · 原文 论文关注度4949 遮蔽镜像：针对基于 LLM 的钓鱼检测的隐蔽提示注入攻击（原文，在新标签页打开）
提出隐蔽提示注入攻击 LLM 钓鱼检测器，并给出防御 InjectDefuser。
arXiv · 收录 · 原文 论文关注度5050 BadTemplate：通过 chat template 对大语言模型的免训练后门攻击（原文，在新标签页打开）
提出 BadTemplate，通过改 chat template 植入免训练后门。
论文追踪 · 收录 · 原文 论文关注度5050 研究者提出 MM-Plan 多模态越狱框架，对 Claude 4.5 Sonnet 攻击成功率达 46.3%（原文，在新标签页打开）
提出 MM-Plan 多模态越狱框架，自动规划多轮图像编辑以越狱视觉独占目标。
论文追踪 · 收录 · 原文 论文关注度5050 研究揭示推理模型拒答假新闻请求时思维链仍含不安全叙事（原文，在新标签页打开）
分析推理模型拒答假新闻时思维链的内部安全分叉。
2月4日周三
星期三
arXiv · 收录 · 原文 论文精选关注度6161 安全评测如同抛硬币：LLM 评委无法可靠衡量对抗鲁棒性（原文，在新标签页打开）
慕尼黑工业大学、Mila 等机构的研究者审计安全裁判在对抗分布偏移下衡量鲁棒性的可靠性。
arXiv · 收录 · 原文 论文关注度3838 面向混合专家模型的路由感知安全对齐（原文，在新标签页打开）
提出路由感知安全对齐 RASA，只微调越狱激活的专家并约束路由。
arXiv · 收录 · 原文 论文关注度4343 少样本示例如何影响针对 LLM 越狱攻击的提示词防御（原文，在新标签页打开）
分析少样本示范对 RoP 与 ToP 提示防御抗越狱效果的影响。
2月3日周二
星期二
arXiv · 收录 · 原文 论文关注度5252 引导外部性：良性激活引导无意中提高大语言模型的越狱风险（原文，在新标签页打开）
分析良性激活转向如何削弱拒绝并放大越狱风险。
arXiv · 收录 · 原文 论文关注度4545 关于噪声数据与 LLM 预训练损失发散的实证研究（原文，在新标签页打开）
分析受控均匀随机噪声对预训练损失发散的影响。