RedBench：面向大语言模型全面红队测试的通用数据集（原文，在新标签页打开）
提出 RedBench，汇总红队数据集评测对抗提示与过度拒绝。
#arXiv
今天新收录 126条今天新收录 126条
#arXiv
今天新收录 126条
10月12日周一
星期一
arXiv · 收录 · 原文 论文 arXiv · 收录 · 原文 论文关注度4040 遏制 LLM Agent 系统中的多种权限提升：一个强制访问控制框架（原文，在新标签页打开）
提出 SEAgent 强制访问控制框架，拦截 Agent 越权工具调用。
arXiv · 收录 · 原文 论文关注度4444 BenchOverflow：用纯文本提示测量大语言模型的输出膨胀（原文，在新标签页打开）
提出 BenchOverflow 基准测量纯文本提示诱发的输出膨胀。
arXiv · 收录 · 原文 论文关注度5353 安全代码生成有多安全？对抗提示考验 LLM 防御（原文，在新标签页打开）
用对抗提示审计安全代码生成方法在自然语言改写后的安全与功能。
arXiv · 收录 · 原文 论文关注度4646 Shell 中的假朋友：揭示大语言模型的表情符号语义混淆（原文，在新标签页打开）
构建代码向基准，评测 ASCII 表情被误读为可执行命令。
arXiv · 收录 · 原文 论文关注度4747 忠实性 vs. 安全：评估 LLM 在反事实医学证据下的行为（原文，在新标签页打开）
构造 MEDCOUNTERFACT，评测模型在反事实医学证据下是否仍照证据作答。
arXiv · 收录 · 原文 论文关注度3232 STaR：面向大推理模型遗忘的敏感轨迹调控方法（原文，在新标签页打开）
提出推理时框架 STaR，抑制大推理模型推理轨迹中的敏感内容。
arXiv · 收录 · 原文 论文关注度4949 ChartAttack：测试大语言模型在图表生成中对恶意提示的脆弱性（原文，在新标签页打开）
提出 ChartAttack，用恶意提示驱动代码模型生成误导图表。
arXiv · 收录 · 原文 论文关注度4343 LLM 的陈述信念脆弱吗？用策略性说服对话干预检验 LLM 的信念抗性（原文，在新标签页打开）
评测多轮策略说服下 LLM 陈述信念的抗性。
arXiv · 收录 · 原文 论文关注度4040 AdversaRiskQA：面向高风险领域的对抗事实性基准（原文，在新标签页打开）
提出 AdversaRiskQA 评测高风险领域模型能否纠正提示中的错误事实。
arXiv · 收录 · 原文 论文关注度4545 当措辞左右评测：LLM 评委中的框架偏差（原文，在新标签页打开）
测量 LLM 评委在谓词极性翻转下的判定不一致。
arXiv · 收录 · 原文 论文关注度3434 NeuroFilter：面向注重隐私的 LLM 智能体的激活值护栏（原文，在新标签页打开）
提出 NeuroFilter，用激活探针过滤智能体多轮隐私攻击。
arXiv · 收录 · 原文 论文精选关注度5555 TrojanPraise：通过良性微调越狱 LLM（原文，在新标签页打开）
论文提出 TrojanPraise，一种用良性、可通过审核的数据微调来越狱 LLM 的方法，同时绕过 Llama-Guard-3 等审核模型。
推荐理由论文给出绕过数据审核的良性微调越狱方法，并用知识与态度两个表示维度解释其成因，可供微调服务方评估过滤盲区。
arXiv · 收录 · 原文 论文关注度2828 VILTA：将 VLM 纳入闭环训练以提升驾驶策略鲁棒性（原文，在新标签页打开）
提出 VILTA，在闭环训练中用 VLM 编辑邻车轨迹以提升驾驶策略鲁棒性。
arXiv · 收录 · 原文 论文关注度4444 内幕知识：RAG 系统能从评测秘密中获得多少收益？（原文，在新标签页打开）
测量 RAG 系统利用评测秘密抬高自动评测分数的程度。
arXiv · 收录 · 原文 论文关注度3939 OI-Bench：评估 LLM 对指令干扰易感性的选项注入基准（原文，在新标签页打开）
构建 OI-Bench，评测 LLM 对选项注入式指令干扰的易感性。
arXiv · 收录 · 原文 论文关注度5252 SycoEval-EM：模拟急诊临床场景中的大语言模型谄媚评估（原文，在新标签页打开）
构建 SycoEval-EM，评测模拟急诊多轮问诊中的谄媚顺从。
arXiv · 收录 · 原文 论文关注度4949 MalURLBench：评估 Agent 处理网页 URL 时脆弱性的基准（原文，在新标签页打开）
提出 MalURLBench 评测 Agent 是否接受结构伪装的恶意 URL。
arXiv · 收录 · 原文 论文关注度5353 在大语言模型中通过全局优化归因与利用安全向量（原文，在新标签页打开）
提出 GOSV，全局优化定位安全注意力头并在推理时重贴激活越狱。
arXiv · 收录 · 原文 论文关注度3636 用 HASTE 主动加固 LLM 防御（原文，在新标签页打开）
提出 HASTE，挖掘 hard negative 再训练恶意提示检测器。
arXiv · 收录 · 原文 论文关注度5050 AttenMIA：利用注意力信号对 LLM 进行成员推断攻击（原文，在新标签页打开）
提出 AttenMIA，用注意力信号做白盒成员推断。
arXiv · 收录 · 原文 论文精选关注度5454 未知的未知：LLM 中的隐藏意图能否逃过检测？（原文，在新标签页打开）
构建隐匿意图测试床，压力测试分类器与 LLM 裁判。
推荐理由论文用受控测试床量化了隐藏意图检测在低流行率下的精度崩塌，为审计方法的能力边界提供了实证参照。
arXiv · 收录 · 原文 论文关注度4545 CAR-bench：评估真实世界不确定性下 LLM Agent 的一致性与能力边界意识（原文，在新标签页打开）
提出 CAR-bench，评测车载多轮智能体的一致性与限度意识。
arXiv · 收录 · 原文 论文关注度5353 Just Ask：好奇的代码 Agent 揭示前沿 LLM 的系统提示词（原文，在新标签页打开）
提出 JustAsk，用在线技能选择提取模型系统提示词。
arXiv · 收录 · 原文 论文关注度3030 Stay in Character, Stay Safe：面向安全角色扮演智能体的双循环对抗自演化框架（原文，在新标签页打开）
提出 DASE，以对抗自演化知识库在推理时加固角色扮演抗越狱。
arXiv · 收录 · 原文 论文关注度4444 大语言模型在 Best-of-N 采样下的对抗风险统计估计（原文，在新标签页打开）
提出 SABER，用小预算观测外推 Best-of-N 越狱风险。
arXiv · 收录 · 原文 论文精选关注度5757 ReasoningBomb：诱导大型推理模型产生病态长推理的隐蔽拒绝服务攻击（原文，在新标签页打开）
提出 ReasoningBomb，用强化学习生成短提示诱导推理模型病态长推理。
推荐理由论文把推理模型的推理时长当作攻击面，量化了短提示词放大推理成本的效果，可供部署方评估服务成本风险。
arXiv · 收录 · 原文 论文关注度5151 因扩散而更安全，因上下文而失守：扩散 LLM 的安全红利与失效模式（原文，在新标签页打开）
提出黑盒 context nesting，用结构化补全任务嵌套有害请求越狱扩散 LLM。
arXiv · 收录 · 原文 论文关注度3535 筛除噪声：LLM Agent 在漏洞误报过滤中的比较研究（原文，在新标签页打开）
评测代码 Agent 过滤静态告警误报的能力。
arXiv · 收录 · 原文 论文精选关注度5555 大语言模型中的性格潜变量：涌现性失配与条件性安全失效的机制解释（原文，在新标签页打开）
用性格潜变量与表征投影解释涌现失配和条件失效。
推荐理由论文把涌现性失配解释为微调习得的性格表征，并用错误建议数据作对照，显示性格条件化数据带来更强且更可迁移的失配。
arXiv · 收录 · 原文 论文精选关注度5454 语法与编译保持的 LLM 漏洞检测器规避攻击（原文，在新标签页打开）
论文提出在保持语法与编译的前提下规避 LLM 漏洞检测器的攻击方法。
推荐理由论文用语法与编译保持的代码变换攻击，量化了 LLM 漏洞检测器在干净基准高分下的鲁棒性缺口，可供部署检测门禁的团队参考。
arXiv · 收录 · 原文 论文关注度4646 通过校准越狱 LLM（原文，在新标签页打开）
提出 Gradient Shift 推理时聚合，把对齐模型拉回被抑制行为。
arXiv · 收录 · 原文 论文关注度3434 GradingAttack：揭示基于 LLM 的教育评分智能体安全漏洞（原文，在新标签页打开）
提出 GradingAttack，用梯度后缀与角色扮演操纵教育评分智能体判定。
arXiv · 收录 · 原文 论文关注度4848 从因果视角增强越狱攻击与防御（原文，在新标签页打开）
提出 Causal Analyst，按因果特征改写提示词增强越狱。
arXiv · 收录 · 原文 论文关注度5353 迈向视觉语言模型的通用可迁移越狱攻击（原文，在新标签页打开）
提出 UltraBreak，用单张对抗图像对视觉语言模型实施可迁移越狱。
arXiv · 收录 · 原文 论文关注度4848 Zero2Text：无需训练的跨域文本嵌入反转攻击（原文，在新标签页打开）
提出 Zero2Text，无需训练地跨域反演文本嵌入。
arXiv · 收录 · 原文 论文关注度4545 高维离线 Bandit 的高效对抗攻击（原文，在新标签页打开）
提出三类攻击，训练前扰动奖励模型以劫持离线 bandit。
arXiv · 收录 · 原文 论文关注度4545 关于噪声数据与 LLM 预训练损失发散的实证研究（原文，在新标签页打开）
分析受控均匀随机噪声对预训练损失发散的影响。
arXiv · 收录 · 原文 论文关注度5252 引导外部性：良性激活引导无意中提高大语言模型的越狱风险（原文，在新标签页打开）
分析良性激活转向如何削弱拒绝并放大越狱风险。
arXiv · 收录 · 原文 论文精选关注度6161 安全评测如同抛硬币：LLM 评委无法可靠衡量对抗鲁棒性（原文，在新标签页打开）
慕尼黑工业大学、Mila 等机构的研究者审计安全裁判在对抗分布偏移下衡量鲁棒性的可靠性。