针对大型视觉语言模型的物理提示注入攻击（原文，在新标签页打开）
提出物理提示注入 PPIA，用印刷文字操纵视觉语言模型。
#arXiv
今天新收录 174条今天新收录 174条
#arXiv
今天新收录 174条
1月24日周六
星期六
arXiv · 收录 · 原文 论文精选
1月23日周五
星期五
arXiv · 收录 · 原文 论文关注度5252 SycoEval-EM：模拟急诊临床场景中的大语言模型谄媚评估（原文，在新标签页打开）
构建 SycoEval-EM，评测模拟急诊多轮问诊中的谄媚顺从。
arXiv · 收录 · 原文 论文关注度4646 VLM 有道德脊梁吗？视觉语言模型道德脆弱性研究（原文，在新标签页打开）
在 Moralise 上评测 VLM 道德判断的扰动鲁棒性。
1月22日周四
星期四
arXiv · 收录 · 原文 论文关注度5353 在大语言模型中通过全局优化归因与利用安全向量（原文，在新标签页打开）
提出 GOSV，全局优化定位安全注意力头并在推理时重贴激活越狱。
arXiv · 收录 · 原文 论文关注度4040 AdversaRiskQA：面向高风险领域的对抗事实性基准（原文，在新标签页打开）
提出 AdversaRiskQA 评测高风险领域模型能否纠正提示中的错误事实。
1月21日周三
星期三
arXiv · 收录 · 原文 论文关注度3434 NeuroFilter：面向注重隐私的 LLM 智能体的激活值护栏（原文，在新标签页打开）
提出 NeuroFilter，用激活探针过滤智能体多轮隐私攻击。
arXiv · 收录 · 原文 论文精选关注度5555 聪明的副作用：多模态大模型多图推理中的安全风险（原文，在新标签页打开）
清华大学 CoAI 团队构建 MIR-SafetyBench，评测多图推理中的安全风险。
1月20日周二
星期二
arXiv · 收录 · 原文 论文关注度4848 VirtualCrime：通过沙箱模拟评估大语言模型的犯罪潜力与智能体行为（原文，在新标签页打开）
用 VirtualCrime 沙盒评测模型被赋予犯罪角色后的多步执行与过度伤害。
arXiv · 收录 · 原文 论文关注度4343 LLM 的陈述信念脆弱吗？用策略性说服对话干预检验 LLM 的信念抗性（原文，在新标签页打开）
评测多轮策略说服下 LLM 陈述信念的抗性。
arXiv · 收录 · 原文 论文关注度4545 当措辞左右评测：LLM 评委中的框架偏差（原文，在新标签页打开）
测量 LLM 评委在谓词极性翻转下的判定不一致。
arXiv · 收录 · 原文 论文关注度4848 AgenticRed：演化用于红队测试的智能体系统（原文，在新标签页打开）
提出 AgenticRed，进化搜索单轮越狱智能体工作流。
arXiv · 收录 · 原文 论文关注度3939 OI-Bench：评估 LLM 对指令干扰易感性的选项注入基准（原文，在新标签页打开）
构建 OI-Bench，评测 LLM 对选项注入式指令干扰的易感性。
arXiv · 收录 · 原文 论文关注度4444 内幕知识：RAG 系统能从评测秘密中获得多少收益？（原文，在新标签页打开）
测量 RAG 系统利用评测秘密抬高自动评测分数的程度。
1月19日周一
星期一
arXiv · 收录 · 原文 论文关注度4949 ChartAttack：测试大语言模型在图表生成中对恶意提示的脆弱性（原文，在新标签页打开）
提出 ChartAttack，用恶意提示驱动代码模型生成误导图表。
论文追踪 · 收录 · 原文 论文精选关注度5353 CORVUS：用 LoRA 伪装内部信号绕过单次幻觉检测器（原文，在新标签页打开）
新加坡管理大学等机构的研究者提出 CORVUS，用 LoRA 伪装内部遥测以绕过幻觉检测器。
推荐理由论文给出白盒模型侧攻击的完整方法、跨四个开源模型的迁移结果与逐项消融，可据此评估内部遥测类幻觉检测器的可靠性边界。
arXiv · 收录 · 原文 论文关注度2828 VILTA：将 VLM 纳入闭环训练以提升驾驶策略鲁棒性（原文，在新标签页打开）
提出 VILTA，在闭环训练中用 VLM 编辑邻车轨迹以提升驾驶策略鲁棒性。
论文追踪 · 收录 · 原文 论文关注度2828 通过内部状态分析与聚类可视化并评测 LLM 事实幻觉倾向（原文，在新标签页打开）
提出 FalseCite 基准，评测虚构引用如何改变事实幻觉。
1月18日周日
星期日
arXiv · 收录 · 原文 论文精选关注度5555 TrojanPraise：通过良性微调越狱 LLM（原文，在新标签页打开）
提出 TrojanPraise，用新词赞美的良性微调越狱 LLM。
推荐理由论文给出绕过数据审核的良性微调越狱方法，并用知识与态度两个表示维度解释其成因，可供微调服务方评估过滤盲区。
1月17日周六
星期六
arXiv · 收录 · 原文 论文关注度4040 遏制 LLM Agent 系统中的多种权限提升：一个强制访问控制框架（原文，在新标签页打开）
提出 SEAgent 强制访问控制框架，拦截 Agent 越权工具调用。
arXiv · 收录 · 原文 论文关注度4747 忠实性 vs. 安全：评估 LLM 在反事实医学证据下的行为（原文，在新标签页打开）
构造 MEDCOUNTERFACT，评测模型在反事实医学证据下是否仍照证据作答。
1月16日周五
星期五
arXiv · 收录 · 原文 论文关注度4141 Hidden-in-Plain-Text：面向社交网络 RAG 间接提示注入的基准（原文，在新标签页打开）
用 OpenRAG-Soc 评测社交网页 RAG 的间接提示注入与检索投毒。
1月15日周四
星期四
arXiv · 收录 · 原文 论文关注度4848 ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用（原文，在新标签页打开）
提出 TS-Guard 与 TS-Flow，在执行前检测并引导 Agent 修正有害工具调用。
1月14日周三
星期三
arXiv · 收录 · 原文 论文关注度4141 蓝队测试函数调用 Agent（原文，在新标签页打开）
提出 Tool Obfuscation 并评测函数调用 Agent 的攻防。
arXiv · 收录 · 原文 论文关注度3232 STaR：面向大推理模型遗忘的敏感轨迹调控方法（原文，在新标签页打开）
提出推理时框架 STaR，抑制大推理模型推理轨迹中的敏感内容。
1月13日周二
星期二
arXiv · 收录 · 原文 论文关注度4444 BenchOverflow：用纯文本提示测量大语言模型的输出膨胀（原文，在新标签页打开）
提出 BenchOverflow 基准测量纯文本提示诱发的输出膨胀。
Failure-First · 收录 · 原文 新闻关注度1616 Toolformer：语言模型能自学使用工具（原文，在新标签页打开）
Schick 等人的 Toolformer 让 GPT-J 6.7B 自行为文本生成 API 调用标注，只保留能降低后续 token 困惑度的调用，从而学会使用计算器、Wikipedia 搜索等五种工具，并在与工具相关的任务上超过 GPT-J 与 GPT-3 175B。作者称，模型由此从被动文本生成转向自主调用工具，安全焦点也从内容生成转向行动安全。
1月12日周一
星期一
arXiv · 收录 · 原文 论文关注度4646 Shell 中的假朋友：揭示大语言模型的表情符号语义混淆（原文，在新标签页打开）
构建代码向基准，评测 ASCII 表情被误读为可执行命令。
Failure-First · 收录 · 原文 新闻关注度2525 Constitutional AI：用 AI 反馈实现无害性（原文，在新标签页打开）
Bai 等人提出 Constitutional AI：让语言模型按一套成文原则（宪法）批评并修订自身输出，再用这些自生成偏好标签做 RLHF。分两阶段，SL-CAI 用批评—修订对做监督学习，RL-CAI 由另一模型依宪法判断哪条回复更好，生成偏好标签。作者称，CAI 模型比仅用人工反馈的 RLHF 模型更有帮助且更少有害，但该法假设模型有能力准确应用宪法原则，对部分危害类型或更小模型未必成立。
arXiv · 收录 · 原文 论文关注度5353 安全代码生成有多安全？对抗提示考验 LLM 防御（原文，在新标签页打开）
用对抗提示审计安全代码生成方法在自然语言改写后的安全与功能。
1月11日周日
星期日
Failure-First · 收录 · 原文 新闻关注度3434 HELM：语言模型的整体评估（原文，在新标签页打开）
HELM 在 30 个模型、42 个场景上开展多维度评测，发现没有任何模型在所有维度占优。评测最多采用准确率、校准、鲁棒性、公平性、偏见、毒性和效率 7 项指标，准确率领先的模型常在公平性、偏见或校准上排名靠后，鲁棒性与准确率独立变化，输入扰动下性能明显下降。指令微调与 RLHF 总体提升性能，却引入校准上的新失败模式，模型变得过度自信。
1月10日周六
星期六
arXiv · 收录 · 原文 论文关注度3636 3D 大型视觉语言模型的对抗鲁棒性研究（原文，在新标签页打开）
提出 Vision 与 Caption 攻击，扰动点云操纵 3D VLM 输出。
Failure-First · 收录 · 原文 新闻关注度2323 论文：Chung 等把指令微调扩展至 1,836 个任务，训出 Flan-PaLM 与 Flan-T5（原文，在新标签页打开）
Chung 等人的论文把指令微调扩展到 1,836 个任务并混入思维链示例，训练出 Flan-PaLM 540B 与 Flan-T5。论文称 Flan-PaLM 540B 在 MMLU、BBH、TyDiQA、MGSM 等基准上取得 SOTA，Flan-T5-XL（3B）常能追平或超过 PaLM 62B。作者指出，模型越忠实地遵循指令，也就越容易被精心构造的对抗指令利用。
1月9日周五
星期五
arXiv · 收录 · 原文 论文关注度3535 VIGIL：以「先验证后提交」防御 LLM 智能体的工具流注入（原文，在新标签页打开）
提出 VIGIL 先验证后提交，防御 Agent 工具流注入。
arXiv · 收录 · 原文 论文关注度4646 基于记忆的 LLM 智能体的记忆投毒攻击与防御（原文，在新标签页打开）
提出输入输出审核与信任感知记忆消毒，防御智能体记忆投毒。
arXiv · 收录 · 原文 论文关注度4848 面向大语言模型的知识驱动多轮越狱（原文，在新标签页打开）
提出知识驱动多轮越狱 Mastermind，用策略知识闭环攻击对齐模型。
Failure-First · 收录 · 原文 新闻关注度3333 Anthropic 红队测试语言模型以减少危害：方法、规模行为与经验教训（原文，在新标签页打开）
Anthropic 招募 324 名参与者对 2.8B 至 52B 参数模型发起 38,961 次红队攻击，攻击成功率从基础模型的约 25% 降至 RLHF 模型的 6-8%。红队成员之间的差异远大于模型规模差异，少数高手发现多数严重漏洞；显式内容与歧视性语言比危险活动、自残指令更易被诱导，总体成功率会掩盖分类别风险。
arXiv · 收录 · 原文 论文关注度4848 人设悖论：医学人设作为临床语言模型的行为先验（原文，在新标签页打开）
分析系统提示中的医学人设对临床分诊与安全建议的非单调效应。
论文追踪 · 收录 · 原文 论文关注度3434 多模态大语言模型的多轮越狱攻击与 FragGuard 防御（原文，在新标签页打开）
提出多轮多模态越狱，并用 FragGuard 拦截有害响应。
arXiv · 收录 · 原文 论文关注度5050 PC²：经由对 GPT 系文生图模型的越狱攻击生成政治争议内容（原文，在新标签页打开）
提出 PC² 越狱，用身份保持描述与远端多语翻译绕过文生图过滤。
1月8日周四
星期四
arXiv · 收录 · 原文 论文精选关注度5656 大语言模型能有效说服人们相信阴谋论（原文，在新标签页打开）
测量对话 LLM 被指示后提高阴谋论信念的能力。
推荐理由四项实验覆盖多款前沿模型，量化了模型说服人相信阴谋论的效果，并对比了真实性约束与不同模型护栏的差异。