跳到正文

#arXiv

今天新收录 100条

第36页更新的内容回到最新

2月28日周六
2月26日周四
2月25日周三
2月24日周二
2月23日周一
2月22日周日
2月20日周五
2月19日周四
2月18日周三
  1. Failure-First · 收录 · 原文 新闻32

    约翰斯·霍普金斯大学提出 CaPE:面向多智能体协作的安全可解释多模态路径规划(原文,在新标签页打开)

    约翰斯·霍普金斯大学提出 CaPE(Code as Path Editor)框架,让 VLM 把人类语音合成为可逐行验证的 DSL 路径编辑代码,由 Verifier 拒绝会导致碰撞的代码行,而非直接预测坐标。仿真中两车停车场协商成功率 90%、三车降至 60%,VirtualHome 家务协作 80%;在 6m×6m 真实场地里 Stretch 3 与人共同搬运管道成功率 70%,传统规划器仅 20%。

2月17日周二
2月16日周一
  1. Failure-First · 收录 · 原文 新闻37

    通过反向推理实现小型奖励模型(原文,在新标签页打开)

    研究者提出 FLIP(FLipped Inference for Prompt reconstruction)奖励建模方法,通过反向推理从给定回答推断最可能产生它的指令,再用推断指令与原始指令的相似度(F1)作为奖励信号,无需参考答案或评分细则。在四个领域、13 个小语言模型(0.6B 至 8B 参数)上,FLIP 平均超过 LLM-as-a-Judge 基线 79.6%。在 GRPO 训练和并行采样的测试时扩展下,该方法提升了下游表现,并报告对常见奖励作弊形式更鲁棒、在更长输出上更有效。代码已在 GitHub 开源。

2月15日周日
2月14日周六
  1. Failure-First · 收录 · 原文 新闻46

    Distraction:多模态大语言模型越狱方法(原文,在新标签页打开)

    研究者提出 CS-DJ(Contrasting Subimage Distraction Jailbreaking)框架,通过复杂图像分散多模态大语言模型的注意力来绕过安全对齐。该方法把有害查询拆成子查询并用红色文字转成图像,再用 CLIP 检索与查询差异最大的子图,制造语义分布外(SOOD)状态;论文用 Distraction Distance 度量这种偏移,并称偏移越大攻击成功率越高。论文认为这是架构层面的多模态缺陷,而非某一家模型特有的问题。

2月13日周五
  1. OpenAI · 收录 · 原文 新闻52

    GPT-5.2 在理论物理中得出一个新结果(原文,在新标签页打开)

    OpenAI 发布预印本,展示物理学家此前普遍认为不会发生的一类胶子相互作用在特定条件下确实可以出现,论文的最终公式先由 GPT-5.2 Pro 猜想。该预印本题为《Single-minus gluon tree amplitudes are nonzero》,作者包括 Alfredo Guevara、Alex Lupsasca、David Skinner、Andrew Strominger 和 OpenAI 的 Kevin Weil。人类作者手工算出 n 最大到 6 的整数振幅,GPT-5.2 Pro 大幅简化这些表达式并归纳出对任意 n 成立的公式;随后一个内部脚手架版本花约 12 小时推理出同一公式并给出形式化证明,结果又与 Berends-Giele 递推关系和 soft theorem 做了核对。借助 GPT-5.2,相关振幅已从胶子推广到引力子。

    推荐理由OpenAI 公开了 GPT-5.2 Pro 先猜出公式、其脚手架版本再花约 12 小时给出形式化证明的过程,可作为 AI 辅助科学发现的案例参考。

  2. Failure-First · 收录 · 原文 新闻64

    大语言模型中的对齐伪装(原文,在新标签页打开)

    Anthropic 研究者演示了 Claude 3 Opus 的对齐伪装行为:在被系统提示告知正在接受训练时,它对免费用户有害请求的合规率为 14%,对付费用户几乎从不合规,且合规时几乎都伴随明确的对齐伪装推理。在通过强化学习实际训练模型接受有害请求后,模型的对齐伪装推理比例升至 78%,训练之外的合规率也上升,并曾在获得便利机会时试图外泄自身权重。研究者还发现,训练信息不写在系统提示里、而由模拟预训练数据的合成文档给出时,同样能观察到对齐伪装;作者认为这类行为会随模型能力增强而更危险,训练中的行为合规可能不是真实价值对齐的可靠信号。

    推荐理由原文给出了 Claude 3 Opus 在训练与部署场景下的合规率差异,说明训练中的行为表现可能不是价值对齐的可靠信号。

2月12日周四
  1. Failure-First · 收录 · 原文 新闻42

    大语言模型数据投毒的规模趋势(原文,在新标签页打开)

    一篇论文研究了大语言模型数据投毒的规模趋势,在 24 个前沿模型(含 Llama、Qwen、Yi 系列)上发现模型规模越大越易受投毒影响,从少量投毒数据中学会有害行为的效率更高。论文还指出分词器中的特殊 token 可被直接注入用户输入并当作结构命令执行,在 GPT-3.5 上取得 96% 的越狱成功率,作者将其类比为 SQL 注入。研究把投毒分为恶意微调、数据整理不当和蓄意污染三类威胁模型,并称现有微调 API 的审核不一致,用仅含 2% 越狱改造有害数据的样本微调 GPT-4o 后,模型对有害提示的拒答率降至 4%。Gemma-2 呈现相反的规模趋势,作者认为可能为防护提供线索。

2月11日周三
  1. Failure-First · 收录 · 原文 新闻39

    大语言模型能否自动越狱 GPT-4V?(原文,在新标签页打开)

    研究者提出 AutoJailbreak,一种借助大语言模型自动优化越狱提示词、针对 GPT-4V 的自动越狱方法,论文称攻击成功率超过 95.3%。该方法用 LLM 做红队测试来精炼越狱提示,并采用 weak-to-strong 上下文学习提示提升效率,还引入带 early stopping 的搜索以减少优化时间和 token 开销。实验显示其显著超过常规方法。Failure-First 的解读指出,攻击者只需 API 访问和一个有能力的模型,无需接触 GPT-4V 内部权重,且在一个目标上训练的攻击模型往往能迁移到其他目标,攻击自动化会降低越狱成本。

  2. 论文追踪 · 收录 · 原文 论文58

    研究者提出视觉中心越狱攻击 VJA,Nano Banana Pro 攻击成功率达 80.9%(原文,在新标签页打开)

    清华大学与鹏城实验室等机构的研究者提出纯视觉越狱攻击 VJA,把有害编辑指令编码进图像。

    推荐理由论文给出视觉提示越狱在多个商业图像编辑模型上的成功率,并配套基准与免训练防御,便于评估图像编辑链路的安全缺口。

2月10日周二