评测与基准arXiv 2610.10276
PatchBench 提出激活补丁局部评测协议,揭示越狱修复的附带损伤
提出 PatchBench 局部协议,评测激活补丁修复越狱的附带损伤
- arXiv
- 2610.10276
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Llama-4-Scout、Qwen2.5-3B-Instruct 等 8 个
摘要论文提出 PatchBench 与局部评估协议,揭示了激活补丁在全局能力无损下仍存局部良性退化。
提出 PatchBench 局部协议,评测激活补丁修复越狱的附带损伤
摘要论文提出 PatchBench 与局部评估协议,揭示了激活补丁在全局能力无损下仍存局部良性退化。
提出 FAITHCONFLICT,测量对齐训练导致模型静默改写相悖输入
本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。
评测技能合并模型的自适应越狱鲁棒性,并提出子空间投影防御
本研究针对开源语言模型技能合并过程中的安全评估盲区,系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。
审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为
论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为,主要内容如下。
构建明确度梯级并做守卫微调,以拦住模型会回答的有害请求
摘要论文发现安全监视器大多拦截模型已拒答请求,指出明确度偏差是共性原因,并通过双侧梯级微调提升回答请求的召回表现。
提出 MemoReason 基准,测量参数记忆对上下文推理的影响
MemoReason 用结构相同的事实–虚构文档配对,测量参数记忆如何影响大模型的上下文推理。
提出 SAGO,以语义等价变体上的逐例行为稳定性评测大模型泛化
SAGO 把 LLM 泛化改写成同一目标与上下文在语义等价表达下的逐例行为稳定性,而不是单一基准上的聚合准确率。。
提出 KaliBench,评测模型把安全意图译成 Kali 命令的能力
证明模型仅凭监控判定反馈即可编辑激活规避潜空间监控
这篇论文研究了语言模型如何仅利用多轮上下文中的二元反馈信息规避内部潜空间监控器。