Hirundo 测试并调整 Qwen 政治对齐倾向
先了解这件事
以色列 AI 安全公司 Hirundo 报告称,在针对天安门、香港、新疆、台湾、西藏等话题的测试中,某款阿里 Qwen 模型频繁拒答敏感政治问题或给出与中国政府立场一致的答案,按其评分标准近九成回答表现出审查、政治偏见或宣传倾向;该基准还测试了模型在翻译、教案和研究请求中如何处理这些话题。Hirundo 同时发布了修改内部参数后的 Qwen 模型,称已将上述行为降至很小比例,但通用能力测试出现小幅下降,并计划公开该基准数据集。Hirundo 另称,通过行为遗忘直接编辑权重,把 Qwen3.6-35B-A3B 在 CCPC-500 上的审查、宣传框架或偏见比例从 89.8% 降到 2.8%,DECCP 拒答率从 65.26% 降到 3.16%,ChinaBench 不合规率从 96.67% 降到 6.67%。
AI 根据报道生成 · 3 天前更新
后续时间线
- HirundoHirundo 用行为遗忘将 Qwen3.6 的政治对齐率从 89.8% 降至 2.8%
Hirundo 发布 Westernized Qwen,通过行为遗忘直接编辑权重,把 Qwen3.6-35B-A3B 在 CCPC-500 上的审查、宣传框架或偏见比例从 89.8% 降到 2.8%,DECCP 拒答率从 65.26% 降到 3.16%,ChinaBench 不合规率从 96.67% 降到 6.67%。方法分三步:先用政治提示词诱导基座模型产生目标行为,再用行为遗忘目标训练 LoRA 适配器并以保留集锚定其他能力,最后把适配器合并进基座权重。作为对照,Thomson Reuters 与帝国理工 FAIR Lab 的 Snowdon1.1-Small 只去除了 59% 至 69% 的行为。同一方法也用于 Qwen3.5-4B,在 2 张 GPU 上约 3.1 小时完成,Thinking OFF 下 CCPC-500 从 89.2% 降到 1.2%。
- Diya TVHirundo 评测称阿里 Qwen 模型在政治敏感话题上近九成回答存在审查倾向
以色列 AI 安全公司 Hirundo 报告称,在针对天安门、香港、新疆、台湾、西藏等话题的测试中,某款阿里 Qwen 模型频繁拒答敏感政治问题或给出与中国政府立场一致的答案,按其评分标准近九成回答表现出审查、政治偏见或宣传倾向。该基准还测试了模型在翻译、教案和研究请求中如何处理这些话题。Hirundo 同时发布了修改内部参数后的 Qwen 模型,称已将上述行为降至很小比例,但通用能力测试出现小幅下降,并计划公开该基准数据集。报告强调结论针对特定 Qwen 模型和测试配置,而非 Qwen 全系列。Uber 工程团队曾以 Qwen 为底座构建 Uber Eats 搜索模型,该定制搜索系统与本次评测的对话模型不同。
相关讨论
- 72 小时以前 · 不计入 72 小时的数字
- RedditReddit r/LocalLLaMAWe unlearned CCP alignment from Qwen3.6-35B-A3B: censored/propaganda answers 89.8% → 2.8%, general benchmarks within ~1 point (open weights)(新标签页打开原帖)
关注度走势
每天新增来源
- 10月6日新增2个来源(2家媒体、0个账号)
- 10月7日新增0个来源(0家媒体、0个账号)
- 10月8日新增1个来源(0家媒体、1个账号)
- 10月9日新增0个来源(0家媒体、0个账号)
- 10月10日新增0个来源(0家媒体、0个账号)
- 10月11日新增0个来源(0家媒体、0个账号)
- 10月12日新增0个来源(0家媒体、0个账号)