Hirundo 测试并调整 Qwen 政治对齐倾向
Start here
以色列 AI 安全公司 Hirundo 报告称,在针对天安门、香港、新疆、台湾、西藏等话题的测试中,某款阿里 Qwen 模型频繁拒答敏感政治问题或给出与中国政府立场一致的答案,按其评分标准近九成回答表现出审查、政治偏见或宣传倾向;该基准还测试了模型在翻译、教案和研究请求中如何处理这些话题。Hirundo 同时发布了修改内部参数后的 Qwen 模型,称已将上述行为降至很小比例,但通用能力测试出现小幅下降,并计划公开该基准数据集。Hirundo 另称,通过行为遗忘直接编辑权重,把 Qwen3.6-35B-A3B 在 CCPC-500 上的审查、宣传框架或偏见比例从 89.8% 降到 2.8%,DECCP 拒答率从 65.26% 降到 3.16%,ChinaBench 不合规率从 96.67% 降到 6.67%。
Generated by AI from reports · Updated 3 days ago
Progress timeline
- HirundoHirundo 用行为遗忘将 Qwen3.6 的政治对齐率从 89.8% 降至 2.8%
Hirundo 发布 Westernized Qwen,通过行为遗忘直接编辑权重,把 Qwen3.6-35B-A3B 在 CCPC-500 上的审查、宣传框架或偏见比例从 89.8% 降到 2.8%,DECCP 拒答率从 65.26% 降到 3.16%,ChinaBench 不合规率从 96.67% 降到 6.67%。方法分三步:先用政治提示词诱导基座模型产生目标行为,再用行为遗忘目标训练 LoRA 适配器并以保留集锚定其他能力,最后把适配器合并进基座权重。作为对照,Thomson Reuters 与帝国理工 FAIR Lab 的 Snowdon1.1-Small 只去除了 59% 至 69% 的行为。同一方法也用于 Qwen3.5-4B,在 2 张 GPU 上约 3.1 小时完成,Thinking OFF 下 CCPC-500 从 89.2% 降到 1.2%。
- Diya TVHirundo 评测称阿里 Qwen 模型在政治敏感话题上近九成回答存在审查倾向
以色列 AI 安全公司 Hirundo 报告称,在针对天安门、香港、新疆、台湾、西藏等话题的测试中,某款阿里 Qwen 模型频繁拒答敏感政治问题或给出与中国政府立场一致的答案,按其评分标准近九成回答表现出审查、政治偏见或宣传倾向。该基准还测试了模型在翻译、教案和研究请求中如何处理这些话题。Hirundo 同时发布了修改内部参数后的 Qwen 模型,称已将上述行为降至很小比例,但通用能力测试出现小幅下降,并计划公开该基准数据集。报告强调结论针对特定 Qwen 模型和测试配置,而非 Qwen 全系列。Uber 工程团队曾以 Qwen 为底座构建 Uber Eats 搜索模型,该定制搜索系统与本次评测的对话模型不同。
Related discussion
- Older than 72 hours · Not included in the 72-hour figures
- RedditReddit r/LocalLLaMAWe unlearned CCP alignment from Qwen3.6-35B-A3B: censored/propaganda answers 89.8% → 2.8%, general benchmarks within ~1 point (open weights)(opens the original post in a new tab)
Attention trend
New sources per day
- Oct 6New2 sources (2 outlets,0 accounts)
- Oct 7New0 sources (0 outlets,0 accounts)
- Oct 8New1 sources (0 outlets,1 accounts)
- Oct 9New0 sources (0 outlets,0 accounts)
- Oct 10New0 sources (0 outlets,0 accounts)
- Oct 11New0 sources (0 outlets,0 accounts)
- Oct 12New0 sources (0 outlets,0 accounts)