论文：Chung 等把指令微调扩展至 1,836 个任务，训出 Flan-PaLM 与 Flan-T5

Chung 等人的论文把指令微调扩展到 1,836 个任务并混入思维链示例，训练出 Flan-PaLM 540B 与 Flan-T5。论文称 Flan-PaLM 540B 在 MMLU、BBH、TyDiQA、MGSM 等基准上取得 SOTA，Flan-T5-XL（3B）常能追平或超过 PaLM 62B。作者指出，模型越忠实地遵循指令，也就越容易被精心构造的对抗指令利用。