論文: Finetuned Language Models Are Zero-Shot Learners 著者: Wei et al. (Google Research) リンク: https://arxiv.org/abs/2109.01652

論文の核心

FLAN(Finetuned LAnguage Net)は60以上のNLPタスクを自然言語指示文の形に変換してファインチューニングします。これにより、学習時に見ていない新しいタスクでも優れたゼロショット性能を発揮します。

Instruction Tuning

「私たちは、インストラクションチューニングが未知のタスクにおけるゼロショット性能を大幅に向上させることを示します。」

従来の方法: 各タスク別に個別ファインチューニング FLANの方法: すべてのタスクを自然言語指示文で統合

例:

  • 「次の文が肯定か否定か分類してくれ: ...」
  • 「次の文を日本語に翻訳してくれ: ...」
  • 「次の文章を3行で要約してくれ: ...」

結果

137Bパラメータモデル基準:

  • 未学習タスク25個のうち20個でGPT-3 175Bゼロショットを上回る
  • 一部のタスクでGPT-3 few-shotとも匹敵

実務における示唆

インストラクションチューニングはその後、ChatGPTやClaudeなどの対話型AIの核心学習技術となります。「AIがユーザーの自然言語指示に従うようにする」基本原理はこの論文で始まりました。