논문: Fine-tuned Language Models Are Zero-Shot Learners 저자: Wei et al. (Google Research) 링크: https://arxiv.org/abs/2109.01652

논문 핵심

FLAN(Finetuned LAnguage Net)은 60개 이상의 NLP 태스크를 자연어 지시문 형태로 변환하여 fine-tuning합니다. 이를 통해 학습 시 보지 못한 새로운 태스크에서도 뛰어난 zero-shot 성능을 보입니다.

Instruction Tuning

"우리는 instruction tuning이 보지 못한 태스크의 zero-shot 성능을 상당히 향상시킨다는 것을 보여줍니다."

기존 방식: 각 태스크별 별도 fine-tuning FLAN 방식: 모든 태스크를 자연어 지시문으로 통합

예시:

  • "다음 문장이 긍정인지 부정인지 분류해줘: ..."
  • "다음 문장을 한국어로 번역해줘: ..."
  • "다음 글을 3줄로 요약해줘: ..."

결과

137B 파라미터 모델 기준:

  • 25개 미학습 태스크 중 20개에서 GPT-3 175B zero-shot을 능가
  • 일부 태스크에서 GPT-3 few-shot과도 비등

실무 시사점

Instruction Tuning은 이후 ChatGPT, Claude 등 대화형 AI의 핵심 학습 기법이 됩니다. "AI가 사용자의 자연어 지시를 따르도록 만드는" 기본 원리가 이 논문에서 시작되었습니다.