PaLM: Google의 야심작

2022년 4월, Google Research가 PaLM(Pathways Language Model)을 발표했습니다. 5,400억 파라미터로 GPT-3의 3배 규모입니다.

주요 성과

PaLM은 여러 벤치마크에서 기존 SOTA를 갱신했으며, 특히 추론 능력에서 놀라운 성과를 보였습니다:

  • 수학 문제 풀이 성능 대폭 향상
  • 코드 생성 및 디버깅 능력
  • 상식 추론 벤치마크에서 인간 수준 근접
  • Chain-of-thought 프롬프팅으로 복잡한 추론 가능

Pathways 시스템

PaLM은 Google의 Pathways 시스템 위에서 학습되었습니다. 6,144개의 TPU v4 칩을 사용하여 효율적으로 분산 학습을 수행했습니다.

Chain-of-Thought의 등장

PaLM과 함께 주목받은 것이 Chain-of-Thought(CoT) 프롬프팅입니다. "단계별로 생각해봐"라는 간단한 지시만으로도 모델의 추론 능력이 대폭 향상됩니다.

이는 이후 모든 LLM의 표준 기법이 됩니다.