논문: Llama 2: Open Foundation and Fine-Tuned Chat Models 저자: Touvron et al. (Meta) 링크: https://arxiv.org/abs/2307.09288

논문 핵심

Llama 2는 7B/13B/70B 모델을 상업적 사용 가능한 라이선스로 공개한 첫 번째 대형 오픈소스 LLM입니다.

LLaMA 1 대비 개선점

"Llama 2 models outperform open-source chat models on most benchmarks."

  • 학습 데이터: 1.4T → 2T 토큰 (40% 증가)
  • 컨텍스트 길이: 2K → 4K 토큰
  • GQA(Grouped Query Attention) 적용 (70B 모델)
  • 안전성: RLHF로 chat 모델 정렬

RLHF 파이프라인 상세

Meta는 RLHF 과정을 상세히 공개:

  1. 100만+ 인간 어노테이션 수집
  2. 2개의 보상 모델 (유용성 + 안전성) 별도 학습
  3. Rejection Sampling + PPO로 최적화
  4. Ghost Attention으로 시스템 프롬프트 충실도 향상

실무 시사점

Llama 2는 기업이 "자체 호스팅 LLM을 상업적으로 사용할 수 있는가?"에 대한 명확한 "Yes"를 제공했습니다. 이후 Llama 3, Mistral, Qwen 등 오픈소스 경쟁의 촉발점이 되었습니다.