Llama 3: 오픈소스의 대반격
2024년 4월, Meta가 Llama 3를 공개했습니다. 8B와 70B 모델로 시작하여, 이후 405B 모델까지 공개되었습니다.
Llama 3의 혁신
- 학습 데이터: 15조+ 토큰 (Llama 2 대비 7배)
- 토크나이저 개선: 128K 어휘 크기로 효율성 향상
- GQA 적용: Grouped Query Attention으로 추론 속도 개선
벤치마크 성과
Llama 3 70B는 Gemini Pro 1.5, Claude 3 Sonnet과 경쟁하는 수준입니다. 오픈소스 모델이 최전선 폐쇄형 모델과 실질적으로 경쟁할 수 있게 된 것입니다.
생태계 확장
Llama 3 공개 후 24시간 내에:
- Hugging Face에서 120만+ 다운로드
- Ollama, vLLM 등에서 즉시 지원
- 한국어 fine-tuning 프로젝트 다수 시작
오픈소스 vs 폐쇄형
"오픈소스 모델로 충분한가?"라는 질문에 대한 답이 점점 "Yes"에 가까워지고 있습니다.