Llama 3: 开源的反击
2024年4月，Meta发布了Llama 3。起初是8B和70B模型，随后发布了405B模型。
Llama 3的创新
- 训练数据：15万亿+ 代币（是Llama 2的7倍）
- 分词器改进：128K词汇量提升了效率
- 应用GQA：通过Grouped Query Attention提升推理速度
基准测试成果
Llama 3 70B与Gemini Pro 1.5、Claude 3 Sonnet处于竞争水平。开源模型能够实质性地与前沿闭源模型竞争。
生态系统扩展
Llama 3发布后24小时内：
- 在Hugging Face上下载量超过120万+
- Ollama、vLLM等立即支持
- 多项韩语微调项目启动
开源 vs 闭源
对于“开源模型是否足够？”这个问题的答案正越来越接近“是”。