PaLM: Google 的雄心之作
2022年4月，Google Research 宣布了 PaLM(Pathways Language Model)。它具有5400亿参数，是 GPT-3 的三倍规模。
主要成就
PaLM 在多个基准测试中刷新了现有的 SOTA，尤其在 推理能力方面表现出色：
- 数学问题解决性能大幅提升
- 代码生成和调试能力
- 常识推理基准测试中接近人类水平
- 通过 Chain-of-thought 提示实现复杂推理
Pathways 系统
PaLM 是在 Google 的 Pathways 系统上训练的。使用 6,144 个 TPU v4 芯片进行高效的分布式训练。
Chain-of-Thought 的出现
与 PaLM 一起受到关注的是 Chain-of-Thought(CoT) 提示。仅通过“逐步思考”这样的简单指令，模型的推理能力就能大幅提升。
这之后成为所有 LLM 的标准技术。