2. 预训练

中文版导读（英文原文可用）

1 说明

本章中文版正在整理中。当前可直接阅读英文原文：

• 2. Pretraining

2 本章关注的问题

预训练阶段的核心是回答三个工程问题：第一，数据分布如何塑造模型能力边界；第二，训练预算如何在参数规模、序列长度与稳定性之间分配；第三，预训练决策如何影响后续的中训练、后训练与推理成本。