在上一篇中,我们把预训练的工程面完整过了一遍:Megatron-LM 和 DeepSpeed 这类框架如何用张量并行、流水线并行把几千亿参数的训练摊到成百上千张卡上,以及 Scaling Law 如何