在上一篇中,我们学习了参数是怎么被一步步更新的:前向传播算出损失,反向传播沿计算图把梯度传回每个参数,最后 AdamW 用一阶、二阶矩估计对参数做更新。当时我们的注意力都在计算过程上,有一个问题被有意