在上一篇中,我们动手训练了一个自己的 BPE 分词器,把原始文本切成了 token 序列。至此,训练数据准备阶段的工作就完成了:海量的原始文本,经过清洗和分词,变成了一条条由整数 id 组成的 tok