本课介绍

模型处理文字前，需要先把文本转换为Token及其编号。本节使用中英文分词记录，观察汉字、英文、空格、换行和数字怎样被切分，介绍BPE合并与文本还原的过程，并说明为什么字数、词数和Token数量不能直接画等号。

GEOBOK《生成式AI是怎么工作的》 · 第4课 · 主讲：无风即风