本课介绍

把文本错开一位，就能构造预测下一个Token的训练任务。本节让一个小型因果注意力网络实际训练，依次展示目标概率、损失、梯度和参数更新，再比较训练与验证数据上的变化。借此解释自监督学习怎样进行，以及训练损失降低为什么仍需要独立检验。

GEOBOK《生成式AI是怎么工作的》 · 第10课 · 主讲：无风即风