本课介绍

从一段简短文本出发，把注意力计算拆成Q、K、V变换、相关分数、因果遮罩、Softmax和加权汇总，逐步观察当前表示怎样结合前文。课程同时区分注意力权重与输出词元概率，并说明训练时为什么也必须遮住后续目标信息。

GEOBOK《生成式AI是怎么工作的》 · 第7课 · 主讲：无风即风