跳转至课程正文 跳转至课程目录

选看2|MoE是什么,总参数和激活参数为什么不同?

本课介绍

用一个四专家的小例子,完整计算路由打分、专家选择、加权组合,再分别统计总参数和单次路径使用的参数。本节同时考虑路由器、共享模块、批次覆盖、负载与通信,说明为什么激活参数较少,并不能单独推导模型的速度、存储需求或能力。

GEOBOK《生成式AI是怎么工作的》 · 选看2 · 主讲:无风即风