第16课|上下文窗口很大,为什么仍会漏掉信息?
本课介绍
上下文容量、实际送入的信息和模型对信息的利用,是三个需要分别检查的问题。本节先计算输入与输出的预算,再观察历史截断、摘要和资料选择可能带来的遗漏,并结合有来源的位置实验,说明评价长上下文能力时需要关注任务、位置与证据。
GEOBOK《生成式AI是怎么工作的》 · 第16课 · 主讲:无风即风
上下文容量、实际送入的信息和模型对信息的利用,是三个需要分别检查的问题。本节先计算输入与输出的预算,再观察历史截断、摘要和资料选择可能带来的遗漏,并结合有来源的位置实验,说明评价长上下文能力时需要关注任务、位置与证据。
GEOBOK《生成式AI是怎么工作的》 · 第16课 · 主讲:无风即风