← 返回首页

自回归生成

了解模型如何一步步生成回答

自回归生成过程

模型通过自回归方式生成回答,即基于已生成的内容逐个预测下一个token。每个时间步,模型会:

1. 输入编码

将输入问题转换为token序列

2. 计算注意力

对已有序列计算自注意力

3. 生成概率分布

计算词表中每个token的生成概率

4. 选择下一个token

根据概率选择最合适的token

自回归生成的特点:

  • 上下文依赖:每个新token的生成都依赖于之前生成的所有token
  • 概率分布:模型输出的是整个词表上的概率分布
  • 采样策略:可以使用不同的策略(贪婪、采样、束搜索等)来选择下一个token
  • 停止条件:当生成特殊的结束符或达到最大长度时停止