完整流程演示

模型首先将输入文本分解成更小的单位（称为token）。这些token可以是单词、子词或字符，具体取决于模型使用的分词器。

每个token被转换为高维向量（嵌入），并添加位置信息（位置编码）。这使得模型能够理解token的语义和它们在序列中的位置。

模型使用多头注意力机制，让每个token能够关注序列中的其他token。不同的注意力头可以捕捉不同层面的语义关系。

注意力机制的输出通过前馈神经网络进行进一步处理，增加模型的表达能力。

模型根据处理后的信息，生成最可能的回答。这个过程是自回归的，模型一次生成一个token。