← 返回首页

Token嵌入与位置编码

了解模型如何将token转换为向量表示，并添加位置信息

2什么是Token嵌入？

Token嵌入是将每个token转换为高维向量的过程。这些向量能够捕捉token的语义信息，使模型能够理解词语之间的关系。

输入文本：

显示维度：

负值 (-1.0 到 -0.3)

轻微负值 (-0.3 到 0)

轻微正值 (0 到 0.3)

正值 (0.3 到 1.0)

位置编码为每个token添加位置信息，使模型能够理解token在序列中的位置。

公式

可视化

解释

PE(pos, 2i) = sin(pos / 10000^(2i/d_model)) PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

这是Transformer模型中使用的正弦和余弦位置编码公式。其中：

位置编码解决了Transformer模型中的位置感知问题。由于Transformer使用自注意力机制，它本身没有位置信息的概念。

通过添加位置编码，模型可以学习到：

正弦和余弦函数的周期性使得模型能够轻松地学习到相对位置关系，即使序列长度在训练和推理时不同。

思考以下问题，加深对Token嵌入和位置编码的理解：