了解模型如何通过注意力机制处理token之间的关系
注意力机制允许模型动态地关注输入序列中的不同部分,从而捕捉词语之间的关系。多头注意力通过多个注意力头并行处理,每个头可以学习不同类型的关系。
1. 每个注意力头都会计算一个注意力矩阵,表示词语之间的关注程度
2. 颜色越深表示注意力权重越大,即两个词之间的关联越强
3. 不同的注意力头可能会关注不同类型的关系: