← 返回首页

多头注意力机制

了解模型如何通过注意力机制处理token之间的关系

什么是注意力机制?

注意力机制允许模型动态地关注输入序列中的不同部分,从而捕捉词语之间的关系。多头注意力通过多个注意力头并行处理,每个头可以学习不同类型的关系。

颜色说明:

弱注意力
中等注意力
强注意力

注意力机制说明:

1. 每个注意力头都会计算一个注意力矩阵,表示词语之间的关注程度

2. 颜色越深表示注意力权重越大,即两个词之间的关联越强

3. 不同的注意力头可能会关注不同类型的关系:

  • 语法关系(主谓宾)
  • 语义关系(近义词、反义词)
  • 上下文依赖关系
  • 长距离依赖关系