← 返回首页

前馈神经网络

了解模型如何通过前馈神经网络处理特征

← 多头注意力机制 生成回答 →

前馈神经网络处理

前馈神经网络（FFN）在注意力层之后，通过非线性变换增强模型的表达能力。每个token的表示都会经过两个线性变换和一个非线性激活函数。

FFN(x) = max(0, xW₁ + b₁)W₂ + b₂

处理步骤说明：

1. 输入层

来自注意力机制的输出向量（维度：d_model）

2. 第一次线性变换

将输入维度扩展到更大的维度（通常是4倍），以增加模型的表达能力

3. ReLU激活函数

引入非线性，max(0, x)将负值置为0，保持正值不变

4. 第二次线性变换

将维度压缩回原始大小（d_model），综合处理后的特征

前馈神经网络的作用：

  • 增强非线性：通过ReLU激活函数引入非线性变换
  • 特征整合：在更高维度空间处理特征，捕捉复杂模式
  • 维度调整：通过两次线性变换调整特征维度
  • 残差连接：与原始输入相加，帮助训练更深的网络