Transformer

什么是 Transformer

Transformer 是 Google 在 2017 年提出的神经网络架构，是当今几乎所有大语言模型的基石。

核心创新

自注意力机制（Self-Attention）：让模型在处理一个词时能"看到"句子中所有其他词。

变体

• Encoder-only：BERT（适合理解）
• Decoder-only：GPT 系列（适合生成）
• Encoder-Decoder：T5、BART（适合翻译）