📄 开山论文：《Attention Is All You Need》

2017 年，Google 的 8 位研究员（Vaswani 等人）发表了这篇论文，提出了 Transformer 架构。它完全抛弃了此前 NLP 领域主流的 RNN/LSTM 循环结构，仅靠注意力机制（Attention）就实现了更好的效果和更快的训练速度。

此后所有大语言模型——GPT 系列、BERT、LLaMA、DeepSeek——都基于 Transformer 架构或其变体。

输入文本: "苹果公司发布了新手机"
  │
  ▼
┌──────────────────────────────────────┐
│  ① Token 化 + 位置编码               │
│  "苹果" → [0.23, -0.15, ...]        │
│  每个 Token 变成一个高维向量           │
│  + 加入位置信息（第几个词）            │
└──────────────┬───────────────────────┘
               │
  ┌────────────▼────────────┐
  │  ② 多头自注意力 × N 层   │  ← 核心！下面详细讲
  │  (Multi-Head Attention)  │
  │  + 前馈神经网络 (FFN)     │
  │  + 残差连接 + 层归一化     │
  │  × 重复 N 次（GPT-3: 96层）│
  └────────────┬────────────┘
               │
  ┌────────────▼────────────┐
  │  ③ 输出概率分布           │
  │  Softmax → 词表中每个     │
  │  Token 的概率              │
  │  选概率最高的 → 输出       │
  └─────────────────────────┘

词嵌入：每个 Token 被映射成一个高维向量（如 768 维或 12288 维），语义相近的词在向量空间中距离也更近。

位置编码：Transformer 不像 RNN 那样按顺序处理文字，它是并行处理所有 Token 的。这就需要额外加入位置信息，告诉模型"苹果"是第 1 个词、"公司"是第 2 个词。

原始论文用正弦/余弦函数编码位置；现代模型（如 LLaMA）多用旋转位置编码（RoPE），能更好地处理超长文本。

自注意力的核心思想：对于每个词，计算它和句子中所有其他词的关联程度，然后用这个关联程度来加权整合信息。

Q、K、V 三大矩阵：

计算公式：

不只用一组 Q/K/V，而是同时用多组（"多头"），每组关注不同维度的语义关系：

GPT-3 有 96 个注意力头，每个头独立计算注意力，最终拼接起来通过线性变换融合。这就像一个团队从多个角度同时分析同一句话。

每一层 Transformer Block 包含两个子层：

OpenAI 在 2020 年发现了Scaling Laws：模型性能与三个因素呈幂律关系——

三者按比例同步扩大，模型性能就会可预测地持续提升。这就是为什么各大公司都在疯狂堆算力、堆数据——因为"大力出奇迹"在数学上是被验证过的。但 DeepSeek 也证明了：更聪明的架构设计可以用更少的资源达到相近的效果。