从零手写大模型

从理解模型如何推理，到学习模型如何训练，再到主流模型的架构演进。

GitHub · NamiGPT配套代码开源：从零实现 GPT-2，代码可以直接运行

第 1 步 · 已完结 · 15 篇

推理篇

从模型结构到文本生成与可解释性

  1. 01LLM From Scratch
  2. 02Tokenizer 分词器
  3. 03Embedding 嵌入层
  4. 04位置编码
  5. 05自注意力
  6. 06多头注意力
  7. 07残差连接
  8. 08LayerNorm
  9. 09FFN 前馈网络
  10. 10激活函数
  11. 11Transformer Block
  12. 12Transformer 堆叠
  13. 13加载预训练权重
  14. 14文本生成
  15. 15可解释性

第 2 步 · 已完结 · 5 篇

训练篇

从损失函数到学习率调度

  1. 01损失函数
  2. 02反向传播
  3. 03梯度下降
  4. 04Adam 优化器
  5. 05学习率调度

第 3 步 · 已完结 · 5 篇

进阶篇

从 GPT-2 到 LLaMA

  1. 01RMSNorm
  2. 02SwiGLU
  3. 03RoPE
  4. 04GQA
  5. 05LLaMA 完整模型

配套互动：矩阵里算一遍 LLaMA →

第 4 步 · 连载中 · 2 篇

DeepSeek 篇

从 LLaMA 到 DeepSeek

  1. 01MLA（上）
  2. 02解耦 RoPE（MLA 下）

配套互动：矩阵里看 MLA →