从零手写大模型半导体投研大模型实验室关于我

最近更新

从零手写大模型 · 训练篇 05 - Learning Rate Scheduling 从零手写大模型 · 训练篇 04 - Adam Optimizer 从零手写大模型 · 训练篇 03 - Gradient Descent 从零手写大模型 · 训练篇 02 - Backpropagation 从零手写大模型 · 训练篇 01 - Loss Function 从零手写大模型 · 推理篇 15 - Interpretability 从零手写大模型 · 推理篇 14 - Text Generation 从零手写大模型 · 推理篇 13 - Loading Pretrained Weights 从零手写大模型 · 推理篇 12 - Transformer Stack 从零手写大模型 · 推理篇 11 - Transformer Block 从零手写大模型 · 推理篇 10 - Activation Function 从零手写大模型 · 推理篇 09 - FFN 从零手写大模型 · 推理篇 08 - LayerNorm 从零手写大模型 · 推理篇 07 - Residual Connection 从零手写大模型 · 推理篇 06 - Multi-Head Attention 从零手写大模型 · 推理篇 05 - Self-Attention 从零手写大模型 · 推理篇 04 - Positional Encoding 从零手写大模型 · 推理篇 03 - Embedding 从零手写大模型 · 推理篇 02 - Tokenizer 从零手写大模型 · 推理篇 01 - LLM From Scratch

最近在做

两个系列均已完结
从零手写大模型

推理篇 15 期 · 训练篇 5 期
从模型推理到训练基础，全部完结
查看系列

THE FUTURE IS ALREADY PRICED IN.

FINANCE / AI / SYSTEMS