大模型论文研读

学习与思考，记录读懂一篇论文的过程。

Switch Transformer

已完结 · 共 3 篇 · 从路由机制到实验结论与局限

  1. 01MoE 与单专家路由 — Mixture of Experts & Top-1 Routing
  2. 02专家容量与负载均衡 — Expert Capacity & Load Balancing
  3. 03训练稳定性、实验结论与局限 — Training Stability, Results & Limitations