← 大模型实验室 纳米AI 从LLaMA到DeepSeek
从LLaMA到DeepSeek第 01 期 · MLA 手算演示

用「猫吃鱼」
手算一遍 MLA

Multi-head Latent Attention, worked through by hand

三个词，两个注意力头，每一步的矩阵都摆在这里。点结果里的任意一格，就能看到它是哪一行乘哪一列算出来的。