大模型实验室
LayerNorm：改变尺度，观察每一步
修改输入、γ 和 β，观察减均值、除标准差和仿射变换。
调整一个 token 的 4 维向量
逐维缩放 γ
逐维平移 β
ε = 0.00001；方差除以维度数 4。每个 token 独立计算。
一步步看计算结果
归一化前后对比
● 输入 x● 标准化 x̂● 最终输出 y
γ、β 变换后的最终输出不一定均值为 0、方差为 1。常量输入标准化后为 0，最终输出等于 β。
阅读第 08 期：LayerNorm →修改输入、γ 和 β，观察减均值、除标准差和仿射变换。
ε = 0.00001；方差除以维度数 4。每个 token 独立计算。
γ、β 变换后的最终输出不一定均值为 0、方差为 1。常量输入标准化后为 0，最终输出等于 β。
阅读第 08 期：LayerNorm →