大模型实验室
单头；3 个 token；dk=2。玩具矩阵仅用于演示计算，不表示训练模型或语义含义。
初始示例
Q =
K =
V =
1. 可编辑输入矩阵 Q / K / V
Q [3×2]
K [3×2]
V [3×2]
S = QKᵀ / √2mask 在 softmax 前稳定 softmax：先减行最大值O = AV
2. 逐步解释
3. 分数矩阵 S [3×3]
注意力权重 A = 逐行 softmax(S)（热力图）
点击左侧 query 行或权重行，可查看该行如何对 V 加权。