大模型实验室

激活函数：ReLU / GELU

在同一个输入下比较输出值与曲线，观察负数区间的差别。

输入范围 −4 到 4精确输入

— ReLU— GELU

实心圆表示当前输入对应的输出。GELU 使用常见的 tanh 近似公式。

ReLU(x) = max(0, x)：负数归零，正数保留原值，并非把正数都变成 1。

GELU(x) ≈ 0.5x × [1 + tanh(√(2/π)(x + 0.044715x³))]：平滑调节输入，部分负值仍有非零输出。这是确定性的函数计算，不是在随机放行。