03. 激活函数

<p><b>公式：</b></p><pre>σ(x) = 1 / (1 + e^{-x})</pre><pre>σ'(x) = σ(x)(1 - σ(x))</pre><p><b>参数表：</b></p><table><tr><th>参数</th><th>值</th><th>说明</th></tr><tr><td>输入范围</td><td>(-∞, +∞)</td><td>任意实数</td></tr><tr><td>输出范围</td><td>(0, 1)</td><td>非负，小于1</td></tr><tr><td>f(0)</td><td>0.5</td><td>原点处中间值</td></tr><tr><td>最大导数</td><td>0.25 (x=0时)</td><td>原点处变化最大</td></tr><tr><td>f(5)</td><td>≈ 0.9933</td><td>正方向趋于饱和</td></tr><tr><td>f(-5)</td><td>≈ 0.0067</td><td>负方向趋于饱和</td></tr></table><p><b>步骤化推导过程：</b></p><ol><li>σ(x) = (1 + e^{-x})^{-1}</li><li>设gu = 1 + e^{-x}，则σ = u^{-1}</li><li>dσ/du = -u^{-2} = -(1 + e^{-x})^{-2}</li><li>du/dx = -e^{-x}</li><li>链式法则：σ'(x) = -(1 + e^{-x})^{-2} × (-e^{-x}) = e^{-x} / (1 + e^{-x})^2</li><li>化简：σ'(x) = [1/(1+e^{-x})] × [e^{-x}/(1+e^{-x})] = σ(x) × (1 - σ(x)) ✓</li></ol>

<p><b>公式：</b></p><pre>tanh(x) = (e^x - e^{-x}) / (e^x + e^{-x})</pre><pre>tanh(x) = (1 - e^{-2x}) / (1 + e^{-2x})</pre><pre>tanh'(x) = 1 - tanh(x)^2 = sech(x)^2</pre><p><b>参数表：</b></p><table><tr><th>参数</th><th>值</th><th>说明</th></tr><tr><td>输入范围</td><td>(-∞, +∞)</td><td>任意实数</td></tr><tr><td>输出范围</td><td>(-1, 1)</td><td>零中心</td></tr><tr><td>f(0)</td><td>0</td><td>原点处为 0</td></tr><tr><td>最大导数</td><td>1 (x=0时)</td><td>比 Sigmoid (0.25) 大 4 倍</td></tr><tr><td>f(2)</td><td>≈ 0.9640</td><td>趋于正向饱和</td></tr><tr><td>f(-2)</td><td>≈ -0.9640</td><td>趋于负向饱和</td></tr></table><p><b>步骤化推导过程（导数）：</b></p><ol><li>tanh(x) = (e^x - e^{-x}) / (e^x + e^{-x})</li><li>设u = e^x - e^{-x}, v = e^x + e^{-x}，法则：(u/v)' = (u'v - uv')/v^2</li><li>u' = e^x + e^{-x} = v</li><li>v' = e^x - e^{-x} = u</li><li>tanh'(x) = (v·v - u·u) / v^2 = (v^2 - u^2) / v^2 = 1 - (u/v)^2 = 1 - tanh(x)^2 ✓</li></ol>

<p><b>公式（包括变种）：</b></p><table><tr><th>名称</th><th>公式</th><th>特点</th></tr><tr><td>ReLU</td><td>max(0, x)</td><td>最简单，被证明最有效的基础激活</td></tr><tr><td>Leaky ReLU</td><td>max(αx, x), α=0.01</td><td>负区间小斜率，解决Dead ReLU</td></tr><tr><td>PReLU</td><td>max(αx, x), α可学习</td><td>α是参数，跟权重一起训练</td></tr><tr><td>ELU</td><td>x (x≥0), α(e^x-1) (x<0)</td><td>负区间趋于-α，更稳定</td></tr></table><p><b>参数表（ReLU）：</b></p><table><tr><th>参数</th><th>值</th><th>说明</th></tr><tr><td>输入范围</td><td>(-∞, +∞)</td><td>任意实数</td></tr><tr><td>输出范围</td><td>[0, +∞)</td><td>非负</td></tr><tr><td>ReLU(0)</td><td>0</td><td>不可导点</td></tr><tr><td>导数(x>0)</td><td>1</td><td>恒为 1，无梯度消失</td></tr><tr><td>导数(x<0)</td><td>0</td><td>Dead ReLU 原因</td></tr><tr><td>计算量</td><td>O(1)</td><td>一个 if 判断</td></tr></table><p><b>梯度消失对比测试：</b></p><p>设深度为 10 层的网络：</p><pre>Sigmoid: 梯度 < 0.25^10 ≈ 9.5e-7 (死亡)
ReLU: 梯度 = 1^10 = 1 (完好)</pre><p>这就是为什么深层网络几乎都用 ReLU 而不用 Sigmoid。</p>

<p><b>精确公式：</b></p><pre>GELU(x) = x × Φ(x) = x × P(X ≤ x)
其中 X ~ N(0,1)</pre><p>Φ(x) = ∫_{-\infty}^{x} (1/√(2π)) × e^{-t^2/2} dt</p><p><b>近似公式（Tanh 近似）：</b></p><pre>GELU(x) ≈ 0.5x × (1 + tanh(√(2/π) × (x + 0.044715x^3)))</pre><p><b>更简单的近似：</b></p><pre>GELU(x) ≈ x × σ(1.702x)</pre><p>其中 σ 是 Sigmoid，1.702 是最优缩放匹配值。</p><p><b>参数表：</b></p><table><tr><th>参数</th><th>值</th><th>说明</th></tr><tr><td>输入范围</td><td>(-∞, +∞)</td><td>任意实数</td></tr><tr><td>输出范围</td><td>≈ [-0.17, +∞)</td><td>最小值约 -0.17</td></tr><tr><td>GELU(0)</td><td>0</td><td>经过原点</td></tr><tr><td>最小值</td><td>≈ -0.17 (x ≈ -0.75时)</td><td>负区域有小的负值</td></tr><tr><td>正向趋势</td><td>x → +∞, GELU → x</td><td>大正数时近似线性</td></tr><tr><td>负向趋势</td><td>x → -∞, GELU → 0</td><td>大负数时压制为 0</td></tr></table><p><b>导数简介（复杂，真实实现用自动微分）：</b></p><pre>GELU'(x) = Φ(x) + x × φ(x)
其中 φ(x) = N(0,1) 的概率密度函数 = (1/√(2π))e^{-x^2/2}</pre>

<p><b>公式：</b></p><pre>Softmax(z)ᵢ = e^{zᵢ} / ∑_{j=1}^{k} e^{z_j}</pre><p>其中 z 是长度为 k 的向量。</p><p><b>参数表：</b></p><table><tr><th>参数</th><th>说明</th></tr><tr><td>输入</td><td>任意实数向量 z ∈ ℝ^k</td></tr><tr><td>输出</td><td>概率向量 p ∈ [0,1]^k，∑p = 1</td></tr><tr><td>常用场景</td><td>分类网络最后一层、注意力权重</td></tr><tr><td>配套损失</td><td>Cross-Entropy Loss</td></tr><tr><td>导数优化</td><td>Softmax + CE 的梯度 = ŷ - y（即预测减真实）</td></tr></table><p><b>“Softmax + CrossEntropy”梯度推导：</b></p><p>设y = [0, 1, 0, ..., 0] 为 one-hot 真实标签，ŷ = softmax(z)。</p><pre>Loss = -∑ y_j · log(ŷ_j) = -log(ŷ_c)
其中 c 是真实类别

∂L/∂z = ŷ - y

举例：ŷ = [0.2, 0.7, 0.1], y = [0, 1, 0]
∂L/∂z = [0.2, -0.3, 0.1]</pre><p>这是<a>【最美的公式之一】</a>：分类网络的反向传播梯度简直就是“预测减真实”。</p><p><b>数值稳定性技巧：</b></p><pre>不稳定版：    ŷ_i = e^{z_i} / ∑ e^{z_j}
稳定版（推荐）：ŷ_i = e^{z_i - max(z)} / ∑ e^{z_j - max(z)}</pre><p>减去最大值不改变结果，但防止 e^{z_i} 溢出。</p>