04. 损失函数

训练神经网络本质上是在做一件事：最小化损失函数。

损失函数 L(ŷ, y) 衡量模型预测值与真实值之间的差距。损失越大，模型越差；损失越小，模型越好。优化器根据损失对权重的梯度（偏导数）来决定如何更新参数。

不同的任务需要不同的损失函数：

• 回归任务（预测连续值，如房价、温度）→ MSE / MAE
• 分类任务（预测离散类别，如猫/狗/鸟）→ 交叉熵(Cross-Entropy) / BCE
• 不平衡分类（正负样本悬殊，如欺诈检测）→ Focal Loss
• 防止过拟合 → 在损失中加入正则化项(L1/L2)

本章从零概念开始，逐一推导每个损失函数的数学本质，给出手算数值示例，以及为什么某些损失函数对特定任务更有效。学完之后你不仅能理解损失函数，还能在实际项目中合理选择。

任何损失函数都包含三个核心要素：

1. 误差度量：如何计算预测与真实的差异（差、比、对数）
2. 聚合方式：多个样本的误差如何合并（平均、求和、加权）
3. 可微性：损失对预测值的导数必须存在（梯度下降需要）

这三种要素决定了损失函数的行为。

本章路线图：

1. MSE（回归最基础）
2. MAE（回归鲁棒版本）
3. 交叉熵（多分类标准）
4. BCE（二分类标准）
5. 正则化（在损失中加入约束）

开始之前，请回顾【02. 优化器】中梯度下降的知识：损失函数的值决定了优化方向（负梯度方向）。

MSE = Mean Squared Error（均方误差），也叫 L2 Loss。

直觉理解：预测值与真实值的差距有多大？把它平方，再取平均。

数学定义：MSE = (1/N) ∑_{i=1}^{N} (y_i - ŷ_i)²

其中 y_i 是第 i 个样本的真实值，ŷ_i 是模型预测值，N 是样本数。

为什么平方？因为：

• 放大错误：误差为2时损失为4，误差为10时损失为100——大误差受到额外惩罚
• 处处可导：(ŷ - y)² 对 ŷ 求导 = 2(ŷ - y)，梯度下降能正常进行（不像绝对值在0点不可导）
• 对应高斯分布：最小化 MSE 等价于假设噪声服从高斯分布下的最大似然估计

从零推导——为什么 MSE 损失对应的梯度是 ŷ - y 的倍数？

对一个样本：L = (y - ŷ)²

对 ŷ 求偏导：∂L/∂ŷ = 2(ŷ - y)（链式法则）

这个导数告诉优化器：如果 ŷ > y（预测高了），导数 > 0，ŷ 需要减小；反之则增大。简单直观！

RMSE（均方根误差）：RMSE = √(MSE)

开方后将量纲还原到原始单位。如果房价预测的 MSE = 100万²，RMSE = 10万，更容易理解模型误差大概在什么数量级。

MAE（平均绝对误差）：MAE = (1/N) ∑ |y_i - ŷ_i|

也叫 L1 Loss。对异常值不敏感（没有平方），但在0点不可导。梯度始终为 ±1，更新更稳定但不收敛更快。

Huber Loss：MSE 和 MAE 的混合体。小误差用 MSE（精确），大误差用 MAE（鲁棒）。在 |ŷ - y| < δ 时使用 MSE，否则使用 MAE。超参数 δ 控制切换点。

什么时候用哪个？

• MSE：数据干净、无异常值——最常用
• MAE：数据含异常值（不想被异常主导演练）
• Huber：折中方案，工程实践中常用
• RMSE：需要可解释的单位时用

交叉熵（Cross-Entropy Loss，简称 CE）是多分类任务最常用的损失函数。配合 Softmax 使用。

直觉理解：两个概率分布有多像？如果模型预测的概率分布和真实标签分布越接近，交叉熵越小。

从信息论说起：

信息量：一个事件发生的概率越低，它包含的信息量越大。数学上：I(x) = -log₂(P(x))。单位是比特（bit）。

熵（Entropy）：对随机变量不确定性的度量。H(P) = -∑ P(x) log P(x)。熵越大，不确定性越大。

交叉熵（Cross-Entropy）：H(P, Q) = -∑ P(x) log Q(x) = H(P) + Dₖ₁(P||Q)

其中 P 是真实分布（标签），Q 是预测分布。交叉熵 = 真实分布的熵 + KL 散度（两个分布的差异）。因为 H(P) 固定（标签的熵是常数），最小化交叉熵等价于最小化 KL 散度。

对分类任务：真实标签 y 是 one-hot 向量（正确类别=1，其他=0）。所以：

CE = -∑ᵢ y_i log(ŷ_i) = -∑_{正确类别} 1×log(ŷ_c) - ∑_{错误类别} 0×log(ŷ_i) = -log(ŷ_c)

也就是说：交叉熵实际上只关心模型对正确类别的预测概率。模型对正确类别的预测概率越高，交叉熵越低。如果模型对正确类别的预测概率是 0.99，CE ≈ 0.01；如果只有 0.1，CE ≈ 2.3。

重要问题：既然 MSE 是“万能”的误差度量，为什么分类问题要用交叉熵而不是 MSE？

原因 1——梯度消失问题：

分类输出通过 Softmax 得到了概率分布。如果模型完全错了（预测概率几乎 0），MSE 的梯度非常小（因为 Softmax 两端饱和），模型几乎学不动。但交叉熵的梯度 = ŷ - y，即使 ŷ 接近 0，也能给出接近 -1 的大梯度。

原因 2——概率解释：

交叉熵对应概率模型中的最大似然估计。最小化交叉熵等价于最大化模型生成正确标签的概率。而 MSE 对应高斯噪声假设，不适合离散标签。

数值对比：

三分类：真实 y=[1,0,0]，预测 ŷ_c=0.001

MSE = (1-0.001)² + (0-0.499)² + (0-0.5)² ≈ 0.998 + 0.249 + 0.250 ≈ 1.497

交叉熵 = -log(0.001) ≈ 6.908

梯度 MSE：∂L/∂ŷ_c = 2(ŷ_c - y_c) = 2(0.001-1) = -1.998（很小）

梯度 CE：∂L/∂ŷ_c = (ŷ_c - y_c) / ŷ_c = (0.001-1)/0.001 = -999（很大！）

交叉熵在模型完全错误时给予巨大的梯度信号，强迫模型快速纠正。

BCE（Binary Cross-Entropy，二元交叉熵）是二分类任务的标准损失函数。

二分类：输出只有两个类（如：是/否、垃圾邮件/正常、患病/健康、正面/负面）。

两种等价形式：

形式 1（双项式）：BCE = -[y·log(p) + (1-y)·log(1-p)]

其中 y ∈ {0,1} 是真实标签，p ∈ (0,1) 是模型预测的正类概率（通常经过 Sigmoid）。

形式 2（对数几率形式）：BCE = -[(1-y)·log(1-σ(z)) + y·log(σ(z))]

其中 z 是模型输出的 logit，σ(z) = 1/(1+e^{-z}) 是 Sigmoid 函数。

为什么两项？

二分类中只有两种情况：

• 当 y=1（正类）：BCE = -log(p)。希望 p 越大越好（越接近 1）。
• 当 y=0（负类）：BCE = -log(1-p)。希望 1-p 越大越好（即 p 越小越好，越接近 0）。

两项合并成一个公式，优雅地覆盖了两种情况。

从零到 BCE——用 MLE 视角推导：

假设二分类服从伯努利分布（Bernoulli distribution）。模型预测 p = P(y=1|x)。

似然函数（给定参数下，看到训练数据的概率）：L = Π_i p_i^{y_i} (1-p_i)^{1-y_i}

取负对数：-log L = -∑_i [y_i log(p_i) + (1-y_i)log(1-p_i)]

这正是 BCE！最大化似然 = 最小化 BCE。

对单个样本：L = -[y log(σ(z)) + (1-y) log(1-σ(z))]

利用 σ'(z) = σ(z)(1-σ(z)) 和链式法则：

dL/dz = -[y / σ(z) × σ(z)(1-σ(z)) - (1-y) / (1-σ(z)) × σ(z)(1-σ(z))]

= -[y(1-σ(z)) - (1-y)σ(z)]

= -[y - yσ(z) - σ(z) + yσ(z)]

= -σ(z) + y

= σ(z) - y

再次得到这个极其简单的形式！Sigmoid + BCE 对 logit z 的梯度 = 预测 σ(z) - 真实 y。

和多分类的 Softmax + CE 梯度形式完全一致（只是从向量变成了标量）。这说明Logistic Regression + Sigmoid + BCE本质上是一个 2 类 Softmax + CE 的特例。

Focal Loss = -α_t (1-p_t)^γ log(p_t)

其中 p_t = p 如果 y=1，= 1-p 如果 y=0。

为什么需要 Focal Loss？

在目标检测等任务中，负样本（背景）远超正样本（物体）。模型很快学会了正确预测背景，梯度变小——但背景样本仍然占据大部分损失。

调制因子 (1-p_t)^γ：当 p_t 接近 1（模型已正确且有信心），调制因子趋近 0，该样本的贡献大幅降低。当 p_t 很小（模型还在犯错），调制因子接近 1，损失保留。

平衡因子 α_t：控制正负样本权重。常用 α=0.25, γ=2（原论文推荐）。

对比：

• BCE：简单易分析样本的损失 = -log(0.9) ≈ 0.105；难分析 = -log(0.1) ≈ 2.303
• Focal (γ=2)：简单 = -(0.1)²×log(0.9) ≈ 0.001（下降 99%）；难 = -(0.9)²×log(0.1) ≈ 1.864（下降 19%）

Focal Loss 让模型更专注于“难”样本。

前面的 MSE、CE、BCE 都只关注模型在训练数据上的表现。但如果模型过于关注训练数据（记住噪声），就会过拟合（Overfitting）——在训练集表现极好，但在测试集表现很差。

正则化就是在原有损失函数中加入一个额外惩罚项，约束模型的复杂度。

一般形式：

L_total = L_data + λ × R(w)

其中 L_data 是数据损失（MSE / CE / BCE），R(w) 是正则化项，λ 是正则化强度（超参数）。

正则化的直观理解：

• 模型既要拟合数据（L_data 小），又要保持简单（R(w) 小）
• λ 控制两者的平衡：λ 太小→过拟合，λ 太大→欠拟合
• 正则化实现“奥卡姆剃刀”：在效果相同的情况下，选择更简单的模型

常见的正则化有两种核心方法：L1 正则化（Lasso）和L2 正则化（Ridge）。

定义：R(w) = ½ ∑_j w_j²

总损失：L_total = L_data + λ/2 · ∑_j w_j²

系数 ½ 是为了求导方便（消掉平方的 2）。

名字由来（权重衰减）：在 SGD 更新中：

w ← w - α(∂L_data/∂w + λw) = w(1-αλ) - α∂L_data/∂w

每一步更新前先乘以 (1-αλ) < 1——权重被“衰减”了。

为什么 L2 有效？

• 防止大权重：模型对某个特征过分依赖时权重会很大，L2 惩罚大权重
• 平滑输出：小权重让输出变化更平缓，减少对噪声的敏感
• 在贝叶斯视角下：L2 对应于权重服从高斯分布的 Laplace 先验假设

定义：R(w) = ∑_j |w_j|

总损失：L_total = L_data + λ · ∑_j |w_j|

梯度：∂R/∂w_j = sign(w_j)（在 w_j=0 时不可导）

sign(x) = 1 如果 x>0，= -1 如果 x<0。

L1 vs L2 核心区别——稀疏性：

L1 会产生稀疏解（许多权重恰好为 0），而 L2 将权重缩放到接近 0 但不为 0。

为什么？几何直觉：

• L1 的等值面是菱形（有尖角），最优点更容易落在坐标轴上
• L2 的等值面是圆形（光滑），最优点通常不在坐标轴上

L1 适合：特征选择（很多无关特征自动权重=0）

L2 适合：所有特征都有用，但阻止某个特征太过重要

除了 L1/L2 正则化，深度学习还有许多其他正则化方法，它们在更复杂的模型中非常关键：

Dropout：

训练时以概率 p 随机丢弃神经元。p=0.5。这不是损失函数的一部分，但效果类似正则化。

每次训练迭代使用不同的“子网络”，测试时使用所有神经元。

Batch Normalization：

对每层输入做标准化（减均值除方差），引入可学习参数 γ 和 β。轻微正则化效果。

Early Stopping：

监控验证集损失，当验证集损失不再下降时停止训练。是最简单的正则化。

Data Augmentation：

对输入数据做随机变换（旋转/裁剪/翻转/颜色抖动）。让模型看到更多变体。

Label Smoothing：

将硬标签 (one-hot: [1,0,0]) 变为软标签 ([0.9, 0.05, 0.05])。防止模型过度自信。公式：y_smooth = (1-ε) × y_onehot + ε / K

这些技术和 L1/L2 正则化并不互斥，可以组合使用。

面对实际问题，如何选择合适的损失函数？以下是综合决策流程：

Step 1——确定任务类型：

• 回归：MSE（默认）、MAE（有异常值）、Huber（折中）
• 二分类：BCE（默认）、Focal（不平衡）
• 多分类（互斥）：Cross-Entropy（默认）
• 多标签（非互斥）：多标签 BCE（每个标签独立）

Step 2——检查数据质量：

• 有异常值 → 回归用 Huber / MAE
• 类别不平衡 → 分类用加权损失 / Focal Loss / 过采样
• 标签有噪声 → Label Smoothing、Huber

Step 3——防止过拟合：

• L2 正则化（Weight Decay）：默认必加，λ=1e-4~1e-5
• 高维稀疏特征 → L1 正则化
• 深度学习模型 → Dropout+BatchNorm+Weight Decay 组合

损失函数的宇宙：除上述外还有 Contrastive Loss、Triplet Loss（度量学习）、CTC Loss（序列对齐）、Wasserstein Loss（GAN）等。但理解了本章的核心，再学其他损失函数会非常快。