05. 训练技巧

上一章我们学习了损失函数——它告诉模型“你错了多少”。但知道错了多少和能够正确地把错误改正过来，是两回事。

训练一个神经网络就像炖牛肉——火候太大会烧焦（发散），火候太小炖不烂（收敛慢），调料不对味道奇怪（过拟合）。本章就是“炖牛肉宝典”。

具体来说，我们将学习：

• 学习率：步长大小如何调整？热身(温炉) · 阶梯衰减 · 余弦衰减
• Batch Size：每步用多少数据计算更新？大vs小的影响
• 正则化(L1/L2)：给损失加“罚款”避免过拟合
• Dropout：训练时随机抛弃神经元，迫使网络学习冗余表示
• 早期停止：在过拟合前自动停下来

学习率 (Learning Rate, α) 是训练中最重要的超参数。

在梯度下降中：

Wₜ₊₁ = Wₜ - α · ∇L(Wₜ)

学习率 α 决定了“每步走多远”。

日常比喻：你在山谷里要找到最低点。学习率就是你的步子大小：

• 步子太大 (α=1.0)：跨过山谷，跳来跳去，发散
• 步子適中 (α=0.01)：稳步下降，快速到达底部
• 步子太小 (α=0.00001)：爬得极慢，可能陷入局部最优

一个典型的实验事实：

在CIFAR-10数据集上，用ResNet-50训练：

• α=0.1: 发散（loss变NaN）
• α=0.01: 50轮达到75%准确率
• α=0.001: 50轮只到60%，还在慢慢下降
• α=0.0001: 50轮只到50%，太慢

在实战中，我们不会用固定的学习率，而是让它随训练进程动态调整。

1. Warmup（热身）

开始时学习率从0慢慢升到目标值。原因：初始化的权重是随机的，刚开始梯度不稳定；大学习率在开始阶段可能会将参数射到很远的坏区域。

GPT-3用了375步Warmup（从0到0.6×10⁻⁴）。

α(t) = αₜₒₜ × (t / T_warmup) — 线性升温

2. 阶梯衰减 (Step Decay)

每T步将学习率乘以衰减因子。

α(t) = α₀ × γ^{floor(t / T)}

例：α₀=0.01, γ=0.1, T=30轮→50轮时0.01, 30轮后0.001, 60轮后0.0001

3. 余弦衰减 (Cosine Decay)

学习率按余弦函数从最大值平滑下降到最小值。最常用。

α(t) = α_min + 0.5×(α_max - α_min)×(1 + cos(π×t/T_max))

优点：平滑下降，报文当中可以学得更好。

4. 多兹马减速（Cosine with Restarts）

学习率周期性重置，每次重置后训练“跳出”局部最优找更好的解。

实战建议：

• Adam默认学习率0.001，通常无需Warmup
• SGD+Momentum建议+Cosine Decay+热身
• Transformer皆需Warmup，因Adam初期方差估计不稳

Batch size = 每次反向传播用的样本数。

正在更新权重前，我们需要累积多少个样本的梯度？

三种模式：

• Batch GD（全数据）：batch_size=N。稳定但慢，实际不用。
• SGD（单样本）：batch_size=1。快但噪声大，可以跳出局部最优但不稳定。
• Mini-batch（小批量）：batch_size=16/32/64/128/256。实战标配，兼顾速度和稳定性。

为什么Mini-batch最好？

• 梯度是N个样本的平均，batch大小越大梯度越准确
• 但太大的batch可能导致“锐利最小值”问题——收敛到sharp minima（泛化差）
• GPU内存限制batch大小上限

几个重要事实：

• batch_size×学习率保持不变原则：batch翻倍→学习率也翻倍（linear scaling rule）
• GPT-3 batch_size=3.2M tokens（多GPU汇总）
• ImageNet上2K batch_size与8K准确率相同，但训练时间减半

大batch的优势：

• 梯度更准确，收敛进程更平滑
• 充分利用GPU并行计算（向量化）
• 总训练时间可能更短

小batch的优势：

• 噪声可以帮助跳出局部最优
• 泛化性能更好（解释1：小batch向量更像治疗器的Brownian motion）
• 内存占用少，可训练更大模型

Batch size对巡回的影响：

巡回=epoch (1轮 = 全数据走一遍)。batch_size越大，每轮更新次数=N/batch_size越少。

例：N=50000, batch_size=32 → 1563 updates/epoch

batch_size=256 → 195 updates/epoch

正则化 = 给损失函数加“罚款”，让模型不要太复杂。

过拟合的核心问题：模型只记住了数据而没学到规律。正则化通过增加一个罚款项《λ·R(W)》来控制模型复杂度。

日常比喻：如果老师说

“如果你把答案写得超长，我会扣分”，学生就不会无端拉长答案。正则化就是这个“超长扣分”。

公式：

L_total = L_data + λ · R(W)

• L_data: 原来的损失（如CrossEntropy, MSE）
• R(W): 权重的“复杂度”
• λ: 正则化强度——越大罚款越重，模型越简单

三种常见正则化：

• L1（Lasso）：R(W) = ∑|w_i|。推向稀疏（许多权重变为0）。
• L2（Ridge / 权重衰减）：R(W) = ½∑w_i²。权重趋近0但不为0。
• Elastic Net（弹性网）：R(W) = r·∑|w_i| + (1-r)·½∑w_i²。结合L1+L2。

L2正则化（Weight Decay）

L_total = L_data + λ/2 · ∑w_i²

梯度：∂L/∂w_i = ∂L_data/∂w_i + λ·w_i

更新的时候：

w_i → w_i - α·(∂L_data/∂w_i + λ·w_i)

w_i → w_i·(1 - αλ) - α·∂L_data/∂w_i

看到有一个“(1 - αλ)”的衰减系数——这就是“Weight Decay”名字的由来。

L1正则化（Lasso）

L_total = L_data + λ · ∑|w_i|

梯度：∂L/∂w_i = ∂L_data/∂w_i + λ·sign(w_i)

罚款不取决于权重大小，只取决于符号。这导致小权重被拉到0——特征选择。

关键区别：

• L2：权重趋近0但不等于0。适合所有特征都可能有用的场景。
• L1：权重变为0——特征选择。适合有许多无用特征。
• 全局最优解唯一性：L2有解析解；L1可能多个最优解。

Dropout = 训练时随机“抛弃”一些神经元，让网络更健壮。

2012年Hinton发明。怎么做：每次训练迭代时，以概率 p 随机将某些神经元的输出设为0。

日常比喻：如果你只会用一只脚踩自行车，按你的脚你就剳车。但如果训练时随机抵你的一只脚，你就会学会用另一只脚。最终你两只脚都能骑得很好——这就是Dropout的本质。

数学表示：

训练时: r ~ Bernoulli(p)  →  输出 = r × h / (1-p)
测试时: 输出 = h  (scaling by keep_prob)

为什么要除以(1-p)？因为训练时只有(1-p)的神经元在工作，为了让测试时期望值与训练时保持一致，需要做这个缩放。

1. 标准Dropout (p=0.5)

隐藏层用p=0.5，输入层p=0.2~0.3。最常用。

2. 空间Dropout (Spatial Dropout)

CNN中用——整个通道随机置零而不是像素。因为CNN中相邻像素高度相关，抵单个像素效果不好。

3. AlphaDropout

SELU激活函数的配套Dropout。保持输出的均值和方差不变。

4. Monte Carlo Dropout

测试时也保留Dropout，多次前向传播获得不确定性估计。这是一种Bayesian近似。

5. 递进Dropout

深层用p=0.5，浅层用p=0.1。因为深层参数更多，更容易过拟合。

黄金规则：

• 隐藏层Dropout p=0.5——最稳妥。模型过拟合时提高到0.5，不过拟合时降低到0.2
• 输入层Dropout p=0.2~0.3——只抛弃少量输入特征
• Dropout与BatchNorm一般不同时使用（但可以）
• CNN层少用Dropout（用BatchNorm+Data Aug替代）
• Transformer/GPT不用Dropout（大模型用正则化+数据质量控制）

早期停止 = 在验证集性能开始下降时停止训练。

训练过程中：

• 训练loss一直下降
• 验证loss先下降，然后在某个点开始上升（过拟合开始）

早期停止在验证集性能下降前把最好的模型保存下来。

为什么有效？

• 它是最简单的正则化方法
• 它限制了迭代次数=parameter空间的有效复杂度
• 它无额外参数（只有patience和监视频率）

1. Patience（耐心值）

等待多少轮没改善后停止。

• patience=5: 验证loss连续5轮不下降则停
• patience=20: 等待20轮（大模型）
• patience太小: 可能在平台区早停
• patience太大: 浪费计算资源

2. 监视指标

• 验证loss（最常用）
• 验证准确率（注意“更高更好”还是“更低更好”）
• F1 Score / AUC / BLEU…

3. Restore Best Weights

最重要的一个选项——停止后自动回滑到验证集最佳时的权重。不然最后一步的模型可能已经过拟合。

4. Delta（改善阈值）

只有验证loss下降超过某个阈值时才视为“有改善”。

例如delta=0.001，如果下降小于0.001则不计数。避免因小浮动而算“改善”。

实战经验：

• patience默认5-10。大模型可用30-50
• 早期停止与Learning Rate Decay联用效果最佳
• ReduceLROnPlateau: 验证loss平台时降学习率，再观察patience
• 如果训练loss已经很低但验证大幅上升——过拟合，应即停

梯度裁剪 = 当梯度太大时“截断”它，防止梯度爆炸。

在深层网络或RNN/LSTM中，梯度有可能变得极大，导致权重更新飞快，loss变NaN。

两种方法：

• Value Clipping：单个梯度值被截断到[max_grad, max_grad]范围
• Norm Clipping：所有梯度的范数被截断到max_norm以下

Norm Clipping公式：

||g|| ≤ max_norm: g' = g
||g|| > max_norm: g' = g × (max_norm / ||g||)

保持梯度方向不变，但缩放其大小。

常见参数：

• max_norm=1.0: 严格裁剪
• max_norm=5.0: 常见默认
• max_norm=10.0: 宽松裁剪

常用场景：

• RNN/LSTM: 更时间步梯度累乘容易爆炸
• Transformer: 大型模型训练时保险
• GAN: 生成器和辨别器的竞争训练不稳定
• RL: PPO等策略梯度可能很大

训练一个新模型时，建议按以下顺序调参：

1. 确保数据正确——先过拟合一小批数据（如16个）确保loss能降到0
2. 设置学习率——Adam α=0.001, SGD+Momentum α=0.01起步
3. 选Batch Size——显卡内存允许的最大值，建议32-256
4. 加正则化——L2 weight_decay=1e-4开始
5. 加Dropout——如果过拟合严重
6. 设Early Stopping——patience=10
7. 加梯度裁剪——RNN/语言模型必用
8. 使用Warmup + Cosine Decay——对大模型差不多是必须的

常见问题诊断指南：

• Loss NaN：学习率太大 / 梯度爆炸 → 降学习率 + gradient clipping
• Loss不下降：学习率太小 / 数据没标准化 / 激活函数不对 → 检查数据/模型
• Train高但Validation低：过拟合 → 增强正则化 / 多数据 / 小模型
• Train低但Validation也低：正则化太强 / 数据问题 / 模型不足 → 减弱正则化 / 增加模型大小

PyTorch实现示例：

# AdamW + Cosine Decay + Warmup + Early Stopping + Gradient Clipping
import torch, torch.optim as optim
from torch.optim.lr_scheduler import CosineAnnealingLR

model = MyModel()
optimizer = optim.AdamW(model.parameters(), lr=1e-3, weight_decay=1e-4)
scheduler = CosineAnnealingLR(optimizer, T_max=100)

best_val_loss = float('inf')
patience_counter = 0
patience = 10

for epoch in range(200):
    train_loss = train_one_epoch(model, optimizer, dataloader)
    # Gradient Clipping
    torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=5.0)
    
    val_loss = evaluate(model, val_loader)
    scheduler.step()
    
    # Early Stopping
    if val_loss < best_val_loss:
        best_val_loss = val_loss
        torch.save(model.state_dict(), 'best_model.pth')
        patience_counter = 0
    else:
        patience_counter += 1
        if patience_counter >= patience:
            print(f'Early stop at epoch {epoch}')
            break