4 个章节·按类别展开/折叠
知识
DDP vs DP
DDP（DistributedDataParallel）：多进程，每进程独立 GPU，NCCL 通信。
DP（DataParallel）：单进程多线程，GIL 限制，只用 1 个 GPU 做主卡。
DDP 优势：真正的并行（N 卡满载）、通信效率高（Ring AllReduce）、支持多机多卡。
代码
启动 DDP 训练
代码
训练代码
callout
DDP（DistributedDataParallel）：多进程，每进程独立 GPU，NCCL 通信。
DP（DataParallel）：单进程多线程，GIL 限制，只用 1 个 GPU 做主卡。
DDP 优势：真正的并行（N 卡满载）、通信效率高（Ring AllReduce）、支持多机多卡。