微调 on Ganko Space

多卡并行训练和微调技术

Mon, 27 Apr 2026 00:00:00 +0000

这是使用 Google DeepResearch 生成的偏理论分析报告，内容基于2026/4/27之前的公开资料和技术文献，主要是方便自己学习，准确性和时效性可能无法完全保证。

第一章深度学习分布式训练的底层基石：显存与通信的博弈

随着大语言模型（LLM）参数规模从十亿级别飙升至万亿级别，深度学习的训练与微调已经彻底演变为一项复杂的系统工程。在这一演进过程中，单张图形处理器（GPU）的显存容量与计算能力已无法满足动辄数千吉字节（GB）的内存需求，多卡并行架构成为必然选择。

在多卡分布式训练中，架构设计的核心挑战始终围绕着**“显存墙（Memory Wall）”与“通信墙（Communication Wall）”**的博弈展开。

[1].1 显存消耗模型解构

要深刻理解分布式训练的演进，必须首先解构模型在训练过程中的显存消耗。在采用混合精度训练（Mixed Precision Training）及 Adam 优化器的情况下，每个模型参数通常需要消耗约 20 字节的显存：

模型状态（Model States）：
- 权重与梯度： 半精度（16-bit）各占用 [2] 字节（共 [4] 字节）。
- 权重与梯度副本： 全精度（32-bit）各占用 [4] 字节（共 [8] 字节）。
- 优化器状态： Adam 优化器的一阶与二阶矩估计状态各占用 [4] 字节（共 [8] 字节）。
剩余消耗： 前向传播过程中产生的**残差状态（Residual States，即激活值 Activations）**和各类临时缓冲区，会随着批次大小（Batch Size）和序列长度呈线性甚至二次方增长。

示例： 一个 [75] 亿参数的模型，仅静态模型状态就需要消耗约 150GB 显存，远超单张 H100（80GB）的物理极限。

[1].2 通信原语与同步机制

在多 GPU 协同计算时，节点间必须通过特定的**集体通信原语（Collective Communications）**进行数据交互：

基础原语： 包括广播（Broadcast）、收集（Gather）、分散（Scatter）以及规约（Reduce）。
核心同步机制： 全规约（All-Reduce）。它确保了所有 GPU 在反向传播后能够获得一致的梯度总和。

从底层实现来看，最优的 All-Reduce 操作通常被分解为两个连续步骤：Reduce-Scatter（规约-分散） 与 All-Gather（全收集）。理解这种分解机制是掌握高级状态切分策略（如 ZeRO 和 FSDP）的技术基石。