Column Parallel 和 Row Parallel 的对称设计
配套代码
👨🍳
我们正在为您精心准备高质量内容，敬请期待！
全分片数据并行
理解 FSDP 的 Intra-Tensor 分片与 All-Gather/Reduce-Scatter 通信模式
流水线并行
GPipe 和 1F1B 调度策略的原理与气泡分析