理解 FSDP 的 Intra-Tensor 分片与 All-Gather/Reduce-Scatter 通信模式
配套代码
👨🍳
我们正在为您精心准备高质量内容，敬请期待！
ZeRO 优化器
渐进式去冗余，从优化器状态到参数的三级分片
张量并行
Column Parallel 和 Row Parallel 的对称设计