分布式技术
DataParallelism数据并行
TensorParallelism张量并行
PipelineParallelism流水并行
SequenceParallelism序列并行
ZeroOptimizer零冗余优化器
Checkpoint-Activations重计算
Triangle倒三角
Fold3D与FoldX
父主题：
AscendSpeed