前期准备

遵循软件安装和模型迁移的指导，完成软件安装和模型迁移。

将MindSpeed目录下的tests_extend文件夹复制到Megatron-LM目录下。

# {PATH_TO_MEGATRON_LM}: the root path of `Megatron-LM`
cp -r MindSpeed/tests_extend {PATH_TO_MEGATRON_LM}

操作步骤

进入Megatron-LM目录，执行tests_extend/system_tests/pretrain_llama.sh脚本。

cd {PATH_TO_MEGATRON_LM}
bash tests_extend/system_tests/pretrain_llama.sh

上述脚本pretrain_llama.sh，包括但不限于以下并行与优化特性：

--tensor-model-parallel-size              # 张量并行
--pipeline-model-parallel-size            # 流水线并行
--num-layers-per-virtual-pipeline-stage 2 # 每个虚拟流水线阶段的层数为2
--sequence-parallel                       # 序列并行

特性使用案例之稠密模型

前期准备

操作步骤