init
功能描述
初始化mxRec模型训练框架。
函数原型
def init(use_mpi, **kwargs)
参数说明
参数名 |
类型 |
可选/必选 |
说明 |
---|---|---|---|
use_mpi |
bool |
必选 |
是否使用MPI并行计算框架。若不使用MPI时,需配置“rank_id”及“rank_size”。 |
train_steps |
int |
可选 |
进行测试预测的训练步数,默认值为“-1”,代表将训练数据集全部训练完后进行预测。 |
eval_steps |
int |
可选 |
测试预测步数,默认值为“-1”,代表将测试数据集全部预测完后继续训练。 |
prefetch_batch_number |
int |
可选 |
nbatch功能,配置进入数据处理流程的预取数据量,默认值为“1”。 |
if_load |
bool |
可选 |
选择是否进行模型加载,默认值为“False”。 |
rank_id |
int |
可选 |
配置设备(Device)ID,“use_mpi”为“True”时为可选,“use_mpi”为“False”时为必选。 |
rank_size |
int |
可选 |
配置设备(Device)数量,“use_mpi”为“True”时为可选,“use_mpi”为“False”时为必选。 |
use_dynamic |
bool |
可选 |
是否使用动态shape功能,默认值“True”。 |
use_hot |
bool |
可选 |
是否使用hot_embedding功能,默认值“True”。 |
use_dynamic_expansion |
bool |
可选 |
是否使用动态扩容功能,默认值“False”。 |
bind_cpu |
bool |
可选 |
是否使用自动CPU绑核功能,默认值“True”。 |
当动态扩容参数为True时,请选用ByAddr类的优化器,如SGDByAddr、LazyAdamByAddress等。
使用示例
from mx_rec.util.initialize import init init(use_mpi=True, prefetch_batch_number=1)
参考资源
接口调用流程及示例,请参见模型训练。
父主题: 训练框架初始化与去初始化