配置环境变量

通过配置文件设置资源信息的具体示例请参考启动模型训练。

mxRec环境变量的说明如表1所示。

表1 环境变量
环境变量名	含义	可选/必选	说明
MXREC_LOG_LEVEL	框架日志等级。	可选	“INFO”、“DEBUG”或者“ERROR”，默认值为“INFO”。
TF_DEVICE	是否进行合表判断。	可选	取值范围："NPU"、"GPU"、"CPU"、“NONE”，默认为“NONE”。当取值为"GPU"、"CPU"、“NONE”时，不进行合表判断。当取值为"NPU"时，进行合表判断。
APPLY_GRADIENTS_STRATEGY	计算梯度采用参数更新的策略。	可选	取值范围：“direct_apply”或“sum_same_id_gradients_and_apply”，默认值为“direct_apply”。 “direct_apply”：表示直接更新梯度，“sum_same_id_gradients_and_apply”：表示相同ID求和的方式更新梯度。
AclTimeout	Acl超时时间。	可选	取值范围：-1~int32的最大值“2147483647”，默认值“-1”。
HD_CHANNEL_SIZE	CPU处理的数据通道深度。	可选	取值范围：[2, 8192]，默认为40。
KEY_PROCESS_THREAD_NUM	KEY_PROCESS线程数量。	可选	取值范围：[1, 10]，默认值为6。
MAX_UNIQUE_THREAD_NUM	最大UNIQUE线程数。	可选	取值范围：[1, 8]，默认值为8。
FAST_UNIQUE	是否自实现的优化去重编码算法。	可选	“0”表示不生效，“1”表示生效，默认值不生效。
UpdateEmb_V2	是否更新V2版本中Embedding的标识。	可选	取值范围：“0”或者“1”，默认值为“0”。 0：表示UpdateEmb同步更新。 1：表示UpdateEmb_V2异步更新。
HOT_EMB_UPDATE_STEP	Hot Embedding更新步数。	可选	取值范围：[1, 1000]，默认值为1000。
GLOG_stderrthreshold	glog日志等级。	可选	取值范围：[-2, 2]，默认值为"0" -2：表示TRACE -1：表示DEBUG 0：表示INFO 1：表示WARNING 2：表示ERROR
USE_COMBINE_FAAE	控制是否合表统计次数。	可选	取值范围：“0”或者“1”，默认值“0”。如果“USE_COMBINE_FAAE”=“0”，表示分表统计，每张表key的count记录是独立的；如果“USE_COMBINE_FAAE”=“1”，表示合表统计，多张表维护一个count记录。
STAT_ON	是否开启统计维测信息。	可选	取值范围：“0”或者“1”，默认值为“0”。 0：表示不开启统计维测信息功能 1：表示开启统计维测信息功能
RANK_TABLE_FILE	用于配置昇腾芯片的通信集合文件。	可选	集合通信文件路径，默认为""。当使用rank table方案时为必选。
ASCEND_VISIBLE_DEVICES	昇腾处理器可见的设备，来指定程序只使用其中的部分设备。	必选	使用ASCEND_VISIBLE_DEVICES环境变量指定训练中的NPU设备（用户可执行ls /dev/ \| grep davinci*命令查询宿主机的NPU设备），使用设备序号指定设备，支持单个和范围指定且支持混用。例如： ASCEND_VISIBLE_DEVICES=0 表示将0号设备（/dev/davinci0）挂载入容器中。 ASCEND_VISIBLE_DEVICES=1,3 表示将1、3号设备挂载入容器中。 ASCEND_VISIBLE_DEVICES=0-2 表示将0号至2号设备（包含0号和2号）挂载入容器中，效果同 ASCEND_VISIBLE_DEVICES=0,1,2。 ASCEND_VISIBLE_DEVICES=0-2,4 表示将0号至2号以及4号设备挂载入容器，效果同 ASCEND_VISIBLE_DEVICES=0,1,2,4。
RECORD_KEY_COUNT	控制是否记录key及key出现的数量count的开关。	可选	取值范围：“0”或者“1”，默认值为“0”。 0：表示不开启记录key及count信息。 1：表示开启记录key及count信息。
CM_CHIEF_DEVICE	主节点Device ID。	可选	默认为“0”，取值范围0～15。
CM_WORKER_SIZE	参与集群训练的Device数量。	可选	取值范围：{1, 2, 4, 8, 16}。

父主题： 安装部署