环境变量配置
在开始训练前,需要先配置训练相关环境变量,用于配置昇腾NPU上的PyTorch训练环境,一般使用shell脚本配置,具体配置步骤与示例如下:
- 配置环境变量shell脚本,示例如下。
#!/bin/bash CANN_INSTALL_PATH_CONF='/etc/Ascend/ascend_cann_install.info' if [ -f $CANN_INSTALL_PATH_CONF ]; then CANN_INSTALL_PATH=$(cat $CANN_INSTALL_PATH_CONF | grep Install_Path | cut -d "=" -f 2) else CANN_INSTALL_PATH="/usr/local/Ascend" fi if [ -d ${CANN_INSTALL_PATH}/ascend-toolkit/latest ]; then source ${CANN_INSTALL_PATH}/ascend-toolkit/set_env.sh else source ${CANN_INSTALL_PATH}/nnae/set_env.sh fi #设置device侧日志登记为error msnpureport -g error -d 0 msnpureport -g error -d 1 msnpureport -g error -d 2 msnpureport -g error -d 3 msnpureport -g error -d 4 msnpureport -g error -d 5 msnpureport -g error -d 6 msnpureport -g error -d 7 #关闭Device侧Event日志 msnpureport -e disable #将Host日志输出到串口,0-关闭/1-开启 export ASCEND_SLOG_PRINT_TO_STDOUT=0 #设置默认日志级别,0-debug/1-info/2-warning/3-error export ASCEND_GLOBAL_LOG_LEVEL=3 #设置Event日志开启标志,0-关闭/1-开启 export ASCEND_GLOBAL_EVENT_ENABLE=0 #设置是否开启taskque,0-关闭/1-开启/2-二级流水优化后的taskqueue export TASK_QUEUE_ENABLE=1 #设置是否开启PTCopy,0-关闭/1-开启 export PTCOPY_ENABLE=1 #设置特殊场景是否需要重新编译,不需要修改 export DYNAMIC_OP="ADD#MUL" #HCCL白名单开关,1-关闭/0-开启 export HCCL_WHITELIST_DISABLE=1 export HCCL_IF_IP=$(hostname -I |awk '{print $1}')
- 在拉起训练前,执行1配置的环境变量脚本。
source env.sh # env.sh为环境变量名称,用户可根据实际情况进行修改
父主题: 环境变量和脚本配置