下载
中文
注册

配置环境变量

AOE调优前,请先使用export命令在当前终端下配置环境变量。该方式在关闭Shell终端后失效。

  • 必选环境变量
    1. 请以运行用户在开发环境执行如下命令配置AOE工具所需的环境变量。${install_path}为CANN软件的安装目录,${arch}为当前操作系统的架构,请根据实际情况配置。
      export LD_LIBRARY_PATH=${install_path}/latest/tools/ncs/lib64/:${install_path}/latest/${arch}-linux/devlib/:$LD_LIBRARY_PATH

      您也可以将以上命令写入~/.bashrc文件中,然后执行source ~/.bashrc命令使其立即生效。

    2. CANN软件基础环境变量

      CANN组合包提供进程级环境变量设置脚本,供用户在进程中引用,以自动完成环境变量设置。执行命令参考如下,以下示例均为root或非root用户默认安装路径,请以实际安装路径为准。

      # 以root用户安装toolkit包
      . /usr/local/Ascend/ascend-toolkit/set_env.sh 
      # 以非root用户安装toolkit包
      . ${HOME}/Ascend/ascend-toolkit/set_env.sh 
    3. AOE工具依赖Python,以Python3.7.5为例,请以运行用户在开发环境执行如下命令设置Python3.7.5的相关环境变量。
      #用于设置python3.7.5库文件路径
      export LD_LIBRARY_PATH=/usr/local/python3.7.5/lib:$LD_LIBRARY_PATH
      #如果用户环境存在多个python3版本,则指定使用python3.7.5版本
      export PATH=/usr/local/python3.7.5/bin:$PATH

      Python3.7.5安装路径请根据实际情况进行替换,您也可以将以上命令写入~/.bashrc文件中,然后执行source ~/.bashrc命令使其立即生效。

  • 可选环境变量:在开发环境配置aoe调优环境变量,示例如下。
    export TUNE_BANK_PATH=/home/HwHiAiUser/custom_tune_bank
    export TE_PARALLEL_COMPILER=8
    export REPEAT_TUNE=False
表1 环境变量说明

环境变量

说明

TUNE_BANK_PATH

可通过此环境变量指定调优后自定义知识库的存储路径。

设置的存储路径必须为绝对路径或相对于执行AOE调优引擎所在路径的相对路径,配置的路径需要为已存在的目录,且执行用户具有读、写、可执行权限。若配置的TUNE_BANK_PATH路径不存在或用户无权限,则调优进程会报错并退出。

自定义知识库存放路径的优先级为:TUNE_BANK_PATH>ASCEND_CACHE_PATH>默认,TUNE_BANK_PATH和ASCEND_CACHE_PATH详细信息请参考环境变量参考
  • 子图自定义知识库
    • 若不配置此环境变量,请使用env命令查询ASCEND_CACHE_PATH是否存在,若存在,自定义知识库存储在:${ASCEND_CACHE_PATH}/aoe_data;若不存在,自定义知识库默认存储在:${HOME}/Ascend/latest/data/aoe/custom/graph/${soc_version}。
    • 若配置了此环境变量,自定义知识库存储在该环境变量路径下。
  • 算子自定义知识库
    • 若不配置此环境变量,请使用env命令查询ASCEND_CACHE_PATH是否存在,若存在,自定义知识库存储在:${ASCEND_CACHE_PATH}/aoe_data/${soc_version};若不存在,自定义知识库默认存储在:${HOME}/Ascend/latest/data/aoe/custom/op/${soc_version}。
    • 若配置此环境变量,则调优后的最优策略存储在配置路径的${soc_version}。
说明:

在多用户共享知识库场景下,共享知识库的用户需要设置TUNE_BANK_PATH为同一路径,并且对配置的路径具有读、写权限。

若调优时自定义了知识库路径,后续进行模型转换时,若想直接使用自定义知识库,也需要配置此环境变量。

TE_PARALLEL_COMPILER

算子编译所需环境变量。

网络模型较大时,可通过配置此环境变量,开启算子的并行编译功能。

TE_PARALLEL_COMPILER的值代表算子编译进程数(配置为整数),当取值大于1时开启算子的并行编译功能。开启AOE调优场景下:配置不能超过CPU核数*80%/昇腾AI处理器的个数,取值范围:1~32,默认值为8。

由于该环境变量能够加速算子编译,所以可以加快涉及算子编译的相关流程调优。

REPEAT_TUNE

是否重新发起调优,此环境变量在开启子图调优或算子调优的场景下生效。

如果知识库(内置或者自定义)中已经存在网络模型中的调优case(针对某shape的调优策略),则会跳过此case的调优流程,若想重新发起调优,可设置此环境变量为True。例如某些算子进行了逻辑的变更,如GEMM算子新增了支持ND的输入,该情况下需要设置此环境变量后,重新发起调优。

取值范围:True或者False,默认值为False。

用户可将设置环境变量的命令写入自定义脚本,方便后续执行。