环境变量

参数名称

参数说明

取值范围

缺省值

MIES_INSTALL_PATH

安装路径。

路径参数

Ascend-mindie-service_{version}_linux-{arch}

MIES_CONTINUOUS_BATCHING

是否开启CB。
  • 0：关闭CB
  • 1：开启CB

未设置环境变量时，默认开启CB。

MIES_PYTHON_LOG_TO_FILE

是否向日志文件中输出Python日志。
  • 0：关闭
  • 1：开启

0

MIES_PYTHON_LOG_TO_STDOUT

是否向控制台输出Python日志。
  • 0：关闭
  • 1：开启

0

MIES_PYTHON_LOG_LEVEL

Python日志级别。
  • FATAL
  • ERROR
  • WARNING
  • INFO
  • DEBUG

INFO

MIES_PYTHON_LOG_PATH

Python日志保存路径。

路径参数。

/workspace/log/pythonlog.log

LD_LIBRARY_PATH

lib所在的路径

路径参数

${MIES_INSTALL_PATH}/lib:$LD_LIBRARY_PATH

ASCEND_SLOG_PRINT_TO_STDOUT

CANNDEV日志打印控制开关。
  • 1：打屏
  • 0：落盘到“~/ascend”目录

0

ASCEND_GLOBAL_LOG_LEVEL

CANNDEV日志级别。
  • 0：debug
  • 1：info
  • 2：warn
  • 3：error

3

ASCEND_GLOBAL_EVENT_ENABLE

设置应用类日志是否开启Event日志。
  • 0：关闭Event日志
  • 1：开启Event日志

0

ATB_STREAM_SYNC_EVERY_KERNEL_ENABLE

每个Kernel的Execute时就做同步。
  • 0：关闭
  • 1：开启

0

ATB_STREAM_SYNC_EVERY_RUNNER_ENABLE

每个Runner的Execute时就做同步。
  • 0：关闭
  • 1：开启

0

ATB_STREAM_SYNC_EVERY_OPERATION_ENABLE

每个Operation的Execute时就做同步。
  • 0：关闭
  • 1：开启

0

ATB_OPERATION_EXECUTE_ASYNC

异步下发。
  • 0：关闭
  • 1：开启

1

TASK_QUEUE_ENABLE

推理使能多stream。
  • 0：表示推理使能单stream。
  • 1：表示推理使能多stream。

1

ATB_OPSRUNNER_KERNEL_CACHE_LOCAL_COUNT

本地缓存个数。

1~1024

8

ATB_OPSRUNNER_KERNEL_CACHE_GLOABL_COUNT

全局缓存个数。

1~1024

16

ATB_LOG_TO_FILE_FLUSH

日志写文件是否刷新。
  • 0：关闭
  • 1：开启

0

HCCL_BUFFSIZE

控制两个NPU之间共享数据的缓存区大小。

大于或等于1，单位：MB。

120

ATB_LAYER_INTERNAL_TENSOR_REUSE

控制每个layer的内部tensor复用。
  • 0：关闭
  • 1：开启

1

ASDOPS_LOG_TO_FILE

算子库日志是否输出到文件。
  • 0：输出到文件
  • 1：不输出

0

ASDOPS_LOG_TO_STDOUT

算子库日志打印控制开关。
  • 0：不打印日志
  • 1：打印日志

0

ASDOPS_LOG_LEVEL

算子库日志级别。
  • FATAL
  • WARN
  • INFO
  • DEBUG

FATAL

ASDOPS_MATMUL_PP_FLAG

算子库开启使用PPMATMUL。
  • 0：关闭
  • 1：开启

1

ASDOPS_LOG_TO_FILE_FLUSH

是否刷新日志写文件。
  • 0：关闭
  • 1：开启

0

ASDOPS_LOG_TO_BOOST_TYPE

算子库对应加速库日志类型。

-

atb

ASDOPS_TILING_PARSE_CACHE_DISABLE

算子库tilingParse禁止进行缓存优化。
  • 0：关闭
  • 1：开启

0

OCK_LOG_LEVEL

后处理环境变量。
  • TRACE
  • DEBUG
  • INFO
  • WARN
  • ERROR
  • FATAL

-

OCK_LOG_TO_STDOUT

后处理环境变量，加速库日志打印控制开关。
  • 0：不打印日志
  • 1：打印日志

0

ATB_LOG_TO_FILE

加速库环境变量，加速库日志是否输出到文件。
  • 0：输出到文件
  • 1：不输出

0

ATB_LOG_TO_STDOUT

加速库环境变量，加速库日志打印控制开关。
  • 0：不打印日志
  • 1：打印日志

0

ATB_LOG_LEVEL

加速库环境变量，加速库日志级别。
  • TRACE
  • DEBUG
  • INFO
  • WARN
  • ERROR
  • FATAL

ERROR

ATB_OPSRUNNER_SETUP_CACHE_ENABLE

加速库环境变量，是否开启SetupCache，当检查到输入和输出没有变化时，不做setup。
  • 0：关闭
  • 1：开启

1

ATB_OPSRUNNER_KERNEL_CACHE_TYPE

加速库环境变量。
  • 0：不开启
  • 1：开启本地缓存
  • 2：开启全局缓存
  • 3：同时开启本地和全局缓存

3

ATB_OPSRUNNER_KERNEL_CACHE_TILING_SIZE

加速库环境变量，tiling默认大小。

1~1073741824，单位：字节

10240

ATB_PROFILING_ENABLE

加速库环境变量，是否开启profiling工具。
  • 0：关闭
  • 1：开启

0

ATB_WORKSPACE_MEM_ALLOC_ALG_TYPE

workspace内存分配算法使用类型。
  • 0：暴力算法
  • 1：block分配算法
  • 2：有序heap算法
  • 3：引入block合并（SOMAS算法退化版）

1

ATB_WORKSPACE_MEM_ALLOC_GLOBAL

加速库环境变量，开启全局中间tensor内存分配控制开关。
  • 0：不开启
  • 1：开启全局中间tensor内存分配

0

ATB_COMPARE_TILING_EVERY_KERNEL

加速库环境变量，每个Kernel运行后，比较运行前和后的NPU上tiling内容是否变化。
  • 0：关闭
  • 1：开启

0

ATB_HOST_TILING_BUFFER_BLOCK_NUM

加速库环境变量，Context内部HostTilingBuffer块数，通常使用默认值即可。

128~1024

128

ATB_DEVICE_TILING_BUFFER_BLOCK_NUM

加速库环境变量，Context内部DeviceTilingBuffer块数，通常使用默认值即可。

32~1024

32

PYTHONDONTWRITEBYTECODE

服务启动会在bin目录下生成__pycache__目录，bin目录没有写入权限，需要关闭生成__pycache__目录。
  • 0：关闭
  • 1：开启

1

EP_OPENSSL_PATH

EndPoint开启https认证后，通过该环境变量来指定openssl加载运行时so文件。该环境变量在EndPoint模块启动时自动设置，不需要用户手动设置。

路径参数

${AIE_LLM_INSTALL_PATH}/lib

HSECEASY_PATH

EndPoint开启https认证后，使用HSECEASY工具对秘钥口令进行加密。该环境变量指定HSECEASY加载运行时so文件路径。

路径参数

${AIE_LLM_INSTALL_PATH}/lib

INFER_ENGINE_TYPE

InferEngine后端类型选择，不配置时使用默认同步接口功能后端，配置为RUNTIME_ENGINE后，使用异步接口功能后端。

RUNTIME_ENGINE：异步接口功能后端。

未设置环境变量时，默认使用同步接口功能后端。

环境变量使用样例

source /usr/local/Ascend/ascend-toolkit/set_env.sh                  # CANN
source /usr/local/Ascend/atb/set_env.sh                             # ATB
source /home/package/atb_models/set_env.sh  ## atb_models

path="${BASH_SOURCE[0]}"
mies_path=$(cd $(dirname $path); pwd )
export MIES_INSTALL_PATH=${mies_path}/latest
export LD_LIBRARY_PATH=${MIES_INSTALL_PATH}/lib:${LD_LIBRARY_PATH}
export PYTHONPATH=${MIES_INSTALL_PATH}/bin:${PYTHONPATH}
export PYTHONDONTWRITEBYTECODE=1             # 服务启动会在bin目录下生成__pycache__目录，bin目录没有写入权限，需要关闭生成__pycache__目录
export MIES_CONTINUOUS_BATCHING=1
export ATB_OPERATION_EXECUTE_ASYNC=1
export TASK_QUEUE_ENABLE=1
export HCCL_BUFFSIZE=120

# 运行时日志
export ASCEND_SLOG_PRINT_TO_STDOUT=0
export ASCEND_GLOBAL_LOG_LEVEL=3
export ASCEND_GLOBAL_EVENT_ENABLE=0

# 加速库日志
export ATB_LOG_TO_FILE=0
export ATB_LOG_TO_FILE_FLUSH=0
export ATB_LOG_TO_STDOUT=0
export ATB_LOG_LEVEL=ERROR

# 模型库日志
export ASDOPS_LOG_TO_FILE=0
export ASDOPS_LOG_TO_STDOUT=0
export ASDOPS_LOG_LEVEL=ERROR

# OCK后处理日志
export OCK_LOG_LEVEL=ERROR
export OCK_LOG_TO_STDOUT=0

# Python日志
export MIES_PYTHON_LOG_TO_FILE=0
export MIES_PYTHON_LOG_TO_STDOUT=0
export MIES_PYTHON_LOG_PATH=/workspace/log/pythonlog.log
export MIES_PYTHON_LOG_LEVEL=INFO
父主题： 附录