环境变量
- MindIE Server的环境变量如下所示：
参数名称
参数说明
取值范围
缺省值
MIES_INSTALL_PATH
MindIE Server的安装路径。
路径参数。
/usr/local/Ascend/mindie/latest/mindie-service
MIES_CONFIG_JSON_PATH
config.json文件的路径。
如果该环境变量存在，则读取该值；
如果不存在，则读取${MIES_INSTALL_PATH}/conf/config.json文件。
路径参数。
NA
MIES_CONTAINER_IP
容器IP地址，容器部署时配置。
EndPoint提供的业务面RESTful接口绑定的IP地址和多机推理场景GRPC通信采用的IP地址。多机推理时需要设置该环境变量。
IPv4地址。
NA
MIES_CONTAINER_MANAGEMENT_IP
EndPoint提供的管理面RESTful接口绑定的IP地址。
IPv4地址。
NA
MIES_SERVICE_MONITOR_MODE
推理服务化的在线指标监控开关。
- 0：关闭
- 1：开启
0
MIES_MEMORY_DETECTOR_MODE
内存状态打点使能开关。
- 0：关闭
- 1：开启
0
MIES_PROFILER_MODE
性能状态打点使能开关。
- 0：关闭
- 1：开启
0
HOST_IP
宿主机IP地址，宿主机部署时配置，当前商用仅支持容器场景，不建议设置。
IPv4地址。
NA
LD_LIBRARY_PATH
lib所在的路径。
路径参数。
${MIES_INSTALL_PATH}/lib:${LD_LIBRARY_PATH}
RANKTABLEFILE
ranktable json文件的绝对路径。
- 多机推理必须配置。
- 单机推理建议取消该环境变量（取消命令：unset RANKTABLEFILE）。如果设置该环境变量，文件内容必须正确有效（节点IP地址和device_ip必须正确），否则会导致模型初始化失败。
路径参数。
NA
ATB_OPERATION_EXECUTE_ASYNC
算子setup和execute异步执行开关。
- 0：关闭
- 1：开启
1
ASCEND_SLOG_PRINT_TO_STDOUT
CANNDEV日志打印控制开关。
- 1：打屏。
- 0：写入到“~/ascend”目录。
0
ASCEND_GLOBAL_LOG_LEVEL
CANNDEV日志级别。
- 0：debug
- 1：info
- 2：warn
- 3：error
3
ASCEND_GLOBAL_EVENT_ENABLE
设置应用类日志是否开启Event日志。
- 0：关闭Event日志。
- 1：开启Event日志。
0
TASK_QUEUE_ENABLE
推理使能TASK_QUEUE机制。
- 0：表示关闭TASK_QUEUE机制（异步下发），使算子下发处理变成同步，即Host下发一个，Device处理一个。
- 1：表示开启TASK_QUEUE机制。
1
HCCL_BUFFSIZE
控制两个NPU之间共享数据的缓存区大小。
大于或等于1，单位：MB。
120
LCCL_DETERMINISTIC
LCCL通信的确定性计算。
- 0：关闭
- 1：开启
一般为1，与模型相关。
HCCL_DETERMINISTIC
HCCL通信的确定性计算。多机推理场景下建议开启。
- false：关闭
- true：开启
一般为true，与模型相关。
EP_OPENSSL_PATH
EndPoint开启HTTPS认证后，通过该环境变量来指定openssl加载运行时so文件。该环境变量在EndPoint模块启动时自动设置，不需要用户手动设置。
路径参数。
${MIES_INSTALL_PATH}/lib
HSECEASY_PATH
EndPoint开启HTTPS认证后，使用HSECEASY工具对秘钥口令进行加密。该环境变量指定HSECEASY加载运行时so文件路径。
路径参数。
${MIES_INSTALL_PATH}/lib
OCK_LOG_LEVEL
后处理环境变量。
- TRACE
- DEBUG
- INFO
- WARN
- ERROR
- FATAL
ERROR
OCK_LOG_TO_STDOUT
后处理环境变量，加速库日志打印控制开关。
- 0：关闭。
- 1：开启。
0
MIES_CERTS_LOG_TO_FILE
证书管理工具环境变量，日志是否输出到文件。
- 0：输出到文件。
- 1：不输出。
0
MIES_CERTS_LOG_TO_STDOUT
证书管理工具环境变量，日志打印控制开关。
- 0：不打印日志。
- 1：打印日志。
1
MIES_CERTS_LOG_LEVEL
证书管理工具环境变量，日志级别。
- DEBUG
- INFO
- WARNING
- ERROR
- FATAL
INFO
MIES_CERTS_LOG_PATH
证书管理工具环境变量，日志路径。
路径参数。
/workspace/log/certs.log
MINDIE_LLM_CONTINUOUS_BATCHING
是否支持batch内结束请求退出，未结束请求继续推理。建议开启。
- 0：关闭
- 1：开启
1
MINDIE_LOG_TO_STDOUT
MindIE Service日志是否打印到标准输出。
- 0：不打印
- 1：打印
0
DYNAMIC_AVERAGE_WINDOW_SIZE
/metrics-json接口中，动态统计指标平均值的动态窗口大小。
正数
1000
MIES_SERVICE_MONITOR_MODE
是否开启推理服务化的在线监控指标，开启时才可以正常请求/metrics接口。
- 0：关闭
- 1：开启
0
MINDIE_LOG_TO_FILE
MindIE Service日志是否打印到文件。
- 0：不打印
- 1：打印，默认路径为“~/mindie/log/debug”。
1
LOCAL_CACHE_DIR
收到多模态请求后，通过该环境变量来指定图片的暂存路径。
路径参数。
${MIES_INSTALL_PATH}/bin/cache
MINDIE_CHECK_INPUTFILES_PERMISSION
文件权限校验开关（不设置默认开启文件权限校验）。
0：关闭文件权限校验。
NA
TOKENIZER_ENCODE_TIMEOUT
TOKENIZER Encode截断的超时时间，单位为秒。
[5, 300]
60
- MindIE Benchmark的环境变量如下所示：
参数名称
参数说明
取值范围
缺省值
CONFIG_PATH
MindIE Benchmark接口路径参数。
MindIE Server的安装路径。
-
$MIES_INSTALL_PATH
MIES_PYTHON_BENCHMARK_PATH
Python接口路径参数。
MindIE Server的安装路径。
-
$MIES_INSTALL_PATH
- MindIE MS的环境变量如下所示：
参数名称
参数说明
取值范围
缺省值
MINDIEMS_LOG_LEVEL
用户可动态设置MindIE MS客户端输出的日志等级。
- DEBUG
- INFO
- WARNING
- ERROR
- CRITICAL
默认值为空，设置为表3中log_level参数的日志等级。
HOME
用户动态设置MindIE MS客户端msctl.json配置文件的路径。
存在可读取的{$HOME}/.mindie_ms/msctl.json文件，详情请参考表1。
- root用户：默认值为/root。
- 非root用户：默认值为/{$HOME}/{非root用户名}。
MINDIE_MS_SERVER_IP
MindIE MS服务端容器化部署时容器的Pod IP地址。
取值必须为部署的容器IP，需与3.a样例中"- name: MINDIE_MS_SERVER_IP"部分的格式保持一致。
默认为MindIE MS服务端容器化部署时容器Pod IP的地址。