参数名称 |
参数说明 |
取值范围 |
缺省值 |
|---|---|---|---|
MIES_INSTALL_PATH |
MindIE Server的安装路径。 |
路径参数。 |
/usr/local/Ascend/mindie/latest/mindie-service |
MIES_CONFIG_JSON_PATH |
config.json文件的路径。 如果该环境变量存在，则读取该值； 如果不存在，则读取${MIES_INSTALL_PATH}/conf/config.json文件。 |
路径参数。 |
NA |
MIES_CONTAINER_IP |
容器IP地址，容器部署时配置。 EndPoint提供的业务面RESTful接口绑定的IP地址和多机推理场景GRPC通信采用的IP地址。多机推理时需要设置该环境变量。 |
IPv4地址。 |
NA |
MIES_CONTAINER_MANAGEMENT_IP |
EndPoint提供的管理面RESTful接口绑定的IP地址。 |
IPv4地址。 |
NA |
MIES_SERVICE_MONITOR_MODE |
推理服务化的在线指标监控开关。 |
|
0 |
MIES_MEMORY_DETECTOR_MODE |
内存状态打点使能开关。 |
|
0 |
MIES_PROFILER_MODE |
性能状态打点使能开关。 |
|
0 |
HOST_IP |
宿主机IP地址，宿主机部署时配置，当前商用仅支持容器场景，不建议设置。 |
IPv4地址。 |
NA |
LD_LIBRARY_PATH |
lib所在的路径。 |
路径参数。 |
${MIES_INSTALL_PATH}/lib:${LD_LIBRARY_PATH} |
RANKTABLEFILE |
ranktable json文件的绝对路径。
|
路径参数。 |
NA |
ATB_OPERATION_EXECUTE_ASYNC |
算子setup和execute异步执行开关。 |
|
1 |
ASCEND_SLOG_PRINT_TO_STDOUT |
CANNDEV日志打印控制开关。 |
|
0 |
ASCEND_GLOBAL_LOG_LEVEL |
CANNDEV日志级别。 |
|
3 |
ASCEND_GLOBAL_EVENT_ENABLE |
设置应用类日志是否开启Event日志。 |
|
0 |
TASK_QUEUE_ENABLE |
推理使能多stream。 |
|
1 |
HCCL_BUFFSIZE |
控制两个NPU之间共享数据的缓存区大小。 |
大于或等于1，单位：MB。 |
120 |
ASDOPS_LOG_TO_FILE |
算子库日志是否输出到文件。 |
|
0 |
ASDOPS_LOG_TO_STDOUT |
算子库日志打印控制开关。 |
|
0 |
ASDOPS_LOG_LEVEL |
算子库日志级别。 |
|
ERROR |
ASDOPS_LOG_TO_FILE_FLUSH |
是否刷新日志写文件。 |
|
0 |
ATB_LOG_TO_FILE |
加速库环境变量，加速库（ATB Models）日志是否输出到文件。 |
|
0 |
ATB_LOG_TO_STDOUT |
加速库环境变量，加速库（ATB Models）日志打印控制开关。 |
|
0 |
ATB_LOG_LEVEL |
加速库环境变量，加速库（ATB Models）日志级别。 |
|
ERROR |
ATB_LOG_TO_FILE_FLUSH |
日志写文件是否刷新。 |
|
0 |
EP_OPENSSL_PATH |
EndPoint开启HTTPS认证后，通过该环境变量来指定openssl加载运行时so文件。该环境变量在EndPoint模块启动时自动设置，不需要用户手动设置。 |
路径参数。 |
${MIES_INSTALL_PATH}/lib |
HSECEASY_PATH |
EndPoint开启HTTPS认证后，使用HSECEASY工具对秘钥口令进行加密。该环境变量指定HSECEASY加载运行时so文件路径。 |
路径参数。 |
${MIES_INSTALL_PATH}/lib |
OCK_LOG_LEVEL |
后处理环境变量。 |
|
ERROR |
OCK_LOG_TO_STDOUT |
后处理环境变量，加速库日志打印控制开关。 |
|
0 |
MIES_CERTS_LOG_TO_FILE |
证书管理工具环境变量，日志是否输出到文件。 |
|
0 |
MIES_CERTS_LOG_TO_STDOUT |
证书管理工具环境变量，日志打印控制开关。 |
|
1 |
MIES_CERTS_LOG_LEVEL |
证书管理工具环境变量，日志级别。 |
|
INFO |
MIES_CERTS_LOG_PATH |
证书管理工具环境变量，日志路径。 |
路径参数。 |
/workspace/log/certs.log |
MINDIE_LLM_LOG_TO_FILE |
MindIE LLM日志是否打印到文件 |
0：不打印 1：打印，默认输出路径为“~/atb/log” |
1 |
MINDIE_LLM_LOG_TO_STDOUT |
MindIE LLM日志是否打印到标准输出 |
0：不打印 1：打印 |
0 |
MINDIE_LLM_CONTINUOUS_BATCHING |
是否支持batch内结束请求退出，未结束请求继续推理。建议开启。 |
|
1 |
MINDIE_LOG_TO_STDOUT |
MindIE Service日志是否打印到标准输出。 |
|
0 |
DYNAMIC_AVERAGE_WINDOW_SIZE |
/metrics-json接口中，动态统计指标平均值的动态窗口大小。 |
正数 |
1000 |
MIES_SERVICE_MONITOR_MODE |
是否开启推理服务化的在线监控指标，开启时才可以正常请求/metrics接口。 |
|
0 |
PD_MODE |
PD分离模式。 |
|
0 |
MINDIE_LOG_TO_FILE |
MindIE Service日志是否打印到文件。 |
|
1 |
MINDIE_LLM_RECOMPUTE_THRESHOLD |
触发重计算的阈值，阈值越大越不容易触发重计算。 |
[0, 1) |
0.5 |
MINDIE_LLM_FRAMEWORK_BACKEND |
模型框架类型。 |
|
ATB |
LOCAL_DEVICE_PORT |
所有device监听的端口。 |
1024~65535 |
1234 |
MINDIE_LLM_PYTHON_LOG_MAXSIZE |
日志最大大小。 |
正数 |
1073741824 |
MINDIE_LLM_PYTHON_LOG_MAXNUM |
日志最大数量。 |
正数 |
10 |
LOCAL_IMAGE_CACHE_DIR |
收到多模态请求后，通过该环境变量来指定图片的暂存路径。 |
路径参数。 |
${MIES_INSTALL_PATH}/bin/cache |
参数名称 |
参数说明 |
取值范围 |
缺省值 |
|---|---|---|---|
CONFIG_PATH |
MindIE Benchmark接口路径参数。 MindIE Server的安装路径。 |
- |
$MIES_INSTALL_PATH |
MIES_PYTHON_BENCHMARK_PATH |
Python接口路径参数。 MindIE Server的安装路径。 |
- |
$MIES_INSTALL_PATH |
参数名称 |
参数说明 |
取值范围 |
缺省值 |
|---|---|---|---|
MINDIEMS_LOG_LEVEL |
用户可动态设置MindIE MS客户端输出的日志等级。 |
|
默认值为空，设置为表4中log_level参数的日志等级。 |
HOME |
用户动态设置MindIE MS客户端msctl.json配置文件的路径。 |
存在可读取的{$HOME}/.mindie_ms/msctl.json文件，详情请参考表1。 |
|
MINDIE_MS_SERVER_IP |
MindIE MS服务端容器化部署时容器的Pod IP地址。 |
取值必须为部署的容器IP，需与3.a样例中"- name: MINDIE_MS_SERVER_IP"部分的格式保持一致。 |
默认为MindIE MS服务端容器化部署时容器Pod IP的地址。 |