文档HOT
下载
中文
注册

环境变量

  • MindIE Server的环境变量如下所示：

    参数名称

    参数说明

    取值范围

    缺省值

    MIES_INSTALL_PATH

    MindIE Server的安装路径。

    路径参数。

    /usr/local/Ascend/mindie/latest/mindie-service

    MIES_CONFIG_JSON_PATH

    config.json文件的路径。

    如果该环境变量存在，则读取该值；

    如果不存在，则读取${MIES_INSTALL_PATH}/conf/config.json文件。

    路径参数。

    NA

    MIES_CONTAINER_IP

    容器IP地址，容器部署时配置。

    EndPoint提供的业务面RESTful接口绑定的IP地址和多机推理场景GRPC通信采用的IP地址。多机推理时需要设置该环境变量。

    IPv4地址。

    NA

    MIES_CONTAINER_MANAGEMENT_IP

    EndPoint提供的管理面RESTful接口绑定的IP地址。

    IPv4地址。

    NA

    MIES_SERVICE_MONITOR_MODE

    推理服务化的在线指标监控开关。
    • 0：关闭
    • 1：开启

    0

    MIES_MEMORY_DETECTOR_MODE

    内存状态打点使能开关。
    • 0：关闭
    • 1：开启

    0

    MIES_PROFILER_MODE

    性能状态打点使能开关。
    • 0：关闭
    • 1：开启

    0

    HOST_IP

    宿主机IP地址，宿主机部署时配置，当前商用仅支持容器场景，不建议设置。

    IPv4地址。

    NA

    LD_LIBRARY_PATH

    lib所在的路径。

    路径参数。

    ${MIES_INSTALL_PATH}/lib:${LD_LIBRARY_PATH}

    RANKTABLEFILE

    ranktable json文件的绝对路径。

    • 多机推理必须配置。
    • 单机推理建议取消该环境变量（取消命令：unset RANKTABLEFILE）。如果设置该环境变量，文件内容必须正确有效（节点IP地址和device_ip必须正确），否则会导致模型初始化失败。

    路径参数。

    NA

    ATB_OPERATION_EXECUTE_ASYNC

    算子setup和execute异步执行开关。
    • 0：关闭
    • 1：开启

    1

    ASCEND_SLOG_PRINT_TO_STDOUT

    CANNDEV日志打印控制开关。
    • 1：打屏。
    • 0：写入到“~/ascend”目录。

    0

    ASCEND_GLOBAL_LOG_LEVEL

    CANNDEV日志级别。
    • 0：debug
    • 1：info
    • 2：warn
    • 3：error

    3

    ASCEND_GLOBAL_EVENT_ENABLE

    设置应用类日志是否开启Event日志。
    • 0：关闭Event日志。
    • 1：开启Event日志。

    0

    TASK_QUEUE_ENABLE

    推理使能多stream。
    • 0：表示推理使能单stream。
    • 1：表示推理使能多stream。

    1

    HCCL_BUFFSIZE

    控制两个NPU之间共享数据的缓存区大小。

    大于或等于1，单位：MB。

    120

    ASDOPS_LOG_TO_FILE

    算子库日志是否输出到文件。
    • 0：输出到文件，默认输出路径为“~/atb/log”。
    • 1：不输出。

    0

    ASDOPS_LOG_TO_STDOUT

    算子库日志打印控制开关。
    • 0：不打印日志。
    • 1：打印日志。

    0

    ASDOPS_LOG_LEVEL

    算子库日志级别。
    • FATAL
    • ERROR
    • WARN
    • INFO
    • DEBUG

    ERROR

    ASDOPS_LOG_TO_FILE_FLUSH

    是否刷新日志写文件。
    • 0：关闭
    • 1：开启

    0

    ATB_LOG_TO_FILE

    加速库环境变量，加速库（ATB Models）日志是否输出到文件。
    • 0：输出到文件，默认输出路径为“~/atb/log”。
    • 1：不输出。

    0

    ATB_LOG_TO_STDOUT

    加速库环境变量，加速库（ATB Models）日志打印控制开关。
    • 0：不打印日志。
    • 1：打印日志。

    0

    ATB_LOG_LEVEL

    加速库环境变量，加速库（ATB Models）日志级别。
    • TRACE
    • DEBUG
    • INFO
    • WARN
    • ERROR
    • FATAL

    ERROR

    ATB_LOG_TO_FILE_FLUSH

    日志写文件是否刷新。
    • 0：关闭
    • 1：开启

    0

    EP_OPENSSL_PATH

    EndPoint开启HTTPS认证后，通过该环境变量来指定openssl加载运行时so文件。该环境变量在EndPoint模块启动时自动设置，不需要用户手动设置。

    路径参数。

    ${MIES_INSTALL_PATH}/lib

    HSECEASY_PATH

    EndPoint开启HTTPS认证后，使用HSECEASY工具对秘钥口令进行加密。该环境变量指定HSECEASY加载运行时so文件路径。

    路径参数。

    ${MIES_INSTALL_PATH}/lib

    OCK_LOG_LEVEL

    后处理环境变量。
    • TRACE
    • DEBUG
    • INFO
    • WARN
    • ERROR
    • FATAL

    ERROR

    OCK_LOG_TO_STDOUT

    后处理环境变量，加速库日志打印控制开关。
    • 0：不打印日志。
    • 1：打印日志。

    0

    MIES_CERTS_LOG_TO_FILE

    证书管理工具环境变量，日志是否输出到文件。
    • 0：输出到文件。
    • 1：不输出。

    0

    MIES_CERTS_LOG_TO_STDOUT

    证书管理工具环境变量，日志打印控制开关。
    • 0：不打印日志。
    • 1：打印日志。

    1

    MIES_CERTS_LOG_LEVEL

    证书管理工具环境变量，日志级别。
    • DEBUG
    • INFO
    • WARNING
    • ERROR
    • FATAL

    INFO

    MIES_CERTS_LOG_PATH

    证书管理工具环境变量，日志路径。

    路径参数。

    /workspace/log/certs.log

    MINDIE_LLM_LOG_TO_FILE

    MindIE LLM日志是否打印到文件

    0：不打印

    1：打印，默认输出路径为“~/atb/log”

    1

    MINDIE_LLM_LOG_TO_STDOUT

    MindIE LLM日志是否打印到标准输出

    0：不打印

    1：打印

    0

    MINDIE_LLM_CONTINUOUS_BATCHING

    是否支持batch内结束请求退出，未结束请求继续推理。建议开启。
    • 0：关闭
    • 1：开启

    1

    MINDIE_LOG_TO_STDOUT

    MindIE Service日志是否打印到标准输出。
    • 0：不打印
    • 1：打印

    0

    DYNAMIC_AVERAGE_WINDOW_SIZE

    /metrics-json接口中，动态统计指标平均值的动态窗口大小。

    正数

    1000

    MIES_SERVICE_MONITOR_MODE

    是否开启推理服务化的在线监控指标，开启时才可以正常请求/metrics接口。
    • 0：关闭
    • 1：开启

    0

    PD_MODE

    PD分离模式。
    • 0：OFF_SWITCH，关闭PD切换模式。
    • 1：REQ_LEVEL_SWITCH，P节点请求级别PD切换模式。
    • 2：ITER_LEVEL_SWITCH，迭代级别PD切换，从decode队列预取sequence到publish队列。
    • 3：NON_SPLITWISE，标准推理Prefill。

    0

    MINDIE_LOG_TO_FILE

    MindIE Service日志是否打印到文件。
    • 0：不打印
    • 1：打印

    1

    MINDIE_LLM_RECOMPUTE_THRESHOLD

    触发重计算的阈值，阈值越大越不容易触发重计算。

    [0, 1)

    0.5

    MINDIE_LLM_FRAMEWORK_BACKEND

    模型框架类型。
    • ATB：推理引擎后端为加速库。
    • MS：推理引擎后端为MindSpore。

    ATB

    LOCAL_DEVICE_PORT

    所有device监听的端口。

    1024~65535

    1234

    MINDIE_LLM_PYTHON_LOG_MAXSIZE

    日志最大大小。

    正数

    1073741824

    MINDIE_LLM_PYTHON_LOG_MAXNUM

    日志最大数量。

    正数

    10

    LOCAL_IMAGE_CACHE_DIR

    收到多模态请求后，通过该环境变量来指定图片的暂存路径。

    路径参数。

    ${MIES_INSTALL_PATH}/bin/cache
  • MindIE Benchmark的环境变量如下所示：

    参数名称

    参数说明

    取值范围

    缺省值

    CONFIG_PATH

    MindIE Benchmark接口路径参数。

    MindIE Server的安装路径。

    -

    $MIES_INSTALL_PATH

    MIES_PYTHON_BENCHMARK_PATH

    Python接口路径参数。

    MindIE Server的安装路径。

    -

    $MIES_INSTALL_PATH
  • MindIE MS的环境变量如下所示：

    参数名称

    参数说明

    取值范围

    缺省值

    MINDIEMS_LOG_LEVEL

    用户可动态设置MindIE MS客户端输出的日志等级。
    • DEBUG
    • INFO
    • WARNING
    • ERROR
    • CRITICAL

    默认值为空，设置为表4中log_level参数的日志等级。

    HOME

    用户动态设置MindIE MS客户端msctl.json配置文件的路径。

    存在可读取的{$HOME}/.mindie_ms/msctl.json文件，详情请参考表1。
    • root用户：默认值为/root。
    • 非root用户：默认值为/{$HOME}/{非root用户名}。

    MINDIE_MS_SERVER_IP

    MindIE MS服务端容器化部署时容器的Pod IP地址。

    取值必须为部署的容器IP，需与3.a样例中"- name: MINDIE_MS_SERVER_IP"部分的格式保持一致。

    默认为MindIE MS服务端容器化部署时容器Pod IP的地址。
父主题： 附录