配置说明

MINDIE_INFER_MODE

PD分离

推理模式，表示是否PD分离。

• standard：PD混部；
• dmi：PD分离。

MINDIE_DECODE_BATCH_SIZE

公共变量

最大Decode的batch大小。

取值范围：[1, 5000]

MINDIE_PREFILL_BATCH_SIZE

公共变量

最大Prefill的batch大小。

取值范围：[1, MINDIE_DECODE_BATCH_SIZE - 1]

MINDIE_MAX_SEQ_LEN

公共变量

最大序列长度。

整型数字，取值范围：(0, 4294967295]

MINDIE_MAX_ITER_TIMES

公共变量

最大输出长度。

整型数字，取值范围：[1, MINDIE_MAX_SEQ_LEN-1]

MINDIE_MODEL_NAME

公共变量

模型名。

MINDIE_MODEL_WEIGHT_PATH

公共变量

模型权重文件路径。

MINDIE_ENDPOINT_HTTPS_ENABLED

公共变量

是否在Prefill/Decode实例上启用HTTPS。

• true：启用；
• false：禁用。

MINDIE_INTER_COMM_TLS_ENABLED

公共变量

推理实例间通信开启TLS。

• true：启用；
• false：禁用。

MINDIE_LOG_TO_FILE

公共变量

日志是否打印到文件，默认值为1。

• 0：不打印到文件；
• 1：打印到文件。

MINDIE_LOG_TO_STDOUT

公共变量

日志是否打印到标准输出，默认值为0。

• 0：不打印到标准输出；
• 1：打印到标准输出。

MINDIE_MS_CONTROLLER_CONFIG_FILE_PATH

公共变量

MindIE MS Controller组件配置文件路径。

MINDIE_MS_COORDINATOR_CONFIG_FILE_PATH

公共变量

MindIE MS Coordinator组件配置文件路径。

ms_controller.json

deploy_mode

pd_separate：表示PD分离模式。详情请参见配置说明。

ms_coordinator.json

deploy_mode

pd_separate：表示PD分离模式；详情请参见配置说明。