mindieservice_backend_connector

命令功能

运行多卡模型时,每张卡上会有一个对应的Rank进程去执行对应的模型分片,该执行文件负责启动Rank进程及Rank进程与主进程通信。

命令格式

该执行文件由主程序调用,不允许手动调用。

./mindieservice_backend_connector Rank World_Size Npu_Device_Id Model_Instance_Type Deploy_Type Executor_Type Parent_Pid Shared_Memory_Name Log_Error Log_Warning Log_Info Log_Verbose Log_File

参数说明

参数

说明

Rank

当前Rank号。

World_Size

多卡模型张量并行数。

Npu_Device_Id

当前进程使用的npu device Id。

Model_Instance_Type

大模型类型,目前为Standard。

Deploy_Type

部署类型,目前为INTER_PROCESS。

Executor_Type

执行类型,目前为LLM_EXECUTOR_PYTHON。

Parent_Pid

父进程Id。

Shared_Memory_Name

共享内存名称。

Log_Error

是否启用Error级别的日志。

Log_Warning

是否启用Warning级别的日志。

Log_Info

是否启用Info级别的日志。

Log_Verbose

是否启用Verbose级别的日志。

Log_File

日志文件路径。