运行多卡模型时,每张卡上会有一个对应的Rank进程去执行对应的模型分片,该执行文件负责启动Rank进程及Rank进程与主进程通信。
该执行文件由主程序调用,不允许手动调用。
./mindieservice_backend_connector Rank World_Size Npu_Device_Id Model_Instance_Type Deploy_Type Executor_Type Parent_Pid Shared_Memory_Name Log_Error Log_Warning Log_Info Log_Verbose Log_File
参数 |
说明 |
---|---|
Rank |
当前Rank号。 |
World_Size |
多卡模型张量并行数。 |
Npu_Device_Id |
当前进程使用的npu device Id。 |
Model_Instance_Type |
大模型类型,目前为Standard。 |
Deploy_Type |
部署类型,目前为INTER_PROCESS。 |
Executor_Type |
执行类型,目前为LLM_EXECUTOR_PYTHON。 |
Parent_Pid |
父进程Id。 |
Shared_Memory_Name |
共享内存名称。 |
Log_Error |
是否启用Error级别的日志。 |
Log_Warning |
是否启用Warning级别的日志。 |
Log_Info |
是否启用Info级别的日志。 |
Log_Verbose |
是否启用Verbose级别的日志。 |
Log_File |
日志文件路径。 |