--shard_model_dir

功能说明

指定切片模型文件所在路径。

该参数适用于原始大模型已经面向分布式推理环境切片分好，且切片模型内含通信算子的场景。

关联参数

该参数只有--distributed_cluster_build开启大模型分布式编译后才生效，且必须与--model_relation_config参数同时使用，通过relation表达多个切片模型之间的数据关联和分布式通信组关系。
模型中包含通信算子场景，--cluster_config必填。

参数取值

参数值：切片模型所在路径和文件名。

参数值格式：路径和文件名：支持大小写字母（a-z，A-Z）、数字（0-9）、下划线（_）、短横线（-）、句点（.）、中文汉字。

示例

atc --distributed_cluster_build=1 --cluster_config=../numa_config_4p.json --output=1_increase_4p --framework=1 --log=debug --shard_model_dir=../1_air --model_relation_config=./model_relation_config.json --soc_version=<soc_version>

支持的型号

Atlas 推理系列产品

Atlas 训练系列产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

依赖约束

无。

父主题： 输入选项