--shard_model_dir
功能说明
指定切片模型文件所在路径。
该参数适用于原始大模型已经面向分布式推理环境切片分好,且切片模型内含通信算子的场景。
关联参数
- 该参数只有--distributed_cluster_build开启大模型分布式编译后才生效,且必须与--model_relation_config参数同时使用,通过relation表达多个切片模型之间的数据关联和分布式通信组关系。
- 模型中包含通信算子场景,--cluster_config必填。
参数取值
参数值:切片模型所在路径和文件名。
参数值格式:路径和文件名:支持大小写字母(a-z,A-Z)、数字(0-9)、下划线(_)、短横线(-)、句点(.)、中文汉字。
推荐配置及收益
无。
示例
atc --distributed_cluster_build=1 --cluster_config=../numa_config_4p.json --output=1_increase_4p --framework=1 --log=debug --shard_model_dir=../1_air --model_relation_config=./model_relation_config.json --soc_version=<soc_version>
支持的型号
Atlas 推理系列产品
Atlas 训练系列产品
Atlas A2训练系列产品/Atlas 800I A2推理产品
依赖约束
无。
父主题: 输入选项