下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

--shard_model_dir

功能说明

指定切片模型文件所在路径。

该参数适用于原始大模型已经面向分布式推理环境切片分好,且切片模型内含通信算子的场景。

关联参数

参数取值

参数值:切片模型所在路径和文件名。

参数值格式:路径和文件名:支持大小写字母(a-z,A-Z)、数字(0-9)、下划线(_)、短横线(-)、句点(.)、中文汉字。

推荐配置及收益

无。

示例

atc --distributed_cluster_build=1 --cluster_config=../numa_config_4p.json --output=1_increase_4p --framework=1 --log=debug --shard_model_dir=../1_air --model_relation_config=./model_relation_config.json --soc_version=<soc_version> 

支持的型号

Atlas 推理系列产品

Atlas 训练系列产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

依赖约束

无。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词