--enable_graph_parallel
功能说明
是否对原始大模型进行自动切分。
关联参数
- --distributed_cluster_build参数开启大模型分布式编译后,才支持开启自动切分功能,原始大模型会按照--graph_parallel_option_path文件中的要求进行自动切分。
- 算法切分场景--cluster_config必须配置。
参数取值
- 1:使能自动切分。
- 0:不使能自动切分,默认为0。
推荐配置及收益
无。
示例
atc --distributed_cluster_build=1 --cluster_config=./numa_config_2p.json --model=./matmul2.pb --enable_graph_parallel="1" --graph_parallel_option_path=./parallel_option.json --soc_version=<soc_version> --output=test_parallel --framework=3 --log=debug
支持的型号
Atlas 推理系列产品
Atlas 训练系列产品
Atlas A2训练系列产品/Atlas 800I A2推理产品
依赖约束
无。
父主题: 输入选项