下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

--graph_parallel_option_path

功能说明

对原始大模型进行切分时,算法切分策略配置文件路径。

关联参数

参数取值

参数值:切分策略配置文件路径和文件名。

参数值格式:路径和文件名:支持大小写字母(a-z,A-Z)、数字(0-9)、下划线(_)、短横线(-)、句点(.)、中文汉字。

推荐配置及收益

无。

示例

atc --distributed_cluster_build=1 --cluster_config=./numa_config_2p.json --model=./matmul2.pb --enable_graph_parallel="1" --graph_parallel_option_path=./parallel_option.json --soc_version=<soc_version>  --output=test_parallel --framework=3 --log=debug

切分策略配置文件示例如下:

  • 半自动切分
    {
        "graph_parallel_option": {
            "auto": false,
            "opt_level": "O1"
            "tensor_parallel_option": {
                "tensor_parallel_size": 2
            },
            "tensor_sharding":{
              "optimizer_state_sharding": true, 
              "gradient_sharding":true, 
              "model_weight_sharding": true,
              "model_weight_prefetch": true,
              "model_weight_prefetch_buffer_size": 50
    		}
        }
    }
  • 全自动切分
    {
        "graph_parallel_option": {
            "auto": true
        }
    }

参数解释如下:

  • auto:配置为true表示全自动切分,配置为false表示半自动切分。
  • opt_level:指Tensor Parallel求解算法,支持配置为O2和O1,O2使用的是ILP算法,O1使用的是DP算法,若不配置,默认使用O2。
  • tensor_parallel_option:配置该option表示使能TP切分。

    TP切分:Tensor Parallel也称为算子内并行(Intra-Op Parallel),将计算图中各个Operators的Tensor沿一个或多个轴(batch/Non-batch)进行切分,切分后的partition分发给各个Device分别计算。

  • tensor_parallel_size:表示TP切分的份数,即需要配置的device芯片数量。该参数取值必须和--cluster_config拓扑文件中具体使用的device芯片数量相等。
  • optimizer_state_sharding:是否开启优化器切片,true表示开启;false表示不开启。
  • gradient_sharding:是否开启梯度切片,true表示开启;false表示不开启。
  • model_weight_sharding:是否开启权重切片,true表示开启;false表示不开启。
  • model_weight_prefetch:是否开启权重预取,true表示开启;false表示不开启。
  • model_weight_prefetch_buffer_size:配置权重预取的缓存大小。

支持的型号

Atlas 推理系列产品

Atlas 训练系列产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

依赖约束

无。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词