set_split_strategy_by_size
功能说明
基于梯度数据量百分比,在集合通信group内设置反向梯度切分策略,实现allreduce的融合,用于进行集合通信的性能调优。
函数原型
def set_split_strategy_by_size(dataSizeList, group="hccl_world_group")
参数说明
参数名 |
输入/输出 |
描述 |
---|---|---|
dataSizeList |
输入 |
list类型。 梯度参数数据量百分比列表。
|
group |
输入 |
String类型,最大长度为128字节,含结束符。 group名称,可以为"hccl_world_group"或自定义group,默认为"hccl_world_group"。 |
返回值
无。
约束说明
支持的型号
Atlas 训练系列产品
Atlas 300I Duo 推理卡
Atlas A2 训练系列产品
调用示例
1 2 |
from npu_bridge.npu_init import * set_split_strategy_by_size([60, 20, 20], "group") |
父主题: hccl.split.api