亲和性调度策略

Atlas 200T A2 Box16 异构子框的特征和资源利用的规则如表1所示。

表1 Atlas 200T A2 Box16 异构子框亲和性策略

优先级

策略名称

策略描述

1

HCCS互联分配原则

如果申请昇腾AI处理器的个数为1~8,则需要调度到同一个HCCS互联。如果申请昇腾AI处理器的个数为10、12、14,需要将所需的昇腾AI处理器平均分配到两个环,相对的物理地址也一致。

2

优先占满原则

优先分配已经分配过昇腾AI处理器的节点,减少碎片。

以1、2、4、8为例,具体如下:

  • 如果申请1个昇腾AI处理器,优先申请HCCS互联可用昇腾AI处理器数量为1的节点,其次是可用数量为2个,3个,一直到8个。相同数量优先选择节点昇腾AI处理器总数量少的节点。
  • 如果申请2个昇腾AI处理器,优先申请HCCS互联可用昇腾AI处理器数量为2的节点,其次是可用数量为3个,4个,一直到8个。相同数量优先选择节点昇腾AI处理器总数量少的节点。
  • 如果申请4个昇腾AI处理器,优先申请HCCS互联可用昇腾AI处理器数量为4的节点,其次是可用数量为5个,6个,一直到8个。相同数量优先选择节点昇腾AI处理器总数量少的节点。
  • 如果申请8个昇腾AI处理器,只申请HCCS互联可用昇腾AI处理器数量为8的节点。相同数量优先选择节点昇腾AI处理器总数量少的节点。
说明:

下发分布式任务时,任务存在未按照优先占满调度原则占满某个节点。说明如下:

  • 现象说明:如在两台Atlas 200T A2 Box16 异构子框集群中,同时下发5卡、4卡、3卡任务,存在4卡和3卡任务调度到同一个节点,5卡任务调度到另一个节点的问题。
  • 原因分析:因为Volcano调度完一个任务后,Ascend Device Plugin上报调度后的昇腾AI处理器的拓扑结构到mindx-dl-deviceinfo-${node_name}存在时延,导致Volcano校验该节点昇腾AI处理器数量失败,将任务调度到其他节点上。