亲和性调度策略

推理服务器(插Atlas 300I Duo 推理卡)的特征和资源利用的规则如表1所示。

表1 推理服务器(插Atlas 300I Duo 推理卡)亲和性策略

策略名称

策略描述

按推理卡亲和性调度原则

优先选择同一张Atlas 300I Duo 推理卡昇腾AI处理器

申请昇腾AI处理器个数为1~2,则选择同一张Atlas 300I Duo 推理卡,且当前可用的Atlas 300I Duo 推理卡数量为1个的节点为最佳,其次是2个。

分布式推理按昇腾AI处理器调度

必须将任务调度到整张Atlas 300I Duo 推理卡上。若任务需要的昇腾AI处理器数量为单数时,使用单个昇腾AI处理器的部分,将优先调度到剩余昇腾AI处理器数量为1的Atlas 300I Duo 推理卡上。