推理服务器(插Atlas 300I Duo 推理卡)的特征和资源利用的规则如表1所示。
表1 推理服务器(插Atlas 300I Duo 推理卡)亲和性策略策略名称
|
策略描述
|
按推理卡亲和性调度原则
|
优先选择同一张Atlas 300I Duo 推理卡的昇腾AI处理器。
申请昇腾AI处理器个数为1~2,则选择同一张Atlas 300I Duo 推理卡,且当前可用的Atlas 300I Duo 推理卡数量为1个的节点为最佳,其次是2个。
|
分布式推理按昇腾AI处理器调度
|
必须将任务调度到整张Atlas 300I Duo 推理卡上。若任务需要的昇腾AI处理器数量为单数时,使用单个昇腾AI处理器的部分,将优先调度到剩余昇腾AI处理器数量为1的Atlas 300I Duo 推理卡上。
|