资源申请约束
根据业务模型,对此类推理任务作如下要求:
推理任务申请的
昇腾AI处理器
数量不能大于节点
昇腾AI处理器
总数。
当推理任务申请的昇腾AI处理器数量小于或等于2个时,需要将推理任务调度到同一张
Atlas 300I Duo 推理卡
内。
当使用分布式推理时,任务所有副本只能部署在同一节点内,申请的总
昇腾AI处理器
数量不能大于节点
昇腾AI处理器
总数。
遵循
Volcano
开源部分的其他约束。
父主题:
推理服务器(插Atlas 300I Duo 推理卡)