虚拟化实例组合
Atlas 推理系列产品支持虚拟化实例组合如图1所示,1个昇腾AI处理器最大支持切分7个虚拟化实例,用户需要按照组合规格对NPU硬件资源进行虚拟化切分。
由于Atlas 推理系列产品只配置7个AI CPU,因此导致对Atlas 推理系列产品进行虚拟化时,无法做到资源均衡的划分vNPU,vNPU支持的划分组合如图1所示,因此您在使用Atlas 推理系列产品进行虚拟化实例功能前,需要评估现场服务器上推理应用所需的资源要求,比如划分6个vir01后,无法再切分2个vir01,只能再划分一个vir02_1c(或者一个vir01,但是会浪费一个AI Core),所以建议您的推理应用正式使用vNPU前,可以先划分vNPU进行测试验证,找到最佳的切分策略。
如果您需要了解典型模型在vNPU上推理的性能数据,您可以联系华为技术支持工程师获取信息。
Atlas 训练系列产品的虚拟化实例组合不一一列举,虚拟化机制为在一个NPU上创建的虚拟实例包含的AIcore数量达到了NPU实际AIcore数量后就不能够继续切分,如昇腾AI处理器为30个AICore时,则不能切分两个vir16,只能切分一个vir16,剩余的14个AICore则可以按照vir08+vir04+vir02切分,而昇腾AI处理器为32个AICore时,则支持两个vir16。昇腾AI处理器为30个AICore时,最大支持切分15个虚拟化实例,昇腾AI处理器为32个AICore时,最大支持切分16个虚拟化实例。
父主题: 虚拟化规则