虚拟化模式
虚拟化模式包含硬件虚拟化和软件虚拟化两种模式,两种模式说明如下:
- 硬件虚拟化是指NPU虚拟化为vNPU后,该vNPU对应的AICore、AICPU、内存等硬件资源和其他vNPU相互隔离,为AI任务分配一个vNPU后,该任务可单独使用为其分配的硬件资源,互不影响。
- 软件虚拟化是指用户创建vNPU时,相当于创建一个虚拟实例,而NPU的硬件资源相当于一个资源池,虚拟实例分配给AI任务使用时,该虚拟实例从资源池调用对应的硬件资源。
Atlas 训练系列产品只支持软件虚拟化方式,Atlas 推理系列产品vir04、vir04_3c、vir02、vir02_1c、vir04_3c_ndvpp、vir04_4c_dvpp模板为硬件虚拟化模式,vir01模板为软件虚拟化模式。
Atlas 推理系列产品虚拟化实例还涉及vGroup的概念:
- vGroup是指虚拟化时NPU根据用户指定的虚拟化模板划分出虚拟资源组vGroup,每个vGroup包含若干AICore、AICPU、片上内存、DVPP资源;
- 如果用户使用模板vir04、vir04_3c、vir02、vir02_1c、vir04_3c_ndvpp、vir04_4c_dvpp,那么系统就会创建一个对应资源的vGroup,该vGroup包含与虚拟化实例模板匹配的AICore和其他硬件资源,vGroup再将资源提供给vNPU使用,虚拟化实例模板组合和vGroup的分配关系如图1所示;
- Atlas 推理系列产品最多支持划分4个vGroup,vGroup至少包含2个AICore,如果用户使用模板vir01(无论是1个vir01还是2个vir01),NPU分配的vGroup同样包含2个AICore,vNPU通过分时复用的方式使用vGroup资源,比如通过2个vir01模板切分的2个vNPU,那么每个vNPU会通过串行的方式轮流使用vGroup的资源(如vNPU1使用1毫秒,然后vNPU2使用1毫秒)。
父主题: 虚拟化规则