下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

虚拟化模式

虚拟化模式包含硬件虚拟化和软件虚拟化两种模式,两种模式说明如下:
  • 硬件虚拟化是指NPU虚拟化为vNPU后,该vNPU对应的AICore、AICPU、内存等硬件资源和其他vNPU相互隔离,为AI任务分配一个vNPU后,该任务可单独使用为其分配的硬件资源,互不影响。
  • 软件虚拟化是指用户创建vNPU时,相当于创建一个虚拟实例,而NPU的硬件资源相当于一个资源池,虚拟实例分配给AI任务使用时,该虚拟实例从资源池调用对应的硬件资源。

Atlas 训练系列产品只支持软件虚拟化方式,而Atlas 推理系列产品中vir04、vir04_3c、vir02、vir02_1c、vir04_3c_ndvpp、vir04_4c_dvpp模板为硬件虚拟化模式,vir01模板为软件虚拟化模式。

Atlas 推理系列产品虚拟化实例还涉及vGroup的概念:

  • vGroup是指虚拟化时NPU根据用户指定的虚拟化模板划分出虚拟资源组vGroup,每个vGroup包含若干AICore、AICPU、片上内存、DVPP资源;
  • 如果用户使用模板vir04、vir04_3c、vir02、vir02_1c、vir04_3c_ndvpp、vir04_4c_dvpp,那么系统就会创建一个对应资源的vGroup,该vGroup包含与虚拟化实例模板匹配的AICore和其他硬件资源,vGroup再将资源提供给vNPU使用,虚拟化实例模板组合和vGroup的分配关系如图1所示;
  • Atlas 推理系列产品最多支持划分4个vGroup,vGroup至少包含2个AICore,如果用户使用模板vir01(无论是1个vir01还是2个vir01),NPU分配的vGroup同样包含2个AICore,vNPU通过分时复用的方式使用vGroup资源,比如通过2个vir01模板切分的2个vNPU,那么每个vNPU会通过串行的方式轮流使用vGroup的资源(如vNPU1使用1毫秒,然后vNPU2使用1毫秒)。
图1 vGroup和虚拟化实例模板组合的对应关系
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词