下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

虚拟化实例组合

Atlas 推理系列产品支持虚拟化实例组合如图1所示,1个昇腾AI处理器最大支持切分7个虚拟化实例,用户需要按照组合规格对NPU硬件资源进行虚拟化切分。

由于Atlas 推理系列产品只配置7个AI CPU,因此导致对Atlas 推理系列产品进行虚拟化时,无法做到资源均衡的划分vNPU,vNPU支持的划分组合如图1所示,因此您在使用Atlas 推理系列产品进行虚拟化实例功能前,需要评估现场服务器上推理应用所需的资源要求,比如划分6个vir01后,无法再切分2个vir01,只能再划分一个vir02_1c(或者一个vir01,但是会浪费一个AI Core),所以建议您的推理应用正式使用vNPU前,可以先划分vNPU进行测试验证,找到最佳的切分策略。

如果您需要了解典型模型在vNPU上推理的性能数据,您可以联系华为技术支持工程师获取信息。

图1 Atlas 推理系列产品支持虚拟化实例组合

Atlas 训练系列产品的虚拟化实例组合不一一列举,虚拟化机制为在一个NPU上创建的虚拟实例包含的AIcore数量达到了NPU实际AIcore数量后就不能够继续切分,如昇腾AI处理器为30个AICore时,则不能切分两个vir16,只能切分一个vir16,剩余的14个AICore则可以按照vir08+vir04+vir02切分,而昇腾AI处理器为32个AICore时,则支持两个vir16。昇腾AI处理器为30个AICore时,最大支持切分15个虚拟化实例,昇腾AI处理器为32个AICore时,最大支持切分16个虚拟化实例。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词