资源使用说明

资源使用

1台Atlas 800 推理服务器（型号：3000）最多支持插入8张视频解析卡，共8个昇腾NPU，可根据学生规模调整资源使用策略。

仅容器推理场景支持分配NPU使用。

• 如果一台服务器同时使用人数不超过8人，使用者可登录OS，创建本人使用的用户和目录，上传模型和数据，执行推理任务时每人占用一个物理NPU，使用者将物理NPU挂载到本人使用的容器进行推理作业。如下图所示。
  图1 资源共用策略1
  
• 如果一台服务器同时使用人数达到数十人，可对NPU进行虚拟化切分，将一个物理NPU切分成若干虚拟NPU（1颗物理NPU最大支持切分7个虚拟NPU），使用者将虚拟NPU挂载到本人使用的容器进行推理作业，如下图所示。
  图2 资源共用策略2
  

资源回收

使用者进行推理作业时，建议在编辑推理程序时，将样例代码、模型、视图数据和推理结果的目录指定本人创建的目录，以便完成推理作业后，将目录打包下载到PC，然后在服务器将本人创建的目录删除，清理环境给下一批使用者使用。

如果是在容器运行推理作业，建议将本人创建的目录挂载到容器，完成作业并将目录打包下载到PC后，及时删除容器，清理服务器磁盘空间，避免容器过多导致系统盘占满。