单个模型权重过大,单台推理机显存有限,无法容纳整个模型权重参数时,用户可以使用多机PD混合部署的方式部署推理服务。
请根据产品型号选择对应章节进行查看。 - 查看日志(Ascend EP):涉及的产品型号如下: - Ascend 950PR\&950DT系列产品 - Atlas A3系列产品 - Atlas A2系列产品 - Atlas训练系列产品 - Atlas 200I/500 A2推理产品 - Atlas推理系列产品 - 查看日志(Ascend RC):当前仅涉及Atlas 200I/500 A2推理产品。 - 查看日志(Control CPU开放形态):当前仅涉及Atlas推理系列产品。 日志主要用于记录系统的运行过程及异常信息,帮助用户快速定位系统运行过程中出现的问题以及开发过程中的程序调试问题。