使用场景

针对自研服务化MindIE Service、三方服务化Triton,提供模型及调度能力,支持Continuous Batching动态调度。