使用场景
针对自研服务化
MindIE Service
、三方服务化Triton,提供模型及调度能力,支持Continuous Batching动态调度。
父主题:
LLM Manager提供的C++接口