文档HOT
下载
中文
注册

概述

MindIE Torch支持提前编译（AOT，Ahead-Of-Time）和即时编译（JIT，Just-In-Time）两种使用模式，提前编译为TorchScript路线和torch.export路线，即时编译为torch.compile路线。

图1 MindIE Torch推理流程
  • TorchScript路线的算子支持度高，对于一般常见的cv、nlp、audio类模型支持度较好，可优先选择。
  • ExportedProgram路线算子支持度较差，但对于不支持的算子，将算子fallback至torch执行的分图能力更好。在TorchScript路线存在不支持算子导致模型分图编译失败时，可选择torch.export路线。
  • torch.compile适用于训推一体场景或性能要求不高场景，另外torch.compile能够处理python的语义，对于有动态控制流场景的模型，可采用该路线。