即时编译

即时编译模式下，MindIE Torch的compile阶段会包含在模型的forward阶段中。

仅torch.compile路线支持即时编译。

Python伪代码

适用于torch.compile路线：

# load PyTorch nn.module
model = torch.load("xxx.pth")

# step1:准备待执行模型，此时并不会进行模型的编译优化
opt_model = torch.compile(model, backend=“mindie”)
# 或
opt_model = mindietorch.compile(model, ir="torch_compile")

# step2:执行推理，此时PyTorch才会调用MindIE Torch的自定义后端进行模型编译，编译完成之后才开始推理
npu_results = opt_model(input_data)

父主题： MindIE Torch编程范式