离线推理场景下调优
- 调优流程
- 快速入门
本章节介绍各框架下模型如何快速进行AOE调优。如下以算子调优为例,如果需要进行子图调优,请将命令中的job_type取值修改为1即可。
- 环境准备
本节介绍调优前需要安装的软件包及如何安装。
- 配置环境变量
使用AOE调优前,请先使用export命令在当前终端下声明环境变量。该方式在关闭Shell终端后失效。用户也可将设置环境变量的命令写入自定义脚本,方便后续执行。
- 执行调优
本节介绍离线推理场景下调优的命令示例。
- 查看调优结果
本节介绍调优完成后,如何查看调优结果,包括屏幕打印信息和生成的自定义知识库、om模型、算子调优结果文件和子图调优结果文件。
- 性能验证