文档HOT
下载
中文
注册

快速入门

本章节介绍各框架下模型如何快速进行AOE调优。如下以算子调优为例，如果需要进行子图调优，请将命令中的job_type取值修改为1即可。

前提条件

开源框架的TensorFlow网络模型

  1. 获取TensorFlow网络模型。

    单击Link，根据页面提示获取ResNet50网络的模型文件（*.pb），并以CANN软件包运行用户将获取的文件上传至开发环境任意目录，例如上传到${HOME}/module/目录下。

  2. 执行如下命令进行AOE调优。（如下命令中使用的目录以及文件均为样例，请以实际为准。）
    aoe --framework=3 --model=${HOME}/module/resnet50_tensorflow_1.7.pb --job_type=2

    关于参数的详细解释以及使用方法请参见AOE参数说明。

  3. 若提示如下信息，则说明AOE调优完成。
    1
    Aoe process finished

    调优完成后，生成如下文件。

    • 自定义知识库：若满足自定义知识库生成条件（请参见图3），则会生成自定义知识库。生成的自定义知识库默认存储到${HOME}/Ascend/latest/data/aoe/custom/op/${soc_version}路径下。如何使用调优后的自定义知识库请参见如何使用调优后的自定义知识库。
    • om模型：存放路径为${WORK_PATH}/aoe_workspace/${model_name}_${timestamp}/tunespace/result/${model_name}_${timestamp}_tune.om（或者${model_name}_${timestamp}_tune_${os}_${arch}.om）。该模型可以直接用于推理。
    • 调优结果文件：调优结束后，会在执行调优的工作目录下生成命名为“aoe_result_opat_${timestamp}_${pidxxx}.json”的文件，记录调优过程中被调优的算子信息。该文件中各字段解释请参见表1。

ONNX网络模型

  1. 获取ONNX网络模型。

    单击Link进入ModelZoo页面，查看README.md中“快速上手>模型推理”章节获取.onnx模型文件，再以CANN软件包运行用户将onnx模型文件上传至开发环境任意目录，例如上传到${HOME}/module/目录下。

  2. 执行如下命令进行AOE调优。（如下命令中使用的目录以及文件均为样例，请以实际为准。）
    aoe --framework=5 --model=${HOME}/module/resnet50_pytorch_1.4.onnx --job_type=2

    关于参数的详细解释以及使用方法请参见AOE参数说明。

  3. 若提示如下信息，则说明AOE调优完成。
    1
    Aoe process finished

    调优完成后，生成如下文件。

    • 自定义知识库：若满足自定义知识库生成条件（请参见图3），则会生成自定义知识库。生成的自定义知识库默认存储到${HOME}/Ascend/latest/data/aoe/custom/op/${soc_version}路径下。如何使用调优后的自定义知识库请参见如何使用调优后的自定义知识库。
    • om模型：存放路径为${WORK_PATH}/aoe_workspace/${model_name}_${timestamp}/tunespace/result/${model_name}_${timestamp}_tune.om（或者${model_name}_${timestamp}_tune_${os}_${arch}.om）。该模型可以直接用于推理。
    • 调优结果文件：调优结束后，会在执行调优的工作目录下生成命名为“aoe_result_opat_${timestamp}_${pidxxx}.json”的文件，记录调优过程中被调优的算子信息。该文件中各字段解释请参见表1。

MindSpore框架的网络模型

  1. 获取MindSpore框架的网络模型。

    单击Link，获取ResNet-50网络的模型文件（仅支持*.air格式的模型文件进行模型转换），并以CANN软件包运行用户将获取的文件上传到开发环境任意路径，例如${HOME}/module/目录下。

  2. 执行如下命令进行AOE调优。（如下命令中使用的目录以及文件均为样例，请以实际为准。）
    aoe --framework=1 --model=${HOME}/module/ResNet50_for_MindSpore_1.4.air --job_type=2

    关于参数的详细解释以及使用方法请参见AOE参数说明。

  3. 若提示如下信息，则说明AOE调优完成。
    1
    Aoe process finished

    调优完成后，生成如下文件。

    • 自定义知识库：若满足自定义知识库生成条件（请参见图3），则会生成自定义知识库。生成的自定义知识库默认存储到${HOME}/Ascend/latest/data/aoe/custom/op/${soc_version}路径下。如何使用调优后的自定义知识库请参见如何使用调优后的自定义知识库。
    • om模型：存放路径为${WORK_PATH}/aoe_workspace/${model_name}_${timestamp}/tunespace/result/${model_name}_${timestamp}_tune.om（或者${model_name}_${timestamp}_tune_${os}_${arch}.om）。该模型可以直接用于推理。
    • 调优结果文件：调优结束后，会在执行调优的工作目录下生成命名为“aoe_result_opat_${timestamp}_${pidxxx}.json”的文件，记录调优过程中被调优的算子信息。该文件中各字段解释请参见表1。

开源框架的Caffe网络模型

  1. 获取Caffe网络模型。

    您可以从以下链接中获取ResNet-50网络的模型文件（*.prototxt）、ResNet-50网络的权重文件（*.caffemodel），并以CANN软件包运行用户将获取的文件上传至运行环境任意目录，例如上传到${HOME}/module/目录下。

    • ResNet-50网络的模型文件（*.prototxt）：单击Link下载该文件。
    • ResNet-50网络的权重文件（*.caffemodel）：单击Link下载该文件。
  2. 执行如下命令进行AOE调优。（如下命令中使用的目录以及文件均为样例，请以实际为准。）
    aoe --framework=0 --model=${HOME}/module/resnet50.prototxt --weight=${HOME}/module/resnet50.caffemodel --job_type=2

    关于参数的详细解释以及使用方法请参见AOE参数说明。

  3. 若提示如下信息，则说明AOE调优完成。
    1
    Aoe process finished

    调优完成后，生成如下文件。

    • 自定义知识库：若满足自定义知识库生成条件（请参见图3），则会生成自定义知识库。生成的自定义知识库默认存储到${HOME}/Ascend/latest/data/aoe/custom/op/${soc_version}路径下。如何使用调优后的自定义知识库请参见如何使用调优后的自定义知识库。
    • om模型：存放路径为${WORK_PATH}/aoe_workspace/${model_name}_${timestamp}/tunespace/result/${model_name}_${timestamp}_tune.om（或者${model_name}_${timestamp}_tune_${os}_${arch}.om）。该模型可以直接用于推理。
    • 调优结果文件：调优结束后，会在执行调优的工作目录下生成命名为“aoe_result_opat_${timestamp}_${pidxxx}.json”的文件，记录调优过程中被调优的算子信息。该文件中各字段解释请参见表1。