准备离线模型dump数据文件

前提条件

请在dump数据前,完成模型对应应用工程的编译、运行,确保工程正常。

  • 使用AMCT执行压缩操作时,同步会生成量化融合规则文件,该文件在精度比对时会使用。
  • Docker场景下,不支持将容器作为运行环境使用dump功能。
  • 提供aclInit()接口和aclmdlSetDump()接口两种接口方式dump数据。aclInit()接口和aclmdlSetDump()接口的详细使用方法请参见AscendCL应用软件开发指南 (C&C++)

dump数据

参考以下步骤进行离线模型dump操作:

  1. 打开aclInit()函数所在的推理应用工程代码文件,查看调用的aclInit()aclmdlSetDump()函数,获取acl.json文件路径。

    如果aclInit()或aclmdlSetDump()初始化为空,则需要修改该函数,补充步骤2创建的acl.json路径。这里的acl.json路径是相对工程编译生成的二进制文件的路径。

  1. 在查出的目录下修改acl.json文件(如不存在,则需要新建,建议放在工程编译后的out目录下),添加dump配置,格式如下所示。

    {                                                                                            
    	"dump":{
    		"dump_list":[                                                                        
    			{	"model_name":"ResNet-101"
    			},
    			{                                                                                
    				"model_name":"ResNet-50",
    				"layer":[
    				      "conv1conv1_relu",
    				      "res2a_branch2ares2a_branch2a_relu",
    				      "res2a_branch1",
    				      "pool1"
    				] 
    			}  
    		],  
    		"dump_path":"/home/HwHiAiUser/output",
                    "dump_mode":"output",
    		"dump_op_switch":"off"
    	}                                                                                        
    }
    表1 acl.json文件格式说明

    配置项

    说明

    取值

    是否必选

    备注

    dump

    -

    -

    • 不具有输出的TBE算子、AI CPU算子,如StreamActive、Send、Recv、const等不会生成dump数据;编译后的模型中部分算子并不会在AI CPU或AI Core执行,如concatD类型算子,则无法生成dump数据。
    • 采用dump部分算子场景下,因data算子不会在AI CPU或AI Core上执行,如果用户填写dump data节点算子时需要一并填写data节点算子的后继节点,才能dump出data节点算子数据。

    dump_list

    待dump数据的整网模型列表。

    创建模型dump配置信息,当存在多个模型需要dump时,需要每个模型之间用英文逗号隔开。

    在单算子执行场景下,dump_list为空,dump_op_switch配置为on,配置示例:

    {
        "dump":{
            "dump_path":"output",
            "dump_list":[], 
    	"dump_op_switch":"on"
        }
    }

    -

    model_name

    模型名称。

    • 模型加载方式为文件加载时,填入模型文件的名称,不需要带后缀名;也可以配置为ATC模型文件转换后的json文件里的最外层"name"字段对应值。
    • 模型加载方式为内存加载时,配置为ATC模型文件转换后的json文件里的最外层"name"字段对应值。

    模型加载方式说明请参见AscendCL应用软件开发指南 (C&C++)手册的“AscendCL API参考”章节的内容。

    • 各个模型的model_name值须唯一。
    • 模型加载支持内存和文件两种加载方式,文件加载且配置为ATC模型文件转换后的json文件里的最外层"name"字段对应值时,如果acl.json文件里model_name配置项值同时包括模型文件名、本处获取的name值,以模型文件名的配置项生效。
    • 如果acl.json文件里model_name配置项值同时包括模型文件名、本处获取的name值,以模型文件名的配置项生效。

    layer

    算子名。

    • 当需要dump指定的部分算子时,按格式配置layer字段,每行配置模型中的一个算子名,且每个算子之间用英文逗号隔开。
    • 当需要dump模型的所有算子时,不需要包含layer字段。

    在IO性能相对较差的开发者板(比如Atlas 200 DK)上,可能会出现由于数据量过大导致执行超时,所以不建议全量dump,请指定算子进行dump。

    dump_path

    dump数据文件存储到运行环境的目录。

    支持配置绝对路径或相对路径:
    • 绝对路径配置以“/”开头,例如:/home/HwHiAiUser/output。
    • 相对路径配置直接以目录名开始,例如:output。

    该参数指定的目录需要提前创建且确保安装时配置的运行用户具有读写权限。

    dump_mode

    dump数据模式。

    • input:dump算子的输入数据。
    • output:dump算子的输出数据,默认取值output。
    • all:dump算子的输入、输出数据。

    -

    dump_op_switch

    单算子模型dump数据开关。

    • on:开启单算子模型dump。
    • off:关闭单算子模型dump,默认取值off。

    -

  1. 运行应用工程,生成dump数据文件。

    工程运行完毕后,可以在运行环境查看到生成的dump数据文件。生成的路径及格式说明:

    {dump_path}/{time}/{deviceid}/{model_name}/{model_id}/{data_index}/{dump文件}
    单算子模型dump时为{dump_path}/{time}/{deviceid}/{dump文件}
    表2 dump数据文件路径说明

    路径key

    说明

    备注

    dump_path

    acl.json中配置的dump数据文件存储目录。

    -

    time

    dump数据文件落盘的时间。

    格式为:YYYYMMDDHHMMSS

    deviceid

    Device设备ID号。

    -

    model_name

    模型名称。

    如果model_name出现了“.”“/”“\”、空格时,转换为下划线表示。

    model_id

    模型ID号。

    -

    data_index

    针对每个Task ID执行的次数维护一个序号,从0开始计数,该Task每dump一次数据,序号递增1。

    -

    dump文件命名格式需满足数据格式要求。如果文件名称长度超过了OS文件名称长度限制(一般是255个字符),则会将该dump文件重命名为一串随机数字,映射关系可查看同目录下的mapping.csv。