aclmdlSetDump
函数功能
设置Dump参数。
- 执行两个不同的模型,需要设置不同的Dump配置信息,接口调用顺序:aclInit接口-->aclmdlInitDump接口-->aclmdlSetDump接口-->模型1加载-->模型1执行-->aclmdlFinalizeDump接口-->模型1卸载-->aclmdlInitDump接口-->aclmdlSetDump接口-->模型2加载-->模型2执行-->aclmdlFinalizeDump接口-->模型2卸载-->执行其它任务-->aclFinalize接口
- 同一个模型执行两次,第一次需要Dump,第二次无需Dump,接口调用顺序:aclInit接口-->aclmdlInitDump接口-->aclmdlSetDump接口-->模型加载-->模型执行-->aclmdlFinalizeDump接口-->模型卸载-->模型加载-->模型执行-->执行其它任务-->aclFinalize接口
约束说明
- 只有在调用本接口之后加载模型,配置的Dump信息有效。在调用本接口之前已经加载的模型不受影响,除非用户在调用本接口后重新加载该模型。
例如以下接口调用顺序中,加载的模型1不受影响,配置的Dump信息仅对加载的模型2有效:
aclmdlInitDump接口-->模型1加载-->aclmdlSetDump接口-->模型2加载-->aclmdlFinalizeDump接口
- 多次调用本接口对同一个模型配置了Dump信息,系统内处理时会采用覆盖策略。
例如以下接口调用顺序中,第二次调用本接口配置的Dump信息会覆盖第一次配置的Dump信息:
aclmdlInitDump接口-->aclmdlSetDump接口-->aclmdlSetDump接口-->模型1加载-->aclmdlFinalizeDump接口
函数原型
aclError aclmdlSetDump(const char *dumpCfgPath)
参数说明
参数名 |
输入/输出 |
说明 |
---|---|---|
dumpCfgPath |
输入 |
配置文件路径的指针,包含文件名。配置文件格式为json格式。
当前支持以下Dump信息配置:
|
配置文件示例(模型Dump配置、单算子Dump配置)
约束说明:在训练场景下,若通过本接口的dump_step参数指定采集哪些迭代的Dump数据,同时配置了其它采集指定迭代Dump数据的session参数,则以最后配置的参数为准。
模型Dump配置示例如下:
{ "dump":{ "dump_list":[ { "model_name":"ResNet-101" }, { "model_name":"ResNet-50", "layer":[ "conv1conv1_relu", "res2a_branch2ares2a_branch2a_relu", "res2a_branch1", "pool1" ] } ], "dump_path":"$HOME/output", "dump_mode":"output", "dump_op_switch":"off", "dump_data":"tensor" } }
单算子Dump配置示例如下:
{ "dump":{ "dump_path":"output", "dump_list":[], "dump_op_switch":"on", "dump_data":"tensor" } }
配置项 |
参数说明 |
备注 |
---|---|---|
dump |
- |
|
dump_list |
(必填)待dump数据的整网模型列表。 创建模型dump配置信息,当存在多个模型需要dump时,需要每个模型之间用英文逗号隔开。 在单算子执行场景下,dump_list为空。 |
- |
model_name |
模型名称。
|
|
layer |
算子名。可以指定为ATC模型转换后的算子名,也支持指定为转换前的原始算子名。
在指定算子dump时,用户可以无需设置model_name,此时会默认dump所有model下的相应算子。如果配置了model_name,则dump对应model下的相应算子。 |
IO性能相对较差时,可能会出现由于数据量过大导致执行超时,所以不建议全量dump,请指定算子进行dump。 |
dump_path |
(必填)dump数据文件存储到运行环境的目录。
支持配置绝对路径或相对路径:
|
该参数指定的目录需要提前创建且确保安装时配置的运行用户具有读写权限。 |
dump_mode |
dump数据模式。
|
- |
dump_level |
dump数据级别,取值:
默认配置下,dump数据文件会比较多,例如有一些aclnn开头的dump文件,若用户对dump性能有要求或内存资源有限时,则可以将该参数设置为op级别,以便提升dump性能、精简dump数据文件数量。
说明:
算子是一个运算逻辑的表示(如加减乘除运算),kernel是运算逻辑真正进行计算处理的实现,需要分配具体的计算设备完成计算。 |
- |
dump_op_switch |
单算子模型dump数据开关。
|
- |
dump_step |
指定采集哪些迭代的Dump数据。推理场景无需配置。 不配置该参数,默认所有迭代都会产生dump数据,数据量比较大,建议按需指定迭代。 多个迭代用“|”分割,例如:0|5|10;也可以用“-”指定迭代范围,例如:0|3-5|10。 配置示例: { "dump":{ "dump_list":[ ...... ], "dump_path":"$HOME/output", "dump_mode":"output", "dump_op_switch":"off" "dump_step": "0|3-5|10" } } |
- |
dump_data |
算子dump内容类型,取值:
通常dump数据量太大并且耗时长,可以先dump算子统计数据,根据统计数据识别可能异常的算子,然后再dump算子数据。 模型Dump场景下,会根据dump_mode处的配置统计算子输入或算子输出或算子输入&输出的信息。 |
- |
配置文件示例(异常算子Dump配置)
将dump_scene参数设置为lite_exception,启用异常算子Dump功能,同时可配合使用ASCEND_WORK_PATH环境变量配置落盘路径,否则落盘在应用程序的当前执行目录下。注意,异常算子Dump配置,不能与模型Dump配置或单算子Dump配置同时开启,否则模型Dump或单算子Dump不生效。
配置文件中的示例内容如下:
{ "dump":{ "dump_scene":"lite_exception" } }
配置文件示例(溢出算子Dump配置)
- 将dump_debug配置为on表示开启溢出算子配置,不配置dump_debug或将dump_debug配置为off表示不开启溢出算子配置。
- 若开启溢出算子配置,则dump_path必须配置,表示导出数据文件的存储路径。
- 溢出算子Dump配置,不能与模型Dump配置或单算子Dump配置同时开启,否则会返回报错。
- 当前不支持单算子API执行场景下的溢出算子Dump。
- 仅支持采集AI Core算子的溢出数据。
{ "dump":{ "dump_path":"output", "dump_debug":"on" } }
返回值说明
返回0表示成功,返回其他值表示失败。