下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

aclInit

函数功能

AscendCL初始化函数。

约束说明

  • 使用AscendCL接口开发应用时,必须先调用aclInit接口,否则可能会导致后续系统内部资源初始化出错,进而导致其它业务异常。
  • 一个进程内只能调用一次aclInit接口,且与aclFinalize去初始化接口配对使用。

函数原型

aclError aclInit(const char *configPath)

参数说明

参数名

输入/输出

说明

configPath

输入

配置文件所在路径(包含文件名)的指针。配置文件内容为json格式(json文件内的“{”的层级最多为10,“[”的层级最多为10)。

初始化AscendCL时,可通过该配置文件开启或设置以下功能,如果以下的默认配置已满足需求,无需修改,可向aclInit接口中传入NULL,或者可将配置文件配置为空json串(即配置文件中只有{})。

  • Dump信息配置,包括以下配置:
    • 模型Dump配置(用于导出模型中每一层算子输入和输出数据)、单算子Dump配置(用于导出单个算子的输入和输出数据),导出的数据用于与指定模型或算子进行比对,定位精度问题,配置示例、说明及约束请参见配置文件示例(模型Dump配置、单算子Dump配置)默认不启用该dump配置。

      通过本接口启用Dump配置,需通过dump_path参数配置Dump数据的落盘路径,如果无需落盘,则可以通过回调函数获取Dump数据,请参见acldumpRegCallback

    • 异常算子Dump配置(用于导出异常算子的输入输出数据、workspace信息、Tiling信息),导出的数据用于分析AI Core Error问题,配置示例请参见配置文件示例(异常算子Dump配置)默认不启用该dump配置。
    • 溢出算子Dump配置(用于导出模型中溢出算子的输入和输出数据),导出的数据用于分析溢出原因,定位模型精度的问题,配置示例、说明及约束请参见配置文件示例(溢出算子Dump配置)默认不启用该dump配置。
  • Profiling采集信息配置,配置示例、说明及约束请参见性能分析工具使用指南默认不启用Profiling采集信息配置。
  • 算子缓存信息老化配置通过单算子模型方式执行单个算子时aclopUpdateParams接口执行单算子除外),为节约内存和平衡调用性能,可通过max_opqueue_num参数配置“算子类型-单算子模型”映射队列的最大长度,如果长度达到最大,则会先删除长期未使用的映射信息以及缓存中的单算子模型,再加载最新的映射信息以及对应的单算子模型。如果不配置映射队列的最大长度,则默认最大长度为20000。示例及约束说明请参见配置文件示例(算子缓存信息老化配置)

    关于单算子模型的介绍请参见单算子调用流程

  • 错误信息上报模式配置,用于控制aclGetRecentErrMsg接口按进程或线程级别获取错误信息,默认按线程级别。示例请参见配置文件示例(错误信息上报模式配置)
说明:

建议不要同时配置dump信息和Profiling采集信息,否则dump操作会影响系统性能,导致Profiling采集的性能数据指标不准确。

返回值说明

返回0表示成功,返回其他值表示失败。

配置文件示例(模型Dump配置、单算子Dump配置)

约束说明:在训练场景下,若通过本接口的dump_step参数指定采集哪些迭代的Dump数据,同时配置了其它采集指定迭代Dump数据的session参数,则以最后配置的参数为准。

模型Dump配置示例如下:

{                                                                                            
	"dump":{
		"dump_list":[                                                                        
			{	"model_name":"ResNet-101"
			},
			{                                                                                
				"model_name":"ResNet-50",
				"layer":[
				      "conv1conv1_relu",
				      "res2a_branch2ares2a_branch2a_relu",
				      "res2a_branch1",
				      "pool1"
				] 
			}  
		],  
		"dump_path":"$HOME/output",
                "dump_mode":"output",
		"dump_op_switch":"off",
                "dump_data":"tensor"
	}                                                                                        
}

单算子Dump配置示例如下:

{
    "dump":{
        "dump_path":"output",
        "dump_list":[], 
	"dump_op_switch":"on",
        "dump_data":"tensor"
    }
}
表1 acl.json文件格式说明

配置项

参数说明

备注

dump

-

  • 不具有输出的TBE算子、AI CPU算子,如StreamActive、Send、Recv、const等不会生成dump数据;编译后的模型中部分算子并不会在AI CPU或AI Core执行,如concatD类型算子,则无法生成dump数据。
  • 采用dump部分算子场景下,因data算子不会在AI CPU或AI Core上执行,如果用户填写dump data节点算子时需要一并填写data节点算子的后继节点,才能dump出data节点算子数据。

dump_list

(必填)待dump数据的整网模型列表。

创建模型dump配置信息,当存在多个模型需要dump时,需要每个模型之间用英文逗号隔开。

在单算子执行场景下,dump_list为空。

-

model_name

模型名称。

  • 模型加载方式为文件加载时,填入模型文件的名称,不需要带后缀名;也可以配置为ATC模型文件转换后的json文件里的最外层"name"字段对应值。
  • 模型加载方式为内存加载时,配置为ATC模型文件转换后的json文件里的最外层"name"字段对应值。
  • 各个模型的model_name值须唯一。
  • 模型加载支持内存和文件两种加载方式,文件加载且配置为ATC模型文件转换后的json文件里的最外层"name"字段对应值时,如果acl.json文件里model_name配置项值同时包括模型文件名、本处获取的name值,以模型文件名的配置项生效。

layer

算子名。可以指定为ATC模型转换后的算子名,也支持指定为转换前的原始算子名。

  • 当需要dump指定的部分算子时,按格式配置layer字段,每行配置模型中的一个算子名,且每个算子之间用英文逗号隔开。若指定的算子其输入涉及data算子,会同时将data算子信息dump出来。
  • 当需要dump模型的所有算子时,不需要包含layer字段。

在指定算子dump时,用户可以无需设置model_name,此时会默认dump所有model下的相应算子。如果配置了model_name,则dump对应model下的相应算子。

IO性能相对较差时,可能会出现由于数据量过大导致执行超时,所以不建议全量dump,请指定算子进行dump。

dump_path

(必填)dump数据文件存储到运行环境的目录。

支持配置绝对路径或相对路径:
  • 绝对路径配置以“/”开头,例如:$HOME/output。
  • 相对路径配置直接以目录名开始,例如:output。

该参数指定的目录需要提前创建且确保安装时配置的运行用户具有读写权限。

dump_mode

dump数据模式。

  • input:dump算子的输入数据。
  • output:dump算子的输出数据,默认取值output。
  • all:dump算子的输入、输出数据。

-

dump_level

dump数据级别,取值:

  • op:按算子级别dump数据
  • kernel:按kernel级别dump数据
  • all:默认值,op和kernel级别的数据都dump。

默认配置下,dump数据文件会比较多,例如有一些aclnn开头的dump文件,若用户对dump性能有要求或内存资源有限时,则可以将该参数设置为op级别,以便提升dump性能、精简dump数据文件数量。

说明:

算子是一个运算逻辑的表示(如加减乘除运算),kernel是运算逻辑真正进行计算处理的实现,需要分配具体的计算设备完成计算。

-

dump_op_switch

单算子模型dump数据开关。

  • on:开启单算子模型dump。
  • off:关闭单算子模型dump,默认取值off。

-

dump_step

指定采集哪些迭代的Dump数据。推理场景无需配置。

不配置该参数,默认所有迭代都会产生dump数据,数据量比较大,建议按需指定迭代。

多个迭代用“|”分割,例如:0|5|10;也可以用“-”指定迭代范围,例如:0|3-5|10。

配置示例:

{                                                                                            
	"dump":{
		"dump_list":[                                                                        
			...... 
		],  
		"dump_path":"$HOME/output",
                "dump_mode":"output",
		"dump_op_switch":"off"
                "dump_step": "0|3-5|10"
	}                                                                                        
}

-

dump_data

算子dump内容类型,取值:

  • tensor: dump算子数据,默认为tensor。
  • stats: dump算子统计数据,结果文件为csv格式,文件中包含算子名称、输入/输出的数据类型、最大值、最小值等。

通常dump数据量太大并且耗时长,可以先dump算子统计数据,根据统计数据识别可能异常的算子,然后再dump算子数据。

模型Dump场景下,会根据dump_mode处的配置统计算子输入或算子输出或算子输入&输出的信息。

-

配置文件示例(异常算子Dump配置)

将dump_scene参数设置为lite_exception,启用异常算子Dump功能,同时可配合使用ASCEND_WORK_PATH环境变量配置落盘路径,否则落盘在应用程序的当前执行目录下。注意,异常算子Dump配置,不能与模型Dump配置或单算子Dump配置同时开启,否则模型Dump或单算子Dump不生效。

配置文件中的示例内容如下:

{
   "dump":{
           "dump_scene":"lite_exception"
    }
}

配置文件示例(溢出算子Dump配置)

溢出算子Dump配置的相关约束说明如下:
  • 将dump_debug配置为on表示开启溢出算子配置,不配置dump_debug或将dump_debug配置为off表示不开启溢出算子配置。
  • 若开启溢出算子配置,则dump_path必须配置,表示导出数据文件的存储路径。
    支持配置绝对路径或相对路径:
    • 绝对路径配置以“/”开头,例如:/home。
    • 相对路径配置直接以目录名开始,例如:output。

    获取导出的数据文件后,如何解析请参见溢出算子数据采集及分析

  • 溢出算子Dump配置,不能与模型Dump配置或单算子Dump配置同时开启,否则会返回报错。
  • 当前不支持单算子API执行场景下的溢出算子Dump。
  • 仅支持采集AI Core算子的溢出数据。
配置文件中的示例内容如下:
{
    "dump":{
        "dump_path":"output",
        "dump_debug":"on"
    }
}

配置文件示例(算子缓存信息老化配置)

算子缓存信息老化配置的相关约束说明如下:

  • 对于静态加载的算子,调用aclopSetModelDir接口加载指定目录下的单算子模型或调用aclopLoad接口加载指定单算子模型时,老化配置无效,不会对该部分的算子信息做老化。
  • 在线编译算子的场景下,调用aclopCompile接口编译算子或调用aclopCompileAndExecute接口编译执行算子时,接口内部会按照入参加载单算子模型,老化配置有效。

    如果用户调用aclopCompile接口编译算子、调用aclopExecuteV2接口执行算子,则在编译算子后需及时执行算子,否则可能导致执行算子时,算子信息已被老化,需要重新编译。建议调用aclopCompileAndExecuteV2接口编译执行算子。

  • AscendCL内部分开维护固定Shape和动态Shape算子的映射队列,最大长度都为max_opqueue_num参数值。
  • max_opqueue_num参数值为静态加载算子的单算子模型个数和在线编译算子的单算子模型个数的总和,因此max_opqueue_num参数值应大于当前进程中可用的、静态加载算子的单算子模型个数,否则会导致在线编译算子的信息无法老化。

配置文件中的示例内容如下:

{
        "max_opqueue_num": "10000"
}

配置文件示例(错误信息上报模式配置)

err_msg_mode参数取值范围:0为默认值,表示按线程级别获取错误信息;1表示按进程级别获取错误信息。

配置文件中的示例内容如下:

{
        "err_msg_mode": "1"
}

相关接口

AscendCL还提供了其它使能Dump或Profiling的接口,如下,与aclInit不同的是,以下这些接口相对灵活,可以在一个进程内调用多次接口,每次调用接口时可以基于不同的Dump配置或Profiling配置。

参考资源

接口调用示例,参见AscendCL初始化

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词