下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

ASCEND_REMAIN_CACHE_SIZE_RATIO

功能描述

启用算子编译缓存功能时,当编译缓存空间大小达到ASCEND_MAX_OP_CACHE_SIZE而需要删除旧的kernel文件时,需要保留缓存的空间大小比例,默认为50,单位为百分比。

配置示例

export ASCEND_REMAIN_CACHE_SIZE_RATIO=50

使用约束

系统读取保留缓存空间大小比例配置的优先级如下:

算子编译磁盘缓存的目录下的“op_cache.ini”配置文件 > ASCEND_REMAIN_CACHE_SIZE_RATIO环境变量 > 默认值

即若开发者同时配置了op_cache.ini文件和环境变量,则优先读取op_cache.ini文件中的配置项,若op_cache.ini文件和环境变量都未设置,则读取系统默认值:默认保留缓存的空间50%。

关于“op_cache.ini”配置文件的说明可参见op_cache.ini文件说明

op_cache.ini文件说明

业务开启算子编译缓存功能后,会在指定的算子编译磁盘缓存的目录下自动生成op_cache.ini文件,开发者可通过该配置文件进行缓存磁盘空间大小的配置。若op_cache.ini文件不存在,可在该路径下手动创建。

不同场景下指定算子编译磁盘缓存目录的方法不同,例如:

  • 基于AscendCL接口开发AI应用场景下,可在“aclCompileOpt”接口中通过编译选项ACL_OP_COMPILER_CACHE_DIR设置。
  • Ascend Graph构图场景下,可通过配置参数“ge.op_compiler_cache_dir”设置。
  • ATC模型转换场景下,可通过参数“--op_compiler_cache_dir”设置。
  • PyTorch框架场景下,可通过环境变量ACL_OP_COMPILER_CACHE_DIR设置。
  • TensorFlow框架场景下,可通过配置参数“op_compiler_cache_dir”设置。
    TF Adapter配置参数“op_compiler_cache_dir”的详细说明可参见:

以上列举场景仅为示例,若无法覆盖您所使用的场景,请查看对应场景的用户手册。

在“op_cache.ini”文件中,增加如下信息:

#配置文件格式,必须包含,自动生成的文件中默认包括如下信息,手动创建时,需要输入
[op_compiler_cache]
#限制某个昇腾AI处理器下缓存文件的磁盘空间的大小,整数,单位为MB
max_op_cache_size=500
#当磁盘空间不足时,设置需要保留的缓存空间比例,取值范围:[1,100],单位为百分比;例如80表示磁盘空间不足时,会保留80%的缓存文件,其余删除
remain_cache_size_ratio=80

支持的型号

Atlas 200/300/500 推理产品

Atlas 训练系列产品

Atlas 推理系列产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

Atlas 200/500 A2推理产品

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词