ASCEND_MAX_OP_CACHE_SIZE

功能描述

启用算子编译缓存功能时，可通过此环境变量限制某个昇腾AI处理器下缓存文件夹的磁盘空间的大小。默认为500，单位为MB。

• 当编译缓存文件的大小超过此环境变量的设置值，且超过半小时缓存文件未被访问时，缓存文件就会老化。
• 若需要关闭编译缓存老化功能，可将环境变量“ASCEND_MAX_OP_CACHE_SIZE”设置为“-1”，此时访问算子缓存时不会更新访问时间，算子编译缓存不会老化，磁盘空间使用默认大小500M。

算子编译时，不会因为编译缓存文件大小超过设置值而中断，所以当此环境变量的值设置过小时，会出现实际编译缓存文件大小超过此设置值的情况。

配置示例

export ASCEND_MAX_OP_CACHE_SIZE=500

使用约束

系统读取缓存磁盘空间大小配置的优先级如下：

算子编译磁盘缓存的目录下的“op_cache.ini”配置文件 > ASCEND_MAX_OP_CACHE_SIZE环境变量 > 默认值。

即若开发者同时配置了op_cache.ini文件和环境变量，则优先读取op_cache.ini文件中的配置项，若op_cache.ini文件和环境变量都未设置，则读取系统默认值：默认磁盘空间大小为500M。

关于“op_cache.ini”配置文件的详细说明可参见op_cache.ini文件说明。

op_cache.ini文件说明

业务开启算子编译缓存功能后，会在指定的算子编译磁盘缓存的目录下自动生成op_cache.ini文件，开发者可通过该配置文件进行缓存磁盘空间大小的配置。若op_cache.ini文件不存在，可在该路径下手动创建。

不同场景下指定算子编译磁盘缓存目录的方法不同，例如：

• 基于AscendCL接口开发AI应用场景下，可在“aclCompileOpt”接口中通过编译选项ACL_OP_COMPILER_CACHE_DIR设置。
• Ascend Graph构图场景下，可通过配置参数“ge.op_compiler_cache_dir”设置。
• ATC模型转换场景下，可通过参数“--op_compiler_cache_dir”设置。
• PyTorch框架场景下，可通过环境变量ACL_OP_COMPILER_CACHE_DIR设置。
• TensorFlow框架场景下，可通过配置参数“op_compiler_cache_dir”设置。
  TF Adapter配置参数“op_compiler_cache_dir”的详细说明可参见：

  • 《TF Adapter API（1.x）》中的“session配置 > session配置参数说明”。
  • 《TF Adapter API（2.x）》中的“npu.global_options > 配置参数说明。

以上列举场景仅为示例，若无法覆盖您所使用的场景，请查看对应场景的用户手册。

在“op_cache.ini”文件中，增加如下信息：

#配置文件格式，必须包含，自动生成的文件中默认包括如下信息，手动创建时，需要输入
[op_compiler_cache]
#限制某个昇腾AI处理器下缓存文件的磁盘空间的大小，整数，单位为MB
max_op_cache_size=500
#当磁盘空间不足时，设置需要保留的缓存空间比例，取值范围：[1,100]，单位为百分比；例如80表示磁盘空间不足时，会保留80%的缓存文件，其余删除
remain_cache_size_ratio=80

支持的型号

Atlas 200/300/500 推理产品

Atlas 训练系列产品

Atlas 推理系列产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

Atlas 200/500 A2推理产品