下载
中文
注册

总体说明

各产品型号在内存使用上有一些注意事项,如下表所示。

型号

注意事项

Atlas 200/300/500 推理产品

若涉及申请Device上的大页内存,需注意,当前版本为防止大页内存不够用,系统内部已提前预留(Device操作系统上的可用内存*25%≈1940M)大页内存,用户在申请大页内存时优先使用这部分预留内存。Device操作系统上的可用内存指使用free命令查询得到的total内存。

  • 标准形态下,使用完预留的大页内存后,系统内部会根据Device上的内存动态扩展或缩减大页内存。

Atlas A2 训练系列产品/Atlas 800I A2 推理产品

若涉及申请Device上的大页内存,需注意,当前版本为防止大页内存不够用,系统内部已提前预留大页内存,用户在使用大页内存前,可调用aclrtGetMemInfo接口,查询空闲的大页内存(对应ACL_HBM_MEM_HUGE类型)、普通内存(对应ACL_HBM_MEM_NORMAL类型)。

Atlas 推理系列产品

Atlas 200I/500 A2 推理产品

Atlas 训练系列产品

Atlas A2 训练系列产品

Ascend EP形态下,Device启动后首次执行推理或训练任务时,会将AI CPU算子从Host搬迁到Device上并缓存在Device上,用于提升性能,因此会占用部分Device内存(100M~200M,不同昇腾AI处理器有所不同)。若Device重启,这部分AI CPU算子缓存才会释放。

各型号通用

  1. 若涉及媒体数据处理功能,由于媒体数据处理功能对存放输入、输出数据的内存有更高的要求,因此需调用专用的内存申请接口,请参见媒体数据处理V1媒体数据处理V2章节下各功能的约束说明。
  2. 调用1申请出来的内存可以满足媒体数据处理的要求,也可以在其它任务中使用,例如,从性能角度,为了减少拷贝,媒体数据处理的输出作为模型推理的输入,实现内存复用。
  3. 但由于媒体数据处理访问的地址空间有限,为确保媒体数据处理时内存足够,除媒体数据处理功能外的其它功能(例如,模型加载),建议调用内存管理下的接口申请内存,例如aclrtMalloc接口、aclrtMallocHost接口等。
    说明:

    Atlas 推理系列产品 上,媒体数据处理功能在每个进程内,可访问的地址空间最大为16GB。

    Atlas A2 训练系列产品/Atlas 800I A2 推理产品 上,媒体数据处理功能在每个进程内,可访问的地址空间最大为16GB。