下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

总体说明

  • 若涉及媒体数据处理功能,关于内存使用,有以下注意事项:
    1. 由于媒体数据处理功能对存放输入、输出数据的内存有更高的要求(例如,内存首地址128对齐),因此需调用专用的内存申请接口,如下。
    2. 调用上述接口申请出来的内存可以满足媒体数据处理的要求,也可以在其它任务中使用,例如,从性能角度,为了减少拷贝,媒体数据处理的输出作为模型推理的输入,实现内存复用。
    3. 由于媒体数据处理访问的地址空间有限,为确保媒体数据处理时内存足够,除媒体数据处理功能外的其它功能(例如,模型加载),建议调用内存管理章节下的acl.rt.malloc接口、acl.rt.malloc_host接口或acl.rt.malloc_cached接口申请内存。

      Atlas 推理系列产品上,媒体数据处理功能在每个进程内,可访问的地址空间最大为16GB。

      Atlas A2训练系列产品/Atlas 800I A2推理产品上,媒体数据处理功能在每个进程内,可访问的地址空间最大为16GB。

  • 对于Atlas 200/300/500 推理产品,若涉及申请Device上的大页内存,当前版本为防止大页内存不足,系统内部已提前预留(Device操作系统上的可用内存 * 25% ≈ 1940M)大页内存,在申请大页内存时请优先使用这部分预留内存。Device操作系统上的可用内存指使用free命令查询得到的total内存。
    • 标准形态下,使用完预留的大页内存后,系统内部会根据Device上的内存动态扩展或缩减大页内存。
  • 对于Atlas A2训练系列产品/Atlas 800I A2推理产品,若涉及申请Device上的大页内存,需注意,当前版本为防止大页内存不够用,系统内部已提前预留大页内存,用户在使用大页内存前,可调用acl.rt.get_mem_info接口,查询空闲的HBM大页内存(对应ACL_HBM_MEM_HUGE类型)、HBM普通内存(对应ACL_HBM_MEM_NORMAL类型)。
  • Ascend EP形态下,Device启动后首次执行推理或训练任务时,会将AI CPU算子从Host搬迁到Device上并缓存在Device上,用于提升性能,因此会占用部分Device内存(100M~200M,不同芯片有所不同)。若Device重启,这部分AI CPU算子缓存才会释放。

    以下产品涉及该约束:

    • Atlas 推理系列产品
    • Atlas 200I/500 A2推理产品
    • Atlas 训练系列产品
    • Atlas A2 训练系列产品
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词