下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

接口调用流程

接口调用流程

数据传输的关键接口调用流程如下:

  1. 申请内存。
  2. 将数据读入内存。

    由用户自行管理数据读入内存的实现逻辑。

  3. 通过内存复制实现数据传输。
    数据传输可以通过内存复制的方式实现,分为同步内存复制、异步内存复制:

    对于Host内的数据传输、Device内的数据传输、Host与Device之间的数据传输,可以调用内存复制的接口实现,也可以直接通过指针传递数据。

    对于Atlas 200/300/500 推理产品Ascend RC场景下,不涉及Host上的内存申请、Host内的数据传输、Host与Device之间的数据传输。

注意事项

如果当前版本的昇腾AI软件栈支持多种运行形态,在这种场景下,若想实现相同的应用程序可支持在多种形态下运行,申请内存的方式不同,会影响数据传输时调用的接口:
  • 使用acl.rt.malloc_host接口申请Host内存、使用acl.rt.malloc接口申请Device内存时:

    需先调用acl.rt.get_run_mode接口获取软件栈的运行模式。

    • 当查询结果为ACL_HOST=1,则数据传输时涉及申请Host上的内存。
    • 当查询结果为ACL_DEVICE=0 ,则数据传输时不涉及申请Host上的内存,仅需申请Device上的内存。

    该种方式多一些代码逻辑的判断,不需要由用户处理Device上的内存对齐。在Device上运行应用的场景,该种方式少一些内存复制的步骤,性能较好。

  • 使用acl.rt.malloc_host申请内存时,系统根据运行形态判断是申请Host内存还是Device内存:

    无需调用acl.rt.get_run_mode接口获取软件栈的运行模式。

    该种方式代码逻辑相比前一种简单,但需由用户处理Device上的内存对齐。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词