下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

API参考导读

参考文档主要用于开发者查阅与业务开发相关的各类API说明、环境变量与算子信息。

表1 参考文档总览

类型

描述

应用开发接口

AscendCL接口是对底层昇腾计算服务接口的封装。它提供系统配置、运行时管理、单算子执行、模型执行、媒体数据预处理、Profiling数据采集等API库,供用户开发人工智能应用调用。

AscendCL提供了C&C++与Python两种语言的接口,开发者可根据自身需求选择适合自己的语言。

算子开发接口

CANN提供了Ascend C与TBE&AI CPU两种算子开发方式,其中:

  • Ascend C是CANN提供的新一代算子编程语言,支持C和C++标准规范,最大化匹配用户开发习惯,提供了多层接口抽象、自动并行计算、孪生调试等关键技术,兼顾易用与高效。

    通过Ascend C编程语言开发的算子默认运行在AI Core上。

  • TBE&AI CPU是CANN提供的上一代算子开发方式,需要开发者同时具备Python与C&C++语言程序开发能力,其中TBE开发的算子运行在AI Core上,AI CPU开发的算子运行在AI CPU上。

图开发接口

介绍图开发需要使用的相关接口,开发者可以调用这些接口构建网络模型,设置模型所包含的图、图内的算子以及算子的属性信息。

框架适配接口

昇腾平台提供了PyTorch适配插件PT Adapter与TensorFlow适配插件TF Adapter,使得原生PyTorch/TensorFlow模型可以方便的在昇腾平台上执行训练或推理。

另外,针对TensorFlow网络,昇腾平台开放了自定义Scope融合规则的能力,实现网络执行的硬件加速。

集合通信接口

集合通信HCCL接口用于提供单机多卡、多机多卡的集合通信原语,实现分布式训练。HCCL提供了Python语言与C语言两套接口,其中:
  • Python接口,主要用于实现TensorFlow网络的分布式训练。
  • C语言接口,又称OpBase接口,主要用于框架开发者进行OpBase模式下的框架适配,实现分布式能力。

LLM-DataDist接口(Python)

LLM-DataDist(large language model DataDist)大模型分布式集群和数据加速组件,提供了集群KV数据管理能力,以支持全量图和增量图分离部署。

LLM Engine接口(C++)

LLM Engine(large language model Engine)提供管理图的部署和调度执行功能,支持推理全量增量分离部署,根据传入的图是全量图还是增量图来执行对应的部署和调度逻辑。

环境变量参考

描述开发者基于CANN构建AI应用和业务过程中可使用的环境变量。

算子清单

对CANN算子库中的算子进行描述,以及CANN支持的AI框中的算子描述。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词