API参考导读
参考文档主要用于开发者查阅与业务开发相关的各类API说明、环境变量与算子信息。
类型 |
描述 |
---|---|
AscendCL接口是对底层昇腾计算服务接口的封装。它提供系统配置、运行时管理、单算子执行、模型执行、媒体数据预处理、Profiling数据采集等API库,供用户开发人工智能应用调用。 AscendCL提供了C&C++与Python两种语言的接口,开发者可根据自身需求选择适合自己的语言。 |
|
CANN提供了Ascend C与TBE&AI CPU两种算子开发方式,其中: |
|
介绍图开发需要使用的相关接口,开发者可以调用这些接口构建网络模型,设置模型所包含的图、图内的算子以及算子的属性信息。 |
|
昇腾平台提供了PyTorch适配插件PT Adapter与TensorFlow适配插件TF Adapter,使得原生PyTorch/TensorFlow模型可以方便的在昇腾平台上执行训练或推理。 另外,针对TensorFlow网络,昇腾平台开放了自定义Scope融合规则的能力,实现网络执行的硬件加速。 |
|
集合通信HCCL接口用于提供单机多卡、多机多卡的集合通信原语,实现分布式训练。HCCL提供了Python语言与C语言两套接口,其中:
|
|
LLM-DataDist(large language model DataDist)大模型分布式集群和数据加速组件,提供了集群KV数据管理能力,以支持全量图和增量图分离部署。 |
|
LLM Engine(large language model Engine)提供管理图的部署和调度执行功能,支持推理全量增量分离部署,根据传入的图是全量图还是增量图来执行对应的部署和调度逻辑。 |
|
描述开发者基于CANN构建AI应用和业务过程中可使用的环境变量。 |
|
对CANN算子库中的算子进行描述,以及CANN支持的AI框中的算子描述。 |