文档
注册

学习向导

使用导引

mxVision用户指南用于引导开发者基于现有模型,通过mxVision API接口开发方式或流程编排方式实现目标识别、图像分类等功能。

通过用户指南,您可以了解到以下内容:

  • mxVision软件架构、基本概念以及各开发方式对应的使用流程。
  • 如何使用mxVision API接口进行应用开发,如何通过流程编排插件实现应用。
  • 通过了解应用样例,开发实现更多类型的应用。

拥有C/C++、Python语言开发能力,对推理应用开发有一定了解的开发者,可更好的理解该产品。

初次使用,建议先了解基本概念,通过使用流程了解各开发方式具体流程,具体了解各开发方式的风格特点,选择适合实际业务,理解习惯的开发方式,再通过对应的章节具体学习开发实现mxVision应用。

  • 使用API接口方式开发(C++)章节,通过展示典型应用开发流程,介绍当前各功能的具体接口调用过程,提供简易代码示例方式,指导开发者学习使用各功能特性。
  • 使用流程编排方式开发章节,通过展示典型应用开发流程,提供基于流程编排的全流程步骤操作、丰富的插件资源,指导开发者实现基于插件的流程编排开发的mxVision应用。

基本概念

表1 概念介绍

概念

描述

同步/异步

本文中提及的同步、异步是站在调用者和执行者的角度,在当前场景下,若在调用接口后不等待Device执行完成再返回,则表示调度是异步的;若在调用接口后需等待Device执行完成再返回,则表示调度是同步的。

Host

Host指与Device相连接的x86_64服务器、Arm服务器,会利用Device提供的NN(Neural-Network )计算能力,完成业务。

Device

Device指安装了昇腾AI处理器的硬件设备,利用PCIe接口与Host侧连接,为Host提供NN计算能力。若存在多个Device,多个Device之间的内存资源不能共享。

Stream

Stream用于维护一些异步操作的执行顺序,确保按照应用程序中的代码调用顺序在Device上执行。

AIPP

AIPP(Artificial Intelligence Pre-Processing)用于在AI Core上完成图像预处理,包括色域转换(转换图像格式)和抠图(指定抠图起始点,抠出神经网络需要大小的图片)等。

AIPP区分为静态AIPP和动态AIPP。您只能选择静态AIPP或动态AIPP方式来处理图片,不能同时配置静态AIPP和动态AIPP两种方式。
  • 静态AIPP:模型转换时设置AIPP模式为静态,同时设置AIPP参数,模型生成后,AIPP参数值被保存在离线模型(*.om)中,每次模型推理过程采用固定的AIPP预处理参数(无法修改)。

    如果使用静态AIPP方式,多Batch情况下共用同一份AIPP参数。

  • 动态AIPP:模型转换时设置AIPP模式为动态,每次模型推理前,根据需求,在执行模型前设置动态AIPP参数值,然后在模型执行时可使用不同的AIPP参数。

    如果使用动态AIPP方式,多Batch可使用不同的AIPP参数。

动态Batch/动态分辨率

在某些场景下,模型每次输入的batch size或分辨率是不固定的,如检测出目标后再执行目标识别网络,由于目标个数不固定导致目标识别网络输入BatchSize不固定。

  • 动态Batch:用户执行推理时,其batch size是动态可变的。
  • 动态分辨率: 用户执行推理时,每张图片的分辨率H * W是动态可变的。

动态维度(ND格式)

为了支持Transformer等网络在输入格式的维度不确定的场景,需要支持ND格式下任意维度的动态设置。

ND表示支持任意格式,当前N ≤ 4。

通道

在RGB色彩模式下,图像通道就是指单独的红色R、绿色G、蓝色B部分。也就是说,一幅完整的图像,是由红色绿色蓝色三个通道组成的,它们共同作用产生了完整的图像。同样在HSV色系中指的是色调H,饱和度S,亮度V三个通道。

DVPP

DVPP(Digital Video Pre-Processing)是昇腾AI处理器内置的图像处理单元,通过媒体数据处理接口提供强大的媒体处理硬加速能力,主要功能包括缩放、抠图、格式转换、图片编解码、视频编解码等。

VPC

VPC(Vision Preprocessing Core)负责图像处理功能,支持对图片做抠图、缩放、格式转换等操作。

EULA

End User License Agreement,华为企业业务最终用户许可协议。

AscendCL

Ascend Computing Languag,是一套用于在昇腾平台上开发深度神经网络推理应用的C语言API库,提供运行资源管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API,能够实现利用昇腾硬件计算资源、在昇腾CANN平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。简单来说,就是统一的API框架,实现对所有资源的调用。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词