3 通过USB接口录制音频和播放音频

1. 首先需要准备一个带录音功能的USB接口的耳机。

2. 然后将USB接口的耳机插入开发的USB接口中。

3. 使用arecord -l命令查看下录音设备的编号，如下面的输出所示，其中card0中的0表示录音设备编号为0。

(base) HwHiAiUser@orangepiaipro:~$ arecord -l
**** List of CAPTURE Hardware Devices ****
card 0: Audio [AB13X USB Audio], device 0: USB Audio [USB Audio]
Subdevices: 1/1
Subdevice #0: subdevice #0

4. 进入USB音频测试代码路径中。

(base) HwHiAiUser@orangepiaipro:~$ sudo -i
(base) root@orangepiaipro:~# cd /opt/opi_test/USBAudio
(base) root@orangepiaipro:/opt/opi_test/USBAudio# ls
Readme.md main main.c

5. 使用下面的命令可以使用USB音频设备录制一段音频。其中0表示录音设备编号，需根据实际情况填写。

(base) root@orangepiaipro:/opt/opi_test/USBAudio# ./main plughw:0

6. 录制结束后，在终端界面输入over即可退出录制。

(base) root@orangepiaipro:/opt/opi_test/USBAudio# ./main plughw:0
Start record!
over #输入 over 结束录制音频
(base) root@orangepiaipro:/opt/opi_test/USBAudio#

7. 录音成功后，在USBAudio样例目录下会生成音频文件audio.pcm。

(base) root@orangepiaipro:/opt/opi_test/USBAudio# ls *.pcm
audio.pcm

8. 确保使用aplay -l命令能看到USB的播音设备。

(base) root@orangepiaipro:/opt/opi_test/USBAudio# aplay -l
**** List of PLAYBACK Hardware Devices ****
card 0: Audio [AB13X USB Audio], device 0: USB Audio [USB Audio]
Subdevices: 0/1
Subdevice #0: subdevice #0

9. 在Linux系统桌面中，使用下面命令可以将录制的音频播放到USB耳机。

(base) root@orangepiaipro:/opt/opi_test/USBAudio# ffplay -ar 44100 -ac 2 -f s16le audio.pcm

获取样例源码请访问：https://gitee.com/ascend/EdgeAndRobotics/tree/master/Peripherals/Audio/USBAudio

4 通过MIPI接口获取Camera图像

目前MIPI摄像头测试只能用样例程序拍一张图片，步骤如下所示：

1. 首先需要准备一个树莓派IMX219摄像头。

2. 然后将摄像头连接到开发板的MIPI摄像头接口中。测试一个摄像头拍照时，请使用CAMERA0接口。

3. 登录Linux系统桌面，打开一个终端，再进入测试程序所在路径。

(base) HwHiAiUser@orangepiaipro:~$ sudo -i
(base) root@orangepiaipro:~# cd /opt/opi_test/camera
(base) root@orangepiaipro:/opt/opi_test/camera# ls
sample_hdmi test_one.sh test_two.sh update_dt.sh vi_l1_sample

4. 运行下面的命令就会使用CAMERA0拍摄一张照片。

(base) root@orangepiaipro:/opt/opi_test/camera# ./vi_l1_sample 1 1 1

5. 拍摄好的图片如下所示：

(base) root@orangepiaipro:/opt/opi_test/camera# ls *.yuv
vi_pipe0_chn0_w1920_h1080.yuv

6. 在Linux桌面中使用ffplay命令可以查看下拍摄的图片。

(base) root@orangepiaipro:/opt/opi_test/camera# ffplay -pix_fmt yuv420p -video_size
1920*1080 ./vi_pipe0_chn0_w1920_h1080.yuv

获取样例源码请访问：https://gitee.com/ascend/EdgeAndRobotics/tree/master/Peripherals/Camera/MIPICamera

本样例调用AscendCL的媒体数据处理接口获取和处理Camera图像，最终在程序运行时处理为YUV或RAW格式的图像，详细接口介绍请移步文末访问昇腾社区文档中心。

5 通过USB接口获取Camera图像

1. 首先将USB摄像头插入到开发板的USB3.0 HOST接口中。

2. 然后通过v4l2-ctl命令就可以看到USB摄像头的设备节点信息为/dev/video0。

(base) HwHiAiUser@orangepiaipro:~$ sudo apt-get update
(base) HwHiAiUser@orangepiaipro:~$ sudo apt-get install -y v4l-utils
(base) HwHiAiUser@orangepiaipro:~$ sudo v4l2-ctl --list-devices
Q8 HD Webcam: Q8 HD Webcam (usb-xhci-hcd.3.auto-1):
/dev/video0
/dev/video1 #这个是用来采集metadata的，先忽略
/dev/media0

注意：v4l2中的l是小写字母l，不是数字1。另外video的序号不一定都是video0，请以实际看到的为准。

3. 下面使用内置的USBCamera样例代码测试 USB 摄像头。

首先进入USBCamera样例代码的路径。

(base) HwHiAiUser@orangepiaipro:~$ sudo -i
(base) root@orangepiaipro:~# cd /opt/opi_test/USBCamera
(base) root@orangepiaipro:/opt/opi_test/USBCamera# ls
main main.cpp readme.md

运行下面的命令就可以使用USB摄像头拍一张照片：

(base) root@orangepiaipro:/opt/opi_test/USBCamera# ./main /dev/video0

(base) root@orangepiaipro:/opt/opi_test/USBCamera# ls
main main.cpp out.yuv readme.md

(base) root@orangepiaipro:/opt/opi_test/USBCamera# ffplay -pix_fmt yuyv422 -video_size 1280*720 out.yuv

获取样例源码请访问：https://gitee.com/ascend/EdgeAndRobotics/tree/master/Peripherals/Camera/USBCamera

6 通过HDMI接口显示图像

1. 首先连接HDMI0接口到HDMI显示器。

2. 然后切换到root用户，并进入HDMI0测试程序所在路径。

(base) HwHiAiUser@orangepiaipro:~$ sudo -i
(base) root@orangepiaipro:~# cd /opt/opi_test/hdmi0_pic
(base) root@orangepiaipro:/opt/opi_test/hdmi0_pic# ls
sample_hdmi test.sh update_dt.sh ut_1920x1080_nv12.yuv

3. 运行update_dt.sh脚本更新dt.img（关闭drm的配置，打开vdp的配置）。update_dt.sh脚本运行完后会自动重启Linux系统。

(base) root@orangepiaipro:/opt/opi_test/hdmi0_pic# ./update_dt.sh

4. 重启后再次进入HDMI0测试程序所在路径，然后运行test.sh脚本就会播放一张图片到HDMI 显示器（默认显示 10 秒），并且同时会播放一段音频到HDMI显示器，如果HDMI显示器支持播放音频的话，还能听到声音。

(base) root@orangepiaipro:/opt/opi_test/hdmi0_pic# ./test.sh

5. HDMI显示的图片如下所示：

测试HDMI1输出一张图片的方法和HDMI0一样，只是测试程序的路径为：

/opt/opi_test/hdmi1_pic

获取样例源码请访问：https://gitee.com/ascend/EdgeAndRobotics/tree/master/Peripherals/Display/HDMIDisplay，本样例调用AscendCL的媒体数据处理接口使能HDMI接口，从而在显示器上显示yuv420 NV12格式、1920*1080分辨率的图片。详细接口介绍请移步文末访问昇腾社区文档中心。

7 通过MIPI接口显示图像

1. 准备树莓派5寸MIPI LCD显示屏、15pin MIPI 排线。

2. 将15pin MIPI排线按照下图所示的方式连接到树莓派5寸屏幕上（注意绝缘面的朝向）。

3. 将LCD屏幕连接到开发板的MIPI LCD接口上。

使用MIPI LCD屏幕显示Linux系统桌面的功能还在开发中。目前MIPI LCD屏幕只能用样例程序显示一张图片。

4. 进入测试程序所在的路径。

(base) HwHiAiUser@orangepiaipro:~$ sudo -i
(base) root@orangepiaipro:~# cd /opt/opi_test/lcd
(base) root@orangepiaipro:/opt/opi_test/lcd# ls
raspberry_demo test.sh update_dt.sh ut_800x480_nv12.yu

5. 运行update_dt.sh脚本更新dt.img（关闭drm的配置，打开vdp的配置）。update_dt.sh脚本运行完后会自动重启Linux系统。

(base) root@orangepiaipro:/opt/opi_test/lcd# ./update_dt.sh

6. 重启后再次进入LCD测试程序所在的路径，然后运行test.sh脚本就会播放一张图片到LCD屏幕。

(base) root@orangepiaipro:/opt/opi_test/lcd# ./test.sh

使用Ctrl+C快捷键可以停止显示图片。

获取样例源码请访问：https://gitee.com/ascend/EdgeAndRobotics/tree/master/Peripherals/Display/MIPIDisplay，本样例调用AscendCL的媒体数据处理接口接收MIPI接口数据，并在显示器上显示yuv420SP格式、800*400分辨率的图片。详细接口介绍请移步文末访问昇腾社区文档中心。

8 更多学习资源

[1]昇腾文档中心：https://www.hiascend.com/zh/document

[2]香橙派AIpro学习资源一站式导航：https://www.hiascend.com/forum/thread-0285140173361311056-1-1.html