基本概念
- VI设备/PIPE/通道
- 视频输入设备VI DEV
- 视频输入处理VI PIPE
- 视频通道VI CHN
- 绑定关系
为了将前端的Camera模组视频流通过MIPI接口接入到VI中处理,在芯片板级连线上,首先要满足DEV设备和MIPI 设备之间的绑定约束关系,其次为了软件侧的灵活调度编排,用户可自行配置调整DEV设备和PIPE之间的绑定关系。
- DEV和MIPI设备的绑定关系
VI DEV与MIPI RX/SLVS-EC设备的绑定关系固定,不可配置。对应关系如下:
表1 VI DEV与MIPI RX/SLVS-EC接口的绑定关系 VI DEV
MIPI RX
SLVS-EC
0
0
0
1
1
1
2
2
X
3
3
X
- DEV和PIPE的绑定关系
- 每个PIPE都可以与任意Dev通过接口hi_mpi_vi_set_dev_bind_pipe设置绑定关系,且必须在调用接口hi_mpi_vi_create_pipe创建PIPE前绑定,不能动态修改绑定关系。
- 线性模式(非WDR模式)下只需要将一个物理PIPE绑定一个Dev;WDR模式下需要多个物理PIPE绑定同一个Dev,且只有绑定到Dev的第1条物理PIPE的通道有数据输出,其他绑定的物理PIPE的通道没有图像数据输出。例如2合1WDR模式,我们需要将PIPE0、PIPE1绑定到同一个Dev0设备上,只有PIPE0上的通道有数据输出,PIPE1上的通道无数据输出。
- DEV和MIPI设备的绑定关系
- 镜头畸变校正(LDC)
- 视频防抖(DIS)
DIS模块通过比较当前图像与前两帧图像采用不同自由度的防抖算法计算出当前图像在各个轴方向上的抖动偏移向量,然后根据抖动偏移向量对当前图像进行校正,从而起到防抖的效果。
- 低延时
低延时指图像写出指定的行数到DDR后,VI上报一个中断,把图像发给后端模块处理,可以减少延时,且硬件会有机制保证图像是先写后读,不会出现读图像错误。ISP_BE后接3DNR、DIS、LDC支持低延时功能。
- 从模式
部分SENSOR需要工作在从模式,此时需要由外部提供行场曝光同步信息,需要使用VI的从模式模块。用户需要根据SENSOR管脚的连线和下表确定使用哪个从模式模块,然后选择对应的物理PIPE号创建物理PIPE,否则会没有数据。
表2 从模式与PIPE的对应关系表 从模式编号
可连接Sensor数目
管脚名称
建议使用PIPE的编号
0
2
SENSOR_VS0
SENSOR_HS0
0、1
1
2
SENSOR_VS1
SENSOR_HS1
2、3
- VI功能涉及的缩略语如下:
表3 缩略语列表 缩略语
全称
含义
VI
Video Input
视频输入
WDR
Wide Dynamic Range
宽动态
BE
Backend
ISP pipeline中FPN及之后的部分
FE
Frontend
ISP pipeline中FPN算法之前的部分
DIS
Digital Image Stabilization
数字防抖
GME
Global Motion Estimation
全局运动估计
GYRO
Gyroscope
陀螺仪
LDC
Lens Distortion Correction
镜头畸变矫正
MIPI
Mobile Industry Processor Interface
移动行业处理器界面
LVDS
Low-Voltage Differential Signal
低压差分信号
HISPI
High-Speed Serial Pixel Interface
高速串行像素接口
SLVS-EC
Scalable Low-Voltage Signaling interface with an Embedded Clock
可伸缩的、含嵌入式时钟的低电压信号接口
IPC
IP camera
网络摄像机
DV
Digital Visual
数字摄像
PMF
Perspective Mapping Function
投影变换映射函数
MPP
Media Processing Platform
媒体处理平台
ISP
Image Signal Processor
图像信号处理器
Gyro DIS
Gyroscope Digital Image Stabilization
陀螺仪数字防抖