ISP调优算法介绍

ISP算法功能介绍

ISP模块支持标准的Sensor图像数据处理，包括自动白平衡、自动曝光、Demosaic、坏点矫正及镜头阴影矫正等基本功能，也支持WDR、DRC、降噪等高级处理功能。ISP主要支持的图像处理功能如下表所示。

表1 ISP算法功能
算法	功能	描述
BLC	黑电平校正	提供Sensor相关的黑电平校正。
DPC	坏点矫正	提供对静态坏点和动态坏点的检测和校正功能。
BNR	Bayer降噪	提供在Bayer domain中实现对图像的去噪，目的是去除噪声的同时，保留细节。
FPN	固定噪声消除	通过标定的黑帧或黑行对Sensor输入的图像进行校正，达到去除Sensor FPN的目的。
DEMOSAIC	解马赛克	将Bayer格式的Raw图像转换到RGB图像。
CAC	紫边校正	用来校正由镜头引入的轴向色差（紫边）与横向色差（物体相对两侧带有不同颜色的彩色边缘）。
GAMMA	图像亮度调整	该模块根据伽马曲线分（R，G，B）三个颜色通道调整亮度。
DRC	动态范围压缩	调整图像的显示动态范围，使之在显示设备上的显示效果与人眼感知一致。
WDR	宽动态功能	提供多帧合成宽动态功能：支持Sensor内部合成宽动态功能（Sensor Built-in WDR）最大支持2合1宽动态功能（WDR）
AWB	自动白平衡	该模块输出全局统计信息和区域统计信息，软件基于统计信息完成自动白平衡功能。
AE	自动曝光	该模块输出自动曝光信息的统计，软件根据统计信息调节Sensor可实现自动曝光的功能。
AF	自动对焦	当前不支持AF算法，仅支持AF统计信息，统计图像清晰度评价信息，用于完成支持自动对焦功能。
LSC	镜头阴影校正	用于镜头阴影校正。当前只支持mesh shading。
SHARPEN	图像锐化	实现图像的锐化，提高图像的清晰度。
DEHAZE	自动去雾处理	提供强大的分区域去雾能力以改善雾霾场景下视频的对比度和清晰度。
CLUT	颜色三维查找表增强	利用171717大小的3D LUT实现复杂的颜色调整操作，比如亮度的调整，饱和度的调整，阴影区域，中间亮度区域，高亮区域分别调整。
LDCI	局部对比度增强	基于局域直方图均衡的方法来增强局部的对比度，提升暗区细节，同时对图像中高频进行一定的增强，提升对比度。
CA	色彩自适应	饱和度调整及热成像上色，当前不支持热成像上色。
3DNR	3D降噪	通过参数配置，把图像中的高斯噪声去除，使得图像变得平滑，同时降低了编码码率。
HLC	高光屏蔽	将图像中亮度最高的区域拉灰，以减少类似于车灯等高亮光源对人眼的刺激。
Crop	图像裁剪	实现对输入图像裁剪的功能。
GE	图像质量提升	校正Gr与Gb两个通道的失衡，提高部分场景的图像质量。
Expander	解压缩数据	将Sensor内部压缩的数据，进行解压缩。
DG	数字增益	提供分通道的数字增益功能。
MG	最大增益统计	MG模块统计DRC后分块均值，与AE统计分块均值相比，可以得出分块均值增益最大值。MG统计信息包含8bit精度分块R/Gr/Gb/B均值统计，分块最大支持17*15
CCM	颜色校正	通过标准3*3的矩阵和矢量偏移量可完成颜色空间的线性校正。
CSC	色域转换	通过标准3*3的矩阵和矢量偏移量将输入{R，G，B}转换为{Y，U，V}。
DIS	防抖	通过比较两帧之间的差异，计算出帧间的偏移量，根据偏移量进行裁剪，消除图像抖动。
LDC	镜头畸变矫正	对一帧图像进行镜头畸变矫正和展宽功能。展宽功能当前不支持。
FISHEYE	鱼眼矫正	对一帧图像进行鱼眼校正（包括360全景、180全景和Normal三种校正模式）

ISP算法功能框图

ISP算法功能结构图如下所示。此图与本文中提到的ISP_FE均代指ISP pipeline中FPN（不包含）之前的部分，ISP_BE均代指ISP pipeline中FPN（包含）之后、3DNR或视频防抖之前的部分，ISP_PE均指3DNR或视频防抖及之后的部分。

图1 ISP整体结构图
点击放大

图2 ISP_FE结构图

图3 ISP_BE结构图
点击放大

图4 ISP_PE结构图

图中DG1算法功能本身和DG一致，但DG1在WDR融合前会对不同曝光帧分开统计。
ISP_PE中所列功能框图为开启不同组合功能后的当前组合顺序。