文档
注册

视频数据获取功能

视频获取功能需要ISP、MIPI Rx、VI等多个功能模块配合才能实现,本节介绍视频数据获取功能的总体接口调用流程、各功能模块的接口调用流程及注意事项。

当前需通过以下功能模块的配合实现视频数据获取功能:

  • ISP系统控制

    系统控制部分用于注册3A算法、注册Sensor驱动、初始化ISP firmware、运行ISP firmware、退出ISP firmware、配置ISP属性等功能。

  • MIPI Rx ioctl命令字

    MIPI Rx是一个支持多种差分视频输入接口的采集单元,通过combo-PHY接收MIPI/LVDS/sub-LVDS/HiSPi接口的数据,通过不同的功能模式配置,MIPI Rx可以支持多种速度和分辨率的数据传输需求,支持多种外部输入设备。

  • VI(Vedio Input)

    VI模块捕获视频图像,可对其做裁剪、防抖、颜色优化、亮度优化、噪声去除等处理,并输出YUV或RAW格式的图像数据。

总体接口调用流程

接口调用流程说明如下:

  1. 调用hi_mpi_sys_init接口初始化媒体数据处理系统。
  2. 使用MIPI Rx ioctl命令字初始化MIPI/Sensor硬件对接信息,接口调用流程请参见初始化MIPI/SENSOR硬件对接信息
  3. 使用VI(Vedio Input)功能接口初始化VI模块,接口调用流程请参见初始化VI视频输入模块
  4. 使用ISP(Image Signal Processing)系统控制接口初始化并运行ISP模块,接口调用流程请参见初始化并运行ISP图像信号处理模块
  5. 使用VI功能接口获取已处理的图像数据,接口调用流程请参见获取已处理的图像数据
  6. 使用ISP功能接口释放ISP模块资源,接口调用流程请参见释放ISP图像信号处理模块资源
  7. 使用VI功能接口释放VI模块资源,接口调用流程请参见释放VI视频输入模块资源
  8. 使用MIPI Rx ioctl命令字退出MIPI/Sensor硬件,接口调用流程请参见退出MIPI/SENSOR硬件
  9. 调用hi_mpi_sys_exit接口释放媒体数据处理系统资源。

初始化MIPI/SENSOR硬件对接信息

  1. 使用HI_MIPI_SET_HS_MODE命令字设置模式。
  2. 使用HI_MIPI_ENABLE_MIPI_CLOCK命令字打开MIPI时钟。
  3. 使用HI_MIPI_RESET_MIPI命令字复位SENSOR所对接的MIPI。
  4. (可选)使用HI_MIPI_CONFIG_SENSOR_CLOCK命令字配置SENSOR时钟。
  5. (可选)使用HI_MIPI_ENABLE_SENSOR_CLOCK命令字打开SENSOR时钟。
  6. 使用HI_MIPI_RESET_SENSOR命令字复位SENSOR。
  7. 使用HI_MIPI_SET_DEV_ATTR命令字配置MIPI Rx/设备属性。
  8. 使用HI_MIPI_UNRESET_MIPI命令字撤销复位MIPI。
  9. 使用HI_MIPI_UNRESET_SENSOR命令字撤销复位SENSOR。

初始化VI视频输入模块

不同数据来源、不同数据格式、不同模式,初始化VI视频输入模块的流程不同。

处理方式

接口调用流程

流程说明

从Sensor传入数据,若要获取YUV格式的数据,则通过VI通道处理,线性模式

  1. 依次调用hi_mpi_vi_set_dev_attrhi_mpi_vi_enable_dev接口,完成VI设备的属性配置并使能。
  2. 调用hi_mpi_vi_set_dev_bind_pipe接口,完成设备和PIPE的绑定关系设置。
  3. 依次调用hi_mpi_vi_create_pipehi_mpi_vi_start_pipe接口,创建并启动VI PIPE。需要合理设置hi_vi_pipe_attr.depth队列深度,队列深度越大,抗抖动性越好,建议设置为3或以上值。
  4. 依次调用hi_mpi_vi_set_chn_attrhi_mpi_vi_enable_chn接口,完成VI通道的属性配置并使能。需要合理设置hi_vi_chn_attr.depth队列深度,该队列深度除了要考虑VI内部处理预留内存外,还需结合用户自己的图像业务处理时长(从用户调用hi_mpi_vi_get_chn_frame接口取走图像资源,到用户调用hi_mpi_vi_release_chn_frame接口归还图像资源的时间间隔),合理设置队列深度大小。

从Sensor传入数据,若要获取YUV格式的数据,则通过VI通道处理,WDR模式

相对于普通线性模式,WDR模式下,Sensor模组会通过长短曝光方式同时产生两帧图像数据,VI需要创建两个PIPE资源,并将两个PIPE绑定到同一个VI设备上,分别接收和处理对应的长短曝光帧图像,然后在主PIPE对应的通道中,输出长短曝光融合后的图像数据。所以,接口调用流程存在如下差异:

  1. 需要调用hi_mpi_vi_set_dev_bind_pipe,将同一个Sensor设备的图像数据,绑定到两个Pipe上去,按示例图,将DEV0设备绑定到PIPE0和PIPE1上。
  2. 需要通过接口hi_mpi_vi_create_pipehi_mpi_vi_start_pipe创建并启动两个PIPE,按示例图,创建了PIPE0和PIPE1,其中PIPE0作为主PIPE,接收并处理短曝光帧,PIPE1作为从PIPE,接收并处理长曝光帧。
    说明:

    WDR模式下,pipe0和pipe1为一组,pipe0为主pipe,pipe1和pipe2为一组,pipe1为主pipe。

  3. 只需启动主PIPE上的通道,从PIPE上的通道可不使能,节省资源。

若要获取RAW格式的数据,则通过VI PIPE处理

  1. 调用hi_mpi_vi_set_dev_attrhi_mpi_vi_enable_dev接口,完成VI设备的属性配置并使能。
  2. 调用hi_mpi_vi_set_dev_bind_pipe接口,完成设备和Pipe的绑定关系设置。
  3. 调用接口hi_mpi_vi_create_pipe创建PIPE。
    1. 如果用户只需要获取RAW图,不需要图像经过VI处理和转换,则在hi_mpi_vi_create_pipe创建pipe时,可执行以下操作:
      1. 将pipe_bypass_mode设置为HI_VI_PIPE_BYPASS_BE,不经过ISP BE处理。
      2. 设置hi_vi_pipe_attr.depth大小为hi_vi_dump_attr.depth,除了dump所需图像队列外,不额外申请多余的图像资源。
      3. 需要调用hi_mpi_vi_set_chn_attr,不需要调用hi_mpi_vi_enable_chn接口使能VI通道。
    2. 如果用户除了获取RAW图,还需要继续将图像送给VI处理和转换,则
      1. hi_mpi_vi_create_pipe创建pipe时,需要合理设置hi_vi_pipe_attr.depth的值,该值需要考虑在hi_vi_dump_attr.depth大小的基础上,额外预留部分VI PIPE内部处理所需队列深度,一般为hi_vi_dump_attr.depth + 3。
      2. 需要继续调用hi_mpi_vi_set_chn_attrhi_mpi_vi_enable_chn接口,使能VI通道,并调用接口hi_mpi_vi_get_chn_frame获取VI处理后的图像结果数据并处理,处理完成后调用hi_mpi_vi_release_chn_frame接口释放对应图像的内存资源。
  4. 要调用接口hi_mpi_vi_set_pipe_frame_dump_attr设置采图所需预留的图像队列深度。
  5. 调用hi_mpi_vi_start_pipe接口启动PIPE。

由用户指定RAW图数据,VI PIPE灌入并处理,获取YUV图

用户回灌图片场景,图片的数据来源不再是外部的摄像头设备,但因为当前版本还不支持虚拟pipe,只能通过物理pipe进行灌图,所以即使数据不从sensor输入,仍旧需要设置对应dev并调用hi_mpi_vi_set_dev_bind_pipe接口做dev和pipe的绑定。

  1. 调用hi_mpi_vi_create_pipe接口创建PIPE。
  2. 调用hi_mpi_vi_set_pipe_frame_source接口将PIPE的图像数据来源设置为VI_PIPE_FRAME_SOURCE_USER。
  3. 调用hi_mpi_vi_start_pipe接口启动PIPE。
  4. 调用hi_mpi_vi_set_chn_attrhi_mpi_vi_enable_chn接口,完成VI通道的属性配置并使能。
  5. 开始循环发送用户指定的图片数据。
    1. 调用hi_mpi_vi_pipe_get_buffer获取空闲的图像数据,所能获取的最大可用内存数量由hi_mpi_vi_create_pipe接口下发的hi_vi_pipe_attr.depth属性决定。
    2. 成功获取到可用的内存资源后,将需要灌入的图像数据写入返回的内存地址中,内存地址为hi_mpi_vi_pipe_get_buffer接口返回的frame_info.v_frame.virt_addr[0],然后调用接口hi_mpi_vi_send_pipe_raw发送RAW图数据。
    3. hi_mpi_vi_send_pipe_raw发送数据成功后,需要及时调用hi_mpi_vi_pipe_release_buffer接口,释放内存资源。
    4. 图示为用户发送bayer格式图像的流程,如果用户需要发送YUV格式数据,则需要在调用hi_mpi_vi_create_pipe接口创建pipe时,指定像素格式pixel_format为YUV,并将isp_bypass设置为true,并将接口hi_mpi_vi_send_pipe_raw修改为hi_mpi_vi_send_pipe_yuv。当前版本支持发送的YUV图像格式为:HI_PIXEL_FORMAT_YVU_SEMIPLANAR_422、HI_PIXEL_FORMAT_YVU_SEMIPLANAR_420、HI_PIXEL_FORMAT_YUV_400。

初始化并运行ISP图像信号处理模块

  1. 调用hi_mpi_isp_sensor_reg_callback接口注册Sensor驱动通用算法。
  2. (可选)调用hi_mpi_ae_sensor_reg_callback接口、hi_mpi_awb_sensor_reg_callback接口注册系统内置的Sensor驱动AE、AWB算法。

    此处用户可以根据需求注册自定义的算法。

  3. (可选)调用hi_mpi_ae_register接口、hi_mpi_awb_register接口初始化系统内置的2A算法。

    此处用户可以根据需求注册自定义的算法。

  4. 调用hi_mpi_isp_mem_init接口初始化ISP内部资源。
  5. 调用hi_mpi_isp_set_pub_attr接口初始化算法模块。
  6. 调用hi_mpi_isp_init接口初始化ISP firmware。
  7. 启用单独线程,调用hi_mpi_isp_run接口运行ISP算法的调度业务主流程。

获取已处理的图像数据

  • 获取YUV数据

    VI图像处理完成后,可在对应的VI通道上获取已完成图像并进行相关处理,典型接口调用流程如下:
    1. (可选)通过系统文件句柄+select/epoll等待机制,等待图像处理完成事件,可通过hi_mpi_vi_get_chn_fd接口获取指定通道的系统文件句柄,然后获取并处理完一帧图像数据后,会唤醒系统的select/epoll读等待请求。
    2. 调用hi_mpi_vi_get_chn_frame接口,获取已处理完成的图像数据。此时图像数据对应内存资源会自动被用户占用,用户必须在处理完图像数据后,调用hi_mpi_vi_release_chn_frame接口释放对应图像的内存资源。
    3. 如果用户通过hi_mpi_vi_get_chn_frame接口获取到图像数据后,要再发布给其他进程使用,则可通过返回的hi_video_frame.user_data[0]得到acltdtBuf句柄,再结合acl的共享buf管理接口(如acltdtCopyBufRef)以及共享队列管理接口(如acltdtEnqueue)将对象发布给其他进程使用。
  • 获取RAW数据

    VI图像处理完成后,可在对应的VI PIPE上获取已完成图像并进行相关处理,典型接口调用流程如下:
    1. (可选)通过系统文件句柄+select/epoll等待机制,等待图像处理完成事件,可通过hi_mpi_vi_get_pipe_fd接口获取指定通道的系统文件句柄,当后台获取并处理完一帧图像数据后,会唤醒系统的select/epoll读等待请求。
    2. 调用hi_mpi_vi_get_pipe_frame接口,获取已处理完成的图像数据。此时图像数据对应内存资源会自动被用户占用,用户必须在处理完图像数据后,调用hi_mpi_vi_release_pipe_frame接口释放对应图像的内存资源。
    3. 如果用户通过hi_mpi_vi_get_pipe_frame接口获取到图像数据后,要再发布给其他进程使用,则可通过返回的hi_video_frame.user_data[0]得到acltdtBuf句柄,再结合acl的共享buf管理接口(如acltdtCopyBufRef)以及共享队列管理接口(如acltdtEnqueue)将对象发布给其他进程使用。

释放ISP图像信号处理模块资源

  1. 调用hi_mpi_isp_exit接口去初始化ISP firmware。
  2. 调用hi_mpi_ae_unregister接口、hi_mpi_awb_unregister接口去初始化2A算法。
  3. 调用hi_mpi_ae_sensor_unreg_callback接口、hi_mpi_awb_sensor_unreg_callback接口取消注册Sensor驱动AE、AWB算法。
  4. 调用hi_mpi_isp_sensor_unreg_callback接口取消注册Sensor驱动通用算法。

释放VI视频输入模块资源

  1. 调用hi_mpi_vi_disable_chn接口关闭VI通道。
  2. 依次调用hi_mpi_vi_stop_pipehi_mpi_vi_destroy_pipe接口停止并销毁VI PIPE。
  3. 调用hi_mpi_vi_disable_dev接口关闭VI设备。

退出MIPI/SENSOR硬件

  1. 使用HI_MIPI_RESET_SENSOR命令字复位SENSOR。
  2. 使用HI_MIPI_DISABLE_SENSOR_CLOCK命令字关闭SENSOR所连接的时钟。
  3. 使用HI_MIPI_RESET_MIPI命令字复位SENSOR所对接的MIPI。
  4. 使用HI_MIPI_DISABLE_MIPI_CLOCK关闭MIPI。
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词