超分体验
您完全理解并同意本服务协议的全部内容点击查看
概述
视频超分辨率算法通过人工智能深度学习方法将低分辨率视频重建成高分辨率视频。视频超分辨率算法需要在原视频的基础上填充和生成几倍于原始面积的像素点。为了保持前后帧的一致性，生成这些像素点时需要对上下文多帧信息进行聚合和筛选，找出与目标帧最为相关的信息加以利用。
模型介绍
本方案基于华为自研昇腾AI处理器和异构计算架构CANN，以经典的视频超分模型EDVR（https://arxiv.org/abs/1905.02716）为例对低分辨率视频进行增强。EDVR模型会自适应地对上下文信息进行对比，根据相似度来选择最合适的信息来辅助当前帧的超分，而无关的信息将被过滤掉。这个步骤也使得本方案无需额外进行场景转换检测，就能处理画面突变的情况。
EDVR网络结构图，图片来自：https://arxiv.org/abs/1905.02716
软硬件优化
EDVR模型包含了一个特殊算子Deformable Convolution（可变卷积，https://arxiv.org/abs/1703.06211）来完成上下文信息的对齐过程。可变卷积包含复杂的取数据和计算过程，TensorFlow框架中只能用小算子组装来实现该功能。CANN将可变卷积的计算过程进行了整合，将多个小算子融合成一个大算子，并由高速互联的异构计算单元处理，加速数据调度、搬运来提升可变卷积整体的执行效率。
昇腾AI计算平台采用融合后的可变卷积算子，相比于直接使用TensorFlow框架组装算子，训练和推理速度都获得大幅提升，其中EDVR-M超分辨率整网的训练速度最多可以提升30倍。
