利索能及
我要发布
收藏
专利号: 2020102328317
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-19
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种自由视点视频的高图像质量虚拟视点绘制方法,其特征在于:所述方法包括以下步骤:

步骤1:输入两个参考视点对应的彩色图和深度图、相机参数;任一参考视点的相机参数包括已标定好的内参矩阵和外参矩阵;虚拟视点位于所述两个参考视点的连线上,虚拟视点相对两个参考视点的位置参数包括与左侧参考视点的欧式距离DL以及与右侧参考视点的欧式距离DR;

步骤2:基于步骤1输入的两个参考视点的相机参数和虚拟视点分别相对于两个参考视点的位置参数,采用线性插值方法计算得到所述虚拟视点的相机参数矩阵;

步骤3:对步骤1输入的两个参考视点对应的深度图进行边缘检测,得到两幅深度图的前景边缘标记图;

步骤4:对步骤1输入的两个参考视点对应的深度图进行向前映射,得到两幅虚拟视点深度图,对步骤3得到的两幅深度图的前景边缘标记图分别进行向前映射,得到两幅映射后的前景边缘标记图;

步骤5:对步骤4得到的两幅所述虚拟视点深度图分别进行中值滤波,得到两幅滤波后的虚拟视点深度图;

步骤6:利用步骤5得到的两幅滤波后的虚拟视点深度图对步骤1输入的两幅参考视点的彩色图分别进行向后映射,得到两幅映射后的虚拟视点彩色图及对应的空洞掩模图;

步骤7:利用步骤4得到的两幅映射后的前景边缘标记图分别对步骤6得到的两幅所述空洞掩模图进行膨胀,得到两幅膨胀后的空洞掩模图;

步骤8:利用步骤7得到的两幅膨胀后的空洞掩模图对步骤6得到的两幅映射后的虚拟视点彩色图进行对应的融合,得到融合后的虚拟视点彩色图及融合后虚拟视点彩色图像的空洞掩模图;

步骤9:对步骤8得到的融合后的虚拟视点彩色图中的空洞进行插值,输出最终虚拟视点彩色图像。

2.根据权利要求1所述的一种自由视点视频的高图像质量虚拟视点绘制方法,其特征在于:所述步骤3中,对步骤1输入的两个参考视点对应的深度图分别使用矩形模板进行形态学膨胀处理,得到两幅膨胀后的深度图;对这两幅膨胀后的深度图分别进行Canny边缘检测,得到两幅深度图的前景边缘标记图,任一所述前景边缘标记图为二值化图。

3.根据权利要求1所述的一种自由视点视频的高图像质量虚拟视点绘制方法,其特征在于:所述步骤4包括以下步骤:步骤4.1:利用步骤1输入的参考视点的相机参数和步骤2计算得到的虚拟视点的相机参数矩阵,采用DIBR方法,将步骤1输入的两个参考视点对应的深度图分别向前三维映射到虚拟视点的成像平面,得到左视点映射的虚拟视点深度图和右视点映射的虚拟视点深度图;在每个参考视点的映射过程中,若出现同一参考视点深度图中的两个像素值都映射到对应虚拟视点深度图中的同一个像素位置,则比较所述两个像素值大小,保留较小的像素值;直至完成映射;

步骤4.2:采用DIBR方法,将步骤3得到的两幅深度图的前景边缘标记图分别向前三维映射到虚拟视点的成像平面,得到左视点映射后的前景边缘标记图和右视点映射后的前景边缘标记图。

4.根据权利要求1所述的一种自由视点视频的高图像质量虚拟视点绘制方法,其特征在于:所述步骤6包括以下步骤:步骤6.1:利用步骤1输入的参考视点的相机参数和步骤2计算得到的虚拟视点的相机参数矩阵,以及利用步骤5得到的两幅滤波后的虚拟视点深度图,采用DIBR方法,对步骤1输入的两幅参考视点的彩色图分别进行向后三维映射到虚拟视点的成像平面;

步骤6.2:对被映射到的像素位置进行标记,剩余未标记的为空洞;

步骤6.3:得到两幅映射的虚拟视点彩色图及对应的两幅映射的空洞掩模图;任一所述空洞掩模图为二值图,像素值为0则当前位置像素被标记为空洞像素。

5.根据权利要求1所述的一种自由视点视频的高图像质量虚拟视点绘制方法,其特征在于:所述步骤7中,利用步骤4中得到的两幅映射后的前景边缘标记图,使用矩形模板对步骤6中得到的两幅映射的空洞掩模图基于预设条件进行形态学膨胀处理,得到两幅膨胀后的空洞掩模图。

6.根据权利要求5所述的一种自由视点视频的高图像质量虚拟视点绘制方法,其特征在于:所述预设条件为仅对存在边缘标记的位置进行膨胀处理。

7.根据权利要求1所述的一种自由视点视频的高图像质量虚拟视点绘制方法,其特征在于:所述步骤8包括以下步骤:步骤8.1:若步骤7得到的膨胀后的两幅空洞掩模图中,存在相同位置的两个像素均不属于空洞像素,则先将该位置在步骤6得到的两幅映射后的虚拟视点彩色图中的像素值都从RGB空间格式转换到HSV空间格式,再求得左侧映射的虚拟视点彩色图与右侧映射的虚拟视点彩色图在该位置上的像素值亮度分量的比值;重复步骤8.1直至遍历所有的位置,对所有比值进行累加,统计得到所有亮度比值的平均值k;

步骤8.2:将步骤6得到的右侧映射的虚拟视点彩色图中,位置坐标为(u,v)的像素值从RGB空间格式转换到HSV空间格式,将此位置的亮度值乘以k,然后将该像素值从HSV空间格式转换回RGB空间格式,得到亮度校正后的右侧映射的虚拟视点彩色图像素值IR(u,v);

步骤8.3:按式(1)对像素值IR(u,v)与相同位置的左侧映射的虚拟视点彩色图的像素值IL(u,v)进行融合,得到融合后的彩色图像像素值IF(u,v);

其中, DL与DR分别为步骤1输入的虚拟视点与左侧参考视点和右侧参考视点的欧式距离,HL和HR分别为步骤7得到的膨胀后的左侧和右侧的空洞掩模图,若当前位置为空洞像素则为0,否则不为0;

步骤8.4:重复步骤8.2,直至对左右两侧映射的虚拟视点彩色图中每个像素位置都处理完毕,得到融合后的虚拟视点彩色图像IF;

在图像融合过程中,把在空洞掩模图HR和HL中均为空洞的区域标记为空洞,分类标记结束后得到融合后虚拟视点彩色图像的空洞掩模图。

8.根据权利要求1所述的一种自由视点视频的高图像质量虚拟视点绘制方法,其特征在于:所述步骤9中,插值包括以下步骤:步骤9.1:对步骤8得到的融合后虚拟视点彩色图像的空洞掩模图中每个属于空洞像素的像素点,分别在所述空洞掩模图中向上、下、左、右4个方向搜寻首个非空洞像素点,得到4个非空像素点,在步骤5得到的两幅滤波后的虚拟视点深度图中获取所述4个非空像素点的深度值;在获取过程中,优先在左深度图中对应像素位置获取深度值作为该像素点的深度值,若左深度图中该点深度值不存在,则再在右深度图中对应像素位置获取深度值;

步骤9.2:对搜寻到的4个非空洞像素点的深度值进行从大到小的排序,并计算每两个相邻深度值的差值,根据差值剔除相关性较小的非空像素点;

步骤9.3:利用保留的非空像素点,按式(2)加权平均计算得到虚拟视点彩色图像中当前空洞像素点的插值结果Ic,作为当前空洞像素点在步骤8得到的融合后虚拟视点彩色图中的像素值,式中,n为保留的非空像素点的数量,i是非空像素点索引,Ii代表非空像素点在步骤8中得到的融合后虚拟视点彩色图像中的像素值,di为非空像素点与当前空洞像素点的像素距离。

9.根据权利要求8所述的一种自由视点视频的高图像质量虚拟视点绘制方法,其特征在于:所述步骤9.2中,若相邻深度值中较大值与较小值的差值大于阈值Thd,则舍弃较小值及排在其后的深度值对应的非空像素点,保留深度值较大的非空像素点,阈值Thd的取值范围为[5,20]。