欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2020111287034
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于几何特征的重定位立体图像质量评价方法,其特征在于包括以下步骤:步骤一:令Sorg表示原始的立体图像,令Sret表示Sorg对应的重定位立体图像;将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sret的左视点图像记为{Lret(x',y)},将Sret的右视点图像记为{Rret(x',y)};其中,1≤x≤W,1≤y≤H,1≤x'≤W',W表示Sorg的宽度,W'表示Sret的宽度,H表示Sorg和Sret的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值,Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值;

步骤二:根据{Lorg(x,y)}与{Rorg(x,y)}之间的双向匹配关系,获得Sorg的虚拟视点图像,记为{Vorg(x,y)};同样,根据{Lret(x',y)}与{Rret(x',y)}之间的双向匹配关系,获得Sret的虚拟视点图像,记为{Vret(x',y)};其中,Vorg(x,y)表示{Vorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Vret(x',y)表示{Vret(x',y)}中坐标位置为(x',y)的像素点的像素值;

步骤三:采用SIFT‑Flow方法建立{Vorg(x,y)}与{Vret(x',y)}之间的匹配关系,得到{Vorg(x,y)}中的每个像素点的SIFT‑Flow向量,将{Vorg(x,y)}中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为vOrg(x,y), 其中,用于表示水平方向,用于表示垂直方向, 表示vOrg(x,y)的水平偏移量, 表示vOrg(x,y)的垂直偏移量;

步骤四:采用超像素分割技术将{Vorg(x,y)}分割成Num个互不重叠的六边形网格,将{Vorg(x,y)}中的第h个六边形网格构成的区域记为SPorg,h,SPorg,h以其6个网格顶点构成的集合来描述, 其中,Num≥1,1≤h≤Num,对应表示SPorg,h的第1个网格顶点、第2个网格顶点、第3个

网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点, 以 的水平坐标位置和垂直坐标位置 来描述, 以 的水平坐标位置和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直

坐标位置 来描述, 以 的水平坐标位置 和垂直坐标

位置 来描述, 以 的水平坐标位置 和垂直坐标位置

来描述, 以 的水平坐标位置 和垂直坐标位置 来

描述,

然后根据{Vorg(x,y)}中的每个六边形网格构成的区域的6个网格顶点的SIFT‑Flow向量,确定{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格,将{Vorg(x,y)}中的第h个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域记为SPret,h,其中, 对应表示SPret,h的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述,以 的水平坐标位置 和垂直坐标位置 来描述,

以 的水平坐标位置 和垂直坐标位置 来描

述, 以

的水平坐标位置 和垂直坐标位置 来描述,

以 的水平坐标位置

和垂直坐标位置 来描述,

以 的水平坐标位置 和垂直坐标位置 来描述,

表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量的水平偏移量, 表示{Vorg(x,y)}中坐标位置为

的像素点的SIFT‑Flow向量 的垂直偏移量, 表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的水平偏移量,

表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的垂直偏移量, 表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的水平偏移量, 表示{Vorg(x,y)}中坐标位置为

的像素点的SIFT‑Flow向量 的垂直偏移量, 表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的水平偏移量,

表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量的垂直偏移量, 表示{Vorg(x,y)}中坐标位置为

的像素点的SIFT‑Flow向量 的水平偏移量, 表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的垂直偏移量,

表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量的水平偏移量, 表示{Vorg(x,y)}中坐标位置为

的像素点的SIFT‑Flow向量 的垂直偏移量;

步骤五:采用基于图论的视觉显著模型提取出{Vorg(x,y)}的视觉显著图,记为{Zorg(x,y)};其中,Zorg(x,y)表示{Zorg(x,y)}中坐标位置为(x,y)的像素点的像素值;

步骤六:通过计算{Vorg(x,y)}中的每个六边形网格与{Vret(x',y)}中匹配的六边形网格的网格相似度,并结合{Zorg(x,y)},计算{Vorg(x,y)}和{Vret(x',y)}的网格相似度,记为fTGS;

通过计算{Vorg(x,y)}中的每个六边形网格与{Vret(x',y)}中匹配的六边形网格的长宽比相似性,并结合{Zorg(x,y)},计算{Vorg(x,y)}和{Vret(x',y)}的长宽比相似性,记为fARS;

步骤七:采用Canny边缘检测算子提取出{Vorg(x,y)}的边缘图,记为{Eorg(x,y)};同样,采用Canny边缘检测算子提取出{Vret(x',y)}的边缘图,记为{Eret(x',y)};然后计算{Vorg(x,y)}的边缘密度图和边缘方向图,对应记为{Morg(x,y)}和{Oorg(x,y)},将{Morg(x,y)}中坐标位置为(x,y)的像素点的像素值记为Morg(x,y), 将{Oorg(x,y)}中坐标位置为(x,y)的像素点的像素值记为Oorg(x,y), 同样,计算{Vret(x',y)}的边缘密度图和边缘方向图,对应记为{Mret(x',y)}和{Oret(x',y)},将{Mret(x',y)}中坐标位置为(x',y)的像素点的像素值记为Mret(x',y),将{Oret(x',y)}中坐标位置为(x',y)的像素

点的像素值记为Oret(x',y), 其中,Eorg(x,y)表示{Eorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Eret(x',y)表示{Eret(x',y)}中坐标位置为(x',y)的像素点的像素值,用于表示水平方向, 用于表示垂直方向,符号“||”为取绝对值符号,符号 为卷积符号,arctan()表示反正切函数;

步骤八:计算{Morg(x,y)}中的所有像素点的直方图、{Oorg(x,y)}中的所有像素点的直方图、{Mret(x',y)}中的所有像素点的直方图、{Oret(x',y)}中的所有像素点的直方图,对应记为 其中, 的维数均为1×10;

步骤九:计算{Vorg(x,y)}和{Vret(x',y)}的边缘密度差异,记为fEID, 并计算{Vorg(x,y)}和{Vret(x',y)}的边缘方向差异,记为fEOD, 其中,χ()为求欧氏距离函数;

步骤十:根据fTGS、fARS、fEID和fEOD,获取Sret的几何特征矢量,记为F,F=[fTGS,fARS,fEID,fEOD];其中,F的维数为1×4,[fTGS,fARS,fEID,fEOD]表示将fTGS、fARS、fEID和fEOD连接起来形成一个特征矢量;

步骤十一:将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合;然后采用主观质量评价方法,获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值,将重定位立体图像集合中的第j幅重定位立体图像的平均主观评分差值记为DMOSj;并按照步骤一至步骤十的过程,以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的几何特征矢量,将重定位立体图像集合中的第j幅重定位立体图像的几何特征矢量记为Fj;其中,n'为正整数,n'>1,n为正整数,n≥n',j为正整数,1≤j≤n,DMOSj∈[0,100],Fj的维数为1×4;

步骤十二:从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集;然后将训练集中的所有重定位立体图像的几何特征矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有几何特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量 和最优的偏置项 再利用得到的最优的权重矢量 和最优的偏置项 构造重定位立体图像的支持向量回归训练模型,记为s(Finp),其中,m为正整数,1≤m<n,s()为函数表示形式,Finp表示重定位立体图像的支持向量回归训练模型的输入矢量,为重定位立体图像的几何特征矢量,Finp的维数为1×4, 为 的转置, 表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数;

步骤十三:将重定位立体图像集合中剩余的n‑m幅重定位立体图像构成测试集;然后将测试集中的所有重定位立体图像的几何特征矢量构成测试样本数据集合;接着根据构造得到的重定位立体图像的支持向量回归训练模型,对测试样本数据集合中的每个几何特征矢量进行测试,预测得到测试样本数据集合中的每个几何特征矢量对应的重定位立体图像的客观质量评价预测值,将测试样本数据集合中的第η个几何特征矢量对应的重定位立体图像的客观质量评价预测值记为Qη,Qη=s(Fη), 其中,η为正整数,1≤η≤n‑m,Fη表示测试样本数据集合中的第η个几何特征矢量,Fη的维数为1×4, 表示Fη的线性函数;

步骤十四:重复执行步骤十二至步骤十三共number次,并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集,经过number次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值,再将重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值;其中,number为正整数,number≥100。

2.根据权利要求1所述的一种基于几何特征的重定位立体图像质量评价方法,其特征在于所述的步骤二中,{Vorg(x,y)}的获取过程为:A1、采用SIFT‑Flow方法建立{Lorg(x,y)}与{Rorg(x,y)}之间的匹配关系,得到{Lorg(x,y)}中的每个像素点的SIFT‑Flow向量,将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为 其中,用于表示水平方向, 用于表示垂直方向, 表示 的水平偏移量, 表示 的垂直偏移

量;

A2、采用SIFT‑Flow方法建立{Rorg(x,y)}与{Lorg(x,y)}之间的匹配关系,得到{Rorg(x,y)}中的每个像素点的SIFT‑Flow向量,将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为 其中, 表示 的水平偏移量, 表示 的垂直偏移量;

A3、根据{Lorg(x,y)}中的所有像素点的SIFT‑Flow向量和{Rorg(x,y)}中的所有像素点的SIFT‑Flow向量,获得Sorg的虚拟视点图像{Vorg(x,y)},其中,

表示{Rorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量的水平偏移量, 表示{Rorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的垂直偏移量, 表示{Lorg(x,y)}中坐标位置为 的像素点的像素值, 表示{Rorg(x,y)}中坐标位置为 的像素点的像素值;

所述的步骤二中,{Vret(x',y)}的获取过程为:

B1、采用SIFT‑Flow方法建立{Lret(x',y)}与{Rret(x',y)}之间的匹配关系,得到{Lret(x',y)}中的每个像素点的SIFT‑Flow向量,将{Lret(x',y)}中坐标位置为(x',y)的像素点的SIFT‑Flow向量记为 其中,用于表示水平方向, 用于表示垂直方向, 表示 的水平偏移量, 表示 的

垂直偏移量;

B2、采用SIFT‑Flow方法建立{Rret(x',y)}与{Lret(x',y)}之间的匹配关系,得到{Rret(x',y)}中的每个像素点的SIFT‑Flow向量,将{Rret(x',y)}中坐标位置为(x',y)的像素点的SIFT‑Flow向量记为 其中, 表示的水平偏移量, 表示 的垂直偏移量;

B3、根据{Lret(x',y)}中的所有像素点的SIFT‑Flow向量和{Rret(x',y)}中的所有像素点的SIFT‑Flow向量,获得Sret的虚拟视点图像{Vret(x',y)},其中,

表示{Rret(x',y)}中坐标位置为 的像素点的SIFT‑Flow向量 的水平偏移量, 表示{Rret(x',y)}中坐标位置为 的像素点的SIFT‑Flow向量 的垂直偏移量, 表示{Lret(x',y)}中坐标位置为 的像素点的像素值, 表示{Rret(x',y)}中坐标位置为 的像素点的像素值。

3.根据权利要求1或2所述的一种基于几何特征的重定位立体图像质量评价方法,其特征在于所述的步骤六中,fTGS的获取过程为:步骤C1、将以{Vorg(x,y)}中的第h个六边形网格构成的区域SPorg,h的重心为中心的水平轴与该六边形网格的交点从左至右分别记为 和 将以{Vorg(x,y)}中的第h个六边形网格构成的区域SPorg,h的重心为中心的垂直轴与该六边形网格的交点从上至下分别记为 和 将 与 之间的距离记为 将 与之间的距离记为 将 与 之间的距离记为 将 与

之间的距离记为 将 和 连接构成的直线与 和

连接构成的直线之间的夹角记为 将 和 连接构成的直线与 和

连接构成的直线之间的夹角记为

同样,将以{Vret(x',y)}中的第h个六边形网格构成的区域SPret,h的重心为中心的水平轴与该六边形网格的交点从左至右分别记为 和 将以{Vret(x',y)}中的第h个六边形网格构成的区域SPret,h的重心为中心的垂直轴与该六边形网格的交点从上至下分别记为 和 将 与 之间的距离记为 将 与之间的距离记为 将 与 之间的距离记为 将 与

之间的距离记为 将 和 连接构成的直线与 和

连接构成的直线之间的夹角记为 将 和 连接构成的直线与 和

连接构成的直线之间的夹角记为

步骤C2、计算{Vorg(x,y)}中的每个六边形网格与{Vret(x',y)}中匹配的六边形网格的网格相似度,将{Vorg(x,y)}中的第h个六边形网格与{Vret(x',y)}中匹配的六边形网格的网格相似度记为gh,其中,γ为控制参数,exp()

表示以自然基数e为底的指数函数,C为控制参数;

步骤C3、根据{Vorg(x,y)}中的所有六边形网格与{Vret(x',y)}中匹配的六边形网格的网格相似度,并结合{Zorg(x,y)},计算{Vorg(x,y)}和{Vret(x',y)}的网格相似度fTGS,其中,zh表示{Vorg(x,y)}中的第h个六边形网格构成的区域SPorg,h中的所有像素点的视觉显著值的均值,也即表示{Zorg(x,y)}中与SPorg,h对应的区域中的所有像素点的像素值的均值。

4.根据权利要求3所述的一种基于几何特征的重定位立体图像质量评价方法,其特征在于所述的步骤六中,fARS的获取过程为:步骤D1、计算{Vorg(x,y)}中的每个六边形网格与{Vret(x',y)}中匹配的六边形网格的长宽比相似性,将{Vorg(x,y)}中的第h个六边形网格与{Vret(x',y)}中匹配的六边形网格的长宽比相似性记为ρh, 其中, 表示{Vorg(x,y)}中的第h个六边形网格构成的区域SPorg,h的所有网格顶点之间的水平距离的最大值, 表示{Vorg(x,y)}中的第h个六边形网格构成的区域SPorg,h的所有网格顶点之间的垂直距离的最大值, 表示{Vorg(x,y)}中的第h个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域SPret,h的所有网格顶点之间的水平距离的最大值, 表示{Vorg(x,y)}中的第h个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域SPret,h的所有网格顶点之间的垂直距离的最大值,γ为控制参数,exp()表示以自然基数e为底的指数函数,C为控制参数;

步骤D2、根据{Vorg(x,y)}中的所有六边形网格与{Vret(x',y)}中匹配的六边形网格的长宽比相似性,并结合{Zorg(x,y)},计算{Vorg(x,y)}和{Vret(x',y)}的长宽比相似性fARS,其中,zh表示{Vorg(x,y)}中的第h个六边形网格构成的区域SPorg,h中的所有像素点的视觉显著值的均值,也即表示{Zorg(x,y)}中与SPorg,h对应的区域中的所有像素点的像素值的均值。