欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2020114169063
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于结构特征的重定位立体图像质量评价方法,其特征在于包括以下步骤:步骤一:令Sorg表示原始的立体图像,令Sret表示Sorg对应的重定位立体图像;将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sret的左视点图像记为{Lret(x',y)},将Sret的右视点图像记为{Rret(x',y)};其中,1≤x≤W,1≤y≤H,1≤x'≤W',W表示Sorg的宽度,W'表示Sret的宽度,H表示Sorg和Sret的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值,Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值;

步骤二:根据{Lorg(x,y)}与{Rorg(x,y)}之间的双向匹配关系,获得Sorg的虚拟视点图像,记为{Vorg(x,y)};同样,根据{Lret(x',y)}与{Rret(x',y)}之间的双向匹配关系,获得Sret的虚拟视点图像,记为{Vret(x',y)};其中,Vorg(x,y)表示{Vorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Vret(x',y)表示{Vret(x',y)}中坐标位置为(x',y)的像素点的像素值;

步骤三:采用SIFT‑Flow方法建立{Vorg(x,y)}与{Vret(x',y)}之间的匹配关系,得到{Vorg(x,y)}中的每个像素点的SIFT‑Flow向量,将{Vorg(x,y)}中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为vo(x,y), 然后根据{Vorg(x,y)}中的所有像素点的SIFT‑Flow向量,从{Vorg(x,y)}中重构得到虚拟视点图像,记为 将中坐标位置为 的像素点的像素值记为

再找出 中的

所有空洞像素点,并将值0作为 中的每个空洞像素点的像素值;其中,用于表示水平方向, 用于表示垂直方向, 表示vo(x,y)的水平偏移量, 表示vo(x,y)的垂直偏移量, 表示 中坐标位置为(x',y)的像素点的像素值,中的“=”为赋值符号;

同样,采用SIFT‑Flow方法建立{Vret(x',y)}与{Vorg(x,y)}之间的匹配关系,得到{Vret(x',y)}中的每个像素点的SIFT‑Flow向量,将{Vret(x',y)}中坐标位置为(x',y)的像素点的SIFT‑Flow向量记为vr(x',y), 然后根据{Vret(x',y)}中的所有像素点的SIFT‑Flow向量,从{Vret(x',y)}中重构得到虚拟视点图像,记为将 中 坐标位置为 的像素点的 像素值记 为再找出

中的所有空洞像素点,并将值0作为 中的每个空洞像素点的像素值;其中, 表示vr(x',y)的水平偏移量, 表示vr(x',y)的垂直偏移量, 表示 中坐标位置为(x,y)的像素点的像素值, 中的“=”为赋值符号;

步骤四:采用超像素分割技术将{Vorg(x,y)}分割成Num个互不重叠的六边形网格,将{Vorg(x,y)}中的第h个六边形网格构成的区域记为SPorg,h,SPorg,h以其6个网格顶点构成的集合来描述, 其中,Num≥1,1≤h≤Num,对应表示SPorg,h的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点, 以 的水平坐标位置和垂直坐标位置 来描述, 以 的水平坐标位置和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置来描述,

然后根据{Vorg(x,y)}中的每个六边形网格构成的区域的6个网格顶点的SIFT‑Flow向量,确定{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格,将{Vorg(x,y)}中的第h个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域记为SPret,h,SPret,h以其6个网格顶点构成的集合来描述, 其中, 对应表示SPret,h的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点、第5个网格顶点、第6个网格顶点, 以 的水平坐标位置和垂直坐标位置 来描述,

以 的

水平坐标位置 和垂直坐标位置 来描述,以 的

水平坐标位置 和垂直坐标位置 来描述,以 的水平坐标位置

和垂直坐标位置 来描述,

以 的水平坐标位置 和垂直坐标位置 来描述,以 的

水平坐标位置 和垂直坐标位置 来描述,表示{Vorg(x,y)}中

坐标位置为 的像素点的SIFT‑Flow向量 的水平偏移量,表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量的垂直偏移量, 表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的水平偏移量, 表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的垂直偏移量,表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量的水平偏移量, 表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的垂直偏移量, 表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的水平偏移量,表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量的垂直偏移量, 表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的水平偏移量, 表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的垂直偏移量,表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量的水平偏移量, 表示{Vorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的垂直偏移量;

步骤五:采用基于图论的视觉显著模型提取出{Vorg(x,y)}的显著图,记为{Zorg(x,y)};

其中,Zorg(x,y)表示{Zorg(x,y)}中坐标位置为(x,y)的像素点的像素值;

然后根据{Zorg(x,y)}和{Vorg(x,y)}中的所有像素点的SIFT‑Flow向量,从{Zorg(x,y)}中重构得到{Vret(x',y)}的显著图,记为{Zret(x',y)},将{Zret(x',y)}中坐标位置为的像素点的像素值记为

其中,Zret(x',y)表示{Zret(x',y)}中坐标位置为(x',y)的像素点的像素值, 中的“=”为赋值符号;

步骤六:根据{Zorg(x,y)}提取出{Vorg(x,y)}的重要性区域掩码图,并根据{Zret(x',y)}提取出{Vret(x',y)}的重要性区域掩码图;然后根据两幅重要性区域掩码图,计算{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域的局部信息保持特征,进而计算{Vret(x',y)}的局部信息保持特征;通过计算{Vret(x',y)}和 各自中的所有像素点的亮度分量的直方图,计算{Vorg(x,y)}的前向信息损失;并通过计算{Vorg(x,y)}和 各自中的所有像素点的亮度分量的直方图,计算 的后向信息损失;再根据{Vret(x',y)}的局部信息保持特征、{Vorg(x,y)}的前向信息损失、 的后向信息损失,获得{Vret(x',y)}的空间结构特征矢量,记为FG;其中,FG的维数为1×3;

步骤七:根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像,计算{Lret(x',y)}中的每个像素点的深度值;然后根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像,计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像中的所有属于匹配区域的像素点的视差幅值特征和所有属于遮挡区域的像素点的相对宽度特征;并根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像及{Lret(x',y)}中的所有像素点的深度值,计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像中的所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征和所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征;再根据{Lret(x',y)}与{Rret(x',y)}之间的视差图像中的所有属于匹配区域的像素点的视差幅值特征、所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征、所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征、所有属于遮挡区域的像素点的相对宽度特征,获得{Vret(x',y)}的深度结构特征矢量,记为FD;其中,FD的维数为1×4;

步骤八:根据FG和FD,获取Sret的结构特征矢量,记为F,F=[FG,FD];其中,F的维数为1×

7,[FG,FD]表示将FG和FD连接起来形成一个特征矢量;

步骤九:将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合;然后采用主观质量评价方法,获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值,将重定位立体图像集合中的第j幅重定位立体图像的平均主观评分差值记为DMOSj;并按照步骤一至步骤八的过程,以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的结构特征矢量,将重定位立体图像集合中的第j幅重定位立体图像的结构特征矢量记为Fj;其中,n'为正整数,n'>1,n为正整数,n≥n',j为正整数,1≤j≤n,DMOSj∈[0,100],Fj的维数为1×7;

步骤十:从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集,将重定位立体图像集合中剩余的n‑m幅重定位立体图像构成测试集;然后将训练集中的所有重定位立体图像的结构特征矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有结构特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量和最优的偏置项 再利用得到的最优的权重矢量 和最优的偏置项 构造重定位立体图像的支持向量回归训练模型,记为s(Finp), 其中,m为正整数,1≤m<n,s()为函数表示形式,Finp表示重定位立体图像的支持向量回归训练模型的输入矢量,为重定位立体图像的结构特征矢量,Finp的维数为1×7, 为 的转置,表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数;

步骤十一:将测试集中的所有重定位立体图像的结构特征矢量构成测试样本数据集合;然后根据构造得到的重定位立体图像的支持向量回归训练模型,对测试样本数据集合中的每个结构特征矢量进行测试,预测得到测试样本数据集合中的每个结构特征矢量对应的重定位立体图像的客观质量评价预测值,将测试样本数据集合中的第η个结构特征矢量对应的重定位立体图像的 客观质量评价预测值记为Qη,Qη=s (Fη) ,其中,η为正整数,1≤η≤n‑m,Fη表示测试样本数据集合中的第η个结构特征矢量,Fη的维数为1×7, 表示Fη的线性函数;

步骤十二:重复执行步骤十至步骤十一共Number次,并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集,经过Number次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值,再将重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值;其中,Number为正整数,Number≥100。

2.根据权利要求1所述的一种基于结构特征的重定位立体图像质量评价方法,其特征在于所述的步骤二中,{Vorg(x,y)}的获取过程为:步骤A1:采用SIFT‑Flow方法建立{Lorg(x,y)}与{Rorg(x,y)}之间的匹配关系,得到{Lorg(x,y)}中的每个像素点的SIFT‑Flow向量,将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为 其中, 用于表示水平方向,用于表示垂直方向, 表示 的水平偏移量, 表示 的垂直偏移量;

步骤A2:采用SIFT‑Flow方法建立{Rorg(x,y)}与{Lorg(x,y)}之间的匹配关系,得到{Rorg(x,y)}中的每个像素点的SIFT‑Flow向量,将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT‑Flow向量记为 其中, 表示的水平偏移量, 表示 的垂直偏移量;

步骤A3:根据{Lorg(x,y)}中的所有像素点的SIFT‑Flow向量和{Rorg(x,y)}中的所有像素点的 SIFT‑Flow向量,获得Sorg的虚拟视点图 像{Vorg (x ,y) },其中,

表示{Rorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量的水平偏移量, 表示{Rorg(x,y)}中坐标位置为 的像素点的SIFT‑Flow向量 的垂直偏移量, 表示{Lorg(x,y)}中坐标位置为 的像素点的像素值, 表示{Rorg(x,y)}中坐标位置为 的像素点的像素值;

所述的步骤二中,{Vret(x',y)}的获取过程为:步骤B1:采用SIFT‑Flow方法建立{Lret(x',y)}与{Rret(x',y)}之间的匹配关系,得到{Lret(x',y)}中的每个像素点的SIFT‑Flow向量,将{Lret(x',y)}中坐标位置为(x',y)的像素点的SIFT‑Flow向量记为 其中,用于表示水平方向, 用于表示垂直方向, 表示 的水平偏移量, 表示的垂直偏移量;

步骤B2:采用SIFT‑Flow方法建立{Rret(x',y)}与{Lret(x',y)}之间的匹配关系,得到{Rret(x',y)}中的每个像素点的SIFT‑Flow向量,将{Rret(x',y)}中坐标位置为(x',y)的像素点的SIFT‑Flow向量记为 其中,表示 的水平偏移量, 表示 的垂直偏移量;

步骤B3:根据{Lret(x',y)}中的所有像素点的SIFT‑Flow向量和{Rret(x',y)}中的所有像素点的SIFT‑Flow向量,获得Sret的虚拟视点图像{Vret(x ',y)},其中,

表示{Rret(x',y)}中坐标位置为 的像素点的SIFT‑Flow向量 的水平偏移量, 表示{Rret(x',y)}中坐标位置为 的像素点的SIFT‑Flow向量 的垂直偏移量, 表示{Lret(x',y)}中坐标位置为 的像素点的像素值, 表示{Rret(x',y)}中坐标位置为 的像素点的像素值。

3.根据权利要求1或2所述的一种基于结构特征的重定位立体图像质量评价方法,其特征在于所述的步骤六中,FG的获取过程为:步骤C1:根据{Zorg(x,y)}提取出{Vorg(x,y)}的重要性区域掩码图,记为{Borg(x,y)},将{Borg(x,y)}中坐标位置为(x ,y)的像素点的像素值记为Borg(x ,y),并根据{Zret(x',y)}提取出{Vret(x',y)}的重要性区域掩码图,记为{Bret(x',y)},将{Bret(x',y)}中坐标位置为(x',y)的像素点的像素值记为Bret(x',y), 其中,th表示阈值;

步骤C2:根据{Borg(x,y)}和{Bret(x',y)},计算{Vorg(x,y)}中的每个六边形网格在{Vret(x',y)}中匹配的六边形网格构成的区域的局部信息保持特征,将SPret,h的局部信息保持特征记为gh, 其中, 表示计算{Borg(x,y)}中与SPorg,h对应的区域中像素值为1的所有像素点占该区域的面积大小, 表示计算{Bret(x',y)}中与SPret,h对应的区域中像素值为1的所有像素点占该区域的面积大小,C为控制参数;

步骤C3:计算{Vret(x',y)}的局部信息保持特征,记为f1,步骤C4:计算{Vorg(x,y)}中的所有像素点的亮度分量的直方图,记为qorg;同样,计算中的所有像素点的亮度分量的直方图,记为 计算{Vret(x',y)}中的所有像素点的亮度分量的直方图,记为qret;同样,计算 中的所有像素点的亮度分量的直方图,记为 其中,qorg、 qret和 的维数均为1×256;

步骤C5:计算{Vorg(x,y)}的前向信息损失,记为f2, 并计算的后向信息损失,记为f3, 其中,χ()为求卡方距离函数;

步骤C6:根据f1、f2和f3,获得{Vret(x',y)}的空间结构特征矢量FG,FG=[f1,f2,f3];其中,FG的维数为1×3,[f1,f2,f3]表示将f1、f2和f3连接起来形成一个特征矢量。

4.根据权利要求3所述的一种基于结构特征的重定位立体图像质量评价方法,其特征在于所述的步骤七中,FD的获取过程为:步骤D1:计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像,记为{dL(x',y)},将{dL(x',y)}中坐标位置为(x',y)的像素点的像素值记为dL(x',y),如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点,则将{dL(x',y)}中坐标位置为*

(x',y)的像素点定义为匹配像素点,并令dL(x',y)=x'‑x';如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点,则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点,并令dL(x',y)=255;再将{dL(x',y)}中的所有匹配*

像素点构成匹配区域,将{dL(x',y)}中的所有遮挡像素点构成遮挡区域;其中,x'表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中找到的匹配的像素点的横坐标;

步骤D2:根据{dL(x',y)},计算{Lret(x',y)}中的每个像素点的深度值,将{Lret(x',y)}中坐 标 位 置为 (x ' ,y) 的 像 素 点的 深 度 值记 为 de p t hL (x ' ,y) ,其中,e表示待处理的立体图像的左视点与右视点之间的水平基线距离,J表示待处理的立体图像的左视点和右视点与显示器之间的观看距离,Wdisplay表示显示器的水平宽度,Rdisplay表示显示器的水平分辨率;

步骤D3:计算{dL(x',y)}中的所有属于匹配区域的像素点的视差幅值特征,记为f4,其中,符号“||”为取绝对值符号,

步骤D4:计算{dL(x',y)}中的所有属于匹配区域中的视觉舒适区域的像素点的视差幅值特征,记为f5, 其中,匹配区域中的视觉舒适区域满足条件CVZmin表示最小舒适观看区域范围,η1表示最小舒适观看视角,CVZmax表示最大舒适观看区域范围,η2表示最大舒适观看视角;

步骤D5:计算{dL(x',y)}中的所有属于匹配区域中的交叉视差区域的像素点的视差幅值特征,记为f6, 其中,匹配区域中的交叉视差区域满足条件步骤D6:计算{dL(x',y)}中的所有属于遮挡区域的像素点的相对宽度特征,记为f7,其中,

步骤D7:根据f4、f5、f6和f7,获得{Vret(x',y)}的深度结构特征矢量FD,FD=[f4,f5,f6,f7];其中,FD的维数为1×4,[f4,f5,f6,f7]表示将f4、f5、f6和f7连接起来形成一个特征矢量。