利索能及
我要发布
收藏
专利号: 2020103719252
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种重定位立体图像质量评价方法,其特征在于包括以下步骤:步骤一:令Sorg表示原始的立体图像,令Sret表示Sorg对应的重定位立体图像;将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sret的左视点图像记为{Lret(x',y)},将Sret的右视点图像记为{Rret(x',y)};其中,1≤x≤W,1≤y≤H,1≤x'≤W',W表示Sorg的宽度,W'表示Sret的宽度,H表示Sorg和Sret的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值,Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值;

步骤二:计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像,记为{dorg(x,y)};同样,计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像,记为{dret(x',y)};其中,dorg(x,y)表示{dorg(x,y)}中坐标位置为(x,y)的像素点的像素值,也即表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的视差值,dret(x',y)表示{dret(x',y)}中坐标位置为(x',y)的像素点的像素值,也即表示{Lret(x',y)}中坐标位置为(x',y)的像素点的视差值;

步骤三:计算Sorg和Sret的几何失真,记为FGD, 其中, 表示Sorg和Sret的长宽比相似性, 表示Sorg和Sret的网格相似度,符号“[]”为矢量表示符号,表示将 和 连接起来形成一个矢量;

步骤四:计算Sorg和Sret的信息损失,记为FIL, 其中, 表示Sorg和Sret的前向信息损失, 表示Sorg和Sret的后向信息损失, 表示Sorg和Sret的信息保持特征,符号“[]”为矢量表示符号, 表示将 和 连接起来形成一个矢量;

步骤五:计算Sorg和Sret的视觉舒适度,记为FVC,FVC=JGL×JLO;其中,JGL表示Sorg和Sret的全局视觉舒适度,JGL根据{dret(x',y)}获取,JLO表示Sorg和Sret的局部视觉舒适度,JLO根据{Lorg(x,y)}、{Lret(x',y)}、{dorg(x,y)}和{dret(x',y)}获取;

步骤六:根据FGD、FIL和FVC,获取Sret的特征矢量,记为F,F=[FGD,FIL,FVC];其中,F的维数为1×6,[FGD,FIL,FVC]表示将FGD、FIL和FVC连接起来形成一个特征矢量;

步骤七:将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合;然后采用主观质量评价方法,获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值,将重定位立体图像集合中的第j幅重定位立体图像的平均主观评分差值记为DMOSj;并按照步骤一至步骤六的过程,以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的特征矢量,将重定位立体图像集合中的第j幅重定位立体图像的特征矢量记为Fj;其中,n'为正整数,n'>1,n为正整数,n≥n',j为正整数,1≤j≤n,DMOSj∈[0,

100],Fj的维数为1×6;

步骤八:从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集,将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集;然后将训练集中的所有重定位立体图像的特征矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量 和最优的偏置项 再利用得到的最优的权重矢量 和最优的偏置项 构造重定位立体图像的支持向量回归训练模型,记为s(Finp), 其中,m为正整数,1≤m<n,s()为函数表示形式,Finp表示重定位立体图像的支持向量回归训练模型的输入矢量,为重定位立体图像的特征矢量,Finp的维数为1×6, 为 的转置, 表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数;

步骤九:将测试集中的所有重定位立体图像的特征矢量构成测试样本数据集合;然后根据构造得到的重定位立体图像的支持向量回归训练模型,对测试样本数据集合中的每个特征矢量进行测试,预测得到测试样本数据集合中的每个特征矢量对应的重定位立体图像的客观质量评价预测值,将测试样本数据集合中的第η个特征矢量对应的重定位立体图像的客观质量评价预测值记为Qη,Qη=s(Fη), 其中,η为正整数,1≤η≤n-m,Fη表示测试样本数据集合中的第η个特征矢量,Fη的维数为1×6, 表示Fη的线性函数;

步骤十:重复执行步骤八至步骤九共V次,并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集,经过V次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值,再将重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值;其中,V为正整数,V≥100。

2.根据权利要求1所述的一种重定位立体图像质量评价方法,其特征在于所述的步骤二中,dorg(x,y)和dret(x',y)的获取过程为:如果{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中能找到匹配的像素点,则将{dorg(x,y)}中坐标位置为(x,y)的像素点定义为匹配像素点,并令dorg(x,y)=x*-x;如果{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中不能找到匹配的像素点,则将{dorg(x,y)}中坐标位置为(x,y)的像素点定义为遮挡像素点,并令dorg(x,y)=255;其中,x*表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中能找到匹配的像素点的横坐标;

如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点,则将{dret(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点,并令dret(x',y)=x'*-x';如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点,则将{dret(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点,并令dret(x',y)=255;其中,x'*表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点的横坐标。

3.根据权利要求1或2所述的一种重定位立体图像质量评价方法,其特征在于所述的步骤三中, 的获取过程为:步骤A1、采用长宽比相似性评价方法获取{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性,记为 同样,采用长宽比相似性评价方法获取{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性,记为 其中,G(Lorg,Lret)表示计算{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性,G(Rorg,Rret)表示计算{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性,G(Lorg,Lret)中的Lorg代表{Lorg(x,y)}、Lret代表{Lret(x',y)},G(Rorg,Rret)中的Rorg代表{Rorg(x,y)}、Rret代表{Rret(x',y)};

步骤A2、根据 和 计算得到Sorg和Sret的长宽比相似性

4.根据权利要求3所述的一种重定位立体图像质量评价方法,其特征在于所述的步骤三中, 的获取过程为:步骤B1、采用SIFT-Flow方法建立{Lorg(x,y)}与{Lret(x',y)}之间的匹配关系,得到{Lorg(x,y)}中的每个像素点的SIFT-Flow向量,将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为 其中, 用于表示水平方向,用于表示垂直方向, 表示 的水平偏移量, 表示 的垂直偏移量;

同样,采用SIFT-Flow方法建立{Rorg(x,y)}与{Rret(x',y)}之间的匹配关系,得到{Rorg(x,y)}中的每个像素点的SIFT-Flow向量,将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为 其中, 表示的水平偏移量, 表示 的垂直偏移量;

步骤B2、将{Lorg(x,y)}分割成M个互不重叠的尺寸大小为16×16的四边形网格,将{Lorg(x,y)}中的第k个四边形网格记为 以其左上、左下、右上和右下4个网格顶点的集合来描述, 其中,M为正整数, 符号为向下取整运算符号,k为正整数,1≤k≤M, 对应表示 的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置

来描述, 以 的水平坐标位置 和垂直坐标位置

来描述,

同样,将{Rorg(x,y)}分割成M个互不重叠的尺寸大小为16×16的四边形网格,将{Rorg(x,y)}中的第k个四边形网格记为 以其左上、左下、右上和右下4个网格顶点的集合来描述, 其中, 对应表示 的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点, 以 的水平坐标位置和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐标位置 来描述, 以 的水平坐标位置 和垂直坐

标位置 来描述, 以 的水平坐标位置 和垂直坐标位

置 来描述,

步骤B3、根据{Lorg(x,y)}中的每个四边形网格的所有网格顶点的SIFT-Flow向量,确定{Lorg(x,y)}中的每个四边形网格在{Lret(x',y)}中匹配的四边形网格,将 在{Lret(x',y)}中匹配的四边形网格记为 以其左上、左下、右上和右下4个网格顶点的集合来描述, 其中, 对应表示 的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点, 亦表示 在{Lret(x',y)}中匹配的网格顶点, 亦表示 在{Lret(x',y)}中匹配的网格顶点, 亦表示 在{Lret(x',y)}中匹配的网格顶点, 亦表示 在{Lret(x',y)}中匹配的网格顶点, 以的水平坐标位置 和垂直坐标位置 来描述, 以

的水平坐标位置 和垂直坐标位置 来描述, 以 的水

平坐标位置 和垂直坐标位置 来描述, 以 的水平坐

标位置 和垂直坐标位置 来描述,

对应表示 的SIFT-Flow向量的水平偏移量和垂直偏移量,和 对应表示 的SIFT-Flow向量的水平偏移量和垂直偏移量, 和 对应表示 的SIFT-Flow向量的水平偏移量和垂直偏移量, 和 对应表示 的SIFT-Flow向量的水平偏移量和垂直偏移量;

同样,根据{Rorg(x,y)}中的每个四边形网格的所有网格顶点的SIFT-Flow向量,确定{Rorg(x,y)}中的每个四边形网格在{Rret(x',y)}中匹配的四边形网格,将 在{Rret(x',y)}中匹配的四边形网格记为 以其左上、左下、右上和右下4个网格顶点的集合来描述, 其中, 对应表示 的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点, 亦表示 在{Rret(x',y)}中匹配的网格顶点, 亦表示 在{Rret(x',y)}中匹配的网格顶点, 亦表示 在{Rret(x',y)}中匹配的网格顶点, 亦表示 在{Rret(x',y)}中匹配的网格顶点, 以的水平坐标位置 和垂直坐标位置 来描述, 以

的水平坐标位置 和垂直坐标位置 来描述, 以 的水

平坐标位置 和垂直坐标位置 来描述, 以 的水平坐

标位置 和垂直坐标位置 来描述,

对应表示 的SIFT-Flow向量的水平偏移量和垂直偏移量,和 对应表示 的SIFT-Flow向量的水平偏移量和垂直偏移量, 和 对应表示 的SIFT-Flow向量的水平偏移量和垂直偏移量, 和 对应表示 的SIFT-Flow向量的水平偏移量和垂直偏移量;

步骤B4、计算{Lorg(x,y)}中的每个四边形网格的网格相似度,将 的网格相似度记为其中, 表示与 之间的距离, 表示 与 之间的

距离, 表示 与 之间的距离,

表示 与 之间的距离,

表示 与 之间的距离,

γ为控制参数,C1为控制参数,符号“| |”为取绝对值符号,e表示指数函数的基数;

同样,计算{Rorg(x,y)}中的每个四边形网格的网格相似度,将 的网格相似度记为其中,表示 与 之间的距离, 表示 与 之

间的距离, 表示 与 之间的距离,

表示 与 之间的距离,

表示 与 之间的距离,

步骤B5、采用基于图论的视觉显著模型提取出{Lorg(x,y)}的视觉显著图,记为然后根据{Lorg(x,y)}中的所有四边形网格的网格相似度,并结合计算得到{Lorg(x,y)}的网格相似度,记为 其中, 表示中坐标位置为(x,y)的像素点的像素值,也即表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的视觉显著值, 表示 中的所有像素点的视觉显著值的均值,也即表示中与 对应的区域中的所有像素点的像素值的均值;

同样,采用基于图论的视觉显著模型提取出{Rorg(x,y)}的视觉显著图,记为然后根据{Rorg(x,y)}中的所有四边形网格的网格相似度,并结合计算得到{Rorg(x,y)}的网格相似度,记为 其中, 表示中坐标位置为(x,y)的像素点的像素值,也即表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的视觉显著值, 表示 中的所有像素点的视觉显著值的均值,也即表示中与 对应的区域中的所有像素点的像素值的均值;

步骤B6、根据 和 计算得到Sorg和Sret的网格相似度

5.根据权利要求4所述的一种重定位立体图像质量评价方法,其特征在于所述的步骤四中, 的获取过程为:步骤C1、采用SIFT-Flow方法建立{Lorg(x,y)}与{Lret(x',y)}之间的匹配关系,得到{Lorg(x,y)}中的每个像素点的SIFT-Flow向量,将{Lorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为 然后根据{Lorg(x,y)}中的所有像素点的SIFT-Flow向量,从{Lorg(x,y)}中重构得到重定位图像,记为 将中 坐 标位 置 为 的 像 素点 的 像素 值 记 为再找出

中的所有空洞像素点,并将值0作为 中的每个空洞像素点的像素值;

其中,用于表示水平方向, 用于表示垂直方向, 表示 的水平偏移量,表示 的垂直偏移量, 表示 中坐标位置为(x',y)的像素点的像素值, 中的“=”为赋值符号;

同样,采用SIFT-Flow方法建立{Rorg(x,y)}与{Rret(x',y)}之间的匹配关系,得到{Rorg(x,y)}中的每个像素点的SIFT-Flow向量,将{Rorg(x,y)}中坐标位置为(x,y)的像素点的SIFT-Flow向量记为 然后根据{Rorg(x,y)}中的所有像素点的SIFT-Flow向量,从{Rorg(x,y)}中重构得到重定位图像,记为 将中 坐 标位 置为 的像 素点 的像 素 值记 为再找出

中的所有空洞像素点,并将值0作为 中的每个空洞像素点的像素值;

其中, 表示 的水平偏移量, 表示 的垂直偏移量,

表示 中坐标位置为(x',y)的像素点的像素值,

中的“=”为赋值符号;

步骤C2、计算{Lret(x',y)}中的所有像素点的亮度分量的直方图,记为 同样,计算中的所有像素点的亮度分量的直方图,记为 计算{Rret(x',y)}中的所有像素点的亮度分量的直方图,记为 计算 中的所有像素点的亮度分量的直方图,记为 其中, 的维数均为1×256;

步骤C3、计算{Lorg(x,y)}的前向信息损失,记为 同样,计算{Rorg(x,y)}的前向信息损失,记为 其中,χ()为求卡方距离函数;

步骤C4、根据 和 计算得到Sorg和Sret的前向信息损失

6.根据权利要求5所述的一种重定位立体图像质量评价方法,其特征在于所述的步骤四中, 的获取过程为:步骤D1、采用SIFT-Flow方法建立{Lret(x',y)}与{Lorg(x,y)}之间的匹配关系,得到{Lret(x',y)}中的每个像素点的SIFT-Flow向量,将{Lret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为 然后根据{Lret(x',y)}中的所有像素点的SIFT-Flow向量,从{Lret(x',y)}中重构得到重定位图像,记为将 中坐标位置为 的像素点的像素值记为 再找出

中的所有空洞像素点,并将值0作为 中的每个空洞像素点的像素值;

其中,用于表示水平方向, 用于表示垂直方向, 表示 的水平偏移量,表示 的垂直偏移量, 表示 中坐标位置为(x,y)的像素点的像素值, 中的“=”为赋值符号;

同样,采用SIFT-Flow方法建立{Rret(x',y)}与{Rorg(x,y)}之间的匹配关系,得到{Rret(x',y)}中的每个像素点的SIFT-Flow向量,将{Rret(x',y)}中坐标位置为(x',y)的像素点的SIFT-Flow向量记为 然后根据{Rret(x',y)}中的所有像素点的SIFT-Flow向量,从{Rret(x',y)}中重构得到重定位图像,记为将 中坐标位置为 的像素点的像素值记为 再找 出

中的所有空洞像素点,并将值0作为 中的每个空洞像素点的像素值;

其中, 表示 的水平偏移量, 表示 的垂直偏移量,

表示 中坐标位置为(x,y)的像素点的像素值,

中的“=”为赋值符号;

步骤D2、计算{Lorg(x,y)}中的所有像素点的亮度分量的直方图,记为 同样,计算中的所有像素点的亮度分量的直方图,记为 计算{Rorg(x,y)}中的所有像素点的亮度分量的直方图,记为 计算 中的所有像素点的亮度分量的直方图,记为 其中, 的维数均为1×256;

步骤D3、计算{Lret(x',y)}的后向信息损失,记为 同样,计算{Rret(x',y)}的后向信息损失,记为 其中,χ()为求卡方距离函数;

步骤D4、根据 和 计算得到Sorg和Sret的后向信息损失

7.根据权利要求6所述的一种重定位立体图像质量评价方法,其特征在于所述的步骤四中, 的获取过程为:步骤E1、采用最大类间方差法提取出{Lorg(x,y)}的重要性区域掩码图,记为采用最大类间方差法提取出 的重要性区域掩码图,记为

其中, 表示 中坐标位置为(x,y)的像素点的像素值,表示 中坐标位置为(x,y)的像素点的像素值;

同样,采用最大类间方差法提取出{Rorg(x,y)}的重要性区域掩码图,记为采用最大类间方差法提取出 的重要性区域掩码图,记为 其中,表示 中坐标位置为(x,y)的像素点的像素值, 表示中坐标位置为(x,y)的像素点的像素值;

步骤E2、根据 和 计算{Lorg(x,y)}的信息保持特征,记为其中, 代表 代表 代表

表示计算 中的所有落在重要性区域的像素点所占的区域面积大小, 表示计算 中的所有落在重要性区域的像素点所占的区域面积大小, 表示计算 中的所有落在重要性区域的像素点所占的区域面积大小,表示 中坐标位置为(x,y)的像素点的像素值,

符号 为点乘操作符号;

同样,根据 和 计算{Rorg(x,y)}的信息保持特征,记为其中, 代表 代表 代表

表示计算 中的所有落在重要性区域的像素点所占的区域面积大小, 表示计算 中的所有落在重要性区域的像素点所占的区域面积大小, 表示计算 中的所有落在重要性区域的像素点所占的区域面积大小,表示 中坐标位置为(x,y)的像素点的像素值,

步骤E3、根据 和 计算得到Sorg和Sret的信息保持特征

8.根据权利要求7所述的一种重定位立体图像质量评价方法,其特征在于所述的步骤五中,JGL和JLO的计算过程为:步骤F1、计算Sorg和Sret的全局视觉舒适度JGL,其中,e表示指数函数的基数, 表示Sret的平均视差,即{dret(x',y)}中的所有像素点的像素值的平均值,thd为阈值,λ1、λ2、λ3和τ均为控制参数;

步骤F2、采用最大类间方差法提取出{Lorg(x,y)}的重要性区域掩码图,记为采用最大类间方差法提取出{Lret(x',y)}的重要性区域掩码图,记为其中, 表示 中坐标位置为(x,y)的像素点的像素值,表示 中坐标位置为(x',y)的像素点的像素值;

步骤F3、采用Canny边缘检测算子提取出{Lorg(x,y)}的边缘图,记为 采用Canny边缘检测算子提取出{Lret(x',y)}的边缘图,记为 其中, 表示中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位置为(x',y)的像素点的像素值;

步骤F4、计算Sorg的视差重要性图,记为 将 中坐标位置为(x,y)的像素点的像素值记为 其中,

符号 为点乘操作符号;

同样,计算Sret的视差重要性图,记为 将 中坐标位置为(x',y)的像素点的像素值记为 其中,

步骤F5、计算Sorg和Sret的局部视觉舒适度JLO, 其中, 代表 代表 表示计算 中的所有像素点

的像素值的标准差, 表示计算 中的所有像素点的像素值的标准差,log()表示以10为底的对数操作函数。