利索能及
我要发布
收藏
专利号: 2019105022156
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于角度感知块匹配的图像修复方法,其特征是,包括以下6个步骤:步骤1.确定待修复区域:输入待修复图像,将待修复图像分为待修复区域Ω和源区域Φ,其中待修复区域就是图像中的缺损区域,即目标区域;目标区域与源区域的边界线为δΩ;

步骤2.初始化破损区域:将残缺图像投影到三维子空间,利用移动最小二乘法将残缺部分填充完整得到拟合后的曲面,然后将从拟合曲面上重采样像素点的值作为缺失区域中对应像素的估计值,得到初始化的图像I';

步骤3.根据改进的优先级函数选择包含纹理信息最多的目标块 将其确定为被填充的目标块:计算图像I'中边界δΩ上的所有像素点p的优先级函数值,确定以优先级最高的点 为中心的目标块 的大小根据点 梯度值的大小动态地确定,选定的 就是目前包含纹理信息最多的、将被填充的目标块,所述目标块中包括已知区域和未知区域;

步骤4.寻找最佳匹配块:在源区域中,通过多值映射函数找到与目标块大小相同、且纹理信息和几何信息都最为相似的3个源块作为匹配块,匹配块统一用Ψq表示;再引入角度感知的概念,对这3个匹配块分别进行多次角度旋转,然后根据相似性度量函数计算出与待填充目标块最相似的匹配块,用 表示;

步骤5.填充目标块未知区域:将由步骤2得到的目标块未知区域中点的估计像素值和最相似匹配块 中对应位置点的像素值取算术平均值,将此平均值填充到目标块中对应位置的待填充点;

步骤6.更新被填充点的置信度值:更新在步骤5中被填充的目标块中像素点的置信度值;

重复步骤3至步骤6,直到待修复区域被填充完整。

2.如权利要求1所述的方法,其特征是,将待修复图像投影到三维空间,利用移动最小二乘法实现曲面拟合,然后将从拟合曲面上重采样像素点的值作为缺失区域中像素的估计值,得到初始化的图像I',具体步骤包括:(1)将待修复图像视为一个二维矩阵M,缺损区域即待修复区域用0进行填充;

(2)将矩阵M投影到三维空间中,其中每个像素的灰度值作为三维点的高,待修复区域在三维空间中以孔洞的形式展现,从而矩阵补全转换成孔洞填充;

(3)通过移动最小二乘法MLS进行曲面拟合,得到拟合后的曲面,缺失像素的估计值通过从拟合曲面的投影点上重采样来获得,得到初始化的图像I'。

3.如权利要求2所述的方法,其特征是,所述(3)中的通过移动最小二乘法MLS进行曲面拟合,得到拟合后的曲面的具体步骤包括:①对待拟合区域进行网格化处理;

②确定每个网格点影响区域的面积大小;影响区域的面积大小是指以当前网格节点为圆心,固定半径长度为d的圆形区域的面积;

③确定每个网格点影响区域内的所有已知像素点;

④根据每个网格点影响区域内的所有已知像素点的坐标,拟合出每个网格点的坐标;

⑤判断网格点是否全部被计算,如果是,则连接所有的网格点形成曲面,如果否,则返回②。

4.如权利要求1所述的方法,其特征是,先计算图像I'中边界δΩ上的所有像素点p的优先级函数值,确定以优先级最高的点 为中心的目标块 的大小根据点 梯度值的大小动态地确定,具体步骤包括:先计算图像I'中边界δΩ上每个像素点p的优先级函数值,从而找到具有最高优先级的像素点 然后再确定以点 为中心的目标块 且根据点 的梯度值的大小动态地调整目标块 的大小。

5.如权利要求4所述的方法,其特征是,利用优先级函数计算图像I'中边界δΩ上每个像素点p的优先级,然后确定优先级最高的像素点像素点p的优先级函数P(p)被定义为:

P(p)=C(p)Ds(p)    (1)

其中,C(p)是点p的置信度项,Ds(p)是点p的数据项;所述数据项是指沿着边界δΩ的等照度线的强度;

(1)式中的置信度项C(p)用于测量以像素点p为中心的目标块Ψp中可用像素的比率,即Ψp中已知像素占整个目标块中像素数量的比例,定义如下:且

其中,|Ψp|表示目标块Ψp中全部的像素点;C(k)表示点k的置信度值,其中k表示既属于Ψp又属于Φ的像素点;起初,源区域Φ的置信度值被初始化为1,待修复区域Ω的置信度值被初始化为0。

在计算目标块优先级的过程中,由于C(p)下降的很快,通过对 中像素点的置信度项设置上限和下限,来降低置信度值下降的速度同时又保持新的被填充的像素比已经存在的像素有更小的置信度;

点 为具有最高优先级的像素点,置信度上限被定义如下:

其中,λ1是平衡因子,用来控制 比例;λ2是平衡因子,用来控制 的比例,λ1和λ2在(0,1)之间动态地调整,并且λ1=1-λ2,λ1>λ2;

是目标块 的已知区域, 是目标块 的被初始化的待修复区域,并且 的像素值在步骤2中的拟合后的曲面上被重采样而获得,置信度下限被设置为

新的置信度项被定义为Cn(k):

其中β是下降因子,用来控制置信度项的下降率,被设置为0.02。 是像素 和像素k的欧氏距离。为了固定所有块的下降速率,所以Cup被加到式(5)中。

在置信度项C(p)的计算中,加入了步骤2中的估计值作为先验知识,充分考虑了缺失区域带来的影响,避免置信度下降过快。所述估计值,是从拟合好的曲面上采样网格点的值作为缺失点的像素值,即为估计值。

(1)式中的数据项Ds(p)被定义为:

其中, 是正交于梯度 的等照度线矢量,np是正交于边界δΩ的单位矢量,α是归一化因子,D(p)表示点p的数据项的值;

然而,当D(p)等于零时,P(p)是趋向于零的,为了消除影响,引入了一个曲率因子S(p),其中 是通过中心点p的等照度线的曲率因子; 表示点p的梯度,表示梯度算子, 表示梯度的大小

6.如权利要求4所述的方法,其特征是,以优先级最高的像素点 为中心,根据优先级最高的像素点的梯度值的大小动态地确定待填充目标块 的大小,具体步骤包括:确定了具有最高优先级的像素点 之后,根据像素点 梯度值的大小动态地调整目标块的大小;

梯度的计算公式如下:

其中,gx(i,j)=g(i+1,j)-g(i,j),表示点 水平方向的梯度;gy(i,j)=g(i,j+1)-g(i,j),表示点 垂直方向的梯度;

可设定一个阈值γ,当 的值大于等于γ时,目标块的面积大小 设置为5×5,否则,目标块的大小为7×7。

7.如权利要求1所述的方法,其特征是,在源区域中,引入角度感知的概念,基于匹配块的方向角度的不同,通过多次地旋转匹配块Ψqi的角度确定与待填充目标块最相似的匹配块 利用了旋转函数R(·,·)旋转匹配块Ψqi,得到多个内容(指纹理和几何结构)相同但方向不同的匹配块,根据提出的相似性度量函数求得最相似的匹配块,即最佳匹配块。块和块Ψq之间的相似性度量函数 被定义为:其中,τ是Jaccard相似系数,被定义为 其中 表示两个块中相同像素的数量, 表示两个块中所有像素值之和,它用来增强块之间的相似度;τ越大,两个块之间的相似度越高;Gσ是高斯滤波,σ是标准差,σ的值在0.4到0.6之间,依据经验设置;

是卷积操作,R(·,·)是旋转函数,通过旋转每个匹配块Ψqi来保证匹配结果中的图案一致性; 表示将优先被填充的目标块;Δθ是旋转角度,被设置为20°,旋转范围是DSSD是两个块的梯度上的平方距离的和;η是权重参数,被设置为0.3; 表示目标块的梯度, 表示源块Ψp每次旋转之后得到块的梯度。

8.如权利要求1所述的方法,其特征是,根据由步骤4得到的最佳匹配块和由步骤2得到的经曲面拟合求出的未知区域各对应点的估计像素值来填充目标块未知区域。将由步骤2得到的目标块未知区域中点的估计像素值和最佳匹配块 中对应位置点的像素值取算术平均值,将此平均值填充到目标块中对应位置的待填充点。

9.如权利要求1所述的方法,其特征是,在具有最高优先级的目标块被填充之后,更新待修复区域中被填充像素的置信度值。

新填充的点的置信度依据点的位置被设为不同的值。因为匹配过程是根据中心点周围的纹理信息以及结构信息被执行的,所以离中心点越近,匹配的过程将越可靠。因此考虑到中心像素 的置信度比它周围的像素的置信度高。于是需要初始化新的被填充像素的置信度值,即:其中,C(k')表示点k'的置信度值; 表示 的置信度值,在公式(5)中被给出。

目标块 被填充之后,待修复图像中的已知区域和缺损区域的边界δΩ也被更新了。

10.一种基于角度感知块匹配的图像修复系统,其特征是,包括:

输入模块,其被配置为输入待修复图像,将待修复图像分为待修复区域和源区域;

拟合模块,其被配置为将待修复图像投影到三维空间,利用移动最小二乘法实现曲面拟合,然后将从拟合曲面上重采样像素点的值作为缺失区域中像素的估计值,得到初始化的图像I';

确定被填充的目标块模块,其被配置为计算图像I'中边界δΩ上的所有像素点p的优先级函数值,确定以优先级最高的点 为中心的目标块 的大小根据点 梯度值的大小动态地确定,这就是将被填充的目标块,所述目标块中包括已知区域和未知区域;

寻找最佳匹配块模块,其被配置为在源区域中,通过多值映射函数找到与目标块大小相同、且纹理信息和几何信息都最为相似的3个源块作为匹配块,匹配块统一用Ψq表示;再引入角度感知的概念,对这3个匹配块分别进行多次角度旋转,然后根据相似性度量函数计算出与待填充目标块最相似的匹配块,用 表示;

填充目标块未知区域模块,其被配置为将由拟合模块得到的目标块未知区域中点的估计像素值与最相似匹配块 中对应位置点的真实像素值相加取平均值,将平均值填充到目标块中对应位置的待填充点;

置信度值更新模块,其被配置为更新在前一模块中被填充的目标块中像素点的置信度值;

重复执行确定被填充目标块模块、寻找最佳匹配块模块、填充目标块未知区域模块及置信度值更新模块,直到待修复区域被填充完整。