利索能及
我要发布
收藏
专利号: 2019112808498
申请人: 无锡科技职业学院
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数字视频文件修复方法,其特征在于,包括以下步骤:

S1、获取待修复的数字视频文件,并将数字视频文件分解为连续图像帧;

S2、对分解得到的连续图像帧采用四级分块匹配运动估计计算,得到相邻图像帧中所包含的运动向量;

S3、自步骤S1中选取连续三个图像帧,根据图像帧所包含的缺陷所具有非连续特征获取候选缺陷区域,并对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模;

S4、基于步骤S2中得到的相邻图像帧中所包含的运动向量对候选缺陷区域所包含的像素进行插值运算,并利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算,以填充候选缺陷区域;

所述步骤S3包括以下子步骤:

S31、自步骤S1中选取连续三个图像帧并将中间帧作为检测帧,将符合下述公式的像素点 作为候选缺陷区域中的像素点,其中,

参数ef为检测帧与相邻图像帧之间的灰度值阈值;参数eb为前图像帧与检测帧之间的灰度值补偿差,参数ef为后图像帧与检测帧之间的灰度值补偿差,参数 为第n帧像素点 的像素灰度值,参数 为像素点 相邻帧的运动向量;

S32、使用八邻域像素进行正扫描邻域像素获得第一灰度值gn,进行逆扫描邻域获得第二灰度值in,以获取可疑缺陷像素Ed,对候选缺陷区域中包含的像素点使用下述公式执行边缘像素的判断;

|in‑gn|>τ1

其中,参数n的取值范围[0,3],参数τ1为相对像素点之间的灰度值阈值,参数τ1的取值范围为[0,255];

S33、对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模,以区分候选缺陷区域中所包含的运动边缘像素和缺陷边缘像素,并剔除运动边缘像素,其中,所述步骤S33中剔除运动边缘像素具体为:其中,参数i的取值范围[0,7],参数 表示基于可疑缺陷像素Ed构建的前后帧八邻域像素所得到的运动向量,参数 与参数 为邻域像素点对应的运动向量,参数τ2为可疑缺陷像素Ed与相邻像素点之间所形成的灰度值阈值,参数n为检测帧的序列编号,参数τ2的取值范围为[0,255],若可疑缺陷像素Ed的邻域像素点中有不少于6个像素点同时满足上述公式,则将可疑缺陷像素Ed判定为运动边缘像素,以剔除所述被判定为运动边缘像素的可疑缺陷像素Ed;

所述步骤S4中的利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算具体为:S41、采用下述公式计算将候选缺陷区域所有像素点到达边界像素点的到达时间T;

其中,到达时间Tij表示在图像中的坐标位置为(i,j)像素到边界像素点的时间,到达时间T1=min(Ti‑1,j,Ti+1,j),到达时间T2=min(Ti,j‑1,Ti,j+1),参数ηij是像素点(i,j)邻域梯度方向因子和等照度线方向因子的加权乘积形成的边界;

S42、将候选缺陷区域标记出窄带区与未知区;

S43、统计出标记为窄带区中具有最小到达时间Tmin所对应的像素点;

S44、计算具有最小到达时间Tmin所对应的像素点最近邻域内像素点的平均值,以更新所述具有最小到达时间Tmin所对应的像素点的像素值;

S45、查找具有最小到达时间Tmin所对应的像素点最近邻域内被标记为窄带区与未知区的像素点,并对候选缺陷区域所包含的边界像素点的到达时间Tij作更新操作,以填充候选缺陷区域。

2.根据权利要求1所述的数字视频文件修复方法,其特征在于,所述步骤S1中还包括对连续图像帧是否为空帧的判断步骤;

若是空帧,则删除该图像帧;

若不是空帧,则对下一图像帧是否为空帧进行判断,以将连续图像帧中所包含的空帧全部删除,以得到连续图像帧。

3.根据权利要求1所述的数字视频文件修复方法,其特征在于,所述步骤S2中的四级分块匹配运动估计计算包括以下子步骤:S21、在设定的扫描窗口中构造搜索模型进行块匹配操作;

S22、将搜索模型的中心向最小块形变点处以四级搜索模式移动。

4.根据权利要求3所述的数字视频文件修复方法,其特征在于,所述扫描窗口的尺寸为

5×5,所述扫描窗口中构造的搜索模型的尺寸为3×3。

5.根据权利要求1至4中任一项所述的数字视频文件修复方法,其特征在于,所述图像帧所包含的缺陷包括:斑点缺陷、噪声缺陷、破损缺陷或者纹理缺陷中的一种或者几种的组合。

6.一种数字视频文件修复装置(100),其特征在于,包括:视频数据获取模块(110)、运动估计计算模块(120)、缺陷检测模块(130)以及缺陷修复模块(140);

所述视频数据获取模块(110)用以获取待修复的数字视频文件,并将数字视频文件分解为连续图像帧,所述运动估计计算模块(120)用以对分解得到的连续图像帧采用四级分块匹配运动估计计算,得到相邻图像帧中所包含的运动向量;

所述缺陷检测模块(130)用以对自视频数据获取模块(110)所传入的连续图像帧中选取连续三个图像帧,根据图像帧所包含的缺陷所具有非连续特征获取候选缺陷区域,并对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模,并包括以下子步骤:S31、选取连续三个图像帧并将中间帧作为检测帧,将符合下述公式的像素点 作为候选缺陷区域中的像素点,其中,

参数ef为检测帧与相邻图像帧之间的灰度值阈值;参数eb为前图像帧与检测帧之间的灰度值补偿差,参数ef为后图像帧与检测帧之间的灰度值补偿差,参数 为第n帧像素点 的像素灰度值,参数 为像素点 相邻帧的运动向量;

S32、使用八邻域像素进行正扫描邻域像素获得第一灰度值gn,进行逆扫描邻域获得第二灰度值in,以获取可疑缺陷像素Ed,对候选缺陷区域中包含的像素点使用下述公式执行边缘像素的判断;

|in‑gn|>τ1

其中,参数n的取值范围[0,3],参数τ1为相对像素点之间的灰度值阈值,参数τ1的取值范围为[0,255];

S33、对所述候选缺陷区域所包含的像素及与候选缺陷区域相邻的像素建模,以区分候选缺陷区域中所包含的运动边缘像素和缺陷边缘像素,并剔除运动边缘像素,其中,所述步骤S33中剔除运动边缘像素具体为:其中,参数i的取值范围[0,7],参数 表示基于可疑缺陷像素Ed构建的前后帧八邻域像素所得到的运动向量,参数 与参数 为邻域像素点对应的运动向量,参数τ2为可疑缺陷像素Ed与相邻像素点之间所形成的灰度值阈值,参数n为检测帧的序列编号,参数τ2的取值范围为[0,255],若可疑缺陷像素Ed的邻域像素点中有不少于6个像素点同时满足上述公式,则将可疑缺陷像素Ed判定为运动边缘像素,以剔除所述被判定为运动边缘像素的可疑缺陷像素Ed;

所述缺陷修复模块(140)用以对通过运动估计计算模块(120)得到的相邻图像帧中所包含的运动向量对候选缺陷区域所包含的像素进行插值运算,并利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算,以填充候选缺陷区域,其中,利用改进的GMM算法将候选缺陷区域的边缘灰度值及纹理信息进行迭代运算具体为:S41、采用下述公式计算将候选缺陷区域所有像素点到达边界像素点的到达时间T;

其中,到达时间Tij表示在图像中的坐标位置为(i,j)像素到边界像素点的时间,到达时间T1=min(Ti‑1,j,Ti+1,j),到达时间T2=min(Ti,j‑1,Ti,j+1),参数ηij是像素点(i,j)邻域梯度方向因子和等照度线方向因子的加权乘积形成的边界;

S42、将候选缺陷区域标记出窄带区与未知区;

S43、统计出标记为窄带区中具有最小到达时间Tmin所对应的像素点;

S44、计算具有最小到达时间Tmin所对应的像素点最近邻域内像素点的平均值,以更新所述具有最小到达时间Tmin所对应的像素点的像素值;

S45、查找具有最小到达时间Tmin所对应的像素点最近邻域内被标记为窄带区与未知区的像素点,并对候选缺陷区域所包含的边界像素点的到达时间Tij作更新操作,以填充候选缺陷区域。

7.根据权利要求6所述的数字视频文件修复装置,其特征在于,所述图像帧所包含的缺陷包括:斑点缺陷、噪声缺陷、破损缺陷或者纹理缺陷中的一种或者几种的组合。