欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021107137804
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于超分辨率重建的模糊图像分类方法,其特征在于,包括步骤如下:步骤1、在上位机中,对原始高分辨率图像指定类别标签,然后将原始高分辨率图像进行高斯平滑后再进行下采样,获得带有标签的低分辨率图像作为步骤2的输入;

步骤2、构建融合模型,包括串联的超分辨率重建模型和分类模型,超分辨率重建模型包括串联的生成模型和鉴别模型;

步骤3、分别建立超分辨率重建模型和分类模型的损失函数,利用训练集来训练步骤2建立的融合模型,利用测试集测试融合模型获得具有在线生产能力的融合模型;

训练集和测试集的建立过程为:获取基础数据集并按8:2的比例划分为训练集和测试集,然后将基础数据集中的原图像插值成原始高分辨率图像并进行两次所述下采样获得低分辨率图像;

建立的所述超分辨率重建模型的损失函数包括:

生成模型的损失函数采用感知损失Lperceptual(xo):‑3

Lperceptual(xo)=10 ×Ladver(xg)+Lcont(freal,ffake)   (6)其中,Ladver(xg)为:

其中,N为每批次图像测试张数, 为生成模型生成的高分辨率假图像被鉴别模型鉴别的结果;

Lcont(freal,ffake)为内容损失,为生成图像和原始高分辨率图像的语义特征差异,将VGG‑19模型的全连接层部分舍弃,利用VGG‑19模型的卷积层部分对生成模型重建的高分辨率假图像和原始高分辨率图像分别进行特征提取获取包含语义特征的特征图ffake和freal,对对应的特征图计算均方误差:其中H,W为低分辨率图像的宽和高,r为超分辨率倍数,x,y为像素点位置的横纵坐标;

鉴别模型采用二分类交叉熵BCELoss作为损失函数,其表达式为:其中,xi,yi分别为鉴别模型预测的结果和实际结果;

所述分类模型的损失函数采用了负对数似然损失函数NLLLoss:LNLL(x,y)=‑logx[y]                                 (10)其中,x为分类结果概率分布,y为类别标签。

2.根据权利要求1所述的一种基于超分辨率重建的模糊图像分类方法,其特征在于:步骤2中所述生成模型包括:首先使输入的图像数据经过一层尺寸为9,步长为1的卷积层,并采用PReLU作为激活函数,然后再利用16层残差卷积层提取低分辨率图像的特征,使残差块的输出经过一层3×3的卷积层并进行归一化处理;最后对输出数据加上第一层9×9卷积层的输出后,根据原始高分辨率图像与对应的低分辨率图像的放大倍数的一半设置上采样层的层数,并对上采样块的输出通过一层9×9卷积层从64通道缩小到3通道内。

3.根据权利要求2所述的一种基于超分辨率重建的模糊图像分类方法,其特征在于:步骤2中所述鉴别模型为:输入的图像经过8层3×3卷积层再经过一层1×1卷积层和二维池化层,最终输出得到鉴别分类结果,前八层的卷积层采用PReLU作为激活函数,二维池化层采用sigmoid作为激活函数,除第一层的3×3卷积层和第九层的1×1卷积层其余卷积层后都进行批规范化BN层处理;

步骤2中所述分类模型为残差网络ResNet50。

4.根据权利要求3所述的一种基于超分辨率重建的模糊图像分类方法,其特征在于:步骤1中所述下采样的方式为:

Pk=∑i∈kIi/(w×h)                                      (1)其中,k为尺寸为w*h的窗口,Pk为生成的像素点,Ii为原始高分辨率图像的像素点;

所述带有标签的低分辨率图像带有标签之一为对应的原始高分辨率图像,带有的标签之二为对应的原始高分辨率图像的类别标签。

5.根据权利要求4所述的一种基于超分辨率重建的模糊图像分类方法,其特征在于:所述生成模型中的卷积层是对读入的图像数据或上一层输出用卷积核进行卷积操作,

3×3卷积核为:

其中, 为卷积核输出图像位置为(u,v)的像素点, 为卷积核输入图像位置(l+2)为(i+u,j+v)的像素点, 为卷积核对应位置的权重,b 为卷积核对应位置的偏置,i为相对卷积核中心的横向位置,j为相对卷积核中心的纵向位置,l为卷积核所在卷积层序数,u为卷积核中心的横向位置,v为为卷积核中心的纵向位置,i、j、l、u、v均只能取整数,9×9卷积核将i,j的取值范围由[‑1,1]改为[‑4,4],fa()为激活函数:其中,x为激活函数的输入,a为激活函数负向的斜率。

6.根据权利要求5所述的一种基于超分辨率重建的模糊图像分类方法,其特征在于,所述训练融合模型的过程为:所述融合模型进行训练的同时训练一个单独的生成模型,在每一批次数据用于训练时,先用原始高分辨率图像和生成模型生成的高分辨率假图像对鉴别模型进行训练;再利用下采样获取的低分辨率图像和对应的原始高分辨率图像训练生成模型,用生成模型训练更新过的参数替换掉融合模型中的超分辨率重建模型的对应参数;最后,利用低分辨率图像和对应分类标签训练整个融合模型,并将融合模型的超分辨率重建部分更新过的参数再替换掉生成模型的全部参数,如此反复训练直至模型在训练集上的损失不再有明显下降;

所述融合模型根据输入的低分辨率图像正向传播计算网络模型的中间变量,从超分辨率重建模型部分的输出层获取高分辨率假图像,从分类模型部分的输出层获取分类结果标签;根据提取出的高分辨率假图像和对应的真实高分辨率图像标签所计算的损失值反向传播计算出超分辨率重建模型的梯度,利用随机梯度下降(SGD)算法进行参数的更新,权值和偏置的更新公式如下:其中, 是第l层第j个神经元与前一层第k个神经元之间的权重, 为第l层第j个神经元的偏置,α为学习率,C(θ)为最终损失值;

根据最后输出的分类识别结果标签和真实标签所计算的损失值反向传播算法计算出整个融合模型的新的梯度,利用SGD算法进行整个融合模型的权重参数的更新,循环训练至训练集上准确率不再提高。

7.根据权利要求6所述的一种基于超分辨率重建的模糊图像分类方法,其特征在于:所述测试融合模型的过程为:将测试集中的低分辨率图像作为融合模型的输入,测试融合模型的泛化能力,获得所述具有在线生产能力的融合模型。