利索能及
我要发布
收藏
专利号: 2021109733671
申请人: 厦门仟易网络科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种通过深度学习的摄像头超分辨率方法,其特征在于:包括以下步骤:

S1、通过摄像机用不同的分辨率采集到成对的真实高分辨率图像和低分辨率图像,称之为有标签数据;

S2、通过收集公开数据,采集到大量不成对的高分辨率图像和低分辨率图像,称之为无标签数据;

S3、将有标签数据和无标签数据的低分辨率图像通过超分网络伪造成高分辨率图像,将有标签数据和无标签数据的高分辨率图像通过微分网络伪造成低分别率图像;

S4、将有标签数据中通过超分网络伪造成的高分辨率图像和通过微分网络伪造成的低分辨率图像输入有监督判别器进行学习;将无标签数据中通过超分网络伪造成的高分辨率图像和通过微分网络伪造成的低分辨率图像输入无监督判别器进行学习;

S5、有监督判别器同时输入高分辨率图像和低分辨率图像,当高分辨率图像和低分辨率图像中有一张是伪造时,有监督判别器输出false;当高分辨率图像和低分辨率图像两张图像都是无伪造的真实图像时,有监督判别器输出true;

S6、无监督判别器同时输入高分辨率图像和低分辨率图像,当高分辨率图像是无伪造的真实图像,低分辨率图像是微分网络伪造时,无监督判别器输出true;当高分别率图像是超分网络伪造的,低分辨率图像是无伪造的真实图像时,无监督判别器输出false;

所述超分网路包括第一卷积层、RG‑l层、RG‑g层、RG‑G层、CA层、RA层、第二卷积层、上采样层及第三卷积层,所述低分辨率图像依次经过第一卷积层、RG‑l层、RG‑g层、RG‑G层、CA层、RA层、第二卷积层进行处理,而后再与经过第一卷积层卷积后的图像进行相加,相加后的图像特征再依次经过上采样层和第三卷积层得到伪造的高分辨率图像;

所述微分网路包括第四卷积层、RG‑l′层、RG‑g′层、RG‑G′层、CA′层、RA′层、第五卷积层、第一下采样层及第六卷积层,所述高分辨率图像依次经过第四卷积层、RG‑l′层、RG‑g′层、RG‑G′层、CA′层、RA′层、第五卷积层进行处理,而后再与经过第四卷积层卷积后的图像进行相加,相加后的图像特征再依次经过第一下采样层和第六卷积层得到伪造的低分辨率图像;

所述有监督判别器和无监督判别器均包括第十一卷积层、第二下采样层、第十二卷积层、第十三卷积层、第二全局池化层及全连接层,所述第十三卷积层设有多个,督判别器先将高分辨率图像通过卷积和下采样变成和低分辨率图像一样的大小,低分辨率图像也通过一次卷积,之后将两者的特征图拼接,再将拼接后的特征图通过多次卷积,再经过一个全局池化,获得特征向量,最后再将特征向量通过一层全连接层输出一个标量,作为判断输入图像正确与否的标志。

2.如权利要求1所述的一种通过深度学习的摄像头超分辨率方法,其特征在于:所述CA层和CA′层均包括第七卷积层、第一全局池化层和第八卷积层,对于任意输入的特征图,CA层和CA′层会通过第七卷积层一次卷积和第一全局池化层一次全局池化后得到一个通道权重,再把特征图通过第八卷积层卷积后变成另一个向量,两者进行相乘后,完成通道自注意力。

3.如权利要求1所述的一种通过深度学习的摄像头超分辨率方法,其特征在于:所述RA层和RA′层均包括第九卷积层、通道均值层和第十卷积层,对于任意输入的特征图,RA层和RA′层会通过第九卷积层一次卷积和通道均值层一次通道求均值后得到一个区域权重,再把特征图通过第十卷积层卷积后变成另一个向量,两者进行相乘后,完成区域自注意力。

4.如权利要求1所述的一种通过深度学习的摄像头超分辨率方法,其特征在于:还包括l模型的训练,训练的数据由两部分构成,第一部分是成对高分辨率图像y 和低分辨率图像l l l l u u ux,称之为D={(x ,y)},即第二部分是不成对的高分辨率y和低分辨率图像x,称之为D =u u{x ,y},所以我们的损失也由两个部分构成,分别是有监督损失和无监督损失;

1 2 1 2

记超分网络为G,微分网络为G ,有监督判别器为D ,无监督判别器为D,则有监督损失如下所示:;

同理无监督损失如下:

;

l 1 2 1

先用成对的图像根据L 来训练超分网络G ,微分网络G 和有监督判别器D ,再用不成对u 1 2 2的图像根据L来训练超分网络G,微分网络G和无监督判别器D。