利索能及
我要发布
收藏
专利号: 2023111940240
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述系统包括输入模块、浅层特征提取层、多个堆叠蒸馏特征融合像素注意块模块、特征聚合模块、重建模块和输出模块;

所述输入模块接收低分辨率图像ILR;

所述浅层特征提取层对低分辨率图像提取浅层特征;

所述多个堆叠蒸馏特征融合像素注意块模块是m个以链的方式进行堆叠的DFFPA块,对浅层特征逐步细化提取深层特征;所述DFFPA块包括3个RPAB块、1个3×3卷积层,2个DFFB块,通道维度串联Concat操作、通道混洗Cshuffle操作、1个1×1卷积层、ESA块;3个RPAB块和1个3×3卷积层通过串联的方式连接在一起,且每经过一个RPAB块和3×3卷积层,输出特征都输入到DFFB块中,经由从上到下第一个RPAB块和第二个RPAB块处理的特征输入到第一个DFFB块中,第三个RPAB块和3×3卷积层处理的特征输入到第二个DFFB块中;最后将两个DFFB块的输出特征通过Concat操作连接在一起,以第k个DFFPA块为例,上述过程表示为:Fd1,Fc1=R1(Fk‑1),L1(Fk‑1)

Fd2,Fc2=R2(Fc1),L2(Fc1),

Fd3,Fc3=R3(Fc2),L3(Fc2),

Fd4=R4(C3×3(Fc3))

Fk‑1表示第k个DFFPA块的输入,经由RPAB块或3×3卷积层细化的特征由四条支路送入DFFB块,将通道数减半进行特征蒸馏,Rj,j=1,2,3,4是特征蒸馏函数,Li,i=1,2,3是RPAB特征细化函数,C3×3是3×3卷积层特征细化函数,Fdj表示第j个被蒸馏的特征,j=1,2,3,4,Fci表示将由后续层处理的第i个粗特征,i=1,2,3;

F1=D1(Concat(Fd1,Fd2)),

F2=D2(Concat(Fd3,Fd4)),

Fk=Concat(F1,F2)

其中,D1、D2分别表示第一个、第二个DFFB块的特征融合函数,F1,F2分别表示第一、第二个DFFB块的输出,Fk是最终融合后的第k个DFFPA块的输出特征,Concat是沿通道维度的串联操作;

最后输入到通道混洗Cshuffle操作、1×1卷积层和ESA块串联的通路中并输出;

所述RPAB块由1个3×3卷积层、残差连接、激活单元ReLU、1个堆叠3x3可分离卷积层SSC3、Sigmoid函数组成;其组成结构包括三个通路,输入的特征通过左边的通路连接到ReLU激活函数前和中间通路输出的结果相加;右边的通路由堆叠3x3可分离卷积和sigmoid函数串联组成,用于生成每个像素的注意力权重;中间通路由一个3×3卷积层和ReLU激活函数串联构成,3×3卷积层用于特征提取,其结果与右边的通路生成的像素注意力权重相乘并和输入的特征相加,最后通过ReLU函数激活;

所述特征聚合模块聚合m个DFFPA块和浅层特征提取层的特征;

所述重建模块经过一个3×3卷积层和像素重排进行图像重建,得到超分辨率图像ISR;

所述输出模块输出超分辨率图像ISR。

2.根据权利要求1所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述浅层特征提取层为3×3卷积层,从低分辨率图像ILR中提取浅层特征,具体为:F0=h(ILR)

其中,h为浅层特征提取函数,F0为提取的浅层特征。

3.根据权利要求1所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述多个堆叠蒸馏特征融合像素注意块模块具体为:提取的浅层特征输入到DFFPA块,经过处理后的特征输入到下一个DFFPA块,以此类推,此表示为:Fk=Hk(Fk‑1),k=1,...,m

其中,Hk为第k个DFFPA块函数,Fk为第k个DFFPA块的输出特征,Fk‑1为第k‑1个DFFPA块的输出特征和第k个DFFPA块的输入特征;当k=1时,F0为提取的浅层特征;

同时每块DFFPA块的输出特征在特征聚合模块中聚合。

4.根据权利要求1所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述DFFB块由4个1×1卷积层、通道维度串联Concat操作、通道混洗Cshuffle操作、Sigmoid函数、1个5×5深度可分离卷积层、1个7×7深度可分离卷积层组成;上下两路并行的1×1卷积分别将两路输入的特征通道数变为原来的二分之一,完成对特征的蒸馏;将两路蒸馏特征沿通道维度串联并进行通道混洗Cshuffle操作,接着通过1×1卷积将通道数减半,即恢复到蒸馏特征通道数;经过融合后的蒸馏特征送入由1×1卷积层、5×5深度可分离卷积层、7×7深度可分离卷积层和sigmoid函数串联的通路,生成大核像素注意力权重并和融合后的蒸馏特征相乘,作为DFFB块的输出。

5.根据权利要求1所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述特征聚合模块包括1×1卷积层和3×3卷积层,提取的深层特征通过1×1卷积层聚合,然后,使用3×3卷积层对聚合的特征进行平滑,其表达式为:Fa=Ha(Concat(Fout1,...,Foutm))

其中,Ha表示紧接着1×1卷积层后的3×3卷积层特征提取函数,Fa是聚合后的特征,Fout1,...,Foutm表示第1个DFFPA块到第m个DFFPA块输出的中间特征;

最后,聚合m个DFFPA块和浅层特征提取层的特征。

6.根据权利要求1所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述重建模块由一个3×3卷积层和一个亚像素卷积层组成,重建生成SR图像表达为:ISR=R(Fa+F0)

其中,R表示重构函数,F0为提取的浅层特征,Fa是特征聚合模块聚合后的特征。

7.根据权利要求1所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述系统的网络损失函数表示为:其中,H表示提出的网络的函数,θ表示本网络的学习参数,||·||1是l1范数;N是样本数量。

8.权利要求1‑7任一项所述的系统用于边缘移动设备的轻量化图像超分辨率重建方法,其特征在于,所述方法具体如下:步骤1,边缘移动设备获取低分辨率图像;

步骤2,输入低分辨率图像ILR;

步骤3,将低分辨率图像输入浅层特征提取层,通过3×3卷积层提取浅层特征;

步骤4,将步骤3提取的浅层特征输入多个堆叠蒸馏特征融合像素注意模块,逐步细化提取深层特征,多个堆叠蒸馏特征融合像素注意块是m个以链的方式进行堆叠的DFFPA块;

步骤5,将步骤4提取的深层特征输入特征聚合模块,聚合m个DFFPA块和浅层特征提取层的特征;

步骤6,将步骤5的输出特征输入到重建模块,经过一个3×3卷积层和像素重排进行图像重建;

步骤7,输出超分辨率图像ISR。