利索能及
我要发布
收藏
专利号: 2022112090499
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于便捷交替投影网络的人脸超分辨率方法,其特征在于:包括以下步骤:S0:构建一种基于便捷交替投影网络的人脸超分辨率系统,包括下采样模块、粗糙特征提取器模块、精细特征提取器模块、特征融合模块和人脸图像重建模块;

S1:将高分辨率人脸图像下采样至目标低分辨率人脸图像;

S2:对目标低分辨率人脸图像进行可分离卷积操作,使用粗糙特征提取器提取粗糙的脸部特征图;

S3:构建便捷交替投影单元作为精细特征提取器,将粗糙的脸部特征图输入便捷交替投影单元,通过交替迭代多个向上‑向下投影操作获得人脸精细特征图;

便捷交替投影单元包括若干个向上投影单元和向下投影单元组成的向上‑向下投影组合;

向上投影单元使用包括反卷积、点卷积、便捷连接与普通卷积的操作得到低分辨率残差特征,通过对低分辨残差特征进行反卷积操作再次投影至高分辨率空间,得到高分辨率空间融合特征;

向下投影单元通过进行包括点卷积、便捷连接与普通卷积的操作,将高分辨率空间融合特征投影至低分辨率空间学习残差特征得到低分辨率空间特征;

向上投影操作的具体步骤为:

将粗糙的脸部特征图 输入便捷交替投影单元;

将粗糙的脸部特征图 反卷积得到高分辨率空间特征:;

对 进行点卷积操作,然后分别通过便捷连接操作 与普通卷积,将二者所提取的特征进行融合后进行普通卷积得到低分辨率特征:;

将 与 相减得到低分辨率残差特征 ;

随后通过一个反卷积操作放大残差特征 得到输出:;

将高分辨率空间特征 与 相加得到高分辨率特征 ;

便捷链接操作 用于对每个固有特征执行方便的线性变换操作,并根据函数进行逐通道映射,通过多类便捷连接特征 获得整个个普通卷积 ,以快速获得所需的 个特征映射;

向下投影操作的具体步骤为:

对高分辨率特征 进行点卷积操作,然后分别通过便捷连接操作 与普通卷积,将二者所提取的特征进行融合后进行普通卷积得到低分辨率特征:;

随后将 反卷积得到高分辨率特征:

将特征 与 相减得到高分辨率残差特征 ;

对高分辨率残差特征 再次进行点卷积操作,将便捷连接操作 与普通卷积所提取的特征融合并进行普通卷积得到低分辨率特征:;

最后的低分辨率输出特征为:

S4:设 为特征融合操作, 为各个向上投影单元的高分辨率特征输出,将各个高分辨率空间特征通过密集连接跨层级交互融合,则融合后的人脸精细特征图为:;

S5:对融合后的人脸精细特征图进行卷积操作,将人脸特征图重建成目标高分辨率人脸图像;设 表示重建操作,采用普通卷积实现,则目标高分辨率人脸图像 表示为:。

2.根据权利要求1所述的一种基于便捷交替投影网络的人脸超分辨率方法,其特征在于:所述的步骤S2中,具体步骤为:使用三个卷积层构建粗糙特征提取器,并使用粗糙特征提取器提取粗糙的脸部特征图;设 表示粗糙的脸部特征图, 表示普通卷积操作, 表示Depthwise卷积操作, 表示点卷积操作, 表示输入的低分辨率人脸图像,则粗糙的脸部特征图表示为:。

3.根据权利要求1所述的一种基于便捷交替投影网络的人脸超分辨率方法,其特征在于:还包括以下步骤:设 表示数据集的人脸图片张数, 表示整个网络, 和 表示表示数据集中第 张低分辨率人脸图像和第 张高分辨率人脸图像,则整个网络的损失函数 表示为:。

4.一种用于权利要求1至3中任意一项所述的基于便捷交替投影网络的人脸超分辨率方法的系统,其特征在于:包括下采样模块、粗糙特征提取器模块、精细特征提取器模块、特征融合模块和人脸图像重建模块;

下采样模块用于将高分辨率人脸图像下采样至目标低分辨率人脸图像;

粗糙特征提取器模块用于在将所述目标低分辨率图像进行普通卷积与深度可分离卷积操作,提取粗糙的脸部特征图;

精细特征提取器模块用于构建便捷交替投影网络作为精细特征提取器,将所述粗糙的脸部特征图输入所述便捷交替投影网络获得精细的脸部特征图,所述便捷交替投影网络包含若干个向上‑向下投影组合,每个单元包含若干个点卷积、反卷积、便捷连接操作与普通卷积,每个单元生成的高分辨率特征通过密集连接进行特征融合,使各个阶段的特征进行跨层级交互,实现网络的强大特征表达能力;

特征融合模块用于将所述各投影单元得到的精细脸部特征图进行特征融合;

人脸图像重建模块用于将融合后的人脸特征图进行普通卷积重建成目标的高分辨率人脸图像。

5.一种计算机存储介质,其特征在于:其内存储有可被计算机处理器执行的计算机程序,该计算机程序执行如权利要求1至权利要求3中任意一项所述的一种基于便捷交替投影网络的人脸超分辨率方法。