欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2022112221739
申请人: 苏州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种针对图像超分辨率的方向解耦的注意力方法,其特征在于,包括:

获取输入图像并提取特征得到初始特征图,构建包括多个方向解耦的注意力机制的超分辨率重建网络;

将所述初始特征图输入所述包括多个方向解耦的注意力机制的超分辨率重建网络,在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取,多次进行水平方向和垂直方向的信息提取后得到最终的输出特征图;

结合所述初始特征图和最终的输出特征图得到输入图像对应的高分辨率图像;

所述包括多个方向解耦的注意力机制的超分辨率重建网络包括多个残差模块和多个方向解耦的注意力机制,所述残差模块的数量大于所述方向解耦的注意力机制的数量,每个所述方向解耦的注意力机制位于所述残差模块后;所述包括多个方向解耦的注意力机制的超分辨率重建网络包括20个残差模块和3个方向解耦的注意力机制,在第8、16、20个残差模块后面添加了的方向解耦的注意力机制;

在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取,具体为:

将位于当前方向解耦的注意力机制的前一个残差模块的输出特征图Fi作为当前方向解耦的注意力机制的输入,所述方向解耦的注意力机制包括两个注意力模块;特征图Fi分别经过两个所述注意力模块进行水平方向的信息提取和垂直方向的信息提取得到特征图Fi″,Fi和Fi″按通道相加后得到方向解耦的注意力机制的输出特征图Fi+1;

所述特征图Fi分别经过两个所述注意力模块进行水平方向的信息提取和垂直方向的信息提取得到特征图Fi″,具体为:所述特征图Fi输入第一个注意力模块进行水平方向的信息提取得到特征图Fi′,所述特征图Fi′输入第二个注意力模块进行垂直方向的信息提取得到特征图Fi″;

所述特征图Fi输入第一个注意力模块进行水平方向的信息提取得到特征图Fi′,具体为:构建特征图Fi对应的初始三维注意力图,将输入的特征图Fi中的第i行、第j列的点(i,j)和处于第i行的其他点进行点积得到S(i,j),S(i,j)经过softmax层得到得分Score(i,j);

计算三维注意力图中所有点的得分得到三维权重矩阵,将三维权重矩阵中第i行、第j列的权重向量与和点(i,j)处于同行的其他点进行加权求和作为点(i,j)的输出值;使用所有点的输出值更新特征图Fi得到特征图Fi′。

2.根据权利要求1所述的针对图像超分辨率的方向解耦的注意力方法,其特征在于:所述包括多个方向解耦的注意力机制的超分辨率重建网络的主干网络为增强的深度学习超分辨率重建网络。

3.根据权利要求1‑2任一项所述的针对图像超分辨率的方向解耦的注意力方法,其特征在于:结合所述初始特征图和最终的输出特征图得到输入图像对应的高分辨率图像,具体为:将所述初始特征图和最终的输出特征图按通道相加后输入残差网络,将残差网络的输出作为输入图像对应的高分辨率图像。

4.一种针对图像超分辨率的方向解耦的注意力系统,其特征在于:包括数据获取模块、超分辨率重建网络模块和图像输出模块,所述数据获取模块获取输入图像并提取特征得到初始特征图,将所述初始特征图分别传送给所述超分辨率重建网络模块和所述图像输出模块;

所述超分辨率重建网络模块包括多个方向解耦的注意力机制,所述超分辨率重建网络模块将所述初始特征图输入所述包括多个方向解耦的注意力机制,在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取,多次进行水平方向和垂直方向的信息提取后得到最终的输出特征图,将所述最终的输出特征图传送给所述图像输出模块;

所述图像输出模块结合所述初始特征图和最终的输出特征图得到输入图像对应的高分辨率图像;

所述包括多个方向解耦的注意力机制的超分辨率重建网络包括多个残差模块和多个方向解耦的注意力机制,所述残差模块的数量大于所述方向解耦的注意力机制的数量,每个所述方向解耦的注意力机制位于所述残差模块后;所述包括多个方向解耦的注意力机制的超分辨率重建网络包括20个残差模块和3个方向解耦的注意力机制,在第8、16、20个残差模块后面添加了的方向解耦的注意力机制;

在每个所述方向解耦的注意力机制中进行水平方向和垂直方向的信息提取,具体为:

将位于当前方向解耦的注意力机制的前一个残差模块的输出特征图Fi作为当前方向解耦的注意力机制的输入,所述方向解耦的注意力机制包括两个注意力模块;特征图Fi分别经过两个所述注意力模块进行水平方向的信息提取和垂直方向的信息提取得到特征图Fi″,Fi和Fi″按通道相加后得到方向解耦的注意力机制的输出特征图Fi+1;

所述特征图Fi分别经过两个所述注意力模块进行水平方向的信息提取和垂直方向的信息提取得到特征图Fi″,具体为:所述特征图Fi输入第一个注意力模块进行水平方向的信息提取得到特征图Fi′,所述特征图Fi′输入第二个注意力模块进行垂直方向的信息提取得到特征图Fi″;

所述特征图Fi输入第一个注意力模块进行水平方向的信息提取得到特征图Fi′,具体为:构建特征图Fi对应的初始三维注意力图,将输入的特征图Fi中的第i行、第j列的点(i,j)和处于第i行的其他点进行点积得到S(i,j),S(i,j)经过softmax层得到得分Score(i,j);

计算三维注意力图中所有点的得分得到三维权重矩阵,将三维权重矩阵中第i行、第j列的权重向量与和点(i,j)处于同行的其他点进行加权求和作为点(i,j)的输出值;使用所有点的输出值更新特征图Fi得到特征图Fi′。

5.根据权利要求4所述的针对图像超分辨率的方向解耦的注意力系统,其特征在于:所述超分辨率重建网络模块还包括多个残差模块,所述残差模块的数量大于所述方向解耦的注意力机制的数量,每个所述方向解耦的注意力机制位于所述残差模块后;

所述初始特征图依次经过多个所述残差模块和方向解耦的注意力机制后得到最终的输出特征图。