1.一种基于深度学习的图像对齐方法,其特征在于,所述基于深度学习的图像对齐方法包括:获取两张待对齐图像;
将所述两张待对齐图像输入至训练好的图像对齐模型中,得到对齐图像;其中,采用如下方式得到对齐图像:采用特征提取模块对所述两张待对齐图像进行特征提取,得到第一多尺度特征图和第二多尺度特征图;其中,所述特征提取模块采用两个权重共享的特征提取网络和循环特征金字塔网络进行构建得到;
基于所述第一多尺度特征图和所述第二多尺度特征图,采用特征匹配模块计算每个尺度上的相似矩阵,得到最终相似矩阵;其中,所述特征匹配模块采用自注意力机制与交叉注意力机制进行构建得到;
将所述最终相似矩阵输入至图像对齐模块,得到单应性矩阵;其中,所述图像对齐模块采用多个卷积块进行构建得到;
根据所述单应性矩阵将所述两张待对齐图像进行单应性变换,得到对齐图像。
2.根据权利要求1所述的基于深度学习的图像对齐方法,其特征在于,所述采用特征提取模块对所述两张待对齐图像进行特征提取,得到第一多尺度特征图和第二多尺度特征,包括:采用两个权重共享的特征提取网络分别对所述两张待对齐图像进行特征提取,得到每个待对齐图像的初始多尺度特征图;
将所述每个待对齐图像的初始多尺度特征图输入至所述循环特征金字塔网络进行深度语义信息提取,得到第一多尺度特征图和第二多尺度特征图。
3.根据权利要求2所述的基于深度学习的图像对齐方法,其特征在于,所述将所述每个待对齐图像的初始多尺度特征图输入至所述循环特征金字塔网络进行深度语义信息提取,得到第一多尺度特征图和第二多尺度特征图,包括:将所述每个待对齐图像的初始多尺度特征图进行卷积操作,得到每个待对齐图像卷积后的多尺度特征图;
将所述每个待对齐图像卷积后的多尺度特征图中后若干尺度特征图进行上采样,并将上采样后的每个尺度特征图与卷积前的若干尺度特征图进行残差连接,得到每个待对齐图像新的多尺度特征图;
将所述每个待对齐图像新的多尺度特征图进行卷积操作,得到每个待对齐图像新卷积后的多尺度特征图;
将所述每个待对齐图像新卷积后的多尺度特征图重新进行卷积操作、残差连接、卷积操作,得到第一多尺度特征图和第二多尺度特征图。
4.根据权利要求1所述的基于深度学习的图像对齐方法,其特征在于,所述基于所述第一多尺度特征图和所述第二多尺度特征图,采用特征匹配模块计算每个尺度上的相似矩阵,得到最终相似矩阵,包括:对所述第一多尺度特征图和所述第二多尺度特征图进行位置编码,得到位置编码后的第一多尺度特征图和位置编码后的第二多尺度特征图;
采用自注意力机制计算所述位置编码后的第一多尺度特征图和位置编码后的第二多尺度特征图的自注意力权重,得到第一多尺度特征图的自注意力权重和第二多尺度特征图的自注意力权重;
根据所述第一多尺度特征图的自注意力权重和所述第二多尺度特征图的自注意力权重,采用交叉注意力机制计算第一多尺度特征图的交叉注意力权重和第二多尺度特征图的交叉注意力权重;
根据所述第一多尺度特征图的交叉注意力权重和所述第二多尺度特征图的交叉注意力权重,计算每个尺度上的相似矩阵,得到每个尺度上的初始相似矩阵;
将所述每个尺度上的初始相似矩阵进行长宽维度一致操作,得到长宽维度一致的多尺度相似矩阵;
将所述长宽维度一致的多尺度相似矩阵进行拼接,得到最终相似矩阵。
5.根据权利要求4所述的基于深度学习的图像对齐方法,其特征在于,通过如下方式采用交叉注意力机制计算第一多尺度特征图的交叉注意力权重和第二多尺度特征图的交叉注意力权重:;
;
其中, 表示第一多尺度特征图的交叉注意力权重, 表示采用第一多尺
度特征图的自注意力权重计算的第一多尺度特征图中第 个尺度的Query矩阵, 表示采用第二多尺度特征图的自注意力权重计算的第二多尺度特征图中第 个尺度的Key矩阵,表示转置, 表示采用第二多尺度特征图的自注意力权重计算的第二多尺度特征图中第个尺度的Value矩阵, 表示第二多尺度特征图中第 个尺度的缩放因子,表示激活函数, 表示第二多尺度特征图的交叉注意力权重, 表示采用第二多尺度特征图的自注意力权重计算的第二多尺度特征图中第 个尺度的Query矩阵,表示采用第一多尺度特征图的自注意力权重计算的第一多尺度特征图中第 个尺度的Key矩阵, 表示采用第一多尺度特征图的自注意力权重计算的第一多尺度特征图中第 个尺度的Value矩阵, 表示第一多尺度特征图中第 个尺度的缩放因子。
6.根据权利要求1所述的基于深度学习的图像对齐方法,其特征在于,通过如下方式得到训练好的图像对齐模型:获取图像数据集,并对所述图像数据集进行裁剪、变换构造三张样本一组的样本组集合;其中,每个样本组包含两张待对齐训练图像和一张全景图像,将两张待对齐训练图像作为输入图像,一张为基坐标图片,另一张为待对齐图片,将全景图像作为训练标签;
构建损失函数;基于所述损失函数,采用所述样本组集合对图像对齐模型进行训练,得到训练好的图像对齐模型。
7.根据权利要求6所述的基于深度学习的图像对齐方法,其特征在于,通过如下方式构建损失函数:;
其中, 表示作为训练标签的全景图像, 和 分别表示基坐标图片和待
对齐图片, 表示使用模型输出的单应性矩阵构建的单应性变换, 表示像素级加和,表示样本组数量。
8.一种基于深度学习的图像对齐系统,其特征在于,所述基于深度学习的图像对齐系统包括:数据获取单元,用于获取两张待对齐图像;
图像对齐单元,用于将所述两张待对齐图像输入至训练好的图像对齐模型中,得到对齐图像;所述图像对齐单元包括特征提取子单元、特征匹配子单元、图像对齐子单元和单应性变换子单元,其中:所述特征提取子单元,用于采用特征提取模块对所述两张待对齐图像进行特征提取,得到第一多尺度特征图和第二多尺度特征图;其中,所述特征提取模块采用两个权重共享的特征提取网络和循环特征金字塔网络进行构建得到;
所述特征匹配子单元,用于基于所述第一多尺度特征图和所述第二多尺度特征图,采用特征匹配模块计算每个尺度上的相似矩阵,得到最终相似矩阵;其中,所述特征匹配模块采用自注意力机制与交叉注意力机制进行构建得到;
所述图像对齐子单元,用于将所述最终相似矩阵输入至图像对齐模块,得到单应性矩阵;其中,所述图像对齐模块采用多个卷积块进行构建得到;
所述单应性变换子单元,用于根据所述单应性矩阵将所述两张待对齐图像进行单应性变换,得到对齐图像。
9.一种基于深度学习的图像对齐设备,其特征在于,包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器;所述存储器存储有可被所述至少一个控制处理器执行的指令,所述指令被所述至少一个控制处理器执行,以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于深度学习的图像对齐方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于深度学习的图像对齐方法。