1.一种基于内容感知的图像特征匹配方法,其特征在于,首先,提出改进的两阶段特征匹配方法,在第一阶段使用最先进的模型拟合方法对图像对进行预对齐,预对齐后的图像用作第二阶段的输入;其次,在特征提取器之前使用一个由完全卷积网络和掩膜预测器组成的块,对输入图像的特征进行加权。
2.根据权利要求1所述的基于内容感知的图像特征匹配方法,其特征在于,第一阶段具体实现方式为:首先,使用预训练的特征提取器VGG‑19从输入图像IA和IB中提取特征;其次,在最后一层的特征图上使用密集最近邻搜索DNNS来进行初始匹配;最后,将初始匹配用于单应矩阵估计以进行预对齐。
3.根据权利要求2所述的基于内容感知的图像特征匹配方法,其特征在于,第二阶段具体实现方式为:首先,将预对齐的结果输入到由内容感知块和VGG‑19组成的特征提取器中,用于提取特征;其次,使用密集最近邻搜索DNNS进行特征匹配。
4.根据权利要求2所述的基于内容感知的图像特征匹配方法,其特征在于,使用鲁棒模型拟合方法MAGSAC++估计单应矩阵HBA,HBA用于扭曲图像IB得到图像IBwarped。
5.根据权利要求3所述的基于内容感知的图像特征匹配方法,其特征在于,所述内容感知块由第二特征提取器和掩膜预测器组成,第二特征提取器用于初步提取输入图像的特征图,掩膜预测器用于预测概率图,即有效内容更多的位置具有更高的概率,然后概率图被用来对输入图像的特征图进行加权。
6.根据权利要求5所述的基于内容感知的图像特征匹配方法,其特征在于,所述第二特征提取器使用一个完全卷积网络来组成,它接受一个大小为H*W*1的输入,并生成一个大小为H*W*C的特征图;对于输入图像IA和IB,第二特征提取器共享权重,生成特征图FA和FB,即:Fi=f(Ii),i∈{A,B}
其中,f(·)表示第二特征提取器。
7.根据权利要求6所述的基于内容感知的图像特征匹配方法,其特征在于,所述掩膜预测器,通过建立一个网络来自动学习有效特征的位置,该网络m(·)生成一个内点概率图,突出显示特征图中有更多贡献的位置;概率图的大小与特征图FA和FB的大小相同,通过概率图对f(·)提取的特征进一步加权,然后将两个加权后的特征图GA和GB输入VGG‑19,即:Mi=m(Ii),Gi=FiMI,i∈{A,B}。