1.一种基于多特征融合的图像检索方法,包括如下步骤:
(1)对目标图像进行SIFT特征提取,利用预训练好的视觉词典使用局部特征编码算法对SIFT特征进行编码,作为目标图像的浅层视觉特征;
所述局部特征编码算法采用多近邻软分配聚合SIFT局部特征,通过距离比值计算SIFT特征向量与n个近邻视觉单词的隶属度,隶属度的计算公式如下:其中:xi为目标图像的SIFT特征向量,n表示为SIFT特征向量xi分配的近邻视觉单词数量,bj为分配的第j个近邻视觉单词,uij为SIFT特征向量xi在近邻视觉单词bj上的隶属度,β为平滑因子控制函数的变化率;
(2)将预处理后的目标图像输入到预训练好的Resnet50神经网络中提取卷积层特征,作为目标图像的深度学习特征,具体实现方式为:首先将目标图像的尺寸缩放至224×224像素大小,并去均值化处理;然后将处理后的目标图像输入至预训练好的Resnet50神经网络中,提取该神经网络第5个卷积层输出的特征图谱,并采用RMAC编码的方式将其聚合成一维特征向量作为目标图像的深度学习特征;
所述RMAC编码的具体实现为:对于特征图谱中任一层二维的特征图,首先利用多尺度滑动窗口的策略在该特征图上进行均匀采样,其中第l个尺度的滑动窗口所对应的正方形边长为2×min(W,H)/(l+1),W和H为特征图的宽和高,这些正方形窗口在特征图上滑动,相邻窗口之间具有不少于40%的重叠面积;然后对各个尺度滑动窗口所提取的所有局部区域的特征响应极大值求和,得到特征图的RMAC特征值;最后将所有特征图的RMAC特征值组合成一维向量的形式即作为目标图像的深度学习特征;
(3)分别对目标图像的浅层视觉特征和深度学习特征进行L2范数归一化,然后将归一化后的特征进行加权串联并结合PCA降维处理,从而得到目标图像的融合特征;
(4)将目标图像的融合特征与特征库中的所有图像特征向量进行比对,并采用查询扩展的方式,最终获得检索结果。
2.根据权利要求1所述的图像检索方法,其特征在于:所述步骤(1)中视觉词典的预训练过程为:利用图像数据集,提取数据集中每张图像的SIFT特征向量,使用K‑means聚类算法对这些特征向量的集合进行聚类,最终把特征向量集合划分为多个簇,每个簇的聚类中心即可视为视觉词典中的视觉单词。
3.根据权利要求1所述的图像检索方法,其特征在于:所述Resnet50神经网络的预训练过程为:首先使用在ImageNet数据集上训练的权重参数对Renset50神经网络进行初始化,然后在图像数据集上进行迁移训练,即将Resnet50神经网络作为一个softmax分类器进行训练,训练过程中采用交叉熵损失函数和mini‑batch优化器通过正向传播和反向传播的方式按批次对该神经网络进行迁移训练。
4.根据权利要求1所述的图像检索方法,其特征在于:所述步骤(4)的具体实现方式为:
首先将目标图像的融合特征作为初始查询向量F0与特征库中的所有图像特征向量进行相似度计算,查找出相似度最近的k个图像特征向量{F1,F2,…,Fk};然后通过以下公式计算F0与{F1,F2,…,Fk}平均值Favg并将其作为新的查询向量,最后将该查询向量与特征库中的所有图像特征向量进行相似度计算,查找出相似度最近的k个图像特征向量作为最终的检索结果;
其中:k为自设定的正整数。