欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2021115010684
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于注意力机制与特征融合的图像检索方法,其特征在于,包括以下步骤:步骤1、预先利用imagenet数据集训练ResNet50模型,然后删掉ResNet50模型的全连接层;

步骤2、提取ResNet50模型的第二层卷积块的输出特征conv2_block3_out、第三层卷积块的输出特征conv3_block4_out、第四层卷积块的输出特征conv4_block6_out、第五层卷积块的输出特征conv5_block3_out;

步骤3、将步骤2得到的输出特征进行融合,得到融合特征;

步骤4、所述融合特征依次输入SE模块、池化层、全连接层,得到检索网络模型,并输出检索结果;

步骤5、对所述检索网络模型进行训练,输出精确检索结果;

步骤3中采用特征金字塔的方式将步骤2得到的输出特征进行融合;

步骤3具体包括以下步骤:

步骤3.1、将第五层卷积块的输出特征依次经过1 x 1卷积得到对应的特征图M5;对特征图M5进行上采样,与第四层卷积块的输出特征经过1 x 1卷积后得到的特征图相加,得到对应特征图M4;对特征图M4进行上采样,与第三层卷积块的输出特征经过1 x 1卷积后得到的特征图相加,得到对应特征图M3;特征图M3进行上采样,与第二层卷积块的输出特征经过

1 x 1卷积后得到的特征图相加,得到对应特征图M2;

步骤3.2、分别对所述特征图M5、特征图M4、特征图M3、特征图M2经过3 x 3卷积,得到最终的ResNet50模型的第二层、第三层、第四层、第五层特征;

步骤3.3、使用concatenate函数对第二层、第三层、第四层、第五层特征进行融合,得到融合特征;

步骤4中融合特征在SE模块中的处理过程为:

所述融合特征大小为W×H×C,先经过压缩操作后得到1×1×C向量,再经过第一个全连接层后输出1×1×C×SERadio向量,所述1×1×C×SERadio向量经ReLU函数激活后,之后输入第二个全连接层,输出为1×1×C向量,然后经过sigmoid函数激活;对所述融合特征进行scale操作后,将经过sigmoid函数激活后的1×1×C向量与所述融合特征对应通道的三维矩阵相乘,得到输出结果;

步骤4中所述全连接层的激活函数选用sigmoid函数,Sigmoid函数公式为:;

上式中, 为函数的输出,为函数的输入。

2.根据权利要求1所述的基于注意力机制与特征融合的图像检索方法,其特征在于,步骤5的训练过程中,根据检索结果的检索精度对所述检索网络模型参数进行调整。