1.一种细粒度图像分类方法,其特征在于,包括以下步骤:S1:获取待分类图片;
S2:将待分类的图片输入预先构建的多样性特征互补融合网络中,并采用所述多样性特征互补融合网络对所述图片进行分类;
S3:获取所述图片的分类结果;
所述多样性特征互补融合网络包括显著性和潜在性特征模块以及特征交换融合模块;
采用所述多样性特征互补融合网络对所述图片进行分类包括以下步骤:S201,将待分类的图片传入到所述多样性特征互补融合网络中,进入网络中的图片提取特征后,经过所述显著性和潜在性特征模块,输出显著性特征,并根据所述显著性特征获取潜在性特征,所述潜在性特征继续传入到网络的下一层;
S202,将步骤S201中提取的显著性特征传入卷积模块,进行维度的变换;
S203,对步骤S202中变换维度的特征传入特征交换融合模块,进行特征融合,并增强特征的多样性,获取最终的多样性特征;
S204,将步骤S203获取的所述最终的多样性特征进行全局平均池化操作,通过线性层对所述变换维度的特征进行降维,并使用交叉熵损失函数对所述多样性特征互补融合网络进行优化,进行距离度量,完成所述图片的分类;
所述步骤S201具体为:
所述步骤S201中将待分类的图片依次传入三个显著性和潜在性特征模块中,输出Xs1,Xs2和Xs3三个显著性特征,并对所述显著性特征进行抑制,得到潜在性特征Xp,并将Xp传入到网络的下一层中,具体为:C×W×H
若所述多样性特征互补融合网络的输入模块的特征尺寸为X∈R ,其中C,W,H分别表示特征的通道,宽度和高度;在模块中,将X沿着宽度的方向,均等的分为m个相等的子特C×T×H征,所述子特征的宽度为T,其中T=W/m,所述子特征表示为Xi∈R ,i∈[1,m];使用1×1的卷积Conv()和ReLU()运算对所述子特征进行处理,得到特征Si,所述特征Si表示为:
1×T×H
Si=ReLU(Conv(Xi))∈R (1)对得到的特征Si进行广义平均池化操作,具体为:式中,HD为特征的高度,WD为特征的宽度, 为当前维度所有数值的累加和,p为广义平均池化的参数;
通过所述广义平均池化得到显著性参数bi';
1×1
bi'=GEM(Si) ∈R (3)
1×m×1
对得到的显著性参数B'=(b'1,…b'm)∈R 进行归一化操作,得到显著性因子,具体为:
1×m
式中,B=(b1,…bm)∈R 为显著性因子;
1×m
将归一化得到的显著性因子B=(b1,…bm)∈R 与原始的输入特征X进行加权求和,得1
到特征的显著性部分;在获取所述特征的显著性部分之前对显著性因子B=(b1,…bm)∈R×m×1 1×W×1进行尺寸变换处理,具体为B=repeat(B)∈R ,得到Xi中的显著性特征Xs:Xs=(X⊙(α*B)) (5)其中,α是一个超参数,为调节显著性参数;⊙表示矩阵点乘;
将所述特征Si再次进行广义平均池化,得到特征t'i:
1×1
t'i=GEM(Si)∈R (6)
1×m×1
使用softmax函数对特征t'i进行归一化处理,得到特征T=(t1…tm)∈R ;对所述特
1×m×1
征T=(t1…tm)∈R 的显著性进行抑制,获取剩余的潜在性特征:β∈[0,1]是一个超参数;通过剔除潜在性特征中的显著性参数,再进行尺寸变换处理,
1×W×1
具体为T=repeat(T)∈R ;得到潜在性特征Xp:Xp=X⊙T (8)⊙表示矩阵点乘。
2.根据权利要求1所述的一种细粒度图像分类方法,其特征在于,所述步骤S202具体为:将步骤S201得到的特征Xs1,Xs2,Xs2输入到1×1的卷积层Conv1×1()中,进行维度变化处理,分别得到特征Xo1,Xo2,Xo3:Xo1=Conv1×1(Xs1); (9)Xo2=Conv1×1(Xs2); (10)Xo3=Conv1×1(Xs3) (11)。
3.根据权利要求2所述的一种细粒度图像分类方法,其特征在于,所述步骤S203具体为:若所述步骤S202中得到的变换维度后的特征为 其中C,W,H分别表示特征的通道,宽度和高度;将所述特征 输入特征交换融合模块中,对输入特征进行映射处理,更改特征的尺寸,Xo1、Xo2C×l C×l
分别得到映射特征X1∈R 和X2∈R ,l=W×H;分别计算所述映射特征的权重矩阵C×C C×Cωo1和ωo2,其中,ωo1∈R 、ωo2∈R ,所述特征的权重矩阵计算如下:首先,在Xo1和 之间进行双线性计算,得到双线性矩阵 之后对所述双线性矩阵 进行求负,并使用softmax函数进行处理,得到权重函数,计算公式如下:ωij为通过函数求得的权重矩阵,c为通道数;
通过对所述权重矩阵进行减法运算提取两个特征的差异性信息,具体为:ωs=|ωo1‑ωo2| (13)| |表示绝对值;
将得到的所述权重矩阵ωo1和ωo2与所述输入的特征Xo1、Xo2相乘得到多样性特征:C×l C×l
X'1=ωsX1∈R ,X'2=ωsX2∈R (14)将多样性特征映射回输入特征的尺寸
若输入的变换维度后的特征集合为I={Xo1,Xo2,Xo2,…Xon},所述变换维度后特征集合的多样性特征为:采用所述变换维度后特征集合的多样性特征Yoi对输入的特征进行增强,得到最终输入的特征 的最终多样性特征,表示为:
Yi=Xoi+λ*Yoi(16)
Yi为最终多样性特征,Xoi为输入的特征,λ为超参数。
4.根据权利要求1所述的一种细粒度图像分类方法,其特征在于,所述步骤S204具体为:使用交叉熵损失函数计算最终多样性特征Yi的分类损失,先将特征Yi进行全局平均池化和全连接维度变换操作,具体为:fi=FC(GAP(Yi)),i=1,2,3;
经过全局平均池化和全连接维度变换操作处理后再使用Softmax函数计算分类概率,具体为:c 1 2 c c
式中,fi是特征向量fi的第c项,C是类别的数量,其中Ti=[Ti ,Ti ,…,Ti],Ti表示向量中第i个特征属于c类;
再使用交叉熵损失函数来计算损失:
T
Li=‑ylog(Ti) (18)其中,y为输入图像的真实标签,Ti为预测的分类得分向量,最终的优化损失函数为:取所有特征的预测平均值作为最终的预测结果。
5.一种图片分类系统,其特征在于,用于实现权利要求1中所述的一种细粒度图像分类方法,并包括:数据采集模块,用于采集图片;
识别分类模块,用于将待分类的图片输入预先设定的多样性特征互补融合网络,并利用所述多样性特征互补融合网络对所述图片进行分类;
结果输出模块,用于获取所述图片的分类结果。
6.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时运行如权利要求1‑4任一项所述的细粒度图像分类方法。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1‑4任一项所述的细粒度图像分类方法。