1.一种基于拼图排列学习的渐进式训练细粒度视觉分类方法,其特征在于:包括以下步骤:
S1:采用拼图生成器处理图像数据集中的原始图像,生成不同粒度版本的打乱图像;
S2:通过深度卷积神经网络建立细粒度视觉分类网络,采用渐进式策略训练细粒度视觉分类网络;输入打乱图像,通过残差网络ResNet50的最后三层输出三个中间阶段不同粒度大小的特征谱;输入原始图像让细粒度视觉分类网络学习完整的对象信息,串联残差网络ResNet50的最后三层输出的特征谱,得到串联阶段输出的多尺度多粒度的特征谱;
S3:通过拼图解算器分别处理三个中间阶段的特征谱,学习打乱图像的排列位置,将打乱图像恢复为原始图像,并通过得到的双随机矩阵做排列损失监督网络,使细粒度视觉分类网络在学习局部信息的同时学习对象的全局信息;
S4:定义分类损失函数和排列损失函数,并根据分类损失函数和排列损失函数构建损失层;
S5:利用训练样本集优化细粒度视觉分类网络;利用测试样本集对细粒度视觉分类网络进行测试。
2.根据权利要求1所述的一种基于拼图排列学习的渐进式训练细粒度视觉分类方法,其特征在于:所述的步骤S1中,具体步骤为:S11:将原始图像I裁剪成n个图像块,根据图像块的索引得到大小为n×n的索引矩阵PI;
S12:随机打乱图像块,通过拼图生成器生成并拼接成一个打乱图像,根据图像块的索引矩阵PI得到打乱图像的索引矩阵PS;
2 2
S13:根据打乱图像的索引矩阵PS得到独热形式的大小为n×n的矩阵P。
3.根据权利要求2所述的一种基于拼图排列学习的渐进式训练细粒度视觉分类方法,其特征在于:所述的步骤S2中,具体步骤为:S21:建立深度卷积神经网络,包括卷积层、池化层和分类层;
S22:卷积层通过残差网络ResNet50提取打乱图像的图像特征,使用残差网络ResNet50的最后三层(F3,F4,F5)分别处理n×n大小的图像;对不同粒度版本的图像输出不同中间阶
5‑l+1
段的特征谱,设n=2 ,l={3,4,5},分别对应输出三个阶段的特征谱F3,F4,F5;卷积层将输出特征谱的通道维度统一到1024维;
S23:池化层对每个阶段的特征谱进行全局平均池化后得到一个1024维的特征向量;
S24:设m表示数据集的类别数,分类层通过分类器处理1024维的特征向量后得到一个m维的特征向量;分类器包括两个全连接层;
S25:使用原始图像作为输入图像,将残差网络ResNet50的最后三层输出的特征谱串联起来得到一个3072维的特征谱;对特征谱进行全局平均池化后经过分类层得到一个m维的特征向量,融合多尺度的特征信息得到对象的局部细节信息;
S26:将步骤S25得到的三个阶段、以及步骤S25得到的串联阶段,共四个阶段预测概率的和作为最终的预测概率。
4.根据权利要求3所述的一种基于拼图排列学习的渐进式训练细粒度视觉分类方法,其特征在于:所述的步骤S3中,具体步骤为:S31:设特征提取器为F(·),解算器为S(·),则拼图解算器为J(I)=S(F(I));
S32:将残差网络ResNet50的三个输出特征谱F3,F4,F5输入拼图解算器进行平均池化、简化为特征向量,通过全连接层得到偏好矩阵 偏好矩阵反应了网络将输入图像的排列位置分配给相应位置的偏好程度;
2 2 *
S33:将辛克霍恩算子应用于偏好矩阵获得n×n大小的双随机矩阵M=Sinkhorn(M);
*
S34:通过双随机矩阵M做排列损失监督网络,使细粒度视觉分类网络在学习局部信息的同时学习对象的全局信息。
5.根据权利要求4所述的一种基于拼图排列学习的渐进式训练细粒度视觉分类方法,其特征在于:所述的步骤S4中,具体步骤为:S41:设第l阶段的预测概率为 串联特征谱的预测概率为 则分类损失函数为:通过交叉熵损失分别计算每一个阶段和串联阶段的概率得分,最终的总分类损失为每个阶段的损失相加之和;
S42:设双随机矩阵中第i行第j列的元素为 生成矩阵中第i行第j列的元素为Pij,每2
一行或每一列元素的数量为n,则排列损失函数为:通过二值交叉熵损失计算双随机矩阵M*与矩阵P的匹配程度,使细粒度视觉分类网络学习对象的整体全局信息,通过在每一个阶段同时学习对象的局部细节信息和全局信息提高细粒度视觉分类网络的分类性能。
6.根据权利要求5所述的一种基于拼图排列学习的渐进式训练细粒度视觉分类方法,其特征在于:所述的步骤S5中,具体步骤为:S51:采用训练样本集,通过自动微分技术、使用基于随机梯度下降和反向传播算法,根据分类损失Lcls和排列损失Lper优化细粒度视觉分类网络;
S52:采用测试样本集在训练集权重的基础上对细粒度视觉分类网络进行测试。
7.一种用于权利要求1至6中任意一项所述的基于拼图排列学习的渐进式训练细粒度视觉分类方法的细粒度视觉分类系统,其特征在于:包括拼图生成模块、细粒度视觉分类模型构建模块、拼图解算器模块、损失函数模块和训练测试模块;拼图生成模块用于处理图像数据集,生成不同粒度大小版本的打乱图像;
细粒度视觉分类模型构建模块用于对残差网络ResNet50的最后三层进行渐进式训练,使用不同粒度大小的图像作为输入图像,并且选取不同的中间阶段特征谱输出,得到对象的局部细节信息;使用原始图像作为输入图像,融合残差网络ResNet50的最后三层输出的特征谱得到串联阶段输出特征谱,以融合多尺度的特征信息;
拼图解算器模块用于对前面三个阶段分别学习其拼图排列位置,得到其打乱前的原始图像位置信息,在学习局部信息的同时学习对象的整体全局信息;
损失函数模块用于定义分类损失函数和排列损失函数,并根据分类损失函数和排列损失函数构建损失层;
训练测试模块用于利用训练样本集优化细粒度视觉分类网络,利用测试样本集测试细粒度视觉分类网络。
8.一种计算机存储介质,其特征在于:其内存储有可被计算机处理器执行的计算机程序,该计算机程序执行如权利要求1至权利要求6中任意一项所述的一种基于拼图排列学习的渐进式训练细粒度视觉分类方法。