1.一种小样本图像分类系统,其特征在于:包含多分辨率模块(1)、全局注意力模块(2)、自适应融合模块(3)以及自蒸馏模块(4);
多分辨率模块(1),学习不同分辨率图像的特征嵌入,为输入图像生成深度局部描述符学习不同分辨率图像的特征嵌入,每个查询图像和每个支持类的分布都可在深度局部描述符的级别上表示;
全局注意力模块(2),放大跨维度接受区域,捕获全局维度的重要交互特征;
自适应融合模块(3),联合学习得到的权值向量将局部关系和全局关系自适应地融合在一起,采用非参数最近邻分类器作为动态分类器;
自蒸馏模块(4),将深层网络分类器作为教师网络,对共享第二层卷积模块权重的浅层网络进行蒸馏;
所述全局注意力模块(2),采用CBAM中的顺序通道‑空间注意机制,重新设计通道注意子模块与空间注意子模块;在通道注意子模块中采用三维排列的方式保留三维信息,利用一个两层的多层感知器放大跨维的通道‑空间依赖关系;在空间注意子模块中采用两个卷积层进行空间信息融合;同时,删除池化以进一步保留特性映射,采用带有通道混洗的组卷积防止参数增加;
所述自蒸馏模块(4),深度学习网络中绝大多数预测任务使用softmax层给大量标签分配概率分布;根据目标卷积神经网络的原始结构,将原始网络分出一个浅层神经网络作为学生网络,在训练期间深层网络被视为教师网络,将注意力机制融入到自蒸馏学习中,构建一个从深层到浅层的反馈连接,通过共享不同层次的注意力权重,将不同层次网络提取到的注意力特征图送入分类器中,分别得到高维与低维预测的概率分布,然后根据预测的概率分布将深层网络对浅层神经网络进行蒸馏。
2.根据权利要求1所述的小样本图像分类系统,其特征在于:多分辨率模块(1),采用多尺度的体系结构和密集连接的方法构建多分辨率网络,为生成具有高分辨率的新特征图作为输入,构建一个Regular‑conv层,该层由一个bottleneck层和一个regular convolution层组成,每一层均包含一个批处理归一化层、一个ReLU层和一个卷积层;先利用Regular‑conv层在卷积过程中对图像特征以双线性插值的方式进行上采样,然后将得到的特征图通过密集连接进行融合;再将Regular‑conv层中的regular convolution的stride设为2,构建一个stride‑conv层,将其嵌入到带有下采样的融合块中,再将得到的不同分辨率样本数据输入到网络中,并且为输入图像生成深度局部描述符,使每个查询图像和每个支持类的分布均能在深度局部描述符的级别上表示。
3.根据权利要求1所述的小样本图像分类系统,其特征在于:自适应融合模块(3)的基于多分辨率自蒸馏网络通过Conv Block定义查询分布和支持类分布之间的联合非对称分布度量,同时考虑到不对称的局部关系和全局关系,分别采用KL散度测度计算全局级关系和I2C测度产生局部级关系,并设计融合策略将局部关系和全局关系自适应地融合在一起;
采用可学习的二维权值向量实现融合,因KL散度表示不相似性而不是相似性,采用散度的负值来获得相似性。
4.一种利用权利要求1所述的系统实现小样本图像分类方法,其特征在于:包括以下步骤:
首先,将原始网络分出一个浅层子网络来识别图像的低分辨率表示,并且保持该原始网络识别高分辨率图像特征的能力;
然后,在多分辨率网络中添加全局注意力机制,用以减少信息损失和放大全局交互表示;
接着,对分出来的浅层子网络使用自蒸馏学习的方法,将网络中更深层的知识压缩到浅层子网络中,用以提升浅层网络的泛化能力;
最后,将低分辨率网络中的粗粒度特征重用并融合到高分辨率网络当中,用以提升模型提取图像表征的能力。
5.根据权利要求4所述的小样本图像分类方法,其特征在于:由多分辨率模块(1),生成具有不同分辨率的新特征图作为输入;由全局注意力模块(2),放大跨维度接受区域,捕获全局维度的重要交互特征;自适应融合模块(3),将局部关系和全局关系自适应地融合在一起;由自蒸馏模块(4),促进连续层次之间的交互学习,使模型在全局特征中提取图像的通用特征,提高模型的泛化能力。
6.根据权利要求4所述的小样本图像分类方法,其特征在于:多分辨率模块(1),学习不同分辨率图像的特征嵌入,空间低分辨率的特征映射送入浅层网络中避免卷积运算时所引起的高压缩代价,并将空间高分辨率的图像送入深层网络中获得图像的高级映射;浅层子网络使用其对应的基本特征图获取的图像低分辨率特征,并结合深层网络中第二层卷积模块的高分辨率特征进行分类任务;
全局注意力模块(2),设计全局注意力机制,放大跨维度接受区域,捕获全局维度的重要交互特征,采用CBAM中的顺序通道‑空间注意机制,并重新设计子模块;给定输入特征图C×H×WF1∈R ,中间状态F2和输出F3被定义为:
其中,Mc和Ms分别为通道注意图和空间注意图, 表示元素级乘法;
在通道注意子模块中,使用三维排列的方式来保留三维信息并利用一个两层的多层感知器放大跨维的通道‑空间依赖关系;为关注空间信息,在空间注意子模块中使用两个卷积层进行空间信息融合;由于最大池化会减少信息,并产生负向贡献,删除池化以进一步保留特性映射;采用带有通道混洗的组卷积防止参数的增加;
在进行分组卷积时,采用通道间稀疏连接使每个卷积操作只作用于所需的特征图,做有利于减小模型的参数与计算量,避免内存频繁交互所耗费的大量时间;为保证组卷积之后不同组的特征图之间的信息交流,采用通道混洗的方法,对组卷积之后的特征图进行重新组合,通道混洗的具体方式如下:假定将输入层分为k组,总通道数为k×n,首先将维度拆分为(k,n)两个维度,然后将这两个维度转置变成(n,k),最后重新reshape成一个维度,实现均匀的通道混洗;对于来自前一层的特征图,利用通道混洗的方式将前一层特征图分为多个不同的子组,再将子组特征输入到下一层的组中;
自适应融合模块(3),通过Conv Block定义查询分布和支持类分布之间的联合非对称分布度量,同时考虑到不对称的局部关系和全局关系,分别使用KL散度测度计算全局级关系和I2C测度产生局部级关系,设计融合策略将局部关系和全局关系自适应地融合在一起;
采用可学习的二维权值向量w=[w1,w2]来实现融合;由于KL散度表示不相似性而不是相似性,使用散度的负值来获得相似性,查询集Q和类S之间的最终融合相似度D定义如下:D(Q,S)=‑W1·DKL(Q||S)+W2·DI2C(Q,S) (3)
对于一个5‑way 1‑shot任务和一个特定的查询集Q,I2C分支或KL分支的输出是一个5维相似度向量;将这两个向量连接在一起,得到一个10维的向量;然后,应用一个核大小为1×1的一维卷积层,膨胀值为5;通过学习二维权值w得到一个加权的5维相似向量;在一维卷积层之前添加一个批处理归一化层,以平衡两个相似之处的规模;使用非参数最近邻分类器得到最终的分类结果;同时,交叉熵损失也被用来学习整个网络;
自蒸馏模块(4),在深度学习网络中,绝大多数预测任务都会使用softmax层来给大量标签分配概率分布;为了充分利用类别之间的相似性,利用参数T来改变概率分布,使其变得更加平缓,以便更好地蒸馏;
其中,对于每个输入类别x,模型产生对应logit向量z(x),通过提高参数T使softmax层的映射曲线平缓,概率映射集中,得到概率分布p;
T S
由此可通过缩放教师网络的softmax输出P(X)和学生网络的P(X),对学生网络使用损失函数LKD进行训练,其中H为交叉熵损失,α为超参数,T为映射参数;
根据目标卷积神经网络的深度和原始结构,将其分出一个浅层神经网络;在训练期间,深层网络被视为教师网络,利用深层网络中提取到的注意力特征图,将编码丰富的图像信息在网络中执行分层注意蒸馏,使网络能从图像的多分辨率角度进行表征学习,将注意力机制融入到自蒸馏学习中,通过共享不同层次的注意力权重,将不同层次网络提取到的注意力特征图送入分类器中,分别得到高维与低维预测的概率分布,然后根据预测的概率分布将深层网络对浅层神经网络进行蒸馏。