利索能及
我要发布
收藏
专利号: 2025115635814
申请人: 浙江工业大学
专利类型:发明专利
专利状态:授权未缴费
更新日期:2026-08-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于低混淆及空间光谱自平衡的多光谱多标签分类方法 ,其特征在于,所述方法包括以下步骤:步骤一、搭建气象多光谱多标签分类网络框架;

步骤二、数据集预处理:将多光谱数据进行切片、归一化;按设定比例划分训练、验证、测试集;对标签进行标注;

步骤三、网络训练,过程如下:用随机权值初始化模型参数,当验证集的评价指标mAP不再上升,则学习率就会缩小为原来的设定倍数;设置Adam优化器的初始学习率和训练中批次大小,总共进行设定数量轮的完整训练,并设置交叉关联限制的损失权重,训练网络模型至收敛,保存训练过程中的最优模型作为训练的输出;

步骤四、精度测试,将预处理好的测试集输入训练得到的最优模型,将数据集真值与预测得到的结果进行比较,计算各项评价指标。

2.如权利要求1所述的基于低混淆及空间光谱自平衡的多光谱多标签分类方法,其特征在于,所述步骤一中,首先搭建空间特征提取网络和光谱特征提取网络;再搭建查询生成模块和三分支结构,所述三分支结构包含空间分支、光谱分支以及综合分支,各个分支中经自注意力层得到的标记化的特征与查询生成模块得到的标签查询向量拼接在一起,后经过归一化层和另一个自注意力层得到每个分支的输出向量;最后建立分支平衡投票机制,接受空间分支、光谱分支以及综合分支的输出向量作为输入,然后以一组用于投票的可学习参数作为权重的参考来对各个分支间的预测做加权平均,以得到最终预测结果。

3.如权利要求2所述的基于低混淆及空间光谱自平衡的多光谱多标签分类方法,其特征在于,所述步骤一包括以下子步骤:步骤1.1、搭建空间特征提取网络:将气象多光谱图像输入VGG网络,初步提取空间特征;

步骤1.2、搭建光谱特征提取网络:所述光谱特征提取网络包括至少四个光谱卷积块,每个光谱卷积块中包含两条数据流,特性特征流和全局特征流,特性特征流负责提取各个通道内部特殊的特征,全局特征流负责在各个阶段收集特性特征而与全局特征进行融合。

4.如权利要求3所述的基于低混淆及空间光谱自平衡的多光谱多标签分类方法,其特征在于,所述步骤一还包括以下子步骤:步骤1.3、搭建查询生成模块:在查询生成模块中,首先通过标签嵌入层获得一组标签嵌入,然后再将这组标签嵌入送入一个多层感知机进行进一步处理获得标签嵌入表示,接着再通过一个归一化层对映射后的标签嵌入表示进行标准化获得标签查询向量;

步骤1.4、搭建三分支结构,包含空间分支、光谱分支以及综合分支,空间分支与光谱分支用于接受步骤1.1和步骤1.2中获得的空间特征或光谱表示作为输入,而综合分支的输入则是由经过一个线性层的空间特征和经过一个线性层的光谱表示两者拼接后组成,每一个分支内部首先经过归一化层,接着将特征输入一个Transformer自注意力层进行自注意力计算,并将标记化后的特征和注意力权重返回,同时标记化后的特征还与步骤1.3获得的标签查询向量拼接在一起,后经过一个归一化层和另一个Transformer自注意力层,最后得到每个分支的输出向量。

5.如权利要求4所述的基于低混淆及空间光谱自平衡的多光谱多标签分类方法,其特征在于,所述步骤一还包括以下子步骤:步骤1.5、建立分支平衡投票机制,接受空间分支、光谱分支、以及综合分支的预测结果作为输入,然后以一组用于投票的可学习参数作为权重的参考来对各个分支间的预测做加权平均,以得到最终预测结果。

6.如权利要求3所述的基于低混淆及空间光谱自平衡的多光谱多标签分类方法,其特征在于,所述步骤1.2中,在每个光谱卷积块的特性特征流中,前一个阶段的特性特征将首先通过一个卷积核大小为4×4的分组卷积,后续紧跟着至少四个通过残差结构相连的非线性层,每一个非线性层都由另外两个分组卷积以及一个LeakyReLU激活函数构成, LeakyReLU激活函数位于两个分组卷积的中间。

7.如权利要求3所述的基于低混淆及空间光谱自平衡的多光谱多标签分类方法,其特征在于,所述步骤1.2中,在全局特征流中,多光谱图像数据首先要经过一个卷积核大小为1×1的二维卷积,再进入光谱卷积块;在每个光谱卷积块的全局特征流中,先将前一阶段的特性特征与前一阶段的全局特征融合,再通过一个卷积核大小为4×4的二维卷积;在光谱特征提取网络的最后阶段,全局特征流中之前光谱卷积块中的输出使用另外一个卷积核大小为4×4的二维卷积将全局特征图映射成为一个光谱表示作为输出。

8.如权利要求1 7任一项所述的基于低混淆及空间光谱自平衡的多光谱多标签分类方~

法,其特征在于,所述步骤二中,将原始多光谱数据根据设定处理成若干切片,将这些切片进行最大最小值归一化,然后尺寸缩放至设定大小;按设定比例划分训练、验证、测试集;数据标签的标注按照设定要求分别进行手动或自动标注。

9.如权利要求1 7任一项所述的基于低混淆及空间光谱自平衡的多光谱多标签分类方~

法,其特征在于,所述步骤三包括以下子步骤:

步骤3.1、用随机权值初始化模型参数;

步骤3.2、使用交叉关联限制不同的查询向量的关联程度,所述交叉关联限制计算方法包括:

首先计算标签查询向量之间的内积,得到自相关矩阵,然后创建单位矩阵,其中单位矩阵的对角线元素为 1,非对角线元素为 0,接着通过对每个标签嵌入向量的元素进行平方、求和后开方的方法计算每个标签嵌入向量的模长,并利用该模长的乘积对自相关矩阵进行归一化,计算归一化后的自相关矩阵与单位矩阵之间的绝对值差异,作为交叉关联限制损失项;

步骤3.3、使用二元交叉熵作为原始损失函数;

步骤3.4、设置Adam优化器初始学习率;

步骤3.5、优化模型参数。

10.如权利要求9所述的基于低混淆及空间光谱自平衡的多光谱多标签分类方法,其特征在于,所述步骤3.5的过程为:步骤3.5.1、将训练数据、验证数据切片输入网络,经由搭建好的网络得到最终各类别的输出概率;

步骤3.5.2、对于训练数据而言使用3.3中的损失函数衡量训练集真值与预测值的误差,另外还作为步骤1.6中每个分支的原始损失函数,在这之后使用步骤1.6中的分支平衡投票机制对每个分支进行重赋权,惩罚弱的分支,然后将各个分支重加权后的损失值与步骤3.2得到的损失、真值与模型最终输出间的损失相加,得到最终的模型损失值,使用步骤

3.3中的优化器对该损失进行优化,然后使用验证数据计算分类评价指标;

步骤3.5.3、将训练切片产生的误差反馈到网络中,调整网络的参数,优化预测性能;

步骤3.5.4、重复3.5.1‑3.5.3设定数量轮,在重复过程中,若验证数据上的评价指标不再上升则将学习率减小至原来的设定比例,保存训练过程中的最优模型作为训练的输出。