1.一种基于双重特征知识蒸馏的语义分割方法,其特征在于,包括以下步骤:步骤S1、下载语义分割数据集并对数据集进行数据增强,构建增强数据集,转入步骤S2;
步骤S2、构建教师网络和学生网络,利用增强数据集中训练集训练教师网络得到教师模型,转入步骤S3;
步骤S3、利用教师模型、特征关系集成模块、语义解耦模块对学生网络进行蒸馏,得到训练好的学生模型,包含以下子步骤:步骤S3‑1、将教师模型划分为n个子模块,并将学生网络也对应划分为n个子模块,分别提取教师模型和学生网络各自模块的特征送入特征关系集成模块,计算集成关系蒸馏损失Lfrm;
步骤S3‑2、分别提取教师模型和学生网络各自的输出层特征送入语义解耦模块,计算语义解耦蒸馏损失Lsdkd;
步骤S3‑3、利用集成关系蒸馏损失Lfrm和语义解耦蒸馏损失Lsdkd对学生网络的参数进行更新,最终获得训练好的学生模型;转入步骤S4;
步骤S4、将增强数据集中的测试集输入训练好的学生模型,输出测试集图像中每个像素点的类别,评估训练好的学生模型的准确率。
2.根据权利要求1所述的一种基于双重特征知识蒸馏的语义分割方法,其特征在于,步骤S3‑1中,将教师模型划分为n个子模块,并将学生网络也对应划分为n个子模块,分别提取教师模型和学生网络每个模块的特征送入特征关系集成模块,计算集成关系蒸馏损失,具体流程如下:选取教师模型每个子模块最后一层特征,将其输入特征关系集成模块来聚合不同特征层上下文信息,得到教师模型集成化特征关系矩阵;同理选取学生网络每个子模块最后一层特征,将其输入特征关系集成模块,获取学生网络集成化特征关系矩阵;利用两个集成化特征关系矩阵计算教师模型和学生网络的集成关系蒸馏损失。
3.根据权利要求2所述的一种基于双重特征知识蒸馏的语义分割方法,其特征在于,特征关系集成模块的构建方法具体如下:在教师模型或学生网络中,任意一个子模块i提取的特征为 W、H和C表示特征的宽、高和维度,对从教师模型或学生网络中提取的n层特征执行对齐确保输入特征尺寸大小一样,相邻两个模块的特征间关系表示为其中x表示输入图像, 表示第i层特征在(h,w)处特征值,第一次建立特征间关系后得到n‑1个相邻子模块生成的特征关系矩阵,表示为 将n‑1个特征关系矩阵进行集中处理,使用内积方法建立相邻子模块的关系矩阵
对得到的n‑2个关系矩阵 进行多次内积重复操作,经过j次建立关系矩阵后得到n‑1‑j个关系矩阵
其中,0
4.根据权利要求3所述的一种基于双重特征知识蒸馏的语义分割方法,其特征在于,利用教师模型集成化特征关系矩阵和学生网络集成化特征关系矩阵计算教师模型和学生网络的集成关系蒸馏损失Lfrm,计算公式为:其中,T表示教师模型,S表示学生网络; 表示平方L2范数,计算公式为:集成关系蒸馏损失Lfrm用来衡量教师模型和学生模型两者的集成化特征关系的相似程度。
5.根据权利要求2所述的一种基于双重特征知识蒸馏的语义分割方法,其特征在于,教师模型和学生网络所划分的模块数量n范围为2≤n≤5。
6.根据权利要求1所述的一种基于双重特征知识蒸馏的语义分割方法,其特征在于,步骤S3‑2中,分别提取教师模型和学生网络各自的输出层特征送入语义解耦模块,语义解耦模块的构建方法如下:提取对应学生网络或教师模型的输出层特征知识 W、H、K表示输出特征宽、高和类别,利用各个分类在标签中出现的次数对类别面积按降序排序;首先将类别面积占比最大的区域从特征知识Z中删除获得特征 类别删除步骤定义为delete(·),特征Z1的计算公式为:Z1=delete(Z)
通过softmax函数求出输出特征Z1中剩余K‑1个类别的概率分布为:其中 表示特征Z1中第k层类别的输出层特征, 表示特征Z1中第m层类别的输出层特征, 表示特征Z1中第k层类别的预测概率,特征知识Z1获得的K‑1个类别概率分布统一表示为 接着删除特征知识Z1中类别面积占比第二的区域,获得特征知识Z2=delete(Z1)
通过softmax函数求出输出特征Z2中剩余K‑2个类别的概率分布 为:特征知识Z2的K‑2个类别概率分布表示为 按照上述方法依据面积占比依次删除对应的特征区域至最后一层,最终获得对应模型或网络的剩余类别的概率分布依次为{P1,P2,…,Pk,…,PK‑1},其中Pk表示删除k个类别后剩余类别的统一概率分布。
7.根据权利要求6所述的一种基于双重特征知识蒸馏的语义分割方法,其特征在于,步骤S3‑2中,语义解耦蒸馏损失的构建如下:教师模型获得的剩余类别概率分布表示为 学生网络获得剩余类别
概率分布表示为 使用KL‑Divergence损失函数输出教师模型单个概率分布 与学生网络概率分布 的差距,再对得到的单个语义解耦蒸馏损失执行相加,总的语义解耦损失Lsdkd计算公式为:其中, 表示学生网络删除k种类别后所得特征第o层类别概率, 表示教师模型删除k种类别后所得特征第o层类别概率。
8.根据权利要求1所述的一种基于双重特征知识蒸馏的语义分割方法,其特征在于,步骤S3‑3中,利用集成关系蒸馏损失和语义解耦蒸馏损失对学生网络的参数进行更新,最终获得训练好的学生模型,构建的总体损失函数为:Lss=Lori_ss+λ·Lfrm+β·Lsdkd
其中,Lori_ss表示原始分割损失,Lfrm表示集成关系蒸馏损失,Lsdkd表示语义解耦蒸馏损失,λ是集成关系蒸馏损失项的权重,β是控制语义解耦蒸馏损失项的权重。