利索能及
我要发布
收藏
专利号: 2024111919795
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种语义分割模型的训练方法,其特征在于,方法包括:

获取训练集数据,所述训练集数据包括RGB图像和对应的热值图像;对所述RGB图像和对应的所述热值图像进行掩码;其中,所述RGB图像和所述热值图像中相邻图像块之间相似度最低的区域不进行掩码,所述RGB图像和所述热值图像的掩码区域互补;

将互补掩码后的所述RGB图像和所述热值图像输入第一语义分割模型,输出语义分割预测图;其中,所述第一语义分割模型包括特征提取模块、全局上下文融合模块和特征解码模块,所述特征提取模块分别提取所述RGB图像和所述热值图像的特征图,所述融合模块对所述RGB图像和所述热值图像的特征图进行融合,所述特征解码模块对所述RGB图像、所述热值图像和融合后的特征图进行语义分割,基于语义分割结果输出所述语义分割预测图;

将未掩码的所述RGB图像和对应的所述热值图像输入第二语义分割模型,输出未掩码语义分割预测图;

将所述语义分割预测图和所述未掩码语义分割预测图输入知识蒸馏模块,所述知识蒸馏模块用于以所述未掩码语义分割预测图作为目标指导所述第一语义分割模型更新模型参数,直到所述第一语义分割模型达到训练迭代次数,所述第一语义分割模型训练完成。

2.根据权利要求1所述的方法,其特征在于,对所述RGB图像和对应的所述热值图像进行掩码,包括:将所述RGB图像和对应的所述热值图像分割为若干图像块;

计算所述热值图像两两图像块之间的相似度,记录相似度最低的图像块位置,该位置的所述热值图像和对应的所述RGB图像均不进行掩码;

对未被记录的图像块进行随机掩码,随机掩码后,所述RGB图像和对应的所述热值图像除记录的图像块位置之外,其余图像块的掩码区域互补。

3.根据权利要求2所述的方法,其特征在于,所述知识蒸馏模块以所述未掩码语义分割预测图作为目标指导所述第一语义分割模型更新模型参数,包括:计算所述语义分割预测图和所述未掩码语义分割预测图的蒸馏损失函数,基于所述蒸馏损失函数更新所述第一语义分割模型参数,所述蒸馏损失函数L公式如下:L=LMCM+LMWS+LMCS

LMCM表示所述掩码语义分割预测图的类别预测嵌入和所述未掩码语义分割预测图的类别预测嵌入之间的损失函数,LMWS表示自监督学习损失函数,LMCS表示所述RGB图像的掩码语义分割预测图的类别预测嵌入、所述热值图像的掩码语义分割预测图的类别预测嵌入分别与所述掩码语义分割预测图的类别预测嵌入之间的损失函数之和。

4.根据权利要求3所述的方法,其特征在于,所述蒸馏损失函数中的各个损失函数为JS散度形式的损失函数。

5.根据权利要求3所述的方法,其特征在于,更新所述第一语义分割模型参数,包括:将所述RGB图像和所述热值图像的掩码区域替换为可学习的向量,并将该可学习的向量初始化;其中,所述可学习的向量的公式如下:和 分别代表掩码后的RGB图像和热值图像,Mrgb和Mthr分别为RGB图像和热值图像的掩码矩阵,Trgb和Tthr分别代表RGB图像和热值图像的可学习的向量;

基于所述蒸馏损失函数更新所述可学习的向量。

6.根据权利要求1所述的方法,其特征在于,所述第一语义分割模型和所述第二语义分割模型的模型结构和初始化参数一致。

7.根据权利要求1所述的方法,其特征在于,所述融合模块对所述RGB图像和所述热值图像的特征图进行全局上下文特征融合、局部上下文融合和一致性融合。

8.根据权利要求7所述的方法,其特征在于,所述融合模块对所述RGB图像和所述热值图像的特征图进行全局上下文特征融合,包括:更新所述RGB图像:计算所述RGB图像特征图和所述热值图像特征图的相似度,将该相似度转化为概率分布得到RGB图归一化权重,以所述RGB图归一化权重作为所述RGB图像特征图的系数更新所述RGB图像;

更新所述热值图像:计算所述热值图像特征图和所述RGB图像特征图的相似度,将该相似度转化为概率分布得到热值图归一化权重,以所述热值图归一化权重作为所述热值图像特征图的系数更新所述热值图像;

融合更新后的所述RGB图像和所述热值图像,公式如下:

其中, 表示特征融合后的特征图, 表示更新后的RGB图像特征图, 表示更新后的热值图像特征图。

9.根据权利要求7所述的方法,其特征在于,所述特征提取模块分别提取所述RGB图像和所述热值图像的特征图时采用swin transformer进行提取。

10.一种语义分割方法,其特征在于,包括:

通过RGB‑T相机获取当前环境的RGB图像与热值图像,将所述RGB图像和所述热值图像输入所述第一语义分割模型,输出语义分割图;其中,所述第一语义分割模型基于权利要求

1所述的方法训练得到。