利索能及
我要发布
收藏
专利号: 2021110498193
申请人: 武汉工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-17
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种语义分割方法,其特征在于,包括:获取待分割图片;

将所述待分割图片输入训练好的语义分割模型,得到最终语义分割图。

2.根据权利要求1所述的一种语义分割方法,其特征在于,所述训练好的语义分割模型的获取过程,包括:

获取待训练图片;

在BiSeNet中添加一个分支网络,得到改进后的语义分割模型,其中,所述分支网络用于恢复所述待训练图片的边缘部分,输出所述待训练图片的边缘特征,所述BiSeNet中的上下文分支网络用于输出所述待训练图片的语义特征,所述BiSeNet中的空间分支网络用于输出所述待训练图片的浅层特征;

将所述边缘特征、所述语义特征和所述浅层特征均输入所述BiSeNet中的特征融合模块,得到所述待训练图片的初始语义分割图,将所述初始语义分割图进行上采样操作,得到所述待训练图片的最终语义分割图,对所述改进后的语义分割模型进行训练,得到训练好的语义分割模型;

其中,所述分支网络的网络结构与所述上下文分支网络的网络结构相同。

3.根据权利要求2所述的一种语义分割方法,其特征在于,所述语义特征包括第一语义特征和第二语义特征,

所述上下文分支网络输出所述待训练图片的第一语义特征和第二语义特征的过程,包括:

通过下采样操作,在所述上下文分支网络的不同深度分别得到所述待训练图片的第一预设尺寸的第一特征图和第二预设尺寸的第二特征图;利用所述上下文分支网络的注意力恢复模块,根据所述第一特征图得到所述待训练图片的第一语义特征,根据所述第二特征图得到所述待训练图片的第二语义特征;

所述边缘特征包括第一边缘特征和第二边缘特征,所述分支网络输出所述待训练图片的第一边缘特征和第二边缘特征的过程,包括:通过下采样操作,在所述分支网络的不同深度分别得到所述待训练图片的第三预设尺寸的第三特征图和第四预设尺寸的第四特征图;利用所述分支网络的注意力恢复模块,根据所述第三特征图得到所述待训练图片的第一边缘特征,根据所述第四特征图得到所述待训练图片的第二边缘特征。

4.根据权利要求3所述的一种语义分割方法,其特征在于,还包括:基于改进后的语义分割模型,得到改进后的损失函数,所述改进后的损失函数为:loss=Lseg+Ledge;

其中,Lseg=β1CE(C1,yt)+β2CE(C2,yt)+β3CE(y,yt),Lseg为所述上下文分支网络造成的分割损失,C1为所述待训练图片的第一语义特征,C2为所述待训练图片的第二语义特征,y为所述待训练图片对应的最终语义分割图,yt为所述待训练图片对应的预设语义分割图,CE(C1,yt)为C1和yt之间的交叉熵,CE(C2,yt)为C2和yt之间的交叉熵,CE(y,yt)为y和yt之间的交叉熵;

Ledge=α1BCE(E1,ET)+α2BCE(E2,ET),Ledge为所述分支网络造成的边缘损失,E1为所述待训练图片的第一边缘特征,E2为所述待训练图片的第二边缘特征,ET为所述预设语义分割图对应的边缘图,BCE(E1,ET)为E1和ET之间的二类交叉熵,BCE(E2,ET)为E2和ET之间的二类交叉熵;

α1和α2均大于β1、β2和β3。

5.根据权利要求4所述的一种语义分割方法,其特征在于,α1=2.5、α2=5、β1=2、β2=

0.5、β3=1。

6.一种语义分割系统,其特征在于,包括获取单元和语义分割单元;

所述获取单元,用于获取待分割图片;

所述语义分割单元,用于将所述待分割图片输入训练好的语义分割模型,得到最终语义分割图。

7.根据权利要求6所述的一种语义分割系统,其特征在于,所述获取单元,还用于获取待训练图片;

所述语义分割单元,具体用于:

在BiSeNet中添加一个分支网络,得到改进后的语义分割模型,其中,所述分支网络用于恢复所述待训练图片的边缘部分,输出所述待训练图片的边缘特征,所述BiSeNet中的上下文分支网络用于输出所述待训练图片的语义特征,所述BiSeNet中的空间分支网络用于输出所述待训练图片的浅层特征;

将所述边缘特征、所述语义特征和所述浅层特征均输入所述BiSeNet中的特征融合模块,得到所述待训练图片的初始语义分割图,将所述初始语义分割图进行上采样操作,得到所述待训练图片的最终语义分割图,对所述改进后的语义分割模型进行训练,得到训练好的语义分割模型;

其中,所述分支网络的网络结构与所述上下文分支网络的网络结构相同。

8.根据权利要求7所述的一种语义分割系统,其特征在于,所述语义特征包括第一语义特征和第二语义特征,所述边缘特征包括第一边缘特征和第二边缘特征,所述第一处理单元具体用于:

通过下采样操作,在所述上下文分支网络的不同深度分别得到所述待训练图片的第一预设尺寸的第一特征图和第二预设尺寸的第二特征图;利用所述上下文分支网络的注意力恢复模块,根据所述第一特征图得到所述待训练图片的第一语义特征,根据所述第二特征图得到所述待训练图片的第二语义特征;通过下采样操作,在所述分支网络的不同深度分别得到所述待训练图片的第三预设尺寸的第三特征图和第四预设尺寸的第四特征图;利用所述分支网络的注意力恢复模块,根据所述第三特征图得到所述待训练图片的第一边缘特征,根据所述第四特征图得到所述待训练图片的第二边缘特征。

9.根据权利要求8所述的一种语义分割系统,其特征在于,还包括设计单元;

所述设计单元,用于基于改进后的语义分割模型,设计改进后的损失函数,所述改进后的损失函数为:loss=Lseg+Ledge;

其中,Lseg=β1CE(C1,yt)+β2CE(C2,yt)+β3CE(y,yt),Lseg为所述上下文分支网络造成的分割损失,C1为所述待训练图片的第一语义特征,C2为所述待训练图片的第二语义特征,y为所述待训练图片对应的最终语义分割图,yt为所述待训练图片对应的预设语义分割图,CE(C1,yt)为C1和yt之间的交叉熵,CE(C2,yt)为C2和yt之间的交叉熵,CE(y,yt)为y和yt之间的交叉熵;

Ledge=α1BCE(E1,ET)+α2BCE(E2,ET),Ledge为所述分支网络造成的边缘损失,E1为所述待训练图片的第一边缘特征,E2为所述待训练图片的第二边缘特征,ET为所述预设语义分割图对应的边缘图,BCE(E1,ET)为E1和ET之间的二类交叉熵,BCE(E2,ET)为E2和ET之间的二类交叉熵;

α1和α2均大于β1、β2和β3。

10.一种电子设备,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述的一种语义分割方法的步骤。