1.一种完全卷积的实时视频实例分割方法,其特征在于,所述完全卷积的实时视频实例分割方法,包括:获取待处理图像,输入到特征提取网络提取低阶、中阶和高阶初始特征图;
将低阶、中阶和高阶初始特征图输入到编码器,进行融合拼接,得到编码特征;
将编码特征输入到解码器,所述解码器包括掩码生成分支和实例激活分支,编码特征输入到掩码生成分支后得到分割掩码,编码特征输入到实例激活分支后得到动态卷积核、分类信息和匹配信息;
将分割掩码与动态卷积核做动态卷积得到最终实例分割结果;
其中,所述编码器包括三个分支,第一分支包括一个金字塔池化模块和一个卷积模块,高阶初始特征图经过第一分支后得到第一分支输出特征;第二分支也包括一个金字塔池化模块和一个卷积模块,中阶初始特征图经过金字塔池化模块后,与第一分支金字塔池化模块的输出特征相加,然后经过卷积模块得到第二分支输出特征;第三分支包括一个卷积模块,低阶初始特征图与第二分支金字塔池化模块的输出特征相加,然后经过卷积模块得到第三分支输出特征;最后将第一分支输出特征、第二分支输出特征和第三分支输出特征连接后,作为编码器输出的编码特征。
2.根据权利要求1所述的完全卷积的实时视频实例分割方法,其特征在于,所述掩码生成分支,输入的编码特征依次经过3x3卷积层、BatchNorm层和ReLU激活函数得到特征1,然后经过1x1卷积层、BatchNorm层和sigmoid激活函数得到特征2,所述的特征1和所述的特征
2元素相加的到特征3,特征3经过一个 7×7 的卷积层,激活函数为 Sigmoid,得到权重系数 Ms;最后,权重系数Ms与输入的编码特征相乘即可得到分割掩码。
3.根据权利要求1所述的完全卷积的实时视频实例分割方法,其特征在于,所述实例激活分支,执行如下操作:将编码特征输入到一个单阶段的目标检测网络当中,生成实例的检测框信息和置信度信息;
目标检测网络的输出特征输入到实例激活映射模块,得到实例激活特征;
将实例激活特征通过三个全连接层得到动态卷积核、分类信息和匹配信息;
其中,所述目标检测网络为Fcos网络,所述实例激活映射模块,执行如下操作:对输入特征(C,H,W)进行卷积操作,将输入的通道数变为400,并将特征的长度维度和宽度维度展平,得到特征(400,H*W);
将输入特征的长宽维度相乘,再经过变换得到特征(H*W,C);
将所述特征(400,H*W)和特征(H*W,C)相乘得到实例激活特征。
4.根据权利要求1所述的完全卷积的实时视频实例分割方法,其特征在于,所述完全卷积的实时视频实例分割方法,还包括:在训练时,整体损失函数如下:
;
其中, 表示目标分类损失, 表示掩码损失, 表示目标框损失, 和 为权重系数;
;
其中, 和 为骰子损失和像素级二进制交叉熵损失, 和 为对应的权重系数。