1.一种非受控场景视频中的船舶水尺智能识别方法,其特征在于,所述方法包括如下步骤:
1)、采集待测量的船舶水尺视频,对于视频每一帧图像做以下处理;
2)、将帧图像传入训练过的深度神经网络模型,得到2、4、6、8、M水尺刻度的检测框;
3)、根据2)中得到的检测框截取2、4、6、8、M的图像;
4)、将3)中得到的刻度图像进行分类,得到对应的标签;
5)、将3)中得到的刻度用OTSU算法进行二值化,选取面积最大的区域,记录上边缘和下边缘;
6)、对于3)中出现的M,截取左侧部分区域,用5)中得到的阈值对图像进行二值化,然后框选处每个连通区域并输入到分类网络进行分类,得到每个M刻度左侧的数值;
7)、根据2)中得到的检测框截取刻度近水端的局部图像,通过线性插值的方式将图像放大;
8)、将7)中的得到的图像输入到深度神经网络模型中进行分割,得到语义分割图像;
9)、用8)中得到的分割图计算得到边缘的像素点集合,根据边缘的像素点集合提取参考水位线;
10)、根据水尺刻度的结构关系,计算各刻度的上边缘和下边缘对应的实际吃水值读数;
11)、根据10)中得到的各刻度的上边缘和下边缘对应的水位线读数以及上边缘和下边缘到水位线的距离,使用最小二乘法拟合二次曲线y=ax2+bx+c,其中x为刻度的上边缘或下边缘到水位线的距离,y为刻度的上边缘或下边缘的水尺读数;
12)、根据11)中拟合得到的模型,令x=0,得到当前帧的吃水值;
13)、视频的每一帧经过2)~12),得到吃水值序列{w1,w2,w3,...,wn},其中n是视频的帧数;
14)、利用13)得到的读数序列{w1,w2,w3,...,wn},在时间上进行积分,然后获得最终的视频读数Result;
2.如权利要求1所述的一种非受控场景视频中的船舶水尺智能识别方法,其特征在于,所述步骤2)和8)中,所述的深度神经网络模型,特征编码部分使用ResNet-50,抽取其中4层池化层的输出作为不同尺度的特征{res2,res3,res4,res5},将各种尺度的特征分别输入到目标检测分支网络和语义分割分支网络,目标检测网络经过运算输出检测框和检测框的置信度,语义分割分支经过运算输出分割图。
3.如权利要求2所述的一种非受控场景视频中的船舶水尺智能识别方法,其特征在于,所述的目标检测分支网络为EAST文本检测网络,所述的语义分割分支网络为GCN。
4.如权利要求3所述的一种非受控场景视频中的船舶水尺智能识别方法,其特征在于,所述的EAST分支结构如下:res5经过一个unpool层,与res4进行concat操作后经过一个1×
1的卷积层,再经过一个3×3的卷积层,得到h2;h2经过一个unpool层,与res3进行concat操作后经过一个1×1的卷积层,再经过一个3×3的卷积层,得到h3;h3经过一个unpool层,与res2叠加后经过一个1×1的卷积层,再经过一个3×3的卷积层,得到h4;h4经过一个3×3的卷积层后得到最终的特征层F;F经过1×1的卷积层得到score map即置信度图;F经过1×1的卷积层得到经过得到text boxes,每个点的通道代表该像素点到预测出的检测框上、右、底、左的像素距离;根据score map和text boxes个输出对各个检测的框做非极大值抑制,得到检测结果。
5.如权利要求4所述的一种非受控场景视频中的船舶水尺智能识别方法,其特征在于,所述的GCN分支结构如下:res2,res3,res4,res5分别通过一个GCN块,再经过一个BR块得到{R2,R3,R4,R5},R5通过转置卷积得到D5;D5与R4相加,通过一个BR块,再经过转置卷积得到D4;D4与R3相加,通过一个BR块,再经过转置卷积得到D3;D3与R2相加,通过一个BR块,再经过转置卷积得到D2;D2经过一个BR块,再经过一个转置卷积,再通过BR块得到分割分数图,通过softmax得到预测的分割图。
6.如权利要求5所述的一种非受控场景视频中的船舶水尺智能识别方法,其特征在于,所述的GCN块结构如下:GCN接收w×h的输入input,input经过k×1的卷积,再经过1×k,得到w×h的输出O1;input经过1×k的卷积,再经过k×1,得到w×h的O2;O1加上O2得到GCN块的输出。
7.如权利要求5所述的一种非受控场景视频中的船舶水尺智能识别方法,其特征在于,所述的BR块结构如下:BR块接收w×h的输入in,in经过3×3的卷积,经过Relu激活函数,再进行一次3×3的卷积后,得到的值与in相加作为BR块的输出。
8.如权利要求1~7之一所述的一种非受控场景视频中的船舶水尺智能识别方法,其特征在于,所述步骤2)中,所述的深度神经网络模型的训练,是指用带标签的数据集对网络进行训练,数据集的构造过程如下:a)采集水尺视频数据,抽取其中部分具有代表特征的图像进行标注;
b)对于a)中的每一张图像,用矩形框将图像中含有的每一个水尺刻度完整框出,记录矩形框作为目标检测分支的标签;
c)对于a)中的每一张图像,对每一个像素进行标记,如果像素属于水,则标记为水,否则标记为空。
9.如权利要求8所述的一种非受控场景视频中的船舶水尺智能识别方法,其特征在于,所述步骤2)中,所述的深度神经网络模型的训练,其训练过程如下:a)将数据集随机的按照4:1的比例分为训练集和测试集;
b)将训练集输入到构造的深度神经网络模型中;
c)经过神经网络模型运算,得到网络输出数据集每一张图片的检测框以及对应分割图;
d)将c)中得到的检测框和分割图于人工标注的标签进行对比,用均方误差计算loss值,用梯度下降的方法使得深度网络模型的输出逼近人工标注的标签;
e)训练一定次数或者构造的神经网络模型在测试集上达到一定精度则停止训练。
10.如权利要求1~7之一所述的一种非受控场景视频中的船舶水尺智能识别方法,其特征在于,所述步骤2)中,所述步骤9)中,所述的提取参考水位线的过程如下:a)根据语义分割结果使用Sobel算子得到船与水的分界线点集;
b)使用a)中得到的点集用最小二乘法拟合一条直线,得到该直线的斜率k;
c)根据2)中得到的检测框,截取最后一个水尺刻度检测框水平区间范围内的分界线点集;
d)使用c)中得到的点集在固定直线的斜率为b)中得到的k的情况下,用最小二乘法拟合直线的偏置b,得到参考水位线。