1.一种自主水下机器人前景视场三维重建目标特征提取识别方法,其特征在于,前景视场三维重建包括以下步骤:
S1对水下摄像机进行标定,得到摄像机内参数矩阵,畸变系数矩阵,本征矩阵,基础矩阵,旋转矩阵以及平移矩阵,采集水下视频并进行存储;
S2对视频进行处理得到帧图和光流图,采用图像复原的方法对得到的图像进行预处理,减小或消除水对光成像的影响,得到对应的空气中的图像;
S3采用基于双流Faster‑RCNN的TSN网络目标特征提取与识别方法,对处理得到的图像进行目标特征提取与识别;基于双流Faster‑RCNN的TSN网络目标特征提取与识别方法为:将视频平均分成k段,从每个段中随机抽取帧图和光流图,用来代表该段,称为片段,对每个片段中的帧图和光流图做统一的数据转换操作后,输入到双流Faster‑RCNN用于提取与识别特征,k个片段对应k个双流Faster‑RCNN;双流Faster‑RCNN即基于帧图的Faster‑RCNN网络和基于光流图的Faster‑RCNN网络,基于帧图的Faster‑RCNN网络提取目标的空间特征,包括类别得分和位置坐标,基于光流图的Faster‑RCNN网络提取目标的时间特征,包括速度得分和速度方向得分;k个双流Faster‑RCNN将会得到k个片段的空间特征和k个片段的时间特征,将k个片段的空间特征和k个片段的时间特征分别在空间域和时间域进行融合,在两个域上的融合都采用取平均的方法:对得到的k个片段的空间特征中的属于同一类别的类别得分进行平均,得到的平均值作为整个视频目标属于同一类别的类别得分,实现空间域上的融合;对得到的k个片段的时间特征中的属于同一类别的类别得分进行平均,得到的平均值作为整个视频动作属于同一类别的速度类别得分和速度方向类别得分,实现时间域上的融合;
再分别对融合后的时间特征和空间特征运用softmax函数求取特征出现的概率,概率最高的特征即属于视频级别的特征,实现水下目标特征的提取与识别;
所述双流Faster‑RCNN中的Faster‑RCNN,包括RPN和Fast‑RCNN两个深度神经网络,RPN实现获取兴趣区域的任务,Fast‑RCNN实现提取与识别区域特征的任务;Faster‑RCNN包含卷积层、池化层和全连接层;RPN网络是一个全卷积网络,与Fast‑RCNN共享卷积层,图片输入共享卷积层后输出卷积特征映射图;RPN也添加了新的卷积层,新添加的卷积层仅属于RPN网络,新添加的卷积层对共享卷积层输出的卷积特征映射图进行卷积操作,输出值有两个,分别为区域位置信息和对应区域包含及不包含目标的置信度得分;RPN获取的兴趣区域和Fast‑RCNN与RPN的共享卷积层输出的卷积特征映射图同时输入到池化层中,输出兴趣区域特征映射图,然后将兴趣区域特征映射图输入到全连接层中,输出类别得分和位置坐标;
S4对图像进行立体匹配得到深度信息;
S5进行三维重建。
2.根据权利要求1所述的自主水下机器人前景视场三维重建目标特征提取识别方法,其中基于双流Faster‑RCNN的TSN网络目标特征提取与识别方法,其特征在于,统一的数据转换操作,是对输入的帧图和光流图做相同的数据转换操作,包括旋转、平移、水平翻转、随机截取,将做了相同数据转换操作后的帧图和光流图作为不同通道的数据分别输入到基于帧图的Faster‑RCNN网络和基于光流图的Faster‑RCNN网络中。
3.根据权利要求1所述的自主水下机器人前景视场三维重建目标特征提取识别方法,其中基于双流Faster‑RCNN的TSN网络目标特征提取与识别方法,其特征在于,将输入视频平均分成k段{S1,S2,…,Sk},基于双流Faster‑RCNN的TSN网络的公式化表示为:其中(T1,T2,…,Tk)是一个片段序列,每个片段Tn,n=1,2,…,k,都是从其对应的Sn,n=
1,2,…,k中随机抽取的,f(T1;W),f(T2;W),…,f(Tk;W)是表示参数为w的双流Faster‑RCNN,它的输出为片段T1,T2,…,Tk属于每个类的类别得分,函数 是一个取平均函数,对片段T1,T2,…,Tk属于每个类的类别得分取平均,算出属于同一类别的类别得分的平均值,这个平均值表示视频属于每个类别的得分,函数 根据函数 输出得分平均值计算概率,概率最高的类别就是视频的类别,函数 是个Softmax函数。