1.一种基于稀疏融合的在线碳语义地图构建方法,包括以下步骤:
1)基于目标检测神经网络获取城市图像语义标签;
2)通过特征匹配完成语义标签的稀疏地图注册,然后进行稀疏语义地图点的聚类分割和平面重建;
3)基于时空几何约束的局部平面滚动优化方法实现语义场景的重建和感知;
4)结合碳排放监测点云信息,构建碳语义地图;
所述步骤2)具体包括:对场景中频繁出现且较为稳定的目标进行语义标记,在图像中将被识别出的区域表示为式(3),Regionc={L,{xLT,h,w}} (3)
其中c表示在图像平面,xLT表示语义区域的左上角坐标,h和w表示语义区域的高度和宽度,L代表这个区域的语义标签;
相应地,将三维的语义地图点表示为式(4):
X={L,x} (4)
其中X表示世界坐标系下的三维语义地图点,x表示地图深度点,L表示语义标签;为了获取X,利用特征跟踪器中获得的特征ID作为图像与稀疏深度特征点的锚点来确定三维语义点X;
通过语义标注将每张图像中的语义点投影到三维空间中;对于一个三维空间中的平面来说,一张图片内的特征点是远远不够的,因此需要对这些语义点进行增量式更新,并且按照平面为单位将这些空间的点云划分到不同的平面中去进行平面重建;
使用超体素方法来减少三维区域的数量,超体素处理过程如下:构建体素云的邻接图,生成并过滤空间种子,利用特征的距离进行聚类,通过迭代聚类算法增强聚类间的空间连通性;以固定的频率和滑动窗口的方式在三维点云的重复执行该过程,得到超体素聚类用于后续的LCCP分割;
采用LCCP方法根据两个相邻平面的凹凸关系来解决点云块的分割问题,将在聚类中获得的超体素表示为式(5),Regionw={L,N,Pcenter,{x0,x1,···,xN}} (5)
其中w表示在世界坐标系,L代表这个区域的语义标签,N表示超体素的数量,Pcenter表示这个超体素的中心点坐标,{x0,x1,···,xN}表示在超体素内的所有三维坐标点;
随后,采用应用随机抽样一致性RANSAC方法来计算三维语义超体素的回归平面,RANSAC方法的处理过程为:随机选择三维语义特征点,估计模型并且计算属于这个模型的内点个数;这一过程持续重复一定的迭代次数并且输出平面参数和属于平面的内点索引,这样可以去除孤立点并且得到准确的语义平面,将满足Regionw的语义平面表示为π,这些由稀疏语义特征点所确定的语义平面构成了初步的语义空间如式(6)所示,W′={(L1,π′1),(L2,π′2),···(Ln,π′n)} (6)其中n是语义平面的数量;
所述步骤3)具体包括:建立一种语义平面的质量损失函数并围绕该损失函数提出了一种语义地图的局部优化方法:基于时空几何约束的局部平面滚动优化方法实现了语义场景的重建和感知:定义输入的语义平面为πk,落在平面内的点的数量为 平面的中心坐标为 平面的法向量为 平面的系数为(A,B,C,D);
然后,将生成的平面加入全局语义地图;分为两个子步骤:插入和更新;插入步骤:在局部平面中,利用相机的航向和其他平面的法向量,建立了一个关于朝向误差的平面质量损失函数,其中 是所有其他局部平面的法向量,是局部平面的索引, 是由滑动窗内相机首尾坐标构成的航向向量:更新步骤:尝试查找最接近输入平面的平面索引,此过程可以表示为式(8)所示,其中t是最接近新增平面的索引号;如果新增平面πk中包含的内点数量大于历史平面πt,则使用πk代替πt;相应地,也将更新步骤的平面质量损失函数定义为式(9),其中 表示额外内点的比例, 表示成功更新平面的概率;
使用无约束的最优化公式来最小化插入和更新的每个误差项之和,如式(10)所示,以获得最佳的平面参数,上述优化函数不包含微分项,所以应用直接法来求解函数最优化问题;优化主要包括两个步骤:检测搜索和模式移动;检测搜索的目的是在起始搜索点即参考点周围找到一个显著点来确定一个有利的方向;模式移动是将显著点移动为新的参考点;这两个步骤交替重复,逐渐将函数移动到最小值;
最后,得到了所有的优化语义平面,并将最终的语义空间表示为式(11),W={(L1,π1),(L2,π2),···(Ln,πn)} (11)。
2.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法,其特征在于:步骤1)具体包括:目标检测网络首先将图像重新缩放为统一分辨率的输入图像,然后将图像送入神经网络中,预测目标的位置以及包含目标的选框置信度和分类的条件概率,最后对结果进行非极大值抑制,获得最佳概率的分类结果;
网络具体实现过程如下:将输入图像分割为S×S个网格,每一个网格都有独立预测B个目标框和每一个目标框的置信度,置信度包含了预测目标框存在物体的概率以及目标框的位置准确度;此外,每一个网格还需要预测一个条件概率C,即在这个网格存在物体的条件下属于某一类物体的概率;因此网络的输出就是一个S×S×(B*5+C)维度的向量;在预测的时候,每个网格的分类信息和网格置信度相乘就获得了网格的分类‑空间置信度;在算法的最后,采用非极大值抑制方法,求每一个网格包含最准确目标位置信息的目标框以及类别;
基于目标检测神经网络获取城市图像语义标签,具体网络是:采用了24个卷积层和2个全连接层,不需要区域建议网络regionproposal来寻找目标,直接回归便可完成目标检测识别;其中,卷积层用来提取图像特征,而全连接层用来预测目标位置和类别概率值;本网络借鉴GoogLeNet分类网络结构,但与GoogLeNet不同,采用的网络使用1×1卷积层加上3×
3的卷积层来替代Inception模块以降低计算的维度并且将预测结果归一化;网络最后一层使用线性激活函数,并且对其他层使用式(1)中的线性修正单元RELU作为激活函数,此外,本网络使用均方误差作为损失函数来优化模型的参数,即网络输出的S×S×(B*
5+C)维向量与真实图像对应的S×S×(B*5+C)维向量的均方误差,损失函数如式(2)所示,其中,coordError,iouError和classError分别代表预测数据与标定数据之间的坐标误差,交并比IntersectionOverUnion误差和分类误差。
3.如权利要求1所述的一种基于稀疏融合的在线碳语义地图构建方法,其特征在于:步骤4)具体包括:采用一种微分光学深度DOD,differentialopticaldepth,的方法去得到碳排放在空间中的浓度;量化指标DOD符合下式标准,其中F是最佳拟合透射率,用于确定CO2路径密度,单位:m^(‑2):或者转换为路径平均混合比 单位:ppm,其中r为测距仪测得的目标距离,Δσ是二氧化碳的微分吸收截面,Nair是空气密度:对于每个DOD值,模型协方差矩阵与拟合的剩余标准差即均方根误差进行了比例变换,提供了一个有意义的置信度估计;无人机在飞行过程中任意监测四个点的数据,分别获取四个点的距离,计算得出四个点的DOD,画出相关曲线图;最后根据DOD与下式得出相关碳含量气体的浓度: