1.一种基于天空伪影剔除的建筑物多视图三维重建方法,其特征在于,包括以下步骤:
采集建筑物的多视图图像集,并对所述多视图图像集进行分辨率优化处理,得到输入图像数据;
通过U²‑Net网络对所述输入图像数据进行天空区域分割,生成天空区域掩码图,包括:
将所述输入图像数据输入所述U²‑Net网络中进行前向传播处理,得到表示每个像素属于天空区域概率的概率图;将所述概率图转换为二进制掩码,生成天空区域掩码图,其中概率高于预设的阈值的像素被标记为天空区域,低于预设的阈值的像素被标记为非天空区域;将所述天空区域掩码图调整至与输入图像数据相同的分辨率,得到所述天空区域掩码图;
通过基于多尺度窗口的块匹配算法对所述输入图像数据进行深度图估计分析,得到深度图集,包括:对所述输入图像数据中的每帧图像进行随机初始化,为每个像素生成初始平面参数;基于每个像素的初始平面参数,通过自适应棋盘格采样算法在每个像素的邻域内获取八个区域的最优平面参数;利用每个像素的八个区域的最优平面参数构建结构化信息矩阵,并根据所述结构化信息矩阵分析得到每个像素的最佳匹配图像子集;对每个像素的最佳匹配图像子集进行空间传播和随机优化,更新和细化每个像素的平面参数,得到每个像素的的优化平面参数;基于预设的多尺度策略,通过逐级减小匹配窗口大小,对每个像素的优化平面参数进行迭代优化,得到每个像素的多尺度优化平面参数;基于每个像素的多尺度优化平面参数计算深度值,生成每个像素的初始深度图; 对每个像素的初始深度图进行值滤波,得到每个像素的目标深度图,并将每个像素的目标深度图进行汇总,得到所述深度图集;
基于预设的多尺度策略,通过逐级减小匹配窗口大小,对每个像素的优化平面参数进行迭代优化的步骤中,匹配窗口的边长L的计算方式为:其中 表示最大尺度等级,表示当前尺度等级,设置最大尺度等级 ;
基于所述天空区域掩码图,过滤所述深度图集中对应天空区域的深度估计数据,得到天空区域剔除后的深度图,包括: 将所述天空区域掩码图与所述深度图集合中的每一帧深度图进行像素级对齐,得到对齐后的掩码图;基于所述对齐后的掩码图,识别深度图中对应天空区域的像素位置,得到天空区域像素集;对所述天空区域像素集中的深度估计数据进行标记,得到待过滤数据集; 从所述深度图集中移除所述待过滤数据集,得到初步过滤后的深度图集;对所述初步过滤后的深度图集进行边缘平滑处理,得到所述天空区域剔除后的深度图;
对天空区域剔除后的深度图进行逐帧融合,生成三维点云模型。
2.根据权利要求1所述的方法,其特征在于,所述采集建筑物的多视图图像集,并对所述多视图图像集进行分辨率处理,得到输入图像数据,包括:通过单目相机从不同角度拍摄建筑物,获取多视图图像集;
对多视图图像集中的每张图像进行去噪及色彩校正,得到校正图像集;
对所述校正图像集进行图像锐化,得到锐化图像集;
对所述锐化图像集进行分辨率尺寸调整,得到所述输入图像数据。
3.根据权利要求1所述的方法,其特征在于,所述对天空区域剔除后的深度图进行逐帧融合,生成三维点云模型,包括:将所述天空区域剔除后的深度图从相机坐标系变换到世界坐标系,得到统一坐标系下的深度图;
使用迭代最近点算法对所述统一坐标系下的深度图进行多帧配准,得到对齐的深度图集;
基于所述对齐的深度图集的深度值和对应的图像颜色信息,生成带有颜色属性的初始三维点云;
对所述初始三维点云进行噪点去除和离群点过滤,得到优化后的点云数据;
利用光束法平差算法对所述优化后的点云数据进行全局优化,最小化重投影误差,得到候选三维点云模型;
对所述候选三维点云模型进行表面重建和纹理映射,得到所述三维点云模型。
4.一种基于天空伪影剔除的建筑物多视图三维重建装置,其特征在于,所述基于天空伪影剔除的建筑物多视图三维重建装置包括:采集模块,用于采集建筑物的多视图图像集,并对所述多视图图像集进行分辨率优化处理,得到输入图像数据;
分割模块,用于通过U²‑Net网络对所述输入图像数据进行天空区域分割,生成天空区域掩码图,包括:将所述输入图像数据输入所述U²‑Net网络中进行前向传播处理,得到表示每个像素属于天空区域概率的概率图;将所述概率图转换为二进制掩码,生成天空区域掩码图,其中概率高于预设的阈值的像素被标记为天空区域,低于预设的阈值的像素被标记为非天空区域;将所述天空区域掩码图调整至与输入图像数据相同的分辨率,得到所述天空区域掩码图;
分析模块,用于通过基于多尺度窗口的块匹配算法对所述输入图像数据进行深度图估计分析,得到深度图集,包括:对所述输入图像数据中的每帧图像进行随机初始化,为每个像素生成初始平面参数;基于每个像素的初始平面参数,通过自适应棋盘格采样算法在每个像素的邻域内获取八个区域的最优平面参数;利用每个像素的八个区域的最优平面参数构建结构化信息矩阵,并根据所述结构化信息矩阵分析得到每个像素的最佳匹配图像子集;对每个像素的最佳匹配图像子集进行空间传播和随机优化,更新和细化每个像素的平面参数,得到每个像素的的优化平面参数;基于预设的多尺度策略,通过逐级减小匹配窗口大小,对每个像素的优化平面参数进行迭代优化,得到每个像素的多尺度优化平面参数;基于每个像素的多尺度优化平面参数计算深度值,生成每个像素的初始深度图; 对每个像素的初始深度图进行值滤波,得到每个像素的目标深度图,并将每个像素的目标深度图进行汇总,得到所述深度图集;
基于预设的多尺度策略,通过逐级减小匹配窗口大小,对每个像素的优化平面参数进行迭代优化的步骤中,匹配窗口的边长L的计算方式为:其中 表示最大尺度等级,表示当前尺度等级,设置最大尺度等级 ;
过滤模块,用于基于所述天空区域掩码图,过滤所述深度图集中对应天空区域的深度估计数据,得到天空区域剔除后的深度图,包括: 将所述天空区域掩码图与所述深度图集合中的每一帧深度图进行像素级对齐,得到对齐后的掩码图;基于所述对齐后的掩码图,识别深度图中对应天空区域的像素位置,得到天空区域像素集;对所述天空区域像素集中的深度估计数据进行标记,得到待过滤数据集; 从所述深度图集中移除所述待过滤数据集,得到初步过滤后的深度图集;对所述初步过滤后的深度图集进行边缘平滑处理,得到所述天空区域剔除后的深度图;
融合模块,用于对天空区域剔除后的深度图进行逐帧融合,生成三维点云模型。