1.一种基于多尺度边界特征融合的幕墙框识别方法,其特征在于,该方法具体包括以下步骤:
S1:使用高清摄像头采集幕墙框彩色图像数据;
S2:对采集到的图像数据进行预处理,并构建数据集,包括训练集、验证集和测试集,并使用数据标注软件对幕墙框区域进行逐像素标注;
S3:构建基于多尺度边界特征融合的幕墙框识别网络模型,该网络模型包括多尺度边界特征融合模块和通道引导金字塔卷积模块,所述多尺度边界特征融合模块的输出是通道引导金字塔卷积模块的输入;并采用余弦退火算法训练基于多尺度边界特征融合的幕墙框识别网络模型,获得最优参数;
S4:将幕墙安装机器人前端相机和激光雷达进行标定,并将激光点云与图像进行配准;
采用激光雷达的硬件测量系统与训练好的幕墙框识别网络模型相结合,以测量目标幕墙框的三维空间位置和姿态。
2.根据权利要求1所述的幕墙框识别方法,其特征在于,步骤S1中,采集的幕墙框彩色图像数据包括:多个幕墙框、低对比度的幕墙框,以及噪声和杂乱背景下的幕墙框。
3.根据权利要求1所述的幕墙框识别方法,其特征在于,步骤S2中,对采集到的图像数据进行预处理,具体包括:筛选掉模糊的图像,再通过平移变换、翻转变换以及随机裁剪三种方式扩充数据量,构建出幕墙框图像数据集;将数据集划分为训练集、验证集和测试集;
再使用数据标注软件来手动确定幕墙框区域;再将标签转换为二值图像,其中白色为目标幕墙框,黑色为背景。
4.根据权利要求1所述的幕墙框识别方法,其特征在于,步骤S3中,所述多尺度边界特征融合模块用于对不同尺度的幕墙框边界特征进行融合,提高网络的分割性能,包括:边界感知模块、倒残差模块和平均池化层;
所述多尺度边界特征融合模块具体包括:将卷积提取到的特征F0分别和特征F1、F2、F3、F4结合,输入到边界感知模块,将四个结果进行通道拼接并输入倒残差模块,随后分为五条路径,第一条路径与特征F0逐像素相乘后再和F0相加输出B0;第二条路径使用平均池化层后与特征F1逐像素相乘后再和F1相加输出B1;第三条路径使用平均池化层后与特征F2逐像素相乘后再和F2相加输出B2;第四条路径使用平均池化层后与特征F3逐像素相乘后再和F3相加输出B3;第五条路径使用平均池化层后与特征F4逐像素相乘后再和F4相加输出B4;其中,特征F0、F1、F2、F3、F4分别是从步骤S2预处理后的数据中提取到的低层细节信息和高层语义信息。
5.根据权利要求1或4所述的幕墙框识别方法,其特征在于,步骤S3中,所述边界感知模块,用于输出权重图,具体包括:将卷积提取到的特征F0分别和特征F1、F2、F3、F4结合,F0和Fi分别输入到两个1×1×1的三维卷积中,其中,i=1,2,3,4;在Fi卷积操作后,引出两条路径,第一条路径使用3×7×7的三维卷积操作后用Sigmoid激活函数进行映射再对特征进行两倍上采样,并与特征F0卷积操作后的结果逐像素相乘;第二条路径对特征进行两倍上采样后与第一条路径的结果逐像素相减;将逐像素相减后的结果进行绝对值操作,然后使用3×7×7的三维卷积操作,再用Sigmoid激活函数进行映射,最终输出边界感知权重图;
所述倒残差模块,用于降低参数量,具体包括:首先使用1×1的卷积进行通道扩张并采用Relu激活函数,然后使用3×3的Depth‑wise卷积进行特征提取并采用Relu激活函数,最后使用1×1的卷积将通道数压缩回原通道并采用Linear激活函数。
6.根据权利要求1所述的幕墙框识别方法,其特征在于,步骤S3中,所述通道引导金字塔卷积模块用于更充分的融合幕墙框特征,包括:倒残差模块、通道注意力模块、卷积、通道拼接和逐像素相加;所述通道注意力模块,采用高效通道注意力机制,用于定位到幕墙框区域,抑制背景信息;
所述通道引导金字塔卷积模块具体包括:首先将输入进行1×1的卷积操作后分成两条路径,第一条路径使用通道注意力机制,分为四个分支,进行逐像素相加并设置卷积和空洞卷积扩张率,随后将四个分支进行通道拼接输入到1×1的卷积中与第一条路径逐像素相加,随后每一层都将前面所有的特征映射作为输入,其中使用卷积和倒残差模块改变特征图大小并降低参数量。
7.根据权利要求1所述的幕墙框识别方法,其特征在于,步骤S3中,采用余弦退火算法训练基于多尺度边界特征融合的幕墙框识别网络模型,具体包括:设置初始学习率,使用随机梯度下降优化器进行训练,结合余弦退火算法调整学习率,使训练过程更加稳定和高效;
同时,因为幕墙框图像存在样本不平衡问题,负样本即背景远多于正样本即幕墙框,将焦点损失函数作为训练过程中的损失函数;
其中余弦退火原理表示为:
其中,αt表示当前学习率;i表示第i次索引值; 和 分别表示学习率的最小值和最大值;Tt表示当前训练周期数;epoch表示总的训练周期数;π表示圆周率;
焦点损失函数为:
其中,Loss为焦点损失函数的损失值,N表示单张幕墙框图像的总像素数目,yi为二分类标签0或1,y'i是输出属于yi标签的概率,超参数α用于控制类别不平衡,超参数γ用于控制难易样本。
8.根据权利要求1所述的幕墙框识别方法,其特征在于,步骤S4中,所述将幕墙安装机器人前端相机和激光雷达进行标定具体包括:采用张正友标定法对相机内参进行标定,然后使用P3P算法对相机和激光雷达进行联合标定,将点云数据从激光雷达坐标系转换到相机坐标系下;对相机采集到的图像进行整理并进行局部自适应阈值化,解决图像上不同区域亮度不均匀的问题,并采用Harris角点检测算法检测角点,来提高相机内参的标定精度;
在相机和激光雷达标定完成后,实时采集图像并使用训练好的幕墙框识别网络模型对幕墙框进行识别,得到幕墙框的识别结果。
9.根据权利要求1所述的幕墙框识别方法,其特征在于,步骤S4中,所述采用激光雷达的硬件测量系统与训练好的幕墙框识别网络模型相结合,具体包括:将识别结果与激光点云进行映射,使用高质量角点检测算法从识别结果和激光雷达中检测幕墙框的角点,输出四个角点的坐标信息,根据成像原理以及幕墙框在图像坐标系和世界坐标系中的位置与相机中心点的位置的共线关系,建立对应的几何关系并求解它们之间的投影,从而将激光点云和相机图像完成配准,使幕墙框识别结果融合了空间信息;在输出幕墙框识别结果时,输出幕墙框的空间位置信息,得到相机和激光雷达距离幕墙框中心点的距离以及与幕墙框四个边角的角度,从而通过位姿估计以测量目标幕墙框的三维空间位置和姿态,为幕墙施工提供快速精准的安装参数。
10.一种基于多尺度边界特征融合的幕墙框识别系统,其特征在于,该系统包括图像采集模块、激光测距模块、AI嵌入式开发板、无线通信模块、电源模块、显示模块和云端服务器;
所述图像采集模块采用相机,用于采集幕墙框图像,将采集到的幕墙框图像输入云端服务器进行网络训练,输入到AI嵌入式开发板进行实时分割,输入到显示设备进行可视化展示;
所述激光测距模块采用激光雷达,用于获取幕墙框的空间位置信息,将获得的幕墙框空间位置信息输入AI嵌入式开发板;
所述AI嵌入式开发板,将权利要求1~9中任意一项所述的基于多尺度边界特征融合的幕墙框识别网络模型部署至AI嵌入式开发板,用于实时幕墙框分割,并匹配激光雷达数据进行幕墙框的距离和姿态估计;
所述无线通信模块,用于实现AI嵌入式开发板和云端服务器的通信;
所述电源模块,用于为AI嵌入式开发板、图像采集模块、激光测距模块、显示模块供电;
所述显示模块,与AI嵌入式开发板建立通信,实时监控前端幕墙框识别,并将识别结果与激光点云相结合,输出幕墙框的空间信息;
所述云端服务器,用于接收采集到的幕墙框图像,训练基于多尺度边界特征融合的幕墙框识别网络模型,获得最优参数后将最优模型部署到AI嵌入式开发板上。