利索能及
我要发布
收藏
专利号: 2023100339236
申请人: 江苏科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-03-02
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的无人机桥梁裂缝检测方法,其特征在于,包含以下步骤:

1)用测绘无人机A采集所测桥体及其周边地形环境,并将数据实时传入到地面处理平台;

2)地面处理平台根据测绘无人机A传回的数据进行三维建模,得到待测桥梁及其周边环境的3D坐标实景模型;

3)地面站根据3D坐标实景模型,规划图像采集无人机B的飞行路径,并将指令传达至图像采集无人机B的飞控模块;

4)按照规划路径模拟图像采集无人机B的仿真飞行,模拟过程中当无人机进入桥底时,通过UWB辅助定位模块获取无人机位置,传入地面站后由地面站不断修正后得到实际飞行路径,图像采集无人机B按照实际飞行路径实际飞行,并将采集图像实时传入地面站,同时通过储存模块保存供离线处理;

5)对采集图像进行预处理,该预处理方式包含归一化、高斯滤波处理、伽马校正;

6)用改进后的SSD检测算法对预处理后的图像进行检测,完成对缺陷的检测;改进的SSD检测算法包含以下步骤:

6.1)使用剪切混合的数据增强方法,进行数据集的制作,其中,剪切混合的公式如下:,

其中, 和 是两个不同的训练样本, 和 是对应的标签值,剪切混合需要生成的是新的训练样本和对应标签 、 , 是二进制掩码,是逐像素相乘,属于Beta分布: , 则服从(0,1)均匀分布;

对剪裁区域的边界框 进行采样, 用来对样本 和 做裁剪区域的指示标定,公式如下:

确定好裁剪区域B之后,将M中的裁剪区域B置0,其他区域置1,完成掩码的采样,将样本A中的剪裁区域B移除,将样本B中的剪裁区域B进行裁剪然后填充到样本A,得到数据集;

6.2)将高层与低层的特征图进行融合,将全连接层6和全连接层7分别进行CBL操作后再进行下采样操作以改进SSD骨干网络;

6.3)计算改进后SSD的损失函数,公式如下:

=  ,

其中损失函数的第一部分是类别损失,第二部分是位置损失,是匹配的先验框个数。

2.根据权利要求1所述的基于深度学习的无人机桥梁裂缝检测方法,其特征在于,步骤

3)中,图像采集无人机B包含飞行控制模块、测距传感器模块、加速度传感器模块、GPS定位模块、UWB辅助定位标签、第一数传电台、补光模块、云台相机、存储模块、第一图传电台、机载数据处理单元;

飞行控制模块用以接收飞行路径;测距传感器模块用以测量无人机与桥梁之间的距离;加速度传感器模块用以检测无人机的加速度大小; GPS定位模块用以定位无人机;UWB辅助定位标签用以在桥底GPS信号弱的情况下辅助定位;第一数传电台用以无人机与地面站第二数传电台之间的数据传输;云台相机用以图像的采集;补光模块用以在低照度环境下为云台相机补充光源;存储模块用以存储采集的数据供离线处理;第一图传电台用以将无人机与地面站第二图传电台的数据传输;机载数据处理单元用以控制云台相机的姿态以及发送采集信号。

3.根据权利要求1所述的基于深度学习的无人机桥梁裂缝检测方法,其特征在于,步骤

5)中,对采集图像进行预处理,其中,归一化的公式如下: ,其中 代表图像像素点值, 代表最大像素值, 代表最小像素值。

4.根据权利要求1所述的基于深度学习的无人机桥梁裂缝检测方法,其特征在于,步骤

5)中,对于采集光线暗时的图像,采用伽马校正,公式如下:,

其中 为可调节系数,为当前图像。

5.一种基于深度学习的无人机桥梁裂缝检测系统,其特征在于,包含采集模块、三维建模模块、规划路径模块、仿真飞行模块、预处理模块、检测模块;

采集模块用以用测绘无人机A采集所测桥体及其周边地形环境,并将数据实时传入到地面处理平台;

三维建模模块用以用地面处理平台根据测绘无人机A传回的数据进行三维建模,得到待测桥梁及其周边环境的3D坐标实景模型;

规划路径模块用以通过地面站根据3D坐标实景模型,规划图像采集无人机B的飞行路径,并将指令传达至图像采集无人机B的飞控模块;

仿真飞行模块用以按照规划路径模拟图像采集无人机B的仿真飞行,模拟过程中当无人机进入桥底时,通过UWB辅助定位模块获取无人机位置,传入地面站后由地面站不断修正后得到实际飞行路径,图像采集无人机B按照实际飞行路径实际飞行,并将采集图像实时传入地面站,同时通过储存模块保存供离线处理;

预处理模块用以对采集图像进行预处理,该预处理方式包含归一化、高斯滤波处理、伽马校正;

检测模块用以通过改进后的SSD检测算法对预处理后的图像进行检测,完成对缺陷的检测; 改进的SSD检测算法包含数据集的制作单元、改进SSD骨干网络单元、损失函数单元;

数据集的制作单元用以使用剪切混合的数据增强方法,进行数据集的制作,其中,剪切混合的公式如下:,

其中, 和 是两个不同的训练样本, 和 是对应的标签值,剪切混合需要生成的是新的训练样本和对应标签 、 , 是二进制掩码,是逐像素相乘,属于Beta分布: , 则服从(0,1)均匀分布;

对剪裁区域的边界框 进行采样, 用来对样本 和 做裁剪区域的指示标定,公式如下:

确定好裁剪区域B之后,将M中的裁剪区域B置0,其他区域置1,完成掩码的采样,将样本A中的剪裁区域B移除,将样本B中的剪裁区域B进行裁剪然后填充到样本A,得到数据集;

改进SSD骨干网络单元用以将高层与低层的特征图进行融合,将全连接层6和全连接层

7分别进行CBL操作后再进行下采样操作以改进SSD骨干网络;

损失函数单元用以计算改进后SSD的损失函数,公式如下:=  ,

其中损失函数的第一部分是类别损失,第二部分是位置损失,是匹配的先验框个数。

6.根据权利要求5所述的基于深度学习的无人机桥梁裂缝检测系统,其特征在于,规划路径模块中,图像采集无人机B包含飞行控制模块、测距传感器模块、加速度传感器模块、GPS定位模块、UWB辅助定位标签、第一数传电台、补光模块、云台相机、存储模块、第一图传电台、机载数据处理单元;

飞行控制模块用以接收飞行路径;测距传感器模块用以测量无人机与桥梁之间的距离;加速度传感器模块用以检测无人机的加速度大小; GPS定位模块用以定位无人机;UWB辅助定位标签用以在桥底GPS信号弱的情况下辅助定位;第一数传电台用以无人机与地面站第二数传电台之间的数据传输;云台相机用以图像的采集;补光模块用以在低照度环境下为云台相机补充光源;存储模块用以存储采集的数据供离线处理;第一图传电台用以将无人机与地面站第二图传电台的数据传输;机载数据处理单元用以控制云台相机的姿态以及发送采集信号。

7.根据权利要求5所述的基于深度学习的无人机桥梁裂缝检测系统,其特征在于,预处理模块中,对采集图像进行预处理,其中,归一化的公式如下: ,其中 代表图像像素点值, 代表最大像素值, 代表最小像素值。

8.根据权利要求5所述的基于深度学习的无人机桥梁裂缝检测系统,其特征在于,预处理模块中,对于采集光线暗时的图像,采用伽马校正,公式如下:,

其中 为可调节系数,为当前图像。