利索能及
我要发布
收藏
专利号: 2020106020324
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种无人机巡检方法,包括:

获取无人机的拍摄图像;

从所述拍摄图像之中提取包括待检测物体的感兴趣区域;

将所述包括所述待检测物体的感兴趣区域输入至缺陷检测模型以确定所述待检测物体的缺陷信息;

所述缺陷检测模型,包括:卷积层和检测层,所述检测层包括N个级联的R‑CNN检测网络,所述N个级联的R‑CNN检测网络的交并比阈值与级联顺序成正比关系,N为大于1的自然数;当前R‑CNN检测网络的输出是根据所述当前R‑CNN检测网络对应的交并比阈值与前一个R‑CNN检测网络的输出确定的。

2.如权利要求1所述的无人机巡检方法,其中,所述从所述拍摄图像之中提取包括待检测物体的感兴趣区域,包括:将所述拍摄图像输入至物体识别模型之中以获取所述拍摄图像之中的待检测物体;

获取所述待检测物体所在的区域,并作为所述感兴趣区域。

3.如权利要求1所述的无人机巡检方法,所述将所述包括所述待检测物体的感兴趣区域输入至缺陷检测模型以确定所述待检测物体的缺陷信息,包括:将所述感兴趣区域输入所述卷积层,获取特征图像;

在所述特征图像中提取多个候选特征区域,并将所述多个候选特征区域输入所述N个级联的R‑CNN检测网络,同时获取当前输入的当前R‑CNN检测网络的级联顺序M;

若M大于等于1且小于N,则根据所述当前R‑CNN检测网络对应的交并比阈值在所述多个候选特征区域中,确定多个参考特征区域,并将所述多个参考特征区域输入至下一个R‑CNN检测网络;

若M等于N,则根据所述当前R‑CNN检测网络对应的交并比阈值在上一个R‑CNN检测网络输出的多个参考特征区域中,确定目标特征区域和与所述目标特征区域对应的目标缺陷信息;

根据所述目标特征区域和所述目标缺陷信息确定所述待检测物体的缺陷信息。

4.如权利要求3所述的无人机巡检方法,其中,当所述特征图像为一个时,所述卷积层包括P个标准卷积子层和Q个变形卷积子层,Q小于等于P,所述Q个变形卷积子层中的每个变形卷积子层的前一个卷积子层为所述标准卷积子层,所述将所述感兴趣区域输入所述卷积层,获取特征图像,包括:将所述感兴趣区域输入所述卷积层,并确定当前输入的当前卷积子层的顺序A;

若A等于1,则根据所述当前卷积子层对所述感兴趣区域进行卷积计算,获取候选特征图像,并将所述候选特征图像输入下一层卷积子层;

若A大于1且小于Q+P,则获取所述当前卷积子层的第一子层类型;

若所述第一子层类型为所述标准卷积子层,则根据所述当前卷积子层对上一层卷积子层输出的候选特征图像进行卷积计算,获取新的候选特征图像,并将所述新的候选特征图像输入下一层卷积子层;

若所述第一子层类型为所述变形卷积子层,则根据所述变形卷积子层对应的卷积核偏移值对上一层标准卷积子层的卷积核偏移后,根据偏移后的卷积核对所述上一层标准卷积子层输出的候选特征图像进行卷积计算,获取新的候选特征图像,并将所述新的候选特征图像输入下一层卷积子层;

若所述A等于Q+P,则获取所述当前卷积子层的第二子层类型;

若所述第二子层类型为所述标准卷积子层,则根据所述当前卷积子层对上一层卷积子层输出的候选特征图像进行卷积计算,获取所述特征图像;

若所述第二子层类型为所述变形卷积子层,则根据所述变形卷积子层对应的卷积核偏移值对上一层标准卷积子层的卷积核偏移后,根据偏移后的卷积核对所述上一层标准卷积子层输出的候选特征图像进行卷积计算,获取所述特征图像。

5.如权利要求3所述的无人机巡检方法,其中,当所述特征图像为多个时,所述卷积层包括多层卷积子层,所述将所述感兴趣区域输入所述卷积层,获取特征图像,包括:将所述感兴趣区域输入所述卷积层,并确定当前输入的当前卷积子层的顺序号B;

若B属于预设的顺序号集合,则提取所述当前卷积子层输出的参考特征图像,其中,所述顺序号集合中包含多个预设顺序号;

根据所述顺序号集合中所有预设顺序号对应的所有参考特征图像,获取多个所述特征图像。

6.如权利要求5所述的无人机巡检方法,当所述预设顺序号为多个时,所述根据所述顺序号集合中所有预设顺序号对应的所有参考特征图像,获取多个所述特征图像,包括:将所述顺序号集合中的最小预设顺序号对应的参考特征图像,确定为所述特征图像;

确定所述顺序号集合中小于每个非最小预设顺序号对应的参考预设顺序号;

将所述每个非最小预设顺序号和对应的参考预设顺序号对应的所有参考特征图像,融合得到与所述每个非最小预设顺序号对应的所述特征图像。

7.一种无人机巡检装置,包括:

获取模块,用于获取无人机的拍摄图像;

提取模块,用于从所述拍摄图像之中提取包括待检测物体的感兴趣区域;

检测模块,用于将所述包括所述待检测物体的感兴趣区域输入至缺陷检测模型以确定所述待检测物体的缺陷信息;

所述缺陷检测模型,包括:卷积层和检测层,所述检测层包括N个级联的R‑CNN检测网络,所述N个级联的R‑CNN检测网络的交并比阈值与级联顺序成正比关系,N为大于1的自然数;当前R‑CNN检测网络的输出是根据所述当前R‑CNN检测网络对应的交并比阈值与前一个R‑CNN检测网络的输出确定的。

8.如权利要求7所述的无人机巡检装置,其中,所述提取模块具体用于:将所述拍摄图像输入至物体识别模型之中以获取所述拍摄图像之中的待检测物体;

获取所述待检测物体所在的区域,并作为所述感兴趣区域。

9.如权利要求7所述的无人机巡检装置,所述检测模块包括:获取单元,用于将所述感兴趣区域输入所述卷积层,获取特征图像;

提取单元,用于在所述特征图像中提取多个候选特征区域,并将所述多个候选特征区域输入所述N个级联的R‑CNN检测网络,同时获取当前输入的当前R‑CNN检测网络的级联顺序M;

第一处理单元,用于若M大于等于1且小于N,则根据所述当前R‑CNN检测网络对应的交并比阈值在所述多个候选特征区域中,确定多个参考特征区域,并将所述多个参考特征区域输入至下一个R‑CNN检测网络;

第二处理单元,用于若M等于N,则根据所述当前R‑CNN检测网络对应的交并比阈值在上一个R‑CNN检测网络输出的多个参考特征区域中,确定目标特征区域和与所述目标特征区域对应的目标缺陷信息;

确定单元,用于根据所述目标特征区域和所述目标缺陷信息确定所述待检测物体的缺陷信息。

10.如权利要求9所述的无人机巡检装置,其中,当所述特征图像为一个时,所述卷积层包括P个标准卷积子层和Q个变形卷积子层,Q小于等于P,所述Q个变形卷积子层中的每个变形卷积子层的前一个卷积子层为所述标准卷积子层,所述获取单元具体用于:将所述感兴趣区域输入所述卷积层,并确定当前输入的当前卷积子层的顺序A;

若A等于1,则根据所述当前卷积子层对所述感兴趣区域进行卷积计算,获取候选特征图像,并将所述候选特征图像输入下一层卷积子层;

若A大于1且小于Q+P,则获取所述当前卷积子层的第一子层类型;

若所述第一子层类型为所述标准卷积子层,则根据所述当前卷积子层对上一层卷积子层输出的候选特征图像进行卷积计算,获取新的候选特征图像,并将所述新的候选特征图像输入下一层卷积子层;

若所述第一子层类型为所述变形卷积子层,则根据所述变形卷积子层对应的卷积核偏移值对上一层标准卷积子层的卷积核偏移后,根据偏移后的卷积核对所述上一层标准卷积子层输出的候选特征图像进行卷积计算,获取新的候选特征图像,并将所述新的候选特征图像输入下一层卷积子层;

若所述A等于Q+P,则获取所述当前卷积子层的第二子层类型;

若所述第二子层类型为所述标准卷积子层,则根据所述当前卷积子层对上一层卷积子层输出的候选特征图像进行卷积计算,获取所述特征图像;

若所述第二子层类型为所述变形卷积子层,则根据所述变形卷积子层对应的卷积核偏移值对上一层标准卷积子层的卷积核偏移后,根据偏移后的卷积核对所述上一层标准卷积子层输出的候选特征图像进行卷积计算,获取所述特征图像。

11.如权利要求9所述的无人机巡检装置,其中,当所述特征图像为多个时,所述卷积层包括多层卷积子层,所述获取单元具体用于:将所述感兴趣区域输入所述卷积层,并确定当前输入的当前卷积子层的顺序号B;

若B属于预设的顺序号集合,则提取所述当前卷积子层输出的参考特征图像,其中,所述顺序号集合中包含多个预设顺序号;

根据所述顺序号集合中所有预设顺序号对应的所有参考特征图像,获取多个所述特征图像。

12.如权利要求11所述的无人机巡检装置,其中,当所述预设顺序号为多个时,所述获取单元具体用于:将所述顺序号集合中的最小预设顺序号对应的参考特征图像,确定为所述特征图像;

确定所述顺序号集合中小于每个非最小预设顺序号对应的参考预设顺序号;

将所述每个非最小预设顺序号和对应的参考预设顺序号对应的所有参考特征图像,融合得到与所述每个非最小预设顺序号对应的所述特征图像。

13.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑6中任一项所述的无人机巡检方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑6中任一项所述的无人机巡检方法。