1.一种基于多轨迹智能预测的航拍树木数量精准统计方法,其特征在于:按如下步骤A至步骤C,获得轻量化飞行器巡检网络;然后应用轻量化飞行器巡检网络,执行步骤i至步骤ii,针对飞行器飞行轨迹下实时所获各航拍图像中树木数量的统计;
步骤A.构建双路特征融合的金字塔结构处理流程,用于实现各层级特征图的融合处
理,然后进入步骤B;
步骤B.以预设骨干网络的输出对接金字塔结构处理流程的输入,金字塔结构处理流程的输出对接预设分类网络的输入,构建以航拍图像为输入,以航拍图像中各树木目标检测框分别所对应预设类型参数信息为输出,构建待训练轻量化飞行器巡检网络,然后进入步骤C;
步骤C.基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的
各幅航拍样本图像,以航拍样本图像为输入,以包含树木目标检测框所对应预设类型参数信息的该航拍样本图像为输出,针对待训练轻量化飞行器巡检网络进行训练,获得轻量化飞行器巡检网络;
步骤i.分别针对飞行器飞行轨迹下实时所获各航拍图像,应用轻量化飞行器巡检网
络,获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息,并结合飞行器所对应各飞行信息,针对各航拍图像,按飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹进行分类,然后进入步骤ii;
步骤ii.分别针对飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹,针对轨迹航拍集中各帧航拍图像对应树木目标检测框参数信息进行分析,完成对全部飞行轨迹下实时所获各航拍图像中树木数量的统计。
2.根据权利要求1所述一种基于多轨迹智能预测的航拍树木数量精准统计方法,其特征在于:所述步骤A中,基于航拍图像依次经过尺度由大至小顺序排列的至少四个下采样处理层,针对其中连续四个下采样处理层分别处理所输出的特征图F1、F2、F3、F4,构建双路特征融合的金字塔结构处理流程如下,用于实现各层级特征图的融合处理,然后进入步骤B;
对应处理输出特征图F4的下采样处理层的输出端依次串联尺度由小至大顺序排列的第一上采样处理层、第二上采样处理层、第三上采样处理层、第四上采样处理层,按如下公式:第一上采样处理层针对特征图F4处理输出特征图F4',同时,第二上采样处理层的输入端对接对应处理输出特征图F3的下采样处理层的输出端,第二上采样处理层针对特征图F4'、以及特征图F3处理输出特征图F3';第三上采样处理层的输入端对接对应处理输出特征图F2的下采样处理层的输出端,第三上采样处理层针对特征图F3'、以及特征图F2处理输出特征图F2';第四上采样处理层的输入端对接对应处理输出特征图F1的下采样处理层的输出端,第四上采样处理层针对特征图F2'、以及特征图F1处理输出特征图F1';其中,convk×k表示卷积操作,k表示相应卷积操作中卷积核的大小, 表示为特征融合过程,ups(·)表示上采样操作;
同时,对应处理输出特征图F3的下采样处理层的输出端依次串联尺度由小至大顺序排列的第五上采样处理层、第六上采样处理层、第七上采样处理层,按如下公式:第五上采样处理层的输入端对接第六上采样处理层的输出端,第五上采样处理层针对特征图F3、以及第六上采样处理层的输出进行处理输出F3”;第六上采样处理层的输入端对接对应处理输出特征图F2的下采样处理层的输出端、第七上采样处理层的输出端,第六上采样处理层针对特征图F3”、特征图F2、以及第七上采样处理层的输出进行处理输出F2”;第七上采样处理层的输入端对接对应处理输出特征图F1的下采样处理层的输出端,第七上采样处理层针对特征图F2”、以及特征图F1处理输出特征图F1”;其中,ω1、ω2、ω3表示预设横向通道相加操作时的权重;
最后,针对特征图F1'、特征图F2'、特征图F4',按如下公式:
获得特征图F4”',其中,downs1/2表示将特征图缩放到原来的 的下采样操作,stride=2
Maxpool (·)表示步长为2的最大池化操作,α、β、γ∈(0,1)为自适应特征融合权重因子,并按如下公式计算获得;
γ=1‑α‑β
其中,λm,m∈{α,β,γ},λm表示当前特征层到目标特征层中下采样缩放的尺度,e表示自然常数;
以及按如下公式:
获得特征图F1”'、特征图F2”'、特征图F3”';
即构成以特征图F1、F2、F3、F4为输入,以特征图F1”'、F2”'、F3”'、F4”'为输出的金字塔结构处理流程。
3.根据权利要求2所述一种基于多轨迹智能预测的航拍树木数量精准统计方法,其特征在于:所述步骤B中,按如下方式,构建待训练轻量化飞行器巡检网络,然后进入步骤C;首先基于MobileNet网络的前六层下采样处理层,由其中第一层下采样处理层的输入端接收航拍图像,第三层下采样处理层、第四层下采样处理层、第五层下采样处理层、第六层下采样处理层分别针对所输入特征图X3、X4、X5、X6,依次获得特征图Y3、Y4、Y5、Y6,即构建预设骨干网络;
然后以特征图Y3、Y4、Y5、Y6依次对应所述特征图F1、F2、F3、F4,输入金字塔结构处理流程,获得对应特征图F1'、F2'、F3'、F4'的特征图P3、P4、P5、P6,对应特征图F1”、F2”、F3”的特征图R3、R4、R5,进而获得金字塔结构处理流程的输出特征图O3、O4、O5、O6;
最后特征图O3、O4、O5、O6输入预设分类网络,由预设分类网络用于检测输出航拍图像中各树木目标检测框分别所对应预设类型参数信息,并标注在相应航拍图像中,构成包含树木目标检测框所对应预设类型参数信息的该航拍样本图像,进而完成待训练轻量化飞行器巡检网络的构建。
4.根据权利要求3所述一种基于多轨迹智能预测的航拍树木数量精准统计方法,其特征在于:所述步骤C中,基于预设数量分别已知图像中各树木目标检测框所对应预设类型参数信息的各幅航拍样本图像,以航拍样本图像为输入,以包含树木目标检测框所对应预设类型参数信息的该航拍样本图像为输出,结合如下目标函数,针对待训练轻量化飞行器巡检网络进行训练,获得轻量化飞行器巡检网络;
s.t.Accuray(O(r·H,r·W,w·C))≥accuray
Memory(χ)≤memory
FPS(χ)≥fps
式中,w、r分别表示轻量化飞行器巡检网络的通道宽度和特征图的分辨率,H、W、C分别表示特征图的高、宽以及通道数,χ(w,r)表示为经过骨干网络和特征融合后网络后总的计算参数,⊙表示参数统计符,l表示预设骨干网络的输出层数,Yl(r·Hl,r·Wl,w·Cl)表示对应层数的骨干网络输出特征图,Accuary(·)表示待训练轻量化飞行器巡检网络对输出特征图O(r·H,r·W,w·C)中目标识别的准确度,即输出特征图O3、O4、O5、O6中目标识别的准确度,accuray表示树木目标检测框会被标注的阈值,Memory(χ)表示待训练轻量化飞行器巡检网络所需的内存空间,memory表示获取航拍图像的飞行器的边端嵌入设备的内存,FPS(χ)表示训练待训练轻量化飞行器巡检网络中参数所需要的处理时间,fps表示获取航拍图像的飞行器检测过程中的预设最低检测要求时间。
5.根据权利要求4所述一种基于多轨迹智能预测的航拍树木数量精准统计方法,其特征在于:所述步骤i中,分别针对飞行器飞行轨迹下实时所获各航拍图像,应用轻量化飞行器巡检网络,获得各航拍图像中各树木目标检测框分别所对应预设类型参数信息,并分别针对飞行器飞行轨迹下实时所获各航拍图像,执行如下处理,实现对各航拍图像,按飞行上升轨迹、飞行下降轨迹、飞行巡航轨迹进行分类,然后进入步骤ii;
定义航拍图像中树木目标检测框坐标中的速度vx,vy:
式中,v表示飞行器的速度,w'表示航拍图像的宽度值,h'表示航拍图像的高度值,L表示飞行器航拍镜头感受野的直径,表示缩放参数,且 ΔL表示飞行器在上升或者下降过程中感受野放大或者缩小的距离,Δh表示飞行器在上升或下降过程的高度差,Δth表示飞行器上升和下降过程所花费的时间;
定义航拍图像中各树木目标检测信息分别对应预设类型参数信息 表示第t帧航
拍图像中第j个树木目标检测框所对应的预设类型参数信息,且预设类型参数信息包括树木目标检测框的左上角坐标 树木目标检测框的宽度 树木目标检测框的高度进一步由第t帧航拍图像中各树木目标检测框所对应的预设类型参数信息 构成第t
帧航拍图像所对应树木目标检测框参数信息集 J表示第t帧航拍
图像中树木目标检测框的数量;
1
将飞行器处理第1帧航拍图像所对应树木目标检测框参数信息集D作为飞行巡航轨迹
航拍集Τoriginal的初始帧,并设置此帧中的树木数量赋值给全局树木统计变量count,以及按如下方式,应用vx、vy进行下一帧的轨迹判断;
假设1:当飞行器航拍高度与轨迹均没有改变时,下一帧与当前帧的位置关系应该满足如下:vy=0
式中, 表示当前第t帧中第j个树木目标检测框的左上角坐标的x轴坐标, 表示前一帧中相对应树木目标检测框的左上角坐标的x轴坐标,tall表示飞行器航拍时间和轻量化飞行器巡检网络处理时间总和,ε表示预设一个大于0的极小阈值;
假设2:当飞行器在航拍过程中处于上升或者下降阶段时,下一帧与当前帧之间的位置关系应该满足如下:Δh>0 or Δh<0
式中, 表示当前第t帧中第j个树木目标检测框的左上角坐标的y轴坐标, 表示前一帧中相对应树木目标检测框的y轴坐标,且Δh>0时,表示飞行器处于上升过程中,Δh<
0时,表示飞行器处于下降过程中;
基于上述轨迹的判断后,将满足假设1的所有包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行巡航轨迹航拍集Τoriginal中;
将满足假设2中上升过程的第1帧航拍图像对应树木目标检测框参数信息集作为飞行
上升轨迹航拍集Τup的初始帧,并将后续满足此关系式的所有包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行上升轨迹航拍集Τup中;
将满足假设2中下降过程的第1帧航拍图像对应树木目标检测框参数信息集作为飞行
下降轨迹航拍集Τdown的初始帧,并将后续满足此关系式的所有包含树木目标检测框所对应预设类型参数信息的航拍样本图像都并入飞行下降轨迹航拍集Τdown中。
6.根据权利要求5所述一种基于多轨迹智能预测的航拍树木数量精准统计方法,其特征在于:所述步骤ii中,按如下方法执行;
1)针对飞行巡航轨迹航拍集Τoriginal中各帧航拍图像对应树木目标检测框参数信息,若相邻两帧航拍图像所对应树木目标检测框参数信息之间满足如下重复帧剔除公式条件;
则判定该相邻两帧航拍图像为重复帧,若不满足上述条件,则判定该相邻两帧航拍图像为非重复帧;式中,IoU(·)表示交并比函数, 表示前一帧航拍图像中第j个树木目标检测框根据vx预测当前帧航拍图像中相同目标的预设类型参数信息,具体为预测树木目标检测框的左上角坐标 预测树木目标检测框宽度预测树木目标检测框高度 η1和η2均为预设阈值参数,其中,η1至少要大于0.8,η2最大不能超过0.1;
2)针对飞行上升轨迹航拍集Τup、飞行下降轨迹航拍集Τdown,关于轨迹航拍集中各帧航拍图像对应树木目标检测框参数信息,按如下公式:针对预测树木目标检测框的宽、高、以及预测树木目标检测框的左上角的y轴坐标进行重构更新,获得 其中,使用+号时表示飞行器下降过程,使用‑号时表示飞行器上升过程;同时,使用隔帧对比修正法,按如下补偿公式:
针对阈值η1、η2进行阈值补偿更新,式中, 分别表示下一帧航拍图像、
下两帧航拍图像、下三帧航拍图像中第j个树木目标检测框的预设类型参数信息,Δt表示两帧航拍图像之间的航拍间隔时长, 表示阈值补偿参数,min(·)表示最小值函数,阈值η1、η2进行阈值补偿更新公式中,飞行器下降过程时使用‑号,飞行器上升过程中使用+号;进一步针对飞行上升轨迹航拍集Τup、飞行下降轨迹航拍集Τdown,若相邻两帧航拍图像所对应树木目标检测框参数信息之间满足如下重复帧剔除公式条件;
则判定该相邻两帧航拍图像为重复帧,若不满足上述条件,则判定该相邻两帧航拍图像为非重复帧;
基于上述分别针对飞行巡航轨迹航拍集Τoriginal、飞行上升轨迹航拍集Τup、飞行下降轨迹航拍集Τdown中重复帧航拍图像的判断后,伴随航拍图像时序,若当前帧航拍图像与上一帧航拍图像为重复帧,则全局树木统计变量count保持不变;若当前帧航拍图像与上一帧航拍图像为非重复帧,则全局树木统计变量count增加基于重复帧剔除公式所识别新树木目标检测框数量进行更新,如此完成对全部航拍图像的统计,实现对全部飞行轨迹下实时所获各航拍图像中树木数量的统计。
7.根据权利要求1至6中任意一项所述一种基于多轨迹智能预测的航拍树木数量精准统计方法,其特征在于:还包括步骤iii如下,执行完步骤ii之后,进入步骤iii;
步骤iii.针对随航拍图像时序,将实时所更新的全局树木统计变量count依次显示于对应的航拍图像上。