利索能及
我要发布
收藏
专利号: 2022113895743
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于边云协同决策的目标检测与追踪方法,其特征在于:包括以下步骤:S1、目标检测与追踪模型的构建;

S1中,包括以下步骤:

S1.1目标检测模型优化;

目标检测模型包括边缘节点轻量化目标检测模型和云服务器深层目标检测模型;

所述边缘节点目标检测模型以YOLOV4‑tiny目标检测模型为框架进行优化训练,采用无人机视角的航拍图像作为训练集对边缘节点轻量化目标检测模型进行训练,得到最优边缘节点轻量化目标检测模型,并将最优边缘节点轻量化目标检测模型的权重参数部署在边缘节点无人机的载板载计算机中;

以无人机吊舱实时采集的地面侦察范围内运动物体的视频图像数据作为输入,传入边缘节点板载计算机中的轻量化目标检测模型,进行特定物体的目标检测,当边缘节点轻量化目标检测模型识别到特定物体,将包含特定物体的一帧画面进行保存传入边缘节点目标跟踪模型中;

云服务器中深度学习工作站的目标检测模型基于YOLOV4目标检测模型进行优化训练,采用无人机视角的航拍图像作为训练集对云服务器深层目标检测模型进行训练,得到最优云服务器深层目标检测模型,并将最优云服务器深层目标检测模型的权重参数部署在云服务器中,将边缘节点无人机吊舱采集的图像数据作为输入,实现准确度更高的深层目标检测,并将检测结果传回至边缘节点的目标跟踪模型中;

S1.2目标跟踪模型构建及优化;

目标跟踪模型以SiamRPN跟踪模型为基础进行优化,加入Kalman滤波,实现对目标进行位置轨迹预测,提升目标跟踪的精度及稳定性,并采用无人机视角的航拍视频进行地面移动物体的目标跟踪训练,并将训练优化后的目标跟踪模型部署在边缘节点无人机的板载计算机中;

当目标跟踪模型载入S1.1中目标检测模型输出的包含特定物体的图像,便进行对此物体的目标跟踪,实现保持吊舱实时瞄准被跟踪目标,确保被跟踪目标时刻保持在吊舱视野的中心位置,然后通过定位跟随模型引导无人机实时跟踪目标;

S1.3定位跟随模型构建;

定位跟随模型为多重坐标转换及相对位置计算模型,通过采集无人机自身飞行位姿信息、云台转角信息以及激光测距模块信息,通过齐次坐标转换法实现被定位目标的坐标系转换,得到无人机和被追踪目标之间的相对位置信息,最后根据相对位置信息及无人机本身的GPS位置信息推算出目标的GPS位置信息,利用被跟踪目标的位置信息引导无人机进行飞行决策,实现目标追踪;

S2、基于发布和订阅的分布式通信模型的构建;

S3、通过模糊决策判别机制确定各无人机识别目标物体的准确度权重并进行权重排序,选择最优权重无人机的检测结果准确度与设定阈值比较,从而判断是否启用云服务器进行目标检测,并通过分布式通信模型实现边云协同;

基于边云协同决策的目标检测与追踪系统包括云服务器端和边缘节点端;所述云服务器端包括深度学习工作站、无人机地面站控制平台和云服务器端无线通信模块;所述边缘节点端包括若干个边缘节点无人机飞行系统,每个所述无人机飞行系统包括无人机飞行控制模块、无人机无线通信模块、GPS定位模块、云台吊舱和板载计算机。

2.根据权利要求1所述的一种基于边云协同决策的目标检测与追踪方法,其特征在于:在边缘节点端,所述飞行控制模块搭载气压计、陀螺仪、内置罗盘和加速度计传感器,用于控制无人机的飞行姿态、飞行轨迹、飞行速度、飞行高度、悬停定位动作并记录相关数据,以及控制云台吊舱的拍摄角度;

所述无人机无线通信模块为数传电台和高清数字图传的发射端,用于将飞行控制模块采集的实时飞行数据及云台吊舱采集的实时图像画面传输到云服务器端的无人机地面站控制平台进行实时动态显示;

所述GPS定位模块连接飞行控制模块实现边缘节点无人机室外环境飞行过程中的实时定位;

所述云台吊舱为三轴防抖云台吊舱,在无人机视角下实时采集侦查区域内的图像画面,云台吊舱与边缘节点端无人机无线通信模块连接,通过无线通信,实现在云服务器端的画面实时显示;

所述板载计算机为小型嵌入式板载计算机,加载基于YOLOV4‑tiny的轻量化目标检测模型和基于SiamRPN框架的目标追踪模型;

所述三轴防抖云台吊舱和小型嵌入式板载计算机通过双绞线连接,构成边缘节点的目标检测与追踪系统,云台吊舱将获取的视频流数据通过双绞线传输给板载计算机进行边缘端的目标检测和目标追踪;

所述板载计算机和无人机飞行控制模块连接构成目标追踪执行系统,板载计算机通过对特定目标的检测与追踪实时发布飞行控制指令,飞行控制模块接收飞行控制指令实时调整无人机的飞行姿态,跟随特定目标飞行,实现对特定物体的跟踪。

3.根据权利要求1所述的一种基于边云协同决策的目标检测与追踪方法,其特征在于:在云服务器端,所述深度学习工作站载有基于YOLOV4的目标检测模型,实现对边缘节点无人机传回至云服务器的图像画面进行目标检测;

所述无人机地面站控制平台控制边缘节点无人机完成各种飞行姿态及飞行航线规划,并实时显示无人机相关飞行数据及云台吊舱采集的图像信息;

所述云服务器端无线通信模块为数传电台和高清数字图传的地面接收端,接收边缘节点无人机无线通信模块数传电台和高清数字图传发射端发出的各项无人机飞行数据及云台吊舱采集的图像信息。

4.根据权利要求1所述的一种基于边云协同决策的目标检测与追踪方法,其特征在于:所述板载计算机与云服务器端,在路由覆盖范围内进行Mesh组网形成基于发布和订阅的分布式架构通信模型,实现各边缘节点之间的互联互通,以及各边缘节点与云服务器端的互联互通,实现组网内任意两节点之间的数据交互。

5.根据权利要求1所述的一种基于边云协同决策的目标检测与追踪方法,其特征在于:S2中,在路由覆盖范围内的Mesh组网下将系统中若干个边缘节点无人机上的板载计算机和云服务器均设计为整个通信框架中具有决策能力的单独节点。

6.根据权利要求4所述的一种基于边云协同决策的目标检测与追踪方法,其特征在于:S3中,包括以下步骤:

S3·1以无人机与目标物体的速度差Ve(t)和无人机对地面的高度hf(t)作为输入,设计二维模糊控制器,通过将两关键物理因素的输入数据进行模糊化处理,得到模糊控制量无人机与目标物体的速度差Ve(t)的函数计算公式如下:Ve(t)=Vo(t)‑Vf(t)

Ve(t)=Vf(t)‑Vo(t)

其中,Vo(t)为目标物体实时速度;Vf(t)为跟踪物体无人机的实时速度;

模糊控制量 的函数计算公式如下:

其中,rv为Ve(t)的量化因子,rh为hf(t)的量化因子,Ve为无人机与目标物体理想速度差,Hf为无人机理想对地高度;

S3.2将计算出来的模糊控制量作为输入,根据模糊控制规则,得到准确度权重的模糊量输出Lu,再进行清晰化得到准确度权重Lu0;

二维模糊控制器的模糊控制量 和模糊输出Lu的语言变量为{NB,NS,ZE,PS,PB};其中,NB表示负大,NS表示负小,ZE表示零度,PS表示正小,PB表示正大;

采用重心法对Lu进行清晰化,得到最终的无人机目标检测准确度权重,Lu清晰化的计算方法如下:其中,Lu0为准确化权重,Ku为比例因子,xi∈论域U,n为论域U中的元素总数,Lu(xi)为xi对应的隶属度;

S3.3:根据各边缘节点模糊控制器输出的准确度权重Lu0进行排序决策,选择准确度权重最大的无人机检测特定物体的准确度P0与设定阈值λ比较,若P0<λ,则采用云服务器的目标检测模型对特定物体进行目标检测;若P0>λ,则使用该特定物体的准确度P0作为检测目标物体的准确度,判断其是否为目标物体,从而决定是否跟踪该物体;

S3.4每一个边缘节点经模糊控制器输出及清晰化后得到的准确度权重Lu0,并将Lu0发布到指定话题,该组网内任意节点均能订阅此话题,并进行准确度权重Lu0的排序决策,实现每一节点均具备边缘决策能力,将准确度权重Lu0最大的边缘节点输出的最优检测结果作为边云协同判别机制的输入,边缘节点通过S3.3中的判别机制决定采用边缘节点轻量化目标检测模型的检测结果,或丢弃边缘节点轻量化目标检测模型的检测结果,采取云服务器深层目标检测模型进行目标检测,实现基于模糊决策判别机制的边云协同方法。

7.根据权利要求6所述的一种基于边云协同决策的目标检测与追踪方法,其特征在于:设定阈值λ取值为0.73。