1.一种基于虚拟现实的无人机集群控制方法,其特征在于,所述基于虚拟现实的无人机集群控制方法包括:用户佩戴头显设备进入虚拟环境;所述头显设备上搭载有前置摄像头及深度传感器;
通过所述头显设备实时采集用户的初步手势图像及用户的眼动数据;所述初步手势图像包括初步RGB图像及初步深度图像;
从所述初步手势图像中识别用户的手势动作,具体包括:
针对所述初步RGB图像中的任一像素点,采用公式 ,
, 调整所述像素点的每个颜色通道值,以得到预处理
RGB图像;其中,R为所述初步RGB图像中所述像素点的红色通道值,G为所述初步RGB图像中所述像素点的绿色通道值,B为所述初步RGB图像中所述像素点的蓝色通道值,为预处理RGB图像中所述像素点的红色通道值,为预处理RGB图像中所述像素点的绿色通道值,为预处理RGB图像中所述像素点的蓝色通道值, 为所述初步RGB图像中红色通道的平均值, 为所述初步RGB图像中绿色通道的平均值, 为所述初步RGB图像中蓝色通道的平均值;
对所述预处理RGB图像进行高斯模糊处理,得到降噪RGB图像;
针对所述初步深度图像中的任一像素点,采用公式
将所述像素点的深度像素值转换为实际距离,得到预
处理深度图像;其中,为所述像素点的深度像素值, 为深度值的最小可能值,是深度传感器能够测量到的最近距离, 为深度值的最大可能值,是深度传感器能够测量到的最远距离, 为对应于 时的实际距离最小值, 为对应于 时的实际距离最大值;
将所述降噪RGB图像与所述预处理深度图像结合,得到最终手势图像;
采用Canny边缘检测器对所述最终手势图像进行边缘检测,并提取手部轮廓,得到手部轮廓图像;
采用卷积神经网络,根据所述手部轮廓图像,确定所述用户的手势动作;所述卷积神经网络为预先采用训练样本集进行训练得到的;所述训练样本集中包括多组手部轮廓样本图像及其对应的手势动作;
基于预先建立的映射表确定所述用户的手势动作对应的无人机控制指令;所述映射表中包括多组键值对,每组键值对中的键表示手势动作,每组键值对中的值表示无人机控制指令;
根据所述用户的眼动数据确定对应的无人机控制指令,具体包括:根据所述用户的眼动数据,提取所述用户的眼动特征;所述眼动数据包括注视、注视点的移动、眨眼及闭眼;所述眼动特征包括设定时段内的注视持续时间、注视点的变化量、注视点的移动路径、眨眼频率及闭眼持续时长;
采用预先训练好的支持向量机,对所述用户的眼动特征进行分类,确定所述用户的眼动特征对应的无人机控制指令;
基于所述用户的手势动作对应的无人机控制指令以及所述用户的眼动数据对应的无人机控制指令,控制无人机集群的飞行状态,并在所述虚拟环境中实时渲染所述无人机集群的飞行状态;所述飞行状态包括所述无人机集群中每架无人机的位置、速度及方向;
基于所述用户的手势动作对应的无人机控制指令以及所述用户的眼动数据对应的无人机控制指令,控制无人机集群的飞行状态,具体包括:根据所述用户的手势动作对应的无人机控制指令以及所述用户的眼动数据对应的无人机控制指令,确定手势动作与眼动数据的优先级;
在所述手势动作的优先级比所述眼动数据的优先级高时,基于所述用户的手势动作对应的无人机控制指令,采用领航者‑跟随者算法控制无人机集群的飞行状态;
在所述眼动数据的优先级比所述手势动作的优先级高时,基于所述用户的眼动数据对应的无人机控制指令,采用领航者‑跟随者算法控制无人机集群的飞行状态;
在所述手势动作的优先级与所述眼动数据的优先级相同时,基于所述用户的手势动作对应的无人机控制指令及所述用户的眼动数据对应的无人机控制指令,采用领航者‑跟随者算法控制无人机集群的飞行状态;
其中,预先在所述无人机集群中指定领航者,所述无人机集群中,除领航者以外的无人机均为跟随者;所述领航者直接响应所述无人机控制指令,所述跟随者跟随所述领航者调整位置、速度及方向。
2.根据权利要求1所述的基于虚拟现实的无人机集群控制方法,其特征在于,所述头显设备为HTC Vive XR头显。
3.根据权利要求1所述的基于虚拟现实的无人机集群控制方法,其特征在于,所述头显设备上搭载有全脸追踪器,通过所述全脸追踪器实时采集用户的眼动数据。
4.根据权利要求1所述的基于虚拟现实的无人机集群控制方法,其特征在于,所述映射表中的手势动作包括单独手势及组合手势;
在通过所述头显设备实时采集用户的初步手势图像之前,所述基于虚拟现实的无人机集群控制方法还包括:接收用户选择的手势模式;所述手势模式为单独手势或组合手势;
基于预先建立的映射表确定所述用户的手势动作对应的无人机控制指令,具体包括:在用户选择的手势模式为单独手势时,将所述用户的手势动作与所述映射表中的单独手势进行匹配,并根据与所述用户的手势动作匹配的单独手势确定无人机控制指令;
在用户选择的手势模式为组合手势时,根据设定时段内各时刻识别到的用户的手势动作确定连续手势动作,将所述连续手势动作与所述映射表中的组合手势进行匹配,并根据与所述连续手势动作匹配的组合手势确定无人机控制指令。
5.根据权利要求1所述的基于虚拟现实的无人机集群控制方法,其特征在于,所述无人机控制指令中包括速度偏移量及方向偏移量;
采用以下公式更新所述领航者的位置和方向:
;
;
其中, 为更新后领航者的位置, 为更新前领航者的位置, 为更新前领航者的速度, 为速度偏移量, 为更新后领航者的方向, 为更新前领航者的方向, 为方向偏移量;
采用以下公式更新跟随者i的位置、速度和方向:
;
;
;
其中, 为更新后跟随者i的位置, 为跟随者i相对于领航者的位置偏移,为更新后跟随者的速度, 为更新后跟随者的方向。
6.根据权利要求1所述的基于虚拟现实的无人机集群控制方法,其特征在于,所述用户的手势动作包括选择手势、移动手势及队形手势;所述选择手势用于选择无人机;所述移动手势用于调整已选择无人机的飞行状态;所述队形手势用于调整无人机集群的队形;
所述选择手势包括单选动作、矩形框选范围、自定义范围及全选动作;
所述移动手势包括起飞与降落、前进与后退、左右移动、自定义路径、目标锁定、领航者选择、紧急停止与归队及取消动作;
所述队形手势包括规则队形及自定义队形。