1.一种基于3D全息投影技术的互动医疗教学问诊系统，其特征在于，其步骤为：步骤1：双手位于深度相机视野范围内，通过调用OpenCV库视频采集模块进行视频流的采集；

步骤2：对步骤1中采集的每一帧通过Google开源框架MediaPipHands进行手部关键点检测，获取每一帧中所有手部21个关键点；

+

Hi＝{(xj,yj)|0<＝j<＝20and j∈N}，i∈N 为手的编号，其中Hi为第i只手的21关键点信息，j为手部关键点的编号，x，y为图像坐标系中关键点的坐标；

步骤3：通过调用深度相机SDK，根据步骤2获取的每一只手的21关键点信息，计算每一只手的21关键点深度信息，记Di＝{dj|0<＝j<＝20and j∈N}，Di为第i只手21关键点的深度信息；

步骤4：根据步骤3中获取的每一手的21关键点深度信息，通过计算21个关键点深度信息的均值，计算每一只手距离深度相机的物理距离，公式如下：其中n＝20为关键点的最大编号，从零开始编号，共n+1个关键点；Li为第i只手距离深度相机的物理距离；

步骤5:根据步骤4计算的每一只手距离深度相机的物理距离L，获取距离深度相机最近k +的两只手或者一只手，记为F＝{Hi|k＝(1or 2)and i∈N}，通过手势的深度信息，可以对相机视野中出现的多只手进行过滤，解决多个用户人机交互的问题；

步骤6：根据步骤5获取的最近手势F，提取每一只手部的ROI区域，提取方法：根据手部的21关键点在图像坐标系中的位置，分别获取在图像坐标系X轴和Y轴最小值和最大值，记为xmin,xmax,ymin,ymax，手部ROI区域提取公式如下：xmin＝min(x0,x1,..,x20)

xmax＝max(x0,x1,..,x20)

ymin＝min(y0,y1,..,y20)

ymax＝min(y0,y1,..,y20)

Ri＝{xmin,xmax,ymin,ymax},Ri为第i只手的ROI区域；

步骤7：根据步骤1获取的21关键点信息、步骤6获取的手势ROI区域，进行多算法融合处理，生成控制指令信号；

1)训练分类器：分类器是基于Pytorch搭建的EfficientNetV2网络，数据集是使用多个RGB相机在不同场景下采集和制作手势数据集，然后在自己定义的数据集上进行模型的训练；

2)将提取的手势ROI区域输入到训练好的分类器进行分类，模型输出手势的类别class和概率p；

3)对模型输出手势类别和概率结果进行过滤，输出过滤后的手势G，过滤条件如下：其中class为控制指令手势，需要进行下面步骤4的处理，other为非控制指令手势，视为无效指令，终止以下步骤；

4)对过滤后手势再融合关键点特征信息进行级联判定手势类别，判定方法是：通过判断分类器输出的手势部分关键点在当前帧中的位置信息，与其预先设定的手势的关键点位置模板是否匹配，最后输出手势控制指令Z；

判定方法如下：

其中T为抽象出的预先设定手势类别关于关键点信息模板函数，F为需要判定手势关键点即为距离相机最近的手，class为步骤3输出的手势类别，Z为最终输出手势指令；

步骤8：根据步骤7生成的控制指令信号Z，对3D模型进行手势控制，做出相应的模型变换并实时投影至投影金字塔显示。