1.一种基于深度学习的中医望诊面部划分方法,其特征在于,所述方法包括以下步骤:步骤1:对视频图像进行抽帧,采用基于深度学习的目标检测算法进行人脸检测;
步骤2:进行面部解析和分割,得到第一分割掩膜;
步骤3:进行关键点检测和人脸区域划分,得到第二分割掩膜;
步骤4:对所述第一分割掩膜和所述第二分割掩膜的掩膜区域进行修正,得到人脸面部的关键区域图像;所述对视频进行抽帧,采用基于深度学习的目标检测算法进行人脸检测包括:S1:针对视频图像进行关键帧抽取,选取N个关键帧的图像作为S2的输入;
S2:对关键帧图像使用FasterRCNN进行人脸检测将目标区域按照检测框进行分割;
所述进行面部解析和分割,得到第一分割掩膜包括:
S3:将S2分割的人脸图像利用BiSeNet进行面部解析和部位分割,得到第一分割掩膜,记为M1;
所述进行关键点检测和人脸区域划分,得到第二分割掩膜包括:S4:将S2分割的人脸图像利用Dlib库进行人脸68个关键点检测,检测的关键点的集合记为S1,S1中的第i个关键点记为Pi,S1={P0,P2,…,P67};
S5:根据人脸面部上待识别的预定区域的分布使用CV2.Polylines进行连线区域分割,并使用CV2.FillPoly生成掩膜,得到第二分割掩膜,记为M2;
所述对所述第一分割掩膜和所述第二分割掩膜的掩膜区域进行修正,得到人脸面部的关键区域图像包括:S6:在(M1,M2)基础上使用CV2.bitwise_and进行修正得到最终修正的掩膜M3;
S7:将掩膜结果M3应用到按照检测框进行分割的图片上得到最终按人脸面部上待识别的预定区域分割后的关键区域图像;
S6的修正过程如下:如果区域为明堂则选用M1的鼻子区域作为M3的结果,其他区域则使用M1的面部区域与M2的对应区域做位与运算作为掩膜结果M3。
2.一种基于深度学习的中医望诊面部划分系统,其特征在于,所述系统包括:检测模块,用于对视频图像进行抽帧,采用基于深度学习的目标检测算法进行人脸检测;
解析模块,用于进行面部解析和分割,得到第一分割掩膜;
划分模块,用于进行关键点检测和人脸区域划分,得到第二分割掩膜;
修正模块,用于对所述第一分割掩膜和所述第二分割掩膜的掩膜区域进行修正,得到人脸面部的关键区域图像;
所述检测模块对视频进行抽帧,采用基于深度学习的目标检测算法进行人脸检测包括:针对视频图像进行关键帧抽取,选取N个关键帧的图像作为输入数据;
对关键帧图像使用FasterRCNN进行人脸检测将目标区域按照检测框进行分割;所述解析模块进行面部解析和分割,得到第一分割掩膜包括:将分割的人脸图像利用BiSeNet进行面部解析和部位分割,得到第一分割掩膜,记为;
所述划分模块进行关键点检测和人脸区域划分,得到第二分割掩膜包括:将分割的人脸图像利用Dlib库进行人脸68个关键点检测,检测的关键点的集合记为S1,S1中的第i个关键点记为Pi,S1={P0,P2,…,P67};
根据人脸面部上待识别的预定区域的分布使用CV2.Polylines进行连线区域分割,并使用CV2.FillPoly生成掩膜,得到第二分割掩膜,记为M2;所述修正模块对所述第一分割掩膜和所述第二分割掩膜的掩膜区域进行修正,得到人脸面部的关键区域图像包括:在(M1,M2)基础上使用CV2.bitwise_and进行修正得到最终修正的掩膜M3;
将掩膜结果M3应用到按照检测框进行分割的图片上得到最终按人脸面部上待识别的预定区域分割后的关键区域图像;
S6的修正过程如下:如果区域为明堂则选用M1的鼻子区域作为M3的结果,其他区域则使用M1的面部区域与M2的对应区域做位与运算作为掩膜结果M3。