利索能及
我要发布
收藏
专利号: 2021106907756
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-11-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于微表情分析的睡眠障碍判别方法,包括:

步骤1)、精神疾病专家问诊视频数据预处理,具体包括:

(1.1)整理精神疾病专家问诊视频,根据个人截取问诊的核心片段;

(1.2)使用市面上的面部特征点提取工具,对问诊视频片段中的人脸进行特征点提取,得到按时间戳排序的68个面部三维坐标点数据;

(1.3)手动截取问诊视频中的眼部轮廓图片;

(1.4)检查提取的特征点数据,清洗其中置信度低的数据,手动修正眼部轮廓图片中的错误内容;

步骤2)、训练睡眠障碍面部特征点分析识别模型,具体包括:

(2.1)提取步骤1获得的面部特征点数据集,提取面部特征点所属者的诊断结果作为标签,将特征点序列与标签对应起来,完成训练集,验证集和测试集的制作;

(2.2)搭建TCN时间序列模型,TCN使用十层因果卷积,卷积核大小设置为5,隐藏层的神经元个数设置为128,输出结果为0和1,即是否有睡眠障碍;

(2.3)构建二元交叉熵损失函数;损失函数公式如(1‑1)所示:(2.4)将训练集面部特征点数据、标签作为输入信号,输入搭建的睡眠障碍识别模型,采用经过DAIC‑WOZ Depression Database预训练模型进行训练,将面部特征点数据变成一个3维的向量;向量输入TCN因果卷积层中,将每一个时序的输出向量经过大小为5的一维卷积核卷积后送入隐藏层,取最后一层隐藏层的所有神经元输出向量进行加权,并将结果作为特征向量,再选择Softmax函数进行分类,得到输出信号,即是否有睡眠障碍;

步骤3)、训练睡眠障碍眼部轮廓分析识别模型,具体包括:

(3.1)提取步骤1获得的眼部轮廓图片数据集,提取眼部轮廓图所属者的诊断结果作为标签,将图片与标签对应起来,完成训练集,验证集和测试集的制作;

(3.2)搭建YOLOv4视频目标检测模型,YOLOv4输入图片尺寸为412*412,权重衰减正则值设置为0.0005,初始学习率设置为0.0013,使用Mosaic数据增强,输出结果为患有睡眠障碍的程度轻度、中度和重度三个标签及其置信度;

(3.3)构建CIoU Loss函数;损失函数公式如(1‑2)所示:(3.4)将训练集图片、标签作为输入信号,输入搭建的睡眠障碍眼部轮廓分析模型,采用经过ImageNet预训练的模型权重进行迁移学习,将输入的图片变成3通道的二维向量,通过多次卷积操作提取特征向量,选用PANet和SPPNet对主干特征提取网络得到的特征向量进行加强提取,最后得到的特征向量输入YOLOHead取得结果,即睡眠障碍的程度;

步骤4)、识别用户的睡眠障碍情况,具体包括:

(4.1)选择要诊断的用户问诊视频,提取特征点数据;

(4.2)加载步骤2中保存的睡眠障碍面部特征点分析识别模型,输入(4.1)中得到的特征点数据,得到用户是否患有睡眠障碍的结果;

(4.3)加载步骤3中保存的睡眠障碍眼部轮廓分析识别模型,输入视频数据,得到视频全程中用户眼部轮廓的检测结果;

(4.4)综合步骤(4.2)和(4.3)中得到的结果,综合给出用户睡眠障碍诊断情况。

2.如权利要求1所述的一种基于微表情分析的睡眠障碍判别方法的系统,其特征在于:YOLOv4输入图片尺寸为412*412,权重衰减正则值设置为0.0005,初始学习率设置为

0.0013。

3.实施权利要求1所述的一种基于微表情分析的睡眠障碍判别方法的系统,其特征在于:包括依次连接的精神疾病专家问诊视频数据预处理模块、睡眠障碍面部特征点分析识别模型训练模块、睡眠障碍眼部轮廓分析识别模型训练模块、用户的睡眠障碍情况识别模块。