1.基于视频脉搏波的同步无创血糖血压监测系统,其特征是,包括:获取模块,其被配置为:获取监测对象手指指尖视频;
预处理模块,其被配置为:对监测对象手指指尖视频进行预处理,得到视频的频率表示和时间表示;
监测模块,其被配置为:将视频的频率表示和时间表示,均输入到训练后的同步无创血糖血压监测网络中,输出血糖血压的监测结果;
所述训练后的同步无创血糖血压监测网络,其网络结构包括:第一骨干网络和第二骨干网络;所述第一骨干网络,用于对视频的时间表示进行特征提取,得到时间特征;所述第二骨干网络,用于对视频的频率表示进行处理,得到频率特征;对时间特征和频率特征进行融合得到血糖值和血压值;
所述第一骨干网络,其网络结构包括:第一编码器;第一编码器的输入端用于输入视频的时间表示;第一编码器的输出端连接第一分类器MLP的输入端;其中,所述第一分类器MLP,内部结构包括:依次连接的全连接层FC1、批归一化层BN1、激活函数层ReLU1、全连接层FC2、批归一化层BN2和激活函数层ReLU2;
所述第一编码器,内部结构包括:依次连接的卷积层C1、激活函数层ReLU3、批归一化层BN3、Resblock层、卷积层C2、激活函数层ReLU4、批归一化层BN4、SE_Connect层、卷积层C3、激活函数层ReLU5和全局平均池化层;
所述SE_Connect层,内部结构包括:依次连接的取平均值层Mean、全连接层FC、激活函数层ReLU、全连接层FC、激活函数层sigmoid;Mean层的输入端还与激活函数层sigmoid的输出端连接;
所述Resblock层,内部结构包括:三个分支:第一分支、第二分支和第三分支;其中,第一分支,包括:依次连接的卷积层、批量归一化层BN和激活函数层Relu层;其中,第二分支,包括:依次连接的卷积层、批量归一化层BN和激活函数层Relu层;其中,第三分支,包括:依次连接的卷积层、批量归一化层BN和激活函数层Relu层;其中,第一分支的激活函数层Relu层的输出端与第二分支的卷积层的输入端连接;其中,第二分支的激活函数层Relu层的输出端与第三分支的卷积层的输入端连接;第一分支、第二分支和第三分支的输出端进行拼接后,作为Resblock层的输出端;
所述第二骨干网络,其网络结构包括:深度残差网络ResNet;深度残差网络ResNet的输入端用于输入视频的频率表示;深度残差网络ResNet的输出端与本地连接联合单元LCU的输入端连接;本地连接联合单元LCU的输出端连接第二分类器MLP的输入端;其中,本地连接联合单元LCU,内部结构包括:依次连接的卷积层PWConv、全局平均池化层和激活函数层sigmoid;所述卷积层PWConv,内部结构包括:依次连接的卷积层、批量归一化层和激活函数层。
2.如权利要求1所述的基于视频脉搏波的同步无创血糖血压监测系统,其特征是,所述预处理模块,具体包括:多通道信息提取单元,其被配置为:从获取的视频中,提取RGB空间图像和YUV空间图像的通道信息,将提取的通道信息组成脉搏波信号;
滤波处理单元,其被配置为:对脉搏波信号进行滤波处理,将滤波处理后的信号去除基线漂移,进行归一化处理,将归一化处理后的脉搏波信号视为视频的时间表示;
变换单元,其被配置为:对归一化处理后的脉搏波信号,采用短时傅里叶变换算法进行处理,得到视频的频率表示。
3.如权利要求1所述的基于视频脉搏波的同步无创血糖血压监测系统,其特征是,所述训练后的同步无创血糖血压监测网络,其训练过程包括:构建训练集和测试集;所述训练集和测试集均为已知血糖值和血压值的检测对象的指检视频;
将训练集输入到模型中,对模型进行训练,当模型的总损失函数值不再下降时,停止训练,得到初步训练的模型;
再将测试集输入到初步训练的模型中,进行测试,当测试结果的准确率超过设定阈值时,表示当前初步训练的模型为训练后的同步无创血糖血压监测网络;当测试结果的准确率低于设定阈值时,更换训练集,重新进行训练。
4.如权利要求3所述的基于视频脉搏波的同步无创血糖血压监测系统,其特征是,视频中提取到的时间和频率成对输入分别记为 和 ,是对时间维度上的表示,是对频率维度上的表示;在第一骨干网络中,第一编码器生成的特征表征为 ,表示为 ;在第二骨干网络中,第二编码器生成的特征表征为 ,表示为 ;考虑到提取的特征表示能够代表原始信息,使用一个基于本地连接联合LCU分类器输出 损失函数和一个MLP分类器输出 损失函数,第一骨干网络中,对于 的每个通道,确定时态视图损失 :
;
其中, 表示提取到的时间特征, 表示分类器, 表示交叉熵损失函数或均方误差损失函数, 表示时间视图损失;
第二骨干网络中,本地连接联合LCU的定义为:
;
其中, 是调整聚合特征大小的逐点卷积层,以降低输入特征图的维数,,其中H W为输入特征映射的分辨率,为特征通道数; 表示激活函数; 表示卷积层, 表示全局平均池化层; 表示提取到的频率特征;
表示本地连接联合;
为频率视图损失, 表示为:
;
其中, 表示分类器, 表示本地连接联合, 表示提取到的频率特征, 表示交叉熵损失函数或均方误差损失函数;
预测血糖血压重建损失公式为:
;
;
其中, 和 被用来平衡组合损失, 中的损失函数 采用交叉熵损失函数, 对应的 采用均方误差损失函数MSE, 表示血压的重建损失, 表示血糖的重建损失;
总损失函数 为:
;
其中, 表示可学习的参数,可动态调整任务权重, 表示血压的重建损失,表示血糖的重建损失。