利索能及
我要发布
收藏
专利号: 2022114002492
申请人: 广东工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-10
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于循环神经网络结合迁移学习和知识蒸馏的麻醉深度预测方法,其特征在于,包括以下步骤:S1,获取待预测对象的用药量数据以及包括待预测对象的年龄、性别、身高、体重在内的静态协变量信息;

S2,将待预测对象的用药量数据以及静态协变量信息输入预设的麻醉深度预测模型中,得到关于待预测对象的麻醉深度指标值;

其中,所述麻醉深度预测模型基于循环神经网络结合迁移学习和知识蒸馏对预设的训练集进行模型训练后获得;

在模型训练过程中,利用循环神经网络从所述训练集的药物输注历史数据中提取时序特征信息,对提取的时序特征信息进行不同时间段的分布匹配来学习不同时间段共享的公共知识,加入训练集在的样本对象的静态协变量信息,让循环神经网络学习各种动态与静态信息之间的关系;

在模型训练过程中,以教师学生类的知识蒸馏的方法压缩模型的大小,即训练了两个网络:教师模型Mt以及学生模型Ms,分别包括循环神经网络、瓶颈网络以及全连接神经网络;

在模型训练过程中,让学生模型Ms循环神经网络的输出去模仿教师模型Mt循环神经网络的输出;让学生模型Ms瓶颈网络的输出去模仿教师模型Mt瓶颈网络的输出;

在模型训练过程中,通过以下方式进行时序分布匹配,让学生模型Ms循环神经网络的输出去模仿教师模型Mt循环神经网络的输出:

256×7680 256×7680

将门控循环单元的输出维度合并变为Gteacher∈R ,Gstudent∈R ,经过输出维度为120的全连接层,然后经过sigmoid的激活函数,再通过Softmax归一化,得到重要性向量α;取门控循环单元的输出和α计算不同隐藏状态之间的分布差异作为模型的损失函数正则项Lt:其中, 表示在状态t时Di和Dj两个时间段分布的重要性, 表示余弦相似性计算。

2.根据权利要求1所述的基于循环神经网络结合迁移学习和知识蒸馏的麻醉深度预测方法,其特征在于,所述训练集包括若干样本对象的静态协变量信息以及样本对象在历史时刻的麻醉药物用药量数据与麻醉深度指标值;

所述训练集经过以下预处理:

以线性插值的方式对麻醉药物用药量数据的缺失数据进行填充;对记录错误的数据,取前一时刻与后一时刻的均值进行修改;对麻醉深度指标值采用局部加权散点图平滑的方式进行平滑处理;

在预处理后,按预设的时间间隔对所述麻醉药物用药量数据进行采样;以各采样点在预设时长内的累计用药量作为特征,建立预设序列长度的时间窗口作为学生模型Ms的输入数据;以各采样点在预设时长内的累计用药量以及样本对象在历史时刻的麻醉深度指标值作为特征,建立预设序列长度的时间窗口作为教师模型Mt的输入数据。

3.根据权利要求2所述的基于循环神经网络结合迁移学习和知识蒸馏的麻醉深度预测方法,其特征在于,在模型训练过程中,通过以下方式对所述教师模型Mt以及学生模型Ms的输入数据进行时序分布量化:对于输入数据 n为数据总长度,p为数据的

特征数,mi为每一个采样点的序列长度;将输入数据D均匀的划分为10段,使用余弦相似性衡量两个时间段之间数据分布差异的大小,通过贪婪算法将10段的输入数据划分为5个两两数据分布差异最大的时间段:D={D1,D2,D3,D4,D5}。

4.根据权利要求3所述的基于循环神经网络结合迁移学习和知识蒸馏的麻醉深度预测方法,其特征在于,所述循环神经网络为门控循环单元,在模型训练过程中,将时序分布量化后得到的结果输入到门控循环单元中,使门控循环单元学习累计用药量中的时序特征信息,学习到每个时期的预测知识;

B×L×H

所述教师模型Mt以及学生模型Ms的门控循环单元的输出分别为Gteacher∈R ,GstudentB×L×H∈R ,其中B表示训练的批次大小,L表示时间序列窗口长度,H表示GRU的隐藏状态大小;

分别取Gteacher和Gstudent的最后的时刻作为门控循环单元的中间特征表示分别记为Gtmid∈

256×64 256×64

R ,Gsmid∈R ,利用余弦相似性计算教师模型和学生模型门控循环单元的中间层特征的差异并作为学生模型损失函数的正则项记为LG:LG=d(Gtmid,Gsmid)

d(Gtmid,Gsmid)表示余弦相似性计算。

5.根据权利要求4所述的基于循环神经网络结合迁移学习和知识蒸馏的麻醉深度预测方法,其特征在于,在模型训练过程中,通过以下方式让学生模型Ms瓶颈网络的输出去模仿教师模型Mt瓶颈网络的输出:

256×64 256×64

将门控循环单元的输出的中间特征表示Gtmid∈R 、Gsmid∈R 与样本对象的静态

256×4 256×68 256×68

协变量信息S∈R 拼接为Tteacher∈R ,Tstudent∈R ,经过输出维度为128的全连接

256×128 256×128

神经网络,再经过Relu激活函数,得到Ttout和Tsout,Ttout∈R ,Tsout∈R ,包含动态时序信息特征和样本对象的静态协变量信息;利用余弦相似性计算所述教师模型Mt以及学生模型Ms的瓶颈网络输出Ttout和Tsout的相似性,也作为学生模型Ms损失函数的正则项LS:LS=d(Ttout,Tsout);

其中,d(Ttout,Tsout)为余弦相似性计算;

将瓶颈网络的输出经过输出维度为1的全连接神经网络得到麻醉深度指标记为yi,将预测BIS值和真实标签做L2损失,分别记为Ltpred、Lspred:θ为模型参数。

6.根据权利要求5所述的基于循环神经网络结合迁移学习和知识蒸馏的麻醉深度预测方法,其特征在于,在模型训练过程中:所述教师模型Mt的损失函数为Lteacher=Lt+Ltpred;

所述学生模型Ms的损失函数为Lstudent=Lt+Lspred+LG+LS。

7.一种存储介质,其上储存有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于循环神经网络结合迁移学习和知识蒸馏的麻醉深度预测方法的步骤。

8.一种计算机设备,其特征在于:包括存储介质、处理器以及储存在所述存储介质中并可被所述处理器执行的计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于循环神经网络结合迁移学习和知识蒸馏的麻醉深度预测方法的步骤。