1.一种基于深度学习的检测冠脉造影有无完全闭塞病变的系统,其特征在于,该系统包括:视频输入模块、卷积神经网络模块、编解码注意力模块和分类模块;其中,视频输入模块,用于使用张量形式按照时间顺序提取冠脉造影视频的张量序列,并将提取的张量序列按照时间顺序逐帧输入至卷积神经网络模块中;
卷积神经网络模块,用于对张量序列逐帧提取特征序列,并将提取的特征序列输入至编解码注意力模块中;
编解码注意力模块,用于为特征序列分配注意力权重,得到加权特征序列;将特征序列和加权特征序列输入到分类模块中;
分类模块包括卷积LSTM(Long short-term memory长期短暂记忆)和全连接层,卷积LSTM对特征序列和加权特征序列提取时空特征,并将提取的时空特征输入至全连接层得到完全闭塞病变的存在概率。
2.如权利要求1所述的系统,其特征在于,所述视频输入模块,用于使用张量形式按照时间顺序提取冠脉造影视频的张量序列,包括:使用张量形式按照时间顺序提取冠脉造影视频的张量序列,并对张量序列进行归一化处理;
其中,使用的张量形式为五维向量形式,具体表示为B*D*C*W*H;其中,B标识视频样本序号,D标识视频帧序列长度,C标识特征通道数,因图片以RGB三通道形式读取而固定C为3,W为造影视频中单帧宽度,H为造影视频中单帧高度;
提取操作为:T=f(V;W,H),其中,v是视频序列;
归一化处理包括: 其中μT=[μR,μG,μB]是视频RGB三个通道的均值,σT=[σR,σG,σB]是RGB三通道的方差。
3.如权利要求1所述的系统,其特征在于,卷积神经网络模块对张量序列逐帧提取特征序列,包括:以Resnet-50为基本框架,使用多个堆叠的残差卷积块对张量序列逐帧提取特征序列,每个残差卷积块所提取的特征通过非线性单元ReLU激活送入下一个残差卷积块;
采取dropout(随机失活)方法,按照50%概率随机将每个残差卷积块的输出置零。
4.如权利要求1所述的系统,其特征在于,所述编解码注意力模块,包括:由多个卷积LSTM层组成的编码部分和由多个卷积LSTM层组成的解码部分;以及在编码部分和解码部分中具有相同特征分辨率的卷积LSTM层之间加入了横向连接,用以传递解码时需要的额外语义信息;
编码部分的编码任务是逐步提取出更抽象的、分辨率更低的特征序列;
解码部分的解码任务是对编码部分提取出的特征序列逐步解析并恢复分辨率,最终解析成注意力权重;
所述卷积LSTM是将传统全连接形式LSTM中的全连接层改为卷积层,以保留特征像素间的空间相关性;
特征序列经过编码部分编码及解码部分解码,最终生成注意力权重,所产生的注意力权重由辅助损失函数进行弱监督。
5.如权利要求4所述的系统,其特征在于,每个卷积LSTM层的运算具体可表示为:ht=ot·tanh(ct)
其中“*”代表卷积,“·”代表元素乘法,ft,it,ct,ot,ht代表t时刻卷积LSTM中的隐含中间状态,W为编解码结构中卷积LSTM的卷积核参数,b为偏置,S为横向连接传递的特征输入,仅在解码器中有非零向量值。
6.如权利要求4或5所述的系统,其特征在于,所述辅助损失函数为:Laux(x,indexl)=((peak(x)-indexl))2其中x为注意力权重序列的L1范数,β为增益系数,indexl为人工标注的含有显著病变视频帧的帧号。
7.如权利要求1-6之一所述的系统,其特征在于,编解码注意力模块,用于为特征序列分配注意力权重,得到加权特征序列;将特征序列和加权特征序列输入到分类模块中,包括:将生成的注意力权重与特征序列元素相乘,完成对特征序列的加权,得到加权特征序列;
并将特征序列和加权特征序列输入到具有相同参数的分类模块中。
8.如权利要求1所述的系统,其特征在于,分类模块包括卷积LSTM和全连接层;
卷积LSTM是单层卷积LSTM层,代替传统全连接形式的LSTM来保留特征像素间的空间相关性;
全连接层由多层接有ReLU(修正线性单元)非线性激活单元的全连接层组成。
9.如权利要求1或8所述的系统,其特征在于,将特征序列和加权特征序列视为两个阶段,并以阶段损失函数强制加权特征序列再经过分类模块后拥有更准确的检测结果;
具体阶段损失函数可表示为:
其中inc表示增量, 表示加权之前的正确类别的分类概率, 表示加权之后正确类别的分类概率。
10.如权利要求1、8或9所述的系统,其特征在于,分类模块,将上述所有损失函数和分类交叉熵损失函数相加作为模型的目标函数,使用反向传播算法逐步更新参数,降低损失函数的值,得到最优的模型,使用最优的模型参数检测有无完全闭塞病变。