1.一种基于二维图像和注意力机制的心电信号质量评估方法,其特征在于,包括如下步骤:
a)获取采集的原始心电信号S;
b)将获得的原始心电信号S进行分段得到N个心电信号片段,第t个心电信号片段为S′(t),t∈{1,2,...,N},对心电信号片段S′(t)划分类型;
c)将心电信号片段S′(t)转换成二维时频图像S′(t)_2d,对二维时频图像S′(t)_2d进行数据增强操作;
d)建立由FM模块和AM模块构成的FM_FeatureNet模型,将数据增强后的二维时频图像S′(t)_2d输入到FM_FeatureNet模型中的FM模块中,输出得到局部特征图;
e)将数据增强后的二维时频图像S′(t)_2d输入到FM_FeatureNet模型中的AM模块中,输出得到注意力融合图,将得到的局部特征图与注意力融合图进行特征拼接操作,得到细粒度特征;
f)将细粒度特征输入到依次由全连接层和softmax层构成的分类模块中,得到信号质量评估分类结果;
步骤d)包括如下步骤:
d‑1)FM_FeatureNet模型中的FM模块由第一卷积分支、第二卷积分支、残差分支构成,第一卷积分支依次由第一卷积块、第一最大池化层、第二卷积块、第二最大池化层、第三卷积块、第三最大池化层构成,第二卷积分支依次由第一卷积块、第一最大池化层、第二卷积块、第二最大池化层、第三卷积块、第三最大池化层、1*1卷积层构成,残差分支依次由卷积层、最大池化层构成;
d‑2)FM模块的第一卷积分支的第一卷积块依次由第一二维卷积Conv2d层、第二二维卷积Conv2d层、批归一化层、激活函数Relu层构成,将数据增强后的二维时频图像S′(t)_2d输入到第一卷积分支的第一卷积块中,输出得到特征图Conv1_f1,将特征图Conv1_f1输入到第1
一卷积分支的第一最大池化层中,输出得到压缩特征图Conv1_f1;
d‑3)FM模块的第一卷积分支的第二卷积块依次由第一二维卷积Conv2d层、第二二维卷
1
积Conv2d层、批归一化层、激活函数Relu层构成,将压缩特征图Conv1_f1输入到第一卷积分支的第二卷积块中,输出得到特征图Conv2_f2,将特征图Conv2_f2输入到第一卷积分支的第二最大池化层中,输出得到压缩特征图d‑4)FM模块的第一卷积分支的第三卷积块依次由第一二维卷积Conv2d层、第二二维卷积Conv2d层、第三二维卷积Conv2d层、批归一化层、激活函数Relu层构成,将压缩特征图输入到第一卷积分支的第三卷积块中,输出得到特征图Conv3_f3,将特征图Conv3_f3输入到第一卷积分支的第三最大池化层中,输出得到压缩特征图d‑5)将数据增强后的二维时频图像S′(t)_2d输入到残差分支的卷积层中,输出得到特征图Res_f4,将特征图Res_f4输入到残差分支的最大池化层中,输出得到特征图d‑6)将压缩特征图 与特征图 相叠加得到新的特征图Conv_Res_f5;
d‑7)FM模块的第二卷积分支的第一卷积块依次由第一二维卷积Conv2d层、第二二维卷积Conv2d层、批归一化层、激活函数Relu层构成,将数据增强后的二维时频图像S′(t)_2d输入到第二卷积分支的第一卷积块中,输出得到特征图Conv6_f6,将特征图Conv6_f6输入到第二卷积分支的第一最大池化层中,输出得到压缩特征图d‑8)FM模块的第二卷积分支的第二卷积块依次由第一二维卷积Conv2d层、第二二维卷积Conv2d层、批归一化层、激活函数Relu层构成,将压缩特征图 输入到第二卷积分支的第二卷积块中,输出得到特征图Conv7_f7,将特征图Conv7_f7输入到第二卷积分支的第二最大池化层中,输出得到压缩特征图d‑9)FM模块的第二卷积分支的第三卷积块依次由第一二维卷积Conv2d层、第二二维卷积Conv2d层、第三二维卷积Conv2d层、批归一化层、激活函数Relu层构成,将压缩特征图输入到第一卷积分支的第三卷积块中,输出得到特征图Conv8_f8,将特征图Conv8_f8输入到第二卷积分支的第三最大池化层中,输出得到压缩特征图d‑10)将压缩特征图 输入到第二卷积分支的1*1卷积层中,输出得到注意力图A_Conv9_f9;
d‑11)将新的特征图Conv_Res_f5与注意力图A_Conv9_f9进行逐元素点乘操作,得到局部特征图Part_Conv10_f10;
步骤e)包括如下步骤:
e‑1)FM_FeatureNet模型中的AM模块由SAC_block、第三卷积分支构成,SAC_block由SAC_block1、SAC_block2、SAC_block3构成,SAC_block1、SAC_block2、SAC_block3均依次由转置卷积Deconv2D层、激活函数Relu层、SE模块构成,第三卷积分支依次由第一卷积块、第一最大池化层、第二卷积块、第二最大池化层、第三卷积块、第三最大池化层、AAM_block模块构成;
e‑2)将压缩特征图 依次输入到SAC_block的SAC_block1的转置卷积
Deconv2D层、激活函数Relu层后,输出得到特征图SAC_f11,将特征图SAC_f11与特征图Conv6_f6相叠加后输入到SAC_block的SAC_block1的SE模块中,输出得到特征图A_SAC_f12;
e‑3)将压缩特征图 依次输入到SAC_block的SAC_block2的转置卷积
Deconv2D层、激活函数Relu层后,输出得到特征图SAC_f13,将特征图SAC_f13与特征图Conv7_f7相叠加后输入到SAC_block的SAC_block2的SE模块中,输出得到特征图A_SAC_f14;
e‑4)将压缩特征图 依次输入到SAC_block的SAC_block3的转置卷积
Deconv2D层、激活函数Relu层后,输出得到特征图SAC_f15,将特征图SAC_f15与特征图Conv8_f8相叠加后输入到SAC_block的SAC_block3的SE模块中,输出得到特征图A_SAC_f16;
e‑5)将第三卷积分支的第一卷积块依次由第一二维卷积Conv2d层、第二二维卷积Conv2d层、批归一化层、激活函数Relu层构成,将数据增强后的二维时频图像S′(t)_2d输入到第三卷积分支的第一卷积块中,输出得到特征图Conv17_f17,将特征图Conv17_f17输入到第三卷积分支的第一最大池化层中,输出得到压缩特征图e‑6)第三卷积分支的第二卷积块依次由第一二维卷积Conv2d层、第二二维卷积Conv2d层、批归一化层、激活函数Relu层构成,将压缩特征图 与特征图A_SAC_f12进行拼接操作后输入到第三卷积分支的第二卷积块中,输出得到特征图Conv18_f18,将特征图Conv18_f18输入到第三卷积分支的第二最大池化层中,输出得到压缩特征图e‑7)第三卷积分支的第三卷积块依次由第一二维卷积Conv2d层、第二二维卷积Conv2d层、第三二维卷积Conv2d层、批归一化层、激活函数Relu层构成,将压缩特征图与特征图A_SAC_f14进行拼接操作后输入到第三卷积分支的第三卷积块中,输出得到特征图Conv19_f19,将特征图Conv19_f19输入到第三卷积分支的第三最大池化层中,输出得到压缩特征图 e‑8)第三卷积分支的AAM_block模块由通道维度单元和空间维度单元构成,将压缩特征图 与特征图A_SAC_f16相叠加后得到特征图Conv20_f20;
e‑9)AAM_block模块的通道维度单元由第一分支、第二分支、sigmoid激活函数构成,通道维度单元的第一分支由全局平均池化层、全连接层构成,通道维度单元的第二分支由全局最大池化层、全连接层构成,将特征图Conv20_f20分别输入到通道维度单元的第一分支及第二分支中,将两个分支输出的特征图进行逐元素相加后输入到通道维度单元的sigmoid激活函数中,输出得到权重系数Wi;e‑10)将权重系数Wi与特征图Conv20_f20进行逐元素相乘后得到通道注意力特征图C_Conv21_f21;
e‑11)AAM_block模块的空间维度单元由第一分支、第二分支、卷积层、sigmoid激活函数构成,空间维度单元的第一分支由全局平均池化层构成,空间维度单元的第二分支由全局最大池化层构成,将特征图Conv20_f20分别输入到空间维度单元的第一分支及第二分支中,将两个分支输出的特征图进行拼接操作后输入到空间维度单元的卷积层中,将卷积后的特征图输入到空间维度单元的sigmoid激活函数中,输出得到权重系数Wj;
e‑12)将权重系数Wj与特征图Conv20_f20进行逐元素相乘后得到空间注意力特征图S_Conv22_f22;
e‑13)将通道注意力特征图C_Conv21_f21与空间注意力特征图S_Conv22_f22相加后得到注意力融合图A_Fusion_f23。
2.根据权利要求1所述的基于二维图像和注意力机制的心电信号质量评估方法,其特征在于:步骤a)中通过穿戴心电监测设备采集12导联心电信号作为原始心电信号S。
3.根据权利要求1所述的基于二维图像和注意力机制的心电信号质量评估方法,其特征在于,步骤b)包括如下步骤:
b‑1)将原始心电信号S按10s长度划分为N个心电信号片段,心电信号采样率为500Hz;
b‑2)根据PhysioNet/Computing in Cardiology2011挑战赛中ECG信号的质量标注准则将第t个心电信号片段为S′(t)标记为正常和噪音两类。
4.根据权利要求1所述的基于二维图像和注意力机制的心电信号质量评估方法,其特征在于,步骤c)包括如下步骤:
c‑1)通过公式 计算得到通过连续小波变化
CWT后的二维时频图像S′(t)_2d,式中ε为尺度参数,σ为平移参数, 为小波基;
c‑2)将二维时频图像S′(t)_2d进行向上或向下或向左或向右平移操作,对二维时频图像S′(t)_2d进行数据增强。
5.根据权利要求1所述的基于二维图像和注意力机制的心电信号质量评估方法,其特征在于:步骤d‑2)中第一卷积分支的第一卷积块中的第一二维卷积Conv2d层与第二二维卷积Conv2d层的卷积核大小均为3*3、通道数均为16、填充均为1、步长均为1;第一卷积分支的第一最大池化层的尺寸为2*2、步长为2;步骤d‑3)中第一卷积分支的第二卷积块中的第一二维卷积Conv2d层与第二二维卷积Conv2d层的卷积核大小均为3*3、通道数均为32、填充均为1、步长均为1;第一卷积分支的第二最大池化层的尺寸为2*2、步长为2;步骤d‑4)中第一卷积分支的第三卷积块中的第一二维卷积Conv2d层、第二二维卷积Conv2d层及第三二维卷积Conv2d层的卷积核大小均为3*3、通道数均为64、填充均为1、步长均为1;第一卷积分支的第三最大池化层的尺寸为2*2、步长为2;步骤d‑5)中残差分支的卷积层的卷积核大小为5*
5、通道数为64、填充为2、步长为4;步骤d‑7)中第二卷积分支的第一卷积块中的第一二维卷积Conv2d层与第二二维卷积Conv2d层的卷积核大小均为3*3、通道数均为16、填充均为1、步长均为1;第二卷积分支的第一最大池化层的尺寸为2*2、步长为2;步骤d‑8)中第二卷积分支的第二卷积块中的第一二维卷积Conv2d层与第二二维卷积Conv2d层的卷积核大小均为
3*3、通道数均为32、填充均为1、步长均为1;第二卷积分支的第二最大池化层的尺寸为2*2、步长为2;步骤d‑9)中第二卷积分支的第三卷积块中的第一二维卷积Conv2d层、第二二维卷积Conv2d层及第三二维卷积Conv2d层的卷积核大小均为3*3、通道数均为64、填充均为1、步长均为1;第二卷积分支的第三最大池化层的尺寸为2*2、步长为2。
6.根据权利要求1所述的基于二维图像和注意力机制的心电信号质量评估方法,其特征在于:步骤e‑2)中SAC_block的SAC_block1的转置卷积Deconv2D层的卷积核大小为2*2、步长为2;步骤e‑3)中SAC_block的SAC_block2的转置卷积Deconv2D层的卷积核大小为2*2、步长为2;步骤e‑4)中SAC_block的SAC_block3的转置卷积Deconv2D层的卷积核大小为2*2、步长为2;步骤e‑5)中第三卷积分支的第一卷积块的第一二维卷积Conv2d层与第二二维卷积Conv2d层的卷积核大小均为3*3、通道数均为16、填充均为1、步长均为1;第三卷积分支的第一最大池化层的尺寸为2*2、步长为2;步骤e‑6)中第三卷积分支的第二卷积块的第一二维卷积Conv2d层与第二二维卷积Conv2d层的卷积核大小均为3*3、通道数均为32、填充均为
1、步长均为1;第三卷积分支的第二最大池化层的尺寸为2*2、步长为2;步骤e‑7)中第三卷积分支的第二卷积块的第一二维卷积Conv2d层、第二二维卷积Conv2d层及第三二维卷积Conv2d层的卷积核大小均为3*3、通道数均为64、填充均为1、步长均为1;第三卷积分支的第二最大池化层的尺寸为2*2、步长为2。
7.根据权利要求1所述的基于二维图像和注意力机制的心电信号质量评估方法,其特征在于:步骤e‑11)中空间维度单元的卷积层的卷积核大小为7*7、填充为3、步长为1。
8.根据权利要求1所述的基于二维图像和注意力机制的心电信号质量评估方法,其特征在于:通过反向传播算法利用交叉熵损失函数对FM_FeatureNet模型进行训练。