1.基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法,其特征在于,包括如下步骤:S1、数据准备:将采集到的脑电信号进行预处理,得到标准格式数据;
所述步骤S1的具体操作为:
S11、将原始数据集的采样率降至128Hz,并提取每条轨迹在偏离事件发生前3s的脑电图样本;
S12、计算每个样本的局部反应时间Rt:Rt=td‑tr (1),其中,td为汽车发生漂移的时刻,tr为受试者操作汽车返回原车道的时刻;
S13、计算每个样本的全局反应时间GRt:其中,N为每个样本汽车漂移事件发生前90s窗口内的样本个数,GRt即为汽车漂移事件发生前90秒窗口内的局部反应时间Rt的平均值;
alert
S14、定义基线清醒反应时间Rt :alert
取每个会话中局部反应时间的第五个百分位数作为基线清醒反应时间Rt ,作为下一步标记样本的依据;
S15、为每个样本打标签:
当样本的局部反应时间和全局反应时间同时小于基线清醒时间的1.5倍时,样本被标记为警觉状态;当样本的局部反应时间和全局反应时间同时大于2.5倍的基线清醒反应时间时,样本被标记为疲劳状态;
S2、数据增强:采用频率掩蔽或添加频域噪声算法对原数据进行数据增强;
S3:模型训练,采用多尺度卷积核尺寸混合CNN模型对原始数据和增强数据构成的数据集进行训练,得到分类器;
所述步骤S3的具体操作为:
S31、数据滤波:假设m个电极记录的原始脑电信号为X={xi}i=1,2,...m,将X进行带通滤波,得到三个不同频带的脑电信号,分别为4‑7Hz的脑电信号X1,8‑13Hz的脑电信号X2,13‑
32Hz的脑电信号X3;
S32、确定卷积核尺寸:
令卷积核尺寸为K={K1,K2,K3},其中Ki为第i个分支的Depthwise卷积的卷积核尺寸,i=1,2,3;
S33、网络结构设计:
网络结构的第一个分支,输入信号为原始数据脑电信号的第一个频带X1(m,n),其中,m为脑电通道个数,取30,n为每个样本的采样点个数,取384;
以下出现的 代表网络第x层的参数;
第一层Pointwise的输出为:
其中i=1,2,3,...,N1,N1=16,为Pointwise卷积的个数, 表示第i个Pointwise卷积的第p个通道的权值,xp,j表示输入脑电信号样本的第j个样本点的第p个通道, 表示第i个Pointwise卷积的偏置;经过Pointwise层,得到输出 维度为(16,384);
第二层Depthwise的第一个分支,第一层的输出信号维度为(16,384),由第一层得到的信号有16个通道,每一个通道采用两个Depthwise卷积,所以第一个分支输出的通道数为(2)
32,第一个分支输出的采样点数j 可以由下式计算(2)
其中,卷积核尺寸K1=36,步长stride=1,填充padding=0,得到j =349;
当i为奇数时,第二层Depthwise的输出为:当i为偶数时,第二层Depthwise的输出为:其中K1为Depthwise的卷积核尺寸,i为输入通道数,j为采样点个数,第三层激活层:
第四层批量归一化层:
第五层全局平均池化层:
Depthwise层的第二分支,卷积核尺寸K2=51,重复公式(5)及以后的步骤,其中,由公式(2)(5)计算出第二分支的j =334;
Depthwise层的第三分支,卷积核尺寸K3=80,重复公式(5)及以后的步骤,其中,由公式(2)(5)计算出第三分支的j =305;
以上说明了网络结构第一分支的网络结构,该分支处理了4‑7Hz频带的脑电信号X1,对
8‑13Hz频带的脑电信号X2、13‑32Hz频带的脑电信号X3重复网络第一分支的操作,得到网络第二分支和第三分支的输出,最后将网络三个分支的输出进行全连接处理后,再进行如下处理:第六层隐藏层:
上式中c=0或c=1,当c=0时,代表清醒状态;当c=1时,代表疲劳状态;
第七层
得出分类结果;
S4、状态识别:把预处理后的脑电数据输入到分类器模型中,得到样本的状态标签以及可解释的模型分类依据。
2.根据权利要求1所述的基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法,其特征在于,所述步骤S15标记完成后,得到2022个样本,每个样本包含3s的脑电图数据。
3.根据权利要求1所述的基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法,其特征在于,所述步骤S2中频率掩蔽增强数据的具体操作为:S21、对原始信号x(t)进行快速傅里叶变换得到频域信号X(jw)X(jw)=F(x(t)) (3),其中,F(·)表示快速傅里叶变换;
S22、确定超参数s、t,其中s表示掩蔽点个数,t表示掩蔽区域的个数,将随机选取一个区域的20个频率点置零,得到增强后的数据。
4.根据权利要求1所述的基于多尺度卷积核尺寸CNN的驾驶员疲劳状态识别方法,其特征在于,所述步骤S2中添加频域噪声算法增强数据的具体操作为:jωt
H(jw)e =F[x(t)] (21),jωt
其中H(jw)=|X(jw)|,e =Arg[X(jw)](即频域信号的相位),幅值和相位添加噪声Gi2
(λ)~(0,σi)(i=1,2):经过傅里叶逆变换后得到增强后的时域信号:‑1
xnoise(t)=F (Xnoise) (23)。