1.一种多尺度时延采样的单通道语音分离方法,其特征在于,包括以下步骤:S1,对多个说话人混合语音信号提取混合语音特征;
S2,对所述混合语音特征进行分割,并拼接成3D张量;
S3,采用第一双向循环神经网络迭代地对3D张量进行建模,捕获局部特征信息和全局特征信息;
S4,采用多尺度时延采样建模,对第一双向循环神经网络的输出进行不同尺度的时延采样,并采用第二双向循环神经网络捕获不同尺度下的特征信息;
对第一双向循环神经网络的输出进行单一尺度的时延采样,具体过程为:对双向循环λ神经网络的输出进行序列重组和重新分段,对重新分段拼接后的序列沿着块长维度2K进行时延采样,对时延采样后的每个序列ui沿着分块维度R′进行拼接,获取时延采样后重组λ的3D张量hλ,其中2是时延采样率,λ=0,...,B‑1是采样指数,B代表了堆叠的多尺度时延采样块的个数,K表示重新分段前的块长维度;
S5,将S4中的特征信息进行重叠相加,重叠相加后的结果映射为多个说话人纯净语音的掩码,再将所述掩码与所述混合语音特征进行点乘,得到多个说话人的纯净语音表征;
S6,将每个人的纯净语音表征重构成分离后的语音信号。
2.根据权利要求1所述的多尺度时延采样的单通道语音分离方法,其特征在于,采用第二双向循环神经网络捕获单一尺度下的特征信息,具体过程为:沿着所述hλ的第二维应用第二双向循环神经网络,捕获时延采样后的序列之间的相互关系,然后再通过全连接层对输出的结果进行维度变换,输出FC;对所述FC进行层归一化,再与双向循环神经网络的输出进行残差连接。
3.根据权利要求2所述的多尺度时延采样的单通道语音分离方法,其特征在于,采用不同的时延采样率,重复对第一双向循环神经网络的输出进行单一尺度的时延采样、采用第二双向循环神经网络捕获单一尺度下的特征信息,集成不同尺度下的特征信息。
4.根据权利要求1所述的多尺度时延采样的单通道语音分离方法,其特征在于,所述对λ重新分段拼接后的序列沿着块长维度2K进行时延采样,采用的公式为:λ λ
ui=[u′[:,i::2 ,:],i=0,...,2‑1]λ
其中,u′[:,i::2 ,:]表示对u′采用Python中的序列切片,i代表索引序号。
5.根据权利要求2所述的多尺度时延采样的单通道语音分离方法,其特征在于,所述沿着所述hλ的第二维应用第二双向循环神经网络,捕获时延采样后的序列之间的相互关系,然后再通过全连接层对输出的结果进行维度变换,输出FC,具体的公式为:λ
U=[BiLSTM(hλ[:,:,m]),m=1,...,2R′]λ
FC=[WU[:,:,m]+b,m=1,...,2R′]其中,U是双向循环神经网络的输出,H是隐藏层的输出维度,hλ[:,:,m]是由索引m确定λ的序列,2R′表示分块维度,W、b分别为全连接层的权重和偏置。
6.根据权利要求2所述的多尺度时延采样的单通道语音分离方法,其特征在于,所述对所述FC进行层归一化,具体的公式为:其中,μ(FC)、σ(FC)别表示全连接层输出的均值和方差,z、r是归一化因子,ε是一个极λ小正数,Layernorm代表层归一化,i、j、k分别表示N、K、2R′中的某一特定维度,N是提取的混合语音特征维度。
7.根据权利要求6所述的多尺度时延采样的单通道语音分离方法,其特征在于,所述对所述残差连接,具体的公式为:Output=hλ+Layernorm(FC)。