利索能及
我要发布
收藏
专利号: 2017105897924
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度学习的语音转换方法,其特征在于,包括训练步骤和语音转换步骤,其中,训练步骤如下:

1)、利用AHOcoder语音编解码器分别对源说话人和目标说话人的语音进行处理,提取出各自的梅尔倒谱特征参数Xt,Yt;

2)、将提取出的特征参数逐句进行DTW对齐,然后取每一帧特征参数和其前后各一帧的特征拼接形成联合特征参数,分别作为源说话人的特征参数和目标说话人的特征参数,即Xp=(Xt-1,Xt,Xt+1),Yp=(Yt-1,Yt,Yt+1);

3)、通过深度堆栈自编码器DSAE分别对源说话人和目标说话人的特征参数进行训练,分别得到源说话人的深度堆栈自编码器DSAEs和目标说话人的深度堆栈自编码器DSAEt,然后利用前馈算法,将训练使用源说话人和目标说话人的语音特征参数分别逐帧输入到各自对应的DSAE中,得到每一帧对应的中间隐层的激活值,即为源说话人和目标说话人的深层特征DXp,DYp;

4)、将源说话人和目标说话人的深层特征通过BP神经网络进行训练得到深层特征的映射网络;

5)、将DSAEs的编码块和DSAEt的解码块叠加到映射网络的两端,构成深度神经网络,并通过梯度下降算法依据均方误差最小化准则优化深度神经网络的权值,得到一个由源说话人语音联合特征参数直接转换为目标说话人语音联合特征参数特征的转换网络;

语音转换步骤如下:

6)、利用AHOcoder语音编解码器对源说话人的语音进行处理,提取出源说话人的梅尔倒谱特征参数,将提取出的特征参数逐句进行DTW对齐,然后取每一帧特征参数和其前后各一帧的特征拼接形成联合特征参数;

7)、将联合特征参数作为深度神经网络的输入,从深度神经网络的输出端即得到转换后目标说话人语音的联合特征参数,再通过AHOcoder语音编解码器合成转换后目标说话人的语音。

2.根据权利要求1所述的一种基于深度学习的语音转换方法,其特征在于:步骤1)中提取梅尔倒谱特征参数是利用AHOcoder语音编解码器提取语音的mcep参数,并将该参数读入Matlab程序中得到。

3.根据权利要求1所述的一种基于深度学习的语音转换方法,其特征在于,所述步骤3)中训练深度堆栈自编码器得到深层特征,包括如下步骤:c1)、将步骤2)得到的特征参数通过降噪自编码器DAE方法训练第一个自编码器AE;

c2)、将第一个自编码器AE的隐层激活值作为输入,在降噪自编码器DAE后端训练3个自编码器AE,并设置好每层的节点数,训练完成后将每个自编码器AE的隐层和权值展开,即得到一个深度堆栈编码器DSAE模型;

c3)、将特征参数作为深度堆栈编码器DSAE模型的输入,通过前向传播得到模型的输出,即为深层特征。

4.根据权利要求3所述的一种基于深度学习的语音转换方法,其特征在于,DSAE模型编码块encoder采用5层网络,每层的节点数分别为57,180,70,15,64,则解码块decoder为与编码块对称的5层网络,隐层节点采用激活函数ReLU函数。

5.根据权利要求1所述的一种基于深度学习的语音转换方法,其特征在于,所述步骤4)中,映射网络的训练方法包括如下步骤:构建一个含有单隐层的BP网络,以源说话人的深层特征DXp作为网络的输入,将网络的输出和目标说话人的深层特征DYp进行比较计算误差,然后采用BP算法调整网络权值。

6.根据权利要求5所述的一种基于深度学习的语音转换方法,其特征在于,利用深层特征DXp,DYp训练一个BP网络得到一个深层特征的映射网络,具体如下:A、BP网络采用一个输入层,一个隐含层,一个输出层的三层神经网络,每层的节点数分别为64,100,64,隐含层的激活函数采用Sigmoid函数,即:-x

f(x)=1/(1+e )

B、将DXp作为训练数据,得到BP网络的输出值DXp′,利用CD算法最小化误差:||DXp′-DYp||2

C、优化BP网络的权值,即得到深层特征的映射网络。

7.根据权利要求1所述的一种基于深度学习的语音转换方法,其特征在于:所述步骤5)具体步骤如下:e1)、利用步骤3)得到的源说话人的深度堆栈自编码器DSAEs和目标说话人的深度堆栈自编码器DSAEt,以及步骤4)得到的映射网络组合成深度神经网络 在深度神经网络中,映射网络前端的权值采用源说话人DSAEs的encode编码权值,映射网络后端的权值采DSAEt每层的倒序的decode解码权值;

e2)、依据均方误差最小化准则,采用后向误差传播的梯度下降算法优化深度神经网络的权值至收敛。