利索能及
我要发布
收藏
专利号: 201910030577X
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于STARWGAN-GP和x向量的多对多说话人转换方法,其特征在于包括训练阶段和转换阶段,所述训练阶段包括以下步骤:(1.1)获取训练语料,训练语料由多名说话人的语料组成,包含源说话人和目标说话人;

(1.2)将所述的训练语料通过WORLD语音分析/合成模型,提取出各说话人语句的频谱包络特征x、基频特征、以及代表各说话人个性化特征的x向量X-vector;

(1.3)将源说话人的频谱包络特征xs、目标说话人的频谱包络特征xt、源说话人标签cs和x向量X-vectors,以及目标说话人标签ct、x向量X-vectort,输入到STARWGAN-GP网络进行训练,所述的STARWGAN-GP网络由生成器G、鉴别器D和分类器C组成,所述的生成器G由编码网络和解码网络构成;

(1.4)训练过程使生成器的损失函数、鉴别器的损失函数、分类器的损失函数尽量小,直至设置的迭代次数,得到训练好的STARWGAN-GP网络;

(1.5)构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数;

所述转换阶段包括以下步骤:

(2.1)将待转换语料中源说话人的语音通过WORLD语音分析/合成模型提取出频谱包络特征xs′、非周期性特征和基频;

(2.2)将上述源说话人频谱包络特征xs′、目标说话人标签特征ct′、目标说话人x向量X-vectort′输入(1.4)中训练好的STARWGAN-GP网络,重构出目标说话人频谱包络特征xtc′;

(2.3)通过(1.5)得到的基频转换函数,将(2.1)中提取出的源说话人基频转换为目标说话人的基频;

(2.4)将(2.2)中得到的目标说话人频谱包络特征xtc′、(2.3)中得到的目标说话人的基频和(2.1)中提取的非周期性特征通过WORLD语音分析/合成模型,合成得到转换后的说话人语音。

2.根据权利要求1所述的基于STARWGAN-GP和x向量的多对多说话人转换方法,其特征在于:步骤(1.3)和(1.4)中的训练过程包括以下步骤:(1)将源说话人的频谱包络特征xs输入生成器G的编码网络,得到说话人无关的语义特征G(xs);

(2)将上述得到的语义特征G(xs)与目标说话人的标签特征ct、目标说话人的x向量X-vectort一同输入到生成器G的解码网络进行训练,在训练过程中最小化生成器G的损失函数,从而得到目标说话人的频谱包络特征xtc;

(3)将上述得到的目标说话人的频谱包络特征xtc,再次输入到生成器G的编码网络,得到说话人无关的语义特征G(xtc);

(4)将上述得到的语义特征G(xtc)与源说话人标签特征cs、源说话人x向量X-vectors输入到生成器G的解码网络进行训练,在训练过程中最小化生成器G的损失函数,得到重构源说话人的频谱包络特征xsc;

(5)将目标说话人的频谱包络特征xtc、目标说话人频谱特征xt,以及目标说话人的标签特征ct一同输入到鉴别器D中进行训练,最小化鉴别器的损失函数;

(6)将目标说话人的频谱包络特征xtc和目标说话人的频谱包络特征xt输入分类器C进行训练,最小化分类器的损失函数;

(7)回到步骤(1)重复上述步骤,直至达到迭代次数,从而得到训练好的STARWGAN-GP网络。

3.根据权利要求1所述的基于STARWGAN-GP和x向量的多对多说话人转换方法,其特征在于:步骤(2.2)中的输入过程包括以下步骤:(1)将源说话人的频谱包络特征xs′输入生成器G的编码网络,得到说话人无关的语义特征G(xs)′;

(2)将上述得到的语义特征G(xs)′与目标说话人的标签特征ct′、目标说话人的x向量X-vectort′一同输入到生成器G的解码网络,得到目标说话人的频谱包络特征xtc′。

4.根据权利要求1所述的基于STARWGAN-GP和x向量的多对多说话人转换方法,其特征在于:所述的生成器G采用二维卷积神经网络,损失函数为:其中,λcls>=0、λcyc>=0和λid>=0是正则化参数,分别表示分类损失、循环一致性损失和特征映射损失的权重, Lcyc(G)、Lid(G)分别表示生成器的对抗损失、分类器优化生成器的分类损失、循环一致损失、特征映射损失;

所述的鉴别器D采用二维卷积神经网络,损失函数为:

其中,D(xt,ct)表示鉴别器D判别真实频谱特征,G(xs,ct,X-vectort)表示生成器G生成的目标说话人频谱特征,D(G(xs,ct,X-vectort),ct)表示鉴别器判别生成的频谱特征,表示生成器G生成的概率分布的期望, 表示真实概率分布的期望,λ为梯度惩罚参数,用来调节梯度惩罚的力度,grad_pen为梯度惩罚项;

所述的分类器采用二维卷积神经网络C,损失函数为:

其中,pC(ct|xt)表示分类器判别目标说话人特征为标签ct的真实频谱的概率。

5.根据权利要求4所述的基于STARWGAN-GP和x向量的多对多说话人转换方法,其特征在于:其中, 表示生成器生成的概率分布的期望,G(xs,ct,X-vectort)表示生成器生成频谱特征;

其中,pC(ct|G(xs,ct,X-vectort))表示分类器判别生成目标说话人频谱标签属于ct的概率,G(xs,ct,X-vectort)表示生成器生成的目标说话人频谱;

其中,G(G(xs,ct,X-vectort),cs)为重构的源说话人频谱特征,为重构源说话人频谱和真实源说话人频谱的损失期望;

其中,G(xs,cs,X-vectors)为源说话人频谱、说话人标签和x向量,输入到生成器后得到的源说话人频谱特征, 为xs和G(xs,cs,X-vectors)的损失期望。

6.根据权利要求5所述的基于STARWGAN-GP和x向量的多对多说话人转换方法,其特征在于:所述的生成器G的编码网络包括5个卷积层,5个卷积层的过滤器大小分别为3*9、4*8、

4*8、3*5、9*5,步长分别为1*1、2*2、2*2、1*1、9*1,过滤器深度分别为32、64、128、64、5;生成器G的解码网络包括5个反卷积层,5个反卷积层的过滤器大小分别为9*5、3*5、4*8、4*8、3*

9,步长分别为9*1、1*1、2*2、2*2、1*1,过滤器深度分别为64、128、64、32、1。

7.根据权利要求5所述的基于STARWGAN-GP和x向量的多对多说话人转换方法,其特征在于:所述的鉴别器D包括5个卷积层,5个卷积层的过滤器大小分别为3*9、3*8、3*8、3*6、

36*5,步长分别为1*1、1*2、1*2、1*2、36*1,过滤器深度分别为32、32、32、32、1。

8.根据权利要求5所述的基于STARWGAN-GP和x向量的多对多说话人转换方法,其特征在于:所述的分类器C包括5个卷积层,5个卷积层的过滤器大小分别为4*4、4*4、4*4、3*4、1*

4,步长分别为2*2、2*2、2*2、1*2、1*2,过滤器深度分别为8、16、32、16、4。

9.根据权利要求1至8任一项所述的基于STARWGAN-GP和x向量的多对多说话人转换方法,其特征在于:所述的基频转换函数为:其中,μs和σs分别为源说话人的基频在对数域的均值和方差,μt和σt分别为目标说话人的基频在对数域的均值和方差,logf0s为源说话人的对数基频,logf0t′为转换后对数基频。