利索能及
我要发布
收藏
专利号: 2023117734938
申请人: 苏州金钥匙自动化设备有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-13
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于原生声纹特征的拾音翻译方法,其特征在于,包括,获取原生音频;

将所述原生音频进行分割得到多个原音素以及对应的顺序;

获取每个所述原音素的若干个种类的声纹特征,其中,所述声纹特征的种类包括频谱特征、共振峰特征和/或声音强度特征;

对所述原生音频进行语义识别得到原语种文本;

将所述原语种文本翻译为转译语义文本;

对所述转译语义文本进行音素拟合得到多个转译音素以及对应的顺序;

根据所述原音素和对应的顺序以及对应的若干个种类的声纹特征对所述转译音素进行修正得到转译音频;

其中,

所述根据所述原音素和对应的顺序以及对应的若干个种类的声纹特征对所述转译音素进行修正得到转译音频的步骤,包括,对所述原语种文本进行语义分割得到若干个原文本段以及对应的顺序;

将所述转译语义文本进行语义分割得到若干个转译文本段以及对应的顺序;

获取每个原文本段对应的若干个所述原音素以及对应的顺序;

获取每个所述转译文本段对应的若干个所述转译音素以及对应的顺序;

根据所述原语种文本与所述转译语义文本的翻译对照关系对所述转译文本段进行语义匹配得到语义相同的若干对所述原文本段和所述转译文本段;

根据所述原文本段对应的若干个所述原音素的若干个种类的声纹特征对所述转译文本段对应的若干个所述转译音素进行修正得到所述转译文本段对应转译语段;

根据所述转译文本段的顺序对所述转译语段进行合并得到转译音频;

其中,

所述根据所述原文本段对应的若干个所述原音素的若干个种类的声纹特征对所述转译文本段对应的若干个所述转译音素进行修正得到所述转译文本段对应转译语段的步骤,包括,对于每一对语义匹配的所述原文本段和所述转译文本段,对所述原文本段对应的每个所述原音素的每个种类的声纹特征进行向量化得到所述原文本段对应的每个所述原音素的声纹特征向量,根据所述原文本段对应的每个所述原音素的声纹特征向量挑选出若干个特征原音素,并获取每个特征原音素的时长比例系数,根据所述原文本段对应的全部所述原音素的顺序以及所述原文本段对应的特征原音素得到所述原文本段对应的特征原音素的顺序,获取所述转译文本段对应的全部所述转译音素的总时长,将每个特征原音素的时长比例系数按照特征原音素的顺序进行排列后对所述转译文本段对应的所述转译音素的总时长进行划分,得到每个特征原音素对应的若干个所述转译音素,将特征原音素的若干个种类的声纹特征赋予对应的若干个所述转译音素后组合得到所述转译文本段对应转译语段。

2.根据权利要求1所述的方法,其特征在于,所述根据所述原文本段对应的每个所述原音素的声纹特征向量挑选出若干个特征原音素,并获取每个特征原音素的时长比例系数的步骤,包括,对于每个原文本段,

在全部的声纹特征向量中选择若干个标记声纹特征向量;

计算获取标记声纹特征向量与非标记声纹特征向量的向量差;

将非标记声纹特征向量与向量差的模长最小的标记声纹特征向量归类至同一个标记群;

计算得到标记群内全部标记声纹特征向量和非标记声纹特征向量的均值向量;

计算获取标记群内与均值向量的向量差的模长最小的标记声纹特征向量或非标记声纹特征向量作为更新后的标记声纹特征向量;

判断标记群的标记声纹特征向量是否发生变化;

若是,则返回持续更新标记群和标记声纹特征向量;

若否,则将标记声纹特征向量对应的所述原音素作为特征原音素;

将标记群内的标记声纹特征向量或非标记声纹特征向量对应的所述原音素的累计时长之间的比例系数作为对应的每个特征原音素的时长比例系数。

3.根据权利要求1所述的方法,其特征在于,所述根据所述原生音频进行分割得到多个所述原音素以及对应的顺序对所述转译音素进行修正得到转译音频的步骤,还包括,判断是否存在没有对应的所述原文本段进行语义匹配的所述转译文本段;

若否,则不进行处理;

若是,则对于没有对应的所述原文本段进行语义匹配的所述转译文本段,获取相邻的有对应的所述原文本段进行语义匹配的所述转译文本段对应的所述原文本段作为语义匹配的所述转译文本段和对应的所述原文本段。

4.根据权利要求1所述的方法,其特征在于,所述根据所述转译文本段的顺序对所述转译语段进行合并得到转译音频的步骤,包括,获取所述原生音频的声调特征;

将所述原生音频的声调特征赋予按照所述转译文本段的顺序进行合并的多个所述转译语段得到所述转译音频。

5.一种基于原生声纹特征的拾音翻译方法,其特征在于,包括,实时获取并存储音频流;

对所述音频流进行降噪滤波得到人声流;

获取所述人声流中的空白时段;

将空白时段之间的所述人声流截取作为原生音频;

对所述原生音频按照权利要求1至4任一项所述的一种基于原生声纹特征的拾音翻译方法修正得到转译音频。

6.一种基于原生声纹特征的拾音翻译方法,其特征在于,包括,接收权利要求1至4任一项所述的一种基于原生声纹特征的拾音翻译方法中的转译音频;

播放所述转译音频。

7.一种拾音翻译设备,其特征在于,包括,麦克风,用于录制得到原生音频;

转译单元,用于根据权利要求1至4任一项所述的一种基于原生声纹特征的拾音翻译方法将所述原生音频转译为转译音频;

扬声器,用于播放所述转译音频。

8.一种存储介质,其特征在于,包括,

所述存储介质中存储有至少一条命令、至少一段程序、代码集或指令集,所述至少一条命令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至

4任一项所述的一种基于原生声纹特征的拾音翻译方法。