利索能及
我要发布
收藏
专利号: 2019104927940
申请人: 深圳市数字星河科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多线程/进程并行运算的英语朗读练习系统,其特征包含的步骤和要素有:

前期预备:设置数据库软硬件环境,创建数据及表格,用于记录各种参数、信息内容等;

语音接收模块:用户通过录音设备或智能设备上的录音传感器,进行录音,在系统中配置语音信号处理模块,由系统监听来自于用户的语音,接收分析监听到的语音信息;

用户模块,包含、用户注册、用户管理、系统用户中心、普通用户中心子模块,用于完成账户的注册,用户的管理、用户使用功能的现实,并配置相关界面、程式过程,和服务器的相对应的数据储存、读写、删除编辑映射对应;

朗读练习的文本内容模块;一种为系统内置文本内容、并配置对应的标准语音、声学特征参数、语音时长等相关信息;另外一种是自定义练习的文本模块,配置用户增加编辑练习的文本界面,文本分类,系统管理用户文本,并设置相应的数据库表格或指定服务器路径的存储空间;

知识库数据储存模块,包括各种音标音节发音规则,标准的音标发音的语音文件、容易朗读错误的知识点,所述知识库在英语朗读练习时候根据系统条件检索调用;

在系统对用户对英语文本朗读语音预处理后,根据上述英语朗读练习的核心模块,采用并行运算的多线程/进程来分布运算,并行启动任务处理的线程/进程包括:语音标准参考模型线程/进程、朗读进度起点追踪线程/进程、进度标识进程、语句打分线程/进程、单词音节打分线程/进程、用户界面主线程/进程;

英语朗读练习系统中的多线程/进程并算,线程/进程的数据交换;

一种多线程并行的英语朗读练习系统中同步响应用户指令的方法;

英语朗读练习核心模块;其中包括如下几个关键要素步骤:

步骤1、用户根据文本进行朗读练习,系统获得用户语音,并进行进行预加重、分帧加窗、解码、离散傅里叶变换、滤波、取对数、离散余弦变换,声学特征运算作为该英语口语发音预处理结果等待调用;

步骤2、开启语音标准参考模型线程/进程,设置不合格、合格、良好、优秀判定标准的阀值;

步骤3、开启朗读进度起点追踪线程/进程、进度标识进程、语句打分线程/进程、单词音节打分线程/进程,以HMM后验概率算法等打分算法,通过用户朗读分拆段和对应的语音标准参考模型之间的声学特征最高值作为其映射到文本、单词、音节的分值,并和上述阀值分别比对,并根据结果将对应的文本部分进行标识,改变字体、字体颜色、下划线,所述标识和系统设定的不合格、合格、良好、优秀预先设定的标识规则一致,成绩文本标示实施例:不合格对应的文本字体颜色为红色;

步骤4、将当前朗读语音所能对应的文本最末尾,作为朗读进度进行进度标识;

步骤5、进一步,将不合格、合格对应的文本标识分块分别链接到文本对应的标准语音文件播发模块、知识库中相关知识点显示模块;用户中断语音朗读,点击标识文本,系统唤醒该文本链接对应的程序模块;

步骤6、用户继续朗读练习,到文本结束,为指定位置显示结果分析标识,链接到朗读练习结果分析模块,包括,本次练习的综合得分,不及格发音的单词、句子并链接对应的标准语音模块、知识点模块、对用户的建议内容;为指定位置显示朗读练习,链接到文本练习模块。

2.根据权利要求1所述一种多线程/进程并行运算的英语朗读练习系统其特征包含的步骤和要素还有:一种多线程并行的英语朗读练习系统同步相应用户指令的方法;

a、为每一个线程/进程嵌入用户指令监视模块,在指定时间间隔监视特定数据库位置的数值变化或监视特定系统路径文件夹下特定类的文件,所述文件中包含指令代码、指令版本代码;

b、为每个监测结果,匹配一个线程/进程执行得指令模块;

C、根据监视的结果,执行相应的线程/进程执行指令;

d、优选地,用户指令监视模块每间隔600毫秒读取指定位置用户信息命令信息,并将其中的版本号和线程/进程内部记录的版本号对比,相同则不执行获得的用户指令的代号,否则就按照新获得的指令代号执行相应的运算指令,并将线程/进程内部记录的版本号更新为即时获得的版本号。

3.一种英语朗读训练系统中朗读进度起点追踪的方法,其特征包含的步骤和要素有:

根据语句之间的停顿静音分句,实时检测朗读的进度,追踪朗读的新起始点;

设置静音判定阀值,设置判定语句间隔静音时长值T,以时间为循环运算的递增参数,依次在通过预处理的用户语音信息流上取T长度段,计算平均声强,并和静音判定阀值进行比对;

以上比对结果为:所述语音段声强均值大于静音判定阀值,则按照上步骤以时间递增为起点,取过预处理的用户语音信息流上取T长度段,继续上述判定的运算,比对结果为:所述语音段声强均值小于或等于静音判定阀值,记录该语音段的起点时间t1,则将t1作为语音中前面语句的结尾时间点,开始监视朗读进度起点运算,继续所述递增循环运算,将t1之后的第一个比对结果为“语音段声强均值大于静音判定阀值”的语音段起始时间t2记录;则将t2作为语音中当前语句的开始的起始时间点,;

设置文本语句首部单词或音节字符组对应语音识别打分的识别阀值K;

将文本句子中第一个单词或音节对应的语音标准参考模型及时长排队罗列,依次被用于取语音段中t2为起始点,以当年所用的标准参考模型所对应的时长为长度,语音长度不够取段时,等待语音进度推进到足够取段,然后进行打分运算,并获得分值;当分值比对获得最高分值大于等于K时,对应的标准参考模型Q,将Q所映射的文本字符组作为句子的起点,设定为当前朗读进度的起点,并进行标识,最高分值小于K时,根据英语文本的标点符号,将当前进度标识焦点所在的文本语句第一个字符的下一句设定为新进度起点,并进行标识;

记载所述t1、t2极其对应的文本字符位置,得到用户语音时间段和文本内容的映射对应关系。

4.种实时引导朗读语音速度的进度标识的方法,其特征包含的步骤和要素有:

英语文本句子、单词、音节等文本单元对应的标准语音段的标准时长,将这时长平均分配到文本的字符上形成相对时间戳(timestamp),所述字符可以为字母、数字、符号等;

时间戳信息包括文本句子、单词、音节开时被朗读的时间点以及字符持续被朗读的时间;因为标准时长和用户朗读时长存在误差,确保保证进度标识在当前朗读的对应的文本单元内的一个位置,系统识别到新的文本对应语音的单元时候,跨越式将进度标识移动该文本单元,在具备时间戳的文本单元,进度条匀速推进标识的算法为:

 进度标识在字符上的速度speed= 文本单元对应的标准语音时长/文本单元字符长度;

其中文本单元字符长度为第一个字符的起点位置到最后一个字符末端位置的距离;

进一步,通过进程通讯或进行数据实时数据交换,获得朗读进度起点追踪线程/进程所得到的文本上的新起点时,进度标识线程/进程终止原有进行的任务,并以所述新起点为起点,重新开始进度标识进行的任务;

通过进度标识线程/进程和权利要求3的朗读进度起点追踪线程/进程数据交换配合,进度标识在文本单元上以用户语音实际对应的文本单元段为起点标准,在文本单元内以标准语音进度为依据,从而对用户朗读的语速具有一定的引导作用。

5.根据权利要求1所述一种多线程/进程并行运算的英语朗读练习系统其特征包含的步骤和要素还有:对英语的语句进行整体比对打分,优选地,采用持续时间打分,将标准参考模型统计出句子持续时间的离散概率分布进行语句打分。

6.根据权利要求1所述一种多线程/进程并行运算的英语朗读练习系统其特征包含的步骤和要素还有:单词音节打分,优选地,采用循环递推分拆打分法。

7.一种英语练习系统程序内部均衡运算分布的方法,其特征包含的步骤和要素有: 基于权利要求1-6的基础上,语音标准参考模型线程/进程在设置文本时,进行预先开启,错开朗读时打分分析运算的运算高峰,获得用户朗读语音时候唤醒朗读进度起点追踪线程/进程、进度标识进程、语句打分线程/进程、单词音节打分线程/进程,错开朗读时打分分析运算的运算高峰。