利索能及
我要发布
收藏
专利号: 2017114030114
申请人: 河南工学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种交互式外语口型和舌型同时矫正的方法,其特征在于包括如下步骤:

教师客户端向教师显示一段外语文字供教师朗读;

教师客户端根据教师触摸文字的信号,启动语音采集和结构光采集;教师客户端的结构光发射器发射结构光至教师用户面部,反射的多个结构光图像被教师客户端的结构光接收器接收;

在朗读结束后,教师客户端将文字、语音、多个结构光图像发送给服务器,并向服务器指定待发送的一个或多个学生客户端;

服务器将多个结构光图像模型化,对应生成多个口型图像,并根据教师客户的指定,将文字、语音及多个口型图像发送至一个或多个学生客户端;

学生客户端接收到服务器发送来的文字、语音及多个口型图像后,首先将文字内容呈现给学生用户;

学生客户端在学生触摸文字后启动朗读练习模式;

学生客户端启动语音及结构光图像采集,学生客户端的结构光发射器发射结构光至学生用户面部,反射的结构光图像被学生客户端的结构光接收器接收;

在朗读结束后,学生客户端将文字、及其采集的语音、多个结构光图像发送给服务器,并向服务器发送分析请求;

服务器启动如下分析:将学生客户端发送的多个结构光图像模型化,对应生成多个口型图像;比较教师客户端和学生客户端对应的多个口型图像,找出两者相似度小于80%的口型图像;再根据该口型图像找到对应的结构光图像,进而找到与之对应的语音片段,对比教师语音片段和学生语音片段的相似度,相似度小于80%则判断该学生发音有问题,且初步判断是由于口型导致的;

服务器将涉及上述问题的多个教师口型图像和多个学生口型图像及对应语音和文字发送给教师客户端和学生客户端;

在学生客户端上同时显示涉及问题的文字、教师口型图像和学生口型图像,并播放对应语音,供学生用户对照练习;

练习完毕后,学生客户端响应用户对于显示文字的点击动作,开始采集学生用户朗读语音,同时学生客户端的结构光发射器开始发射结构光,学生客户端的结构光接收器开始接收从用户面部反射的结构光;学生客户端将用户面部的结构光图像、用户朗读的语音和对应的文字发送给服务器;

服务器接收用户发送的结构光图像、语音和文字,并将结构光图像模型化,生成学生口型图像,并将其发送回学生客户端;同时,服务器将新的口型图像与标准口型图像进行比较两者相似度大于80%则认为合格,服务器将合格信息返回给学生客户端;

学生客户端将学生口型图像和教师口型图像同时在屏幕上显示,学生用户参考服务器返回的合格信息;若不一致,则自行调整直至一致为止;

在学生口型图像与教师口型图像一致的情况下,服务器比较此时用户的发音与标准发音是否一致,若相似度在80%以下,则向学生客户端发送舌型不正确的信号;

学生客户端收到舌型不正确的信号后,提示学生用户在保持正确口型不变的前提下,再次变换舌型进行朗读;学生客户端采集客户语音,并上传服务器,服务器比较此时学生用户的发音与教师发音是否一致,若相似度在80%以下,则向客户端发送舌型不正确的信号,继续重复本步骤,直至学生用户找到一种舌型,使得发音与标准发音相似度大于80%。

2.如权利要求1所述的交互式外语口型和舌型同时矫正的方法,其特征在于:服务器分析得出口型导致发音问题后,在学生客户端向学生提供跟读模式。

3.如权利要求2所述的交互式外语口型和舌型同时矫正的方法,其特征在于:服务器分析得出口型导致发音问题后,学生客户端向学生提供辅导模式。

4.一种执行上述权利要求1-3之一矫正方法的交互式外语口型和舌型同时矫正的系统,其特征在于:包括:教师客户端,包括结构光发射器和结构光接收器;同时采集教师的语音、结构光图像,并为其打上时间戳,保证两者同步采集且可以相互对应;将文字、与其对应的语音及多个结构光图像发送给服务器,并接收服务器返回的文字、与其对应的语音、及多个口型图像;

学生客户端,包括结构光发射器和结构光接收器;同时采集学生的语音、结构光图像,并为其打上时间戳,保证两者同步采集且可以相互对应;将文字、与其对应的语音及多个结构光图像发送给服务器,并接收服务器返回的文字、与其对应的语音、及多个口型图像;还用于在收到舌型不正确的信号后,提示用户在保持正确口型不变的前提下,再次变换舌型进行朗读;

服务器,接收教师客户端及学生客户端发送的文字、语音、多个结构光图像,将其中多个结构光图像模型化生成多个口型图像,并根据用户指令将文字、语音和多个口型图像发送给指定客户端;

比较学生客户端和教师客户端的多个口型图像,找出两者相似度小于一定范围的口型图像,再根据该口型图像找到对应的结构光图像,进而找到与之对应的语音片段,对比教师语音片段和学生语音片段的相似度,相似度小于一定范围则认为该学生发音有问题,且是由于口型导致的;

还用于在学生口型图像与教师口型图像一致的情况下,服务器比较此时用户的发音与标准发音是否一致,若相似度在一定范围以下,则向学生客户端发送舌型不对的信号。

5.如权利要求4所述的交互式外语口型和舌型同时矫正的系统,其特征在于:结构光发射器包括红外激光发射单元和镜头。

6.如权利要求5所述的交互式外语口型和舌型同时矫正的系统,其特征在于:红外激光发射单元依次包括红外激光源、扩束镜片和点状光栅。

7.如权利要求5所述的交互式外语口型和舌型同时矫正的系统,其特征在于:所述镜头包括三组透镜,其中至少一个面为非球面。