1.一种智能儿童陪伴教育机器人,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现下述步骤:调取训练文本并经显示屏向用户显示所述训练文本,所述训练文本包括至少两个嘴型整体变化幅度不同的句子,且各句子中包括至少两个嘴型不同的汉字;
采集用户同步的音频数据流和包括嘴型的人脸图像数据流;
将所述音频数据流根据所述训练文本的汉字和标点符号分布情况及各汉字所对应的标准音频特征进行切片,获取与单个汉字一一对应的各音频数据切片的时间戳信息;
根据各所述音频数据切片的时间戳信息对所述人脸图像数据流进行切片,建立各图像数据切片与对应汉字之间的映射关系;
对每个图像数据切片,筛选处于中间1/3时间段的图像数据帧,从所筛选出的各图像数据帧中识别并提取出张开的嘴型轮廓信息,根据所述嘴型轮廓信息确定各特征点的坐标位置,所述特征点至少包括嘴型内侧两边嘴角处的A、B点以及上下嘴唇内侧中间处的C、D点;
并根据所述A、B点及C、D点坐标位置计算各图像帧的嘴型张角;取同一切片中所计算嘴型张角的平均值为相映射汉字的嘴型张角最终值;
按时间先后顺序,将计算得出的各所述嘴型张角最终值形成对应所述训练文本的嘴型张角数据序列;
将实际的嘴型张角数据序列与所述训练文本对应的标准张角数据序列根据相邻汉字之间的嘴型张角变化趋势和相邻句子之间的嘴型张角变化趋势进行对比分析,判断出嘴型待纠正的单字和句子,并将判断结果经所述显示屏向用户输出并显示;其中,单个句子整体的嘴型张角取所管辖的各汉字相邻张角变化幅度绝对值的平均值或均方根,所述嘴型张角为在以ACBD为顶点组成的四边形中∠CAD、∠CBD、∠ACB或∠ADB中的任意一个。
2.根据权利要求1所述的智能儿童陪伴教育机器人,其特征在于,在基于嘴型张角变化趋势进行对比分析的过程中,先在相邻句子之间的嘴型张角变化趋势进行对比分析,得出嘴型待纠正的句子,然后再在嘴型待纠正的句子中,根据相邻汉字之间的嘴型张角变化趋势得出嘴型待纠正的汉字;最后根据是否接受到用户的相应请求以确定是否在剩余的句子中,根据相邻汉字之间的嘴型张角变化趋势得出嘴型待纠正的汉字。
3.根据权利要求2所述的智能儿童陪伴教育机器人,其特征在于,所述处理器执行所述计算机程序时还实现下述步骤:
计算实际的嘴型张角数据序列与标准张角数据序列之间的相关性,根据相关性计算结果给出对应整个训练文本的测评结果。
4.根据权利要求3所述的所述的智能儿童陪伴教育机器人,其特征在于,所述评测结果具体为根据统计的相关性取值范围和梯度进行评级和分值计算。
5.根据权利要求1至4任一所述的智能儿童陪伴教育机器人,其特征在于,所述训练文本经网络远程下载,并在下载所述训练文本时,同步下载所述训练文本所对应的标准张角数据序列信息、各汉字所对应的标准音频特征信息以及单字和句子的标准嘴型要点解说视频;以供所述智能儿童陪伴教育机器人进行本地单机的对比分析处理;且所述处理器执行所述计算机程序时还实现下述步骤:
在判断出嘴型待纠正的单字和句子后,将相对应单字和句子的标准嘴型要点解说视频预加载至内存以根据用户相应的选择指令实时播放相对应的纠偏内容。