利索能及
我要发布
收藏
专利号: 2022108070242
申请人: 深圳市人马互动科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-09
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种语音交互方法,其特征在于,所述方法包括:

接收语音控制机器人发送的待播报语音信息以及与所述待播报语音信息关联的控制指令;所述控制指令为针对所述待播报语音信息中的至少一个语句的控制指令;所述控制指令的类型包括输入反馈控制指令、允许打断指令和禁止打断指令;所述控制指令下设二级指令;所述允许打断指令的二级指令包括时间反馈指令,所述禁止打断指令的二级指令包括追加内容指令、禁止识别指令和允许识别指令;

对所述待播报语音信息进行语音播报;

基于所述控制指令获取语音播报过程中与至少一个语句对应的语音输入信息;

基于所述语音输入信息,从所述语音控制机器人中获取响应语音信息,并对所述响应语音信息进行语音播报;

若所述控制指令包括输入反馈控制指令,所述方法还包括:在所述待播报语音信息中的至少一个语句结束播报后到达输入启动节点;当用户在所述输入启动节点没有语音输入时进行追问,而当用户持续没有语音输入时即时结束语音交互;

若所述控制指令包括所述允许打断指令且所述允许打断指令包含时间反馈指令,所述方法还包括:基于语音输入内容和输入时间从语音控制机器人中获取响应语音信息;

若所述控制指令包括所述禁止打断指令且所述禁止打断指令包含追加内容指令,所述方法还包括:若用户语音输入能匹配到回答,将匹配到的回答添加到追加内容指令指定的文本位置之后进行播报;

若所述控制指令为禁止打断指令且所述禁止打断指令携带禁止识别指令,所述方法还包括:在对所述待播报语音信息进行语音播报的过程中监听到与至少一个语句对应的语音输入时,忽略所述语音输入;

若所述控制指令为禁止打断指令且所述禁止打断指令携带允许识别指令,所述方法还包括:在对所述待播报语音信息进行语音播报的过程中监听到与至少一个语句对应的语音输入时,将所述语音输入对应的语音输入信息发送给语音识别器后忽略所述语音识别器返回的语音文本。

2.根据权利要求1所述的方法,其特征在于,所述基于所述控制指令获取语音播报过程中与至少一个语句对应的语音输入信息,包括:当所述控制指令为允许打断指令且在语音播报的允许打断时间段中监听到与至少一个语句对应的语音输入时,中断对所述待播报语音信息的语音播报,在语音输入结束时确定所述语音输入对应的语音输入信息。

3.根据权利要求2所述的方法,其特征在于,所述待播报语音信息包含至少一个交互节点;

所述在语音输入结束时确定所述语音输入对应的语音输入信息,包括:

获取语音输入对应的语音输入内容以及所述语音输入内容对应的输入时间,得到所述语音输入信息;

相应的,所述基于所述语音输入信息,从所述语音控制机器人中获取响应语音信息,包括:基于所述输入时间在所述至少一个交互节点中确定所述语音输入内容对应的目标交互节点;

基于所述语音输入内容和所述目标交互节点从所述语音控制机器人中获取响应语音信息。

4.根据权利要求3所述的方法,其特征在于,所述基于所述语音输入信息,从所述语音控制机器人中获取响应语音信息,包括:若所述允许打断指令携带时间反馈指令,接收所述语音控制机器人获取的与所述语音输入内容和所述输入时间对应的响应语音信息。

5.根据权利要求3所述的方法,其特征在于,所述基于所述语音输入内容和所述目标交互节点从所述语音控制机器人中获取响应语音信息,包括:将所述语音输入内容和所述目标交互节点发送至所述语音控制机器人;

接收所述语音控制机器人获取的与所述语音输入内容和所述目标交互节点对应的响应语音信息;所述语音控制机器人用于基于所述语音输入内容进行语义理解,基于语义理解的结果和所述目标交互节点确定用户意图,确定与所述用户意图相匹配的响应语音信息。

6.根据权利要求3所述的方法,其特征在于,所述基于所述控制指令获取语音播报过程中与至少一个语句对应的语音输入信息之后,还包括:若基于所述语音输入信息未从所述语音控制机器人中获取到响应语音信息,则判定响应失败;

若所述待播报语音信息未播报完毕,则从中断位置继续对所述待播报语音信息进行语音播报。

7.根据权利要求2所述的方法,其特征在于,所述基于所述控制指令获取语音播报过程中与至少一个语句对应的语音输入信息,包括:若所述允许打断指令为任意打断指令,则在语音播报过程的任意时刻监听到与至少一个语句对应的语音输入时,确定所述语音输入对应的语音输入信息;

若所述允许打断指令为智能打断指令,确定所述待播报语音信息对应的允许打断时间段,当在所述允许打断时间段中监听到与至少一个语句对应的语音输入时,确定所述语音输入对应的语音输入信息。

8.根据权利要求7所述的方法,其特征在于,所述待播报语音信息包含至少一个语音播报端点;

所述确定所述待播报语音信息对应的允许打断时间段,包括:

根据预先设置的允许打断时长、允许打断起始端点和允许打断终止端点中的至少两项确定所述待播报语音信息对应的允许打断时间段。

9.根据权利要求1至8任一项所述的方法,其特征在于,所述对所述待播报语音信息进行语音播报之后,还包括:在所述控制指令为禁止打断指令的情况下,当在语音播报的过程中监听到与至少一个语句对应的语音输入时,或者,在所述控制指令为允许打断指令的情况下,当在语音播报的禁止打断时间段中监听到与至少一个语句对应的语音输入时,继续对所述待播报语音信息进行语音播报,并在语音播报的过程中获取所述语音输入对应的语音输入信息;

在所述待播报语音信息中的至少一个语句结束播报后,基于所述语音输入信息从所述语音控制机器人中获取响应语音信息,并对所述响应语音信息进行语音播报。

10.根据权利要求1至8任一项所述的方法,其特征在于,所述语音控制机器人为语音文本控制机器人;

所述基于所述控制指令获取语音播报过程中与至少一个语句对应的语音输入信息之后,还包括:若所述控制指令为允许打断指令,则将所述语音输入信息中的语音输入内容发送给语音识别器;接收所述语音识别器识别所述语音输入内容后返回的语音文本;将所述语音文本发送给所述语音文本控制机器人,接收所述语音文本控制机器人对所述语音文本进行分析后得到的响应文本信息;基于所述响应文本信息得到所述响应语音信息;

若所述控制指令为禁止打断指令且所述禁止打断指令携带禁止识别指令,则在对所述待播报语音信息进行语音播报的过程中监听到与至少一个语句对应的语音输入时,忽略所述语音输入;

若所述控制指令为禁止打断指令且所述禁止打断指令携带允许识别指令,则在对所述待播报语音信息进行语音播报的过程中监听到与至少一个语句对应的语音输入时,将所述语音输入对应的语音输入信息发送给语音识别器后忽略所述语音识别器返回的语音文本。

11.根据权利要求1至8任一项所述的方法,其特征在于,所述待播报语音信息包含至少一个交互节点,所述至少一个交互节点中包含输入启动节点,所述控制指令为输入反馈控制指令;

所述基于所述控制指令获取语音播报过程中与至少一个语句对应的语音输入信息之后,还包括:在所述待播报语音信息中的至少一个语句结束播报后到达所述输入启动节点;

若在第一预设时间范围内获取到语音输入,则启动下一交互节点,并基于所述语音输入对应的语音输入信息获取响应语音信息,对所述响应语音信息进行语音播报;

若在所述第一预设时间范围内未获取到语音输入,则响应于所述输入反馈控制指令,从所述语音控制机器人中获取追问语音信息并对所述追问语音信息进行语音播报;若在追问语音信息播报后的第二预设时间范围内未获取到语音输入,则从所述语音控制机器人中获取结束语音信息,对所述结束语音信息进行语音播报,并结束当前语音交互。

12.根据权利要求1至8任一项所述的方法,其特征在于,所述待播报语音信息包含至少一个交互节点;

所述基于所述控制指令获取语音播报过程中与至少一个语句对应的语音输入信息之后,还包括:确定在交互节点未获取到语音输入的次数;

若所述交互节点未获取到语音输入的次数超过预设的数量阈值,则从所述语音控制机器人中获取追问语音信息并对所述追问语音信息进行语音播报;若在追问语音信息播报后的预设时间范围内未获取到语音输入,则从所述语音控制机器人中获取结束语音信息,对所述结束语音信息进行语音播报,并结束当前语音交互。

13.一种语音交互方法,其特征在于,所述方法包括:

获取待播报语音信息和与所述待播报语音信息关联的控制指令;所述控制指令为针对所述待播报语音信息中的至少一个语句的控制指令;所述控制指令的类型包括输入反馈控制指令、允许打断指令和禁止打断指令;所述控制指令下设二级指令;所述允许打断指令的二级指令包括时间反馈指令,所述禁止打断指令的二级指令包括追加内容指令、禁止识别指令和允许识别指令;

向控制端发送所述待播报语音信息和所述控制指令,以使得所述控制端对所述待播报语音信息进行语音播报;

接收所述控制端发送的与至少一个语句对应的语音输入信息;所述语音输入信息由所述控制端基于所述控制指令在语音播报过程中获取到;

向所述控制端发送与所述语音输入信息对应的响应语音信息,以使得所述控制端对所述响应语音信息进行语音播报;

若所述控制指令包括输入反馈控制指令,所述方法还包括,基于所述控制指令触发所述控制端执行以下步骤:在所述待播报语音信息中的至少一个语句结束播报后到达输入启动节点;当用户在所述输入启动节点没有语音输入时进行追问,而当用户持续没有语音输入时即时结束语音交互;

若所述控制指令包括所述允许打断指令且所述允许打断指令包含时间反馈指令,所述方法还包括,基于所述控制指令触发所述控制端执行以下步骤:基于语音输入内容和输入时间从语音控制机器人中获取响应语音信息;

若所述控制指令包括所述禁止打断指令且所述禁止打断指令包含追加内容指令,所述方法还包括:若用户语音输入能匹配到回答,将匹配到的回答添加到追加内容指令指定的文本位置之后进行播报;

若所述控制指令为禁止打断指令且所述禁止打断指令携带禁止识别指令,所述方法还包括:在对所述待播报语音信息进行语音播报的过程中监听到与至少一个语句对应的语音输入时,忽略所述语音输入;

若所述控制指令为禁止打断指令且所述禁止打断指令携带允许识别指令,所述方法还包括:在对所述待播报语音信息进行语音播报的过程中监听到与至少一个语句对应的语音输入时,将所述语音输入对应的语音输入信息发送给语音识别器后忽略所述语音识别器返回的语音文本。

14.根据权利要求13所述的方法,其特征在于,所述待播报语音信息包含至少一个交互节点;

所述方法,还包括:

对所述至少一个交互节点的语音输入信息进行预测,得到预测语音输入信息;

基于所述预测语音输入信息确定用户意图预测信息;

确定与所述用户意图预测信息对应的响应语音信息,得到响应语音信息库;

相应的,所述向所述控制端发送与所述语音输入信息对应的响应语音信息,包括:确定与所述语音输入信息对应目标用户意图预测信息;

基于所述用户意图预测信息从所述响应语音信息库中获取对应的响应语音信息,并向所述控制端发送所述响应语音信息。

15.一种语音交互装置,其特征在于,所述装置包括:

第一信息接收模块,用于接收语音控制机器人发送的待播报语音信息以及与所述待播报语音信息关联的控制指令;所述控制指令为针对所述待播报语音信息中的至少一个语句的控制指令;所述控制指令的类型包括输入反馈控制指令、允许打断指令和禁止打断指令;

所述控制指令下设二级指令;所述允许打断指令的二级指令包括时间反馈指令,所述禁止打断指令的二级指令包括追加内容指令、禁止识别指令和允许识别指令;

语音播报模块,用于对所述待播报语音信息进行语音播报;

输入信息获取模块,用于基于所述控制指令获取语音播报过程中与至少一个语句对应的语音输入信息;

响应播报模块,用于基于所述语音输入信息,从所述语音控制机器人中获取响应语音信息,并对所述响应语音信息进行语音播报;

还包括执行以下步骤的模块:

若所述控制指令包括输入反馈控制指令,还包括:在所述待播报语音信息中的至少一个语句结束播报后到达输入启动节点;当用户在所述输入启动节点没有语音输入时进行追问,而当用户持续没有语音输入时即时结束语音交互;

若所述控制指令包括所述允许打断指令且所述允许打断指令包含时间反馈指令,还包括:基于语音输入内容和输入时间从语音控制机器人中获取响应语音信息;

若所述控制指令包括所述禁止打断指令且所述禁止打断指令包含追加内容指令,还包括:若用户语音输入能匹配到回答,将匹配到的回答添加到追加内容指令指定的文本位置之后进行播报;

若所述控制指令为禁止打断指令且所述禁止打断指令携带禁止识别指令,还包括:在对所述待播报语音信息进行语音播报的过程中监听到与至少一个语句对应的语音输入时,忽略所述语音输入;

若所述控制指令为禁止打断指令且所述禁止打断指令携带允许识别指令,还包括:在对所述待播报语音信息进行语音播报的过程中监听到与至少一个语句对应的语音输入时,将所述语音输入对应的语音输入信息发送给语音识别器后忽略所述语音识别器返回的语音文本。

16.一种语音交互装置,其特征在于,所述装置包括:

信息获取模块,用于获取待播报语音信息和与所述待播报语音信息关联的控制指令;

所述控制指令为针对所述待播报语音信息中的至少一个语句的控制指令;所述控制指令的类型包括输入反馈控制指令、允许打断指令和禁止打断指令;所述控制指令下设二级指令;

所述允许打断指令的二级指令包括时间反馈指令,所述禁止打断指令的二级指令包括追加内容指令、禁止识别指令和允许识别指令;

信息发送模块,用于向控制端发送所述待播报语音信息和所述控制指令,以使得所述控制端对所述待播报语音信息进行语音播报;

第二信息接收模块,用于接收所述控制端发送的与至少一个语句对应的语音输入信息;所述语音输入信息由所述控制端基于所述控制指令在语音播报过程中获取到;

响应发送模块,用于向所述控制端发送与所述语音输入信息对应的响应语音信息,以使得所述控制端对所述响应语音信息进行语音播报;

还包括执行以下步骤的模块:

若所述控制指令包括输入反馈控制指令,还包括,基于所述控制指令触发所述控制端执行以下步骤:在所述待播报语音信息中的至少一个语句结束播报后到达输入启动节点;

当用户在所述输入启动节点没有语音输入时进行追问,而当用户持续没有语音输入时即时结束语音交互;

若所述控制指令包括所述允许打断指令且所述允许打断指令包含时间反馈指令,还包括:基于所述控制指令触发所述控制端执行以下步骤:基于语音输入内容和输入时间从语音控制机器人中获取响应语音信息;

若所述控制指令包括所述禁止打断指令且所述禁止打断指令包含追加内容指令,还包括:若用户语音输入能匹配到回答,将匹配到的回答添加到追加内容指令指定的文本位置之后进行播报;

若所述控制指令为禁止打断指令且所述禁止打断指令携带禁止识别指令,还包括:在对所述待播报语音信息进行语音播报的过程中监听到与至少一个语句对应的语音输入时,忽略所述语音输入;

若所述控制指令为禁止打断指令且所述禁止打断指令携带允许识别指令,还包括:在对所述待播报语音信息进行语音播报的过程中监听到与至少一个语句对应的语音输入时,将所述语音输入对应的语音输入信息发送给语音识别器后忽略所述语音识别器返回的语音文本。

17.一种语音交互系统,其特征在于,所述系统包括:语音控制机器人和控制端;

所述语音控制机器人,用于获取待播报语音信息和与所述待播报语音信息关联的控制指令,向所述控制端发送所述待播报语音信息和所述控制指令;所述控制指令为针对所述待播报语音信息中的至少一个语句的控制指令;所述控制指令的类型包括输入反馈控制指令、允许打断指令和禁止打断指令;所述控制指令下设二级指令;所述允许打断指令的二级指令包括时间反馈指令,所述禁止打断指令的二级指令包括追加内容指令、禁止识别指令和允许识别指令;

所述控制端,用于对所述待播报语音信息进行语音播报;基于所述控制指令获取语音播报过程中与至少一个语句对应的语音输入信息,将所述语音输入信息发送至所述语音控制机器人;

所述语音控制机器人,还用于向所述控制端发送与所述语音输入信息对应的响应语音信息;

所述控制端,还用于对所述响应语音信息进行语音播报:

所述控制端,还用于若所述控制指令包括输入反馈控制指令,还包括:在所述待播报语音信息中的至少一个语句结束播报后到达输入启动节点;当用户在所述输入启动节点没有语音输入时进行追问,而当用户持续没有语音输入时即时结束语音交互;

所述控制端,还用于若所述控制指令包括所述允许打断指令且所述允许打断指令包含时间反馈指令,还包括:基于语音输入内容和输入时间从语音控制机器人中获取响应语音信息;

若所述控制指令包括所述禁止打断指令且所述禁止打断指令包含追加内容指令,还包括:若用户语音输入能匹配到回答,将匹配到的回答添加到追加内容指令指定的文本位置之后进行播报;

若所述控制指令为禁止打断指令且所述禁止打断指令携带禁止识别指令,还包括:在对所述待播报语音信息进行语音播报的过程中监听到与至少一个语句对应的语音输入时,忽略所述语音输入;

若所述控制指令为禁止打断指令且所述禁止打断指令携带允许识别指令,还包括:在对所述待播报语音信息进行语音播报的过程中监听到与至少一个语句对应的语音输入时,将所述语音输入对应的语音输入信息发送给语音识别器后忽略所述语音识别器返回的语音文本。

18.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至14中任一项所述方法的步骤。

19.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至14中任一项所述方法的步骤。