利索能及
我要发布
收藏
专利号: 2019103277856
申请人: 广东小天才科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-07-05
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于图像采集设备的显示屏开启方法,其特征在于,所述显示屏包括墨水屏和彩色显示屏,所述墨水屏用于输出若干个应用启动端口,所述彩色显示屏用于输出多媒体内容,所述方法包括:当检测到用户通过所述墨水屏输出的任意一个所述应用启动端口启动对应的目标应用时,检测所述目标应用是否触发终端设备的所述图像采集设备开启;

如果是,开启所述图像采集设备和所述彩色显示屏;

将所述图像采集设备采集到的环境图像加载至所述彩色显示屏进行显示,以及将所述环境图像发送至所述目标应用的视频通话方。

2.根据权利要求1所述的方法,其特征在于,所述将所述环境图像发送至所述目标应用的视频通话方之后,所述方法还包括:当检测到用户输入的拍照指令时,通过所述图像采集设备进行拍照,得到所述彩色显示屏输出的当前环境图像;

当所述终端设备的麦克风采集到用户输入的提问语音时,对所述当前环境图像进行分析,得到所述当前环境图像中与所述提问语音匹配的特征图像信息;

以所述特征图像信息为依据,搜索得到与所述提问语音对应的第一答案信息;

通过所述墨水屏输出所述第一答案信息。

3.根据权利要求2所述的方法,其特征在于,得到所述彩色显示屏输出的当前环境图像之后,所述方法还包括:识别所述当前环境图像中是否存在待搜索题目;

如果是,向所述视频通话方发送所述待搜索题目,以使所述视频通话方反馈与所述待搜索题目匹配的第二答案信息;

当接收到所述视频通话方反馈的所述第二答案信息时,通过所述墨水屏输出显示所述第二答案信息。

4.根据权利要求2或3所述的方法,其特征在于,所述当所述终端设备的麦克风采集到用户输入的提问语音时,对所述当前环境图像进行分析,得到所述当前环境图像中与所述提问语音匹配的特征图像信息,包括:当所述终端设备的麦克风采集到用户输入的提问语音时,提取所述提问语音中包含的关键名词;

对所述当前环境图像进行图像语义分割,得到所述当前环境图像中包含的若干个语义信息;

从所述若干个语义信息中确定与所述关键名词匹配的目标语义信息;

从所述当前环境图像中提取与所述目标语义信息匹配的特征图像信息。

5.根据权利要求1~4任一项所述的方法,其特征在于,所述将所述环境图像发送至所述目标应用的视频通话方之后,所述方法还包括:当接收到所述视频通话方发送的危险预警指令时,对所述环境图像进行识别,得到所述环境图像中包含的若干个物体信息;

检测所述若干个物体信息中是否包含危险信息;

如果是,确定所述终端设备的用户处于危险环境中,并通过所述墨水屏输出危险环境提示信息,以及向所述视频通话方发送所述危险环境提示信息,所述危险环境提示信息用于提示所述终端设备的所处环境存在危险。

6.一种终端设备,其特征在于,所述终端设备包含显示屏,所述显示屏包括墨水屏和彩色显示屏,所述墨水屏用于输出若干个应用启动端口,所述彩色显示屏用于输出多媒体内容,所述终端设备包括:第一检测单元,用于当检测到用户通过所述墨水屏输出的任意一个所述应用启动端口启动对应的目标应用时,检测所述目标应用是否触发所述终端设备的所述图像采集设备开启;

开启单元,用于在所述第一检测单元检测的结果为是时,开启所述图像采集设备和所述彩色显示屏;

显示单元,用于将所述图像采集设备采集到的环境图像加载至所述彩色显示屏进行显示,以及将所述环境图像发送至所述目标应用的视频通话方。

7.根据权利要求6所述的终端设备,其特征在于,所述终端设备还包括:拍照单元,用于在所述显示单元将所述环境图像发送至所述目标应用的视频通话方之后,以及当检测到用户输入的拍照指令时,通过所述图像采集设备进行拍照,得到所述彩色显示屏输出的当前环境图像;

分析单元,用于当所述终端设备的麦克风采集到用户输入的提问语音时,对所述当前环境图像进行分析,得到所述当前环境图像中与所述提问语音匹配的特征图像信息;

搜索单元,用于以所述特征图像信息为依据,搜索得到与所述提问语音对应的第一答案信息;

第一输出单元,用于通过所述墨水屏输出所述第一答案信息。

8.根据权利要求7所述的终端设备,其特征在于,所述终端设备还包括:第一识别单元,用于在所述拍照单元得到所述彩色显示屏输出的当前环境图像之后,识别所述当前环境图像中是否存在待搜索题目;

发送单元,用于在所述第一识别单元识别的结果为是时,向所述视频通话方发送所述待搜索题目,以使所述视频通话方反馈与所述待搜索题目匹配的第二答案信息;

第二输出单元,用于当接收到所述视频通话方反馈的所述第二答案信息时,通过所述墨水屏输出显示所述第二答案信息。

9.根据权利要求7或8所述的终端设备,其特征在于,所述分析单元包括:第一提取子单元,用于当所述终端设备的麦克风采集到用户输入的提问语音时,通过语音识别技术提取所述提问语音中包含的关键名词;

分割子单元,用于对所述当前环境图像进行图像语义分割,得到所述当前环境图像中包含的若干个语义信息;

确定子单元,用于从所述若干个语义信息中确定与所述关键名词匹配的目标语义信息;

第二提取子单元,用于从所述当前环境图像中提取与所述目标语义信息匹配的特征图像信息。

10.根据权利要求6~9任一项所述的终端设备,其特征在于,所述终端设备还包括:第二识别单元,用于在所述显示单元将所述环境图像发送至所述目标应用的视频通话方之后,以及当接收到所述视频通话方发送的危险预警指令时,对所述环境图像进行识别,得到所述环境图像中包含的若干个物体信息;

第二检测单元,用于检测所述若干个物体信息中是否包含危险信息;

确定单元,用于在所述第二检测单元检测的结果为是时,确定所述终端设备的用户处于危险环境中,并通过所述墨水屏输出危险环境提示信息,以及向所述视频通话方发送所述危险环境提示信息,所述危险环境提示信息用于提示所述终端设备的所处环境存在危险。