利索能及
我要发布
收藏
专利号: 2019105892385
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-08
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种多模态AR处理方法,其特征在于,包括:

获取用户请求数据,其中,所述用户请求数据包括待处理帧图像和用户位置信息;

从所述待处理帧图像中,获取目标物体图像;

在多个预建模型中,获取与所述目标物体图像和所述用户位置信息相对应的目标模型,其中,所述预建模型是根据与物体类型对应的模型建立方式建立的三维模型;

根据所述目标模型,获取与所述待处理帧图像对应的AR数据。

2.根据权利要求1所述的方法,其特征在于,所述在多个预建模型中,获取与所述目标物体图像和所述用户位置信息相对应的目标模型,包括:根据多个预建模型的位置属性和所述用户位置信息,在多个预建模型中确定至少一个附近模型,其中,所述附近模型是位置属性与所述用户位置信息相匹配的预建模型;

根据所述目标物体图像,在所述至少一个附近模型中确定目标模型,其中,所述目标模型是所述至少一个附近模型中与所述目标物体图像相似度最高的附近模型。

3.根据权利要求2所述的方法,其特征在于,所述根据所述目标物体图像,在所述至少一个附近模型中确定目标模型,包括:获取各所述附近模型的关键帧图像,其中,所述关键帧图像是所述附近模型在预设的多个三维姿态下的投影图像;

将各所述附近模型的关键帧图像与所述目标物体图像比较,获取各所述附近模型与所述目标物体图像的相似度,其中,所述附近模型对应的相似度是所述附近模型的各所述关键帧图像与所述目标物体图像的相似度总和;

将所述相似度最高的附近模型,作为目标模型。

4.根据权利要求2所述的方法,其特征在于,所述根据多个预建模型的位置属性和所述用户位置信息,在多个预建模型中确定至少一个附近模型,包括:根据所述用户位置信息,获取位置匹配范围;

获取多个预建模型的位置属性,并将位置属性指示位置在所述位置匹配范围之内的所述预建模型,作为附近模型。

5.根据权利要求4所述的方法,其特征在于,所述用户位置信息包括:全球定位系统GPS信息和惯性测量单元IMU信息;

所述根据所述用户位置信息,获取位置匹配范围,包括:根据所述GPS信息,获取用户拍摄位置;

根据所述IMU信息,获取用户拍摄朝向信息;

根据所述用户拍摄位置和所述用户拍摄朝向信息,获取位置匹配范围。

6.根据权利要求1至5任一所述的方法,其特征在于,所述多个预建模型包括对单个物体建立的第一类模型和/或对全景场景建立的第二类模型;

所述第一类模型包括:三维点云类模型、计算机辅助设计类模型;

所述第二类模型包括:三维全景模型。

7.根据权利要求1至5任一所述的方法,其特征在于,所述根据所述目标模型,获取与所述待处理帧图像对应的AR数据,包括:以所述目标模型对所述待处理帧图像中目标物体图像指示的目标物体进行定位和跟踪处理,获取目标物体的三维位姿信息;

根据AR模型和所述三维位姿信息,获取用于形成对所述目标物体图像AR叠加显示的AR数据,其中,所述AR模型为预设的与所述目标模型对应的AR模型,或者为根据用户操作指定的AR模型。

8.一种多模态AR处理装置,其特征在于,包括:

获取模块,用于获取用户请求数据,其中,所述用户请求数据包括待处理帧图像和用户位置信息;

识别模块,用于从所述待处理帧图像中,获取目标物体图像;

处理模块,用于在多个预建模型中,获取与所述目标物体图像和所述用户位置信息相对应的目标模型,其中,所述预建模型是根据与物体类型对应的模型建立方式建立的三维模型;

AR模块,用于根据所述目标模型,获取与所述待处理帧图像对应的AR数据。

9.一种系统,其特征在于,包括:用户终端和服务器;

所述用户终端用于从摄像头获取待处理帧图像,并根据所述待处理帧图像和用户位置信息想所述服务器发送用户请求数据;以及从所述服务器接收AR数据;

所述服务器用于执行权利要求1至7任一所述的多模态AR处理方法,得到所述AR数据。

10.一种设备,其特征在于,包括:存储器、处理器以及计算机程序,所述计算机程序存储在所述存储器中,所述处理器运行所述计算机程序执行权利要求1至7任一所述的多模态AR处理方法。

11.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现权利要求1至7任一所述的多模态AR处理方法。