1.一种多模态AR处理方法,其特征在于,包括:
根据用户请求信息,获取视频帧图像和AR任务属性;
根据所述AR任务属性,在预设的多个处理模型组合中确定目标模型组合,其中,所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型;
在数据共享的三线程架构中以所述目标模型组合,对所述视频帧图像进行与所述AR任务属性对应的AR处理;所述三线程架构包括数据共享的跟踪线程、校正线程和地图线程;其中,所述跟踪线程用于执行所述目标模型组合的跟踪处理模型,所述校正线程用于执行所述目标模型组合的校正处理模型,所述地图线程用于执行所述目标模型组合的地图处理模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述AR任务属性,在预设的多个处理模型组合中确定目标模型组合,其中,所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型,包括:获取用于处理所述AR任务属性的校正方法类型、地图方法类型;
在预设的多个处理模型组合中,将与所述校正方法类型和所述地图方法类型对应的处理模型组合,作为目标模型组合。
3.根据权利要求2所述的方法,其特征在于,所述根据所述AR任务属性,在预设的多个处理模型组合中确定目标模型组合,其中,所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型之前,还包括:创建并存储用于处理2D类AR任务的2D校正处理模型、2D地图处理模型,其中,所述2D校正处理模型对应2D校正方法类型、所述2D地图处理模型对应2D地图方法类型;
创建并存储用于处理3D类AR任务的3D校正处理模型、3D地图处理模型,其中,所述3D校正处理模型对应3D校正方法类型、所述3D地图处理模型对应3D地图方法类型;
创建并存储用于处理融合类AR任务的融合地图处理模型,其中,所述融合地图处理模型对应2D和3D地图方法类型;
获取多个处理模型组合,其中,所述处理模型组合包括:
预设的共用跟踪处理模型,
所述2D校正处理模型和所述3D校正处理模型之一,
以及所述2D地图处理模型、所述3D地图处理模型和所述融合地图处理模型之一。
4.根据权利要求3所述的方法,其特征在于,所述任务属性包括2D类AR任务;
与所述2D类AR任务相对应的所述2D校正处理模型,包括:与基于ORB特征的平面校正方法类型相对应的2D校正处理模型,或与基于SURF特征的平面校正方法类型相对应的2D校正处理模型;
与所述2D类AR任务相对应的所述2D地图处理模型,包括:与计算平面图像深度的地图方法类型相对应的2D地图处理模型。
5.根据权利要求3所述的方法,其特征在于,所述任务属性包括3D类AR任务;
与所述3D类AR任务相对应的所述3D校正处理模型,包括:与基于PWP3D的3D校正方法类型相对应的3D校正处理模型,或与基于边缘信息的3D校正方法类型相对应的3D校正处理模型;
与所述3D类AR任务相对应的所述3D地图处理模型,包括:与以物体姿态确定地图点深度信息的地图方法类型相对应的3D地图处理模型。
6.根据权利要求3所述的方法,其特征在于,所述任务属性包括融合类AR任务;
与所述融合类AR任务相对应的所述融合地图处理模型,包括:与确定2D和3D融合地图方法类型相对应的融合地图处理模型。
7.根据权利要求1至6任一所述的方法,其特征在于,所述在数据共享的三线程架构中以所述目标模型组合,对所述视频帧图像进行与所述AR任务属性对应的AR处理,包括:以跟踪线程获取所述视频帧图像,并将所述视频帧图像同步给所述校正线程;
以所述校正线程根据所述目标模型组合的校正处理模型、预存储的先验知识信息和所述视频帧图像,得到具有尺度信息的绝对位置地图和相机姿态信息,并将所述绝对位置地图和所述相机姿态信息同步给所述跟踪线程;
以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述绝对位置地图和所述相机姿态信息,对所述视频帧图像进行AR初始定位,获取所述视频帧图像的物体姿态,并将所述视频帧图像以及所述视频帧图像的物体姿态同步给所述地图线程;
以所述地图线程根据所述目标模型组合的地图处理模型、所述视频帧图像以及所述视频帧图像的物体姿态,创建或更新局部地图,并将所述局部地图同步给所述跟踪线程;
以所述跟踪线程根据所述目标模型组合的跟踪处理模型、所述局部地图对所述视频帧图像进行AR跟踪。
8.根据权利要求1至6任一所述的方法,其特征在于,所述用户请求信息包括所述视频帧图像;
所述根据用户请求信息,获取视频帧图像和AR任务属性,包括:
获取用户请求信息中的视频帧图像;
对所述视频帧图像识别获取待跟踪对象;
根据所述待跟踪对象的形状特征,确定AR任务属性,其中所述形状特征包括2D物体特征和/或3D物体特征。
9.一种多模态AR处理装置,其特征在于,包括:
获取模块,用于根据用户请求信息,获取视频帧图像和AR任务属性;
组合模块,用于根据所述AR任务属性,在预设的多个处理模型组合中确定目标模型组合,其中,所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型;
处理模块,用于在数据共享的三线程架构中以所述目标模型组合,对所述视频帧图像进行与所述AR任务属性对应的AR处理;所述三线程架构包括数据共享的跟踪线程、校正线程和地图线程;其中,所述跟踪线程用于执行所述目标模型组合的跟踪处理模型,所述校正线程用于执行所述目标模型组合的校正处理模型,所述地图线程用于执行所述目标模型组合的地图处理模型。
10.一种设备,其特征在于,包括:存储器、处理器以及计算机程序,所述计算机程序存储在所述存储器中,所述处理器运行所述计算机程序执行权利要求1至8任一所述多模态AR处理方法。
11.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现权利要求1至8任一所述多模态AR处理方法。