利索能及
我要发布
收藏
专利号: 2021106323196
申请人: 深圳市金研微科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多人视角定位空间交互AR实现方法,其特征在于,多个用户佩戴AR设备,所述方法包括:

获取多用户位于真实空间中的视角、位置及行为动作,并将视角、位置及行为动作对应的参数赋值给三维虚拟渲染引擎;

所述三维虚拟渲染引擎根据获取的数据属性创建虚拟空间或虚拟对象;

将已经渲染创建过的虚拟空间或虚拟对象发送给多人佩戴的AR眼镜设备;

依据AR眼镜的光学视觉成像,将真实空间中的真实物体和由三维虚拟引擎渲染创建的虚拟场景中的虚拟物体进行叠加融合。

2.根据权利要求1所述方法,其特征在于,所述获取多用户位于真实空间中的视角、位置及行为动作,包括:

通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置,利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈;

通过AR设备实时采集用户的面部表情,对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度;

利用AR采集的真实空间三维物体图像,通过实时采集的真实空间三维物体图像对所述真实空间三维物体位置和形态进行检测,并进行虚拟对象真实感绘制,获得虚拟绘制图像;

多个用户之间实时进行进场通信分享虚拟对象交互数据,通过多用户之间的虚拟对象交互数据增强每个用户AR设备的虚拟渲染强度。

3.根据权利要求2所述方法,其特征在于,通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置,利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈,包括:

利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内,用户自身与其他用户之间的相互位置;

利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内真实物体的相对位置;

利用三位虚拟渲染引擎针对所述相互位置和相对位置进行计算获取每个用户彼此之间的真实位置,用户所在空间内所处位置以及用户之间的交互行为;

将实时采集获取到用户实时相互位置以及用户所在空间内的真实物体实际相对位置进行实时数据反馈至所述三位虚拟渲染引擎,所述三位虚拟渲染引擎利用接收到的反馈数据实时更新变化虚拟渲染中的用户位置以及真实物体相对位置。

4.根据权利要求2所述方法,其特征在于,通过AR设备实时采集用户的面部表情,对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度,包括:通过用户佩戴AR设备的前置摄像头实时采集用户所在空间内其他用户的面部视频图像;

利用人脸追踪方法从所述面部视频图像中捕捉其他用户的面部表情;

对其他用户的面部表情进行数据化表情分析,获得其他用户当前的心情变化特征以及嘴部开合动作特点;

所述三位虚拟渲染引擎针通过其他用户的嘴部开合动作特点模拟语言沟通嘴部开合变化程度。

5.根据权利要求2所述方法,其特征在于,所述对其他用户的面部表情进行数据化表情分析,获得其他用户当前的心情变化特征以及嘴部开合动作特点,包括:实时采集用户的面部表情特征和面部动作,并判断用户嘴部是否存在动作;

当判断用户嘴部出现第一个动作时,在第一时间段内针对用户嘴部进行连续监控,判断用户嘴部在第一时间段内是否存在连续嘴部动作,其中,所述第一时间段为30——40s;

如果第一时间段内检测到用户嘴部没有进行连续的嘴部动作,则设置第二时间段,如果在第二时间段内,用户依然没有嘴部连续动作,则取消针对用户嘴部的连续监控,返回到原始面部跟踪操作;如果在第一时间段或第二时间段内检测到用户嘴部进行连续的嘴部运动时,则判断连续嘴部运动是否为开合运动;其中,所述第二时间段通过如下公式获取:其中,T1表示第一时间段;T2表示第二时间段,INT[]表示向上取整函数;n表示检测到的用户嘴部出现第一个动作的次数;m表示用户出现嘴部第一个动作后未在INT[0.8×T1]时间段内进行连续嘴部开合动作,但在取消嘴部连续监控之后的1s‑9s内用户立即出现下一个运动监控周期内的嘴部第一个动作的情况的次数;Ti表示用户第i次出现未在INT[0.8×T1]时间段内进行连续嘴部开合动作,但在取消嘴部连续监控之后的1s‑9s内用户立即产生下一个运动监控周期内的嘴部第一个动作的情况时,当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T1]之间的相差时间长度;max(Ti‑INT[0.8×T1])表示当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T1]之间的相差时间长度最大值,且,当max(Ti‑INT[0.8×T1])≥13s时,取max(Ti‑INT[0.8×T1])=13s;

如果用户的连续嘴部运动为开合运动,则识别嘴部动开合状态,通过嘴部开合状态传输至三位虚拟渲染引擎中模拟语言沟通张嘴变化程度;

实时统计用户出现嘴部第一个动作但未进行连续嘴部开合动作的次数以及对应的嘴部动作图像;

当所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数超过预先设置的阈值次数时,调取每次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作所对应的嘴部动作图像;其中,所述阈值次数5‑8次:提取嘴部动作图像中的动作特征,判断所述动作特征相似性,当出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数达到相似度值大于0.93时,判定当前相似性判断的两次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的嘴部第一个动作属于同一动作,并进行相同动作标记;

统计相同动作标记次数,当相同动作标记次数超过相同次数阈值时,将此动作设置为用户第t号习惯嘴部动作,并在后续脸部追踪过程中实时监测用户嘴部是否出现习惯最不动作,当用户出现习惯嘴部动作时,不进行嘴部连续监控;其中,所述相同次数阈值为3‑6次。

6.一种基于多人视角定位空间交互AR实现系统,其特征在于,多个用户佩戴AR设备,所述系统包括:

获取模块,用于获取多用户位于真实空间中的视角、位置及行为动作,并将视角、位置及行为动作对应的参数赋值给三维虚拟渲染引擎;

渲染模块,用于所述三维虚拟渲染引擎根据获取的数据属性创建虚拟空间或虚拟对象;

共享模块,用于将已经渲染创建过的虚拟空间或虚拟对象发送给多人佩戴的AR眼镜设备;

融合模块,用于依据AR眼镜的光学视觉成像,将真实空间中的真实物体和由三维虚拟引擎渲染创建的虚拟场景中的虚拟物体进行叠加融合。

7.根据权利要求6所述系统,其特征在于,所述获取模块包括:位置获取模块,用于通过多个用户佩戴的AR设备采集每个用户之间的相互位置和真实物体相对位置,利用所述相互位置和相对位置确定用户所在位置并进行用户实时活动的数据反馈;

表情获取模块,用于通过AR设备实时采集用户的面部表情,对所述面部表情进行分析获取用户当前心情变化特性和模拟语言沟通张嘴变化程度;

虚拟绘制模块,用于利用AR采集的真实空间三维物体图像,通过实时采集的真实空间三维物体图像对所述真实空间三维物体位置和形态进行检测,并进行虚拟对象真实感绘制,获得虚拟绘制图像;

交互模块,用于多个用户之间实时进行进场通信分享虚拟对象交互数据,通过多用户之间的虚拟对象交互数据增强每个用户AR设备的虚拟渲染强度。

8.根据权利要求7所述系统,其特征在于,所述位置获取模块包括:用户位置获取模块,用于利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内,用户自身与其他用户之间的相互位置;

物体位置获取模块,用于利用多个用户佩戴的AR设备的前置摄像头采集用户所在空间内真实物体的相对位置;

数据处理模块,用于利用三位虚拟渲染引擎针对所述相互位置和相对位置进行计算获取每个用户彼此之间的真实位置,用户所在空间内所处位置以及用户之间的交互行为;

位置渲染模块,用于将实时采集获取到用户实时相互位置以及用户所在空间内的真实物体实际相对位置进行实时数据反馈至所述三位虚拟渲染引擎,所述三位虚拟渲染引擎利用接收到的反馈数据实时更新变化虚拟渲染中的用户位置以及真实物体相对位置。

9.根据权利要求7所述系统,其特征在于,所述表情获取模块包括:采集模块,用于通过用户佩戴AR设备的前置摄像头实时采集用户所在空间内其他用户的面部视频图像;

追踪模块,用于利用人脸追踪方法从所述面部视频图像中捕捉其他用户的面部表情;

分析模块,用于对其他用户的面部表情进行数据化表情分析,获得其他用户当前的心情变化特征以及嘴部开合动作特点;

模拟模块,用于所述三位虚拟渲染引擎针通过其他用户的嘴部开合动作特点模拟语言沟通嘴部开合变化程度。

10.根据权利要求7所述系统,其特征在于,所述分析模块包括:面部表情采集模块,用于实时采集用户的面部表情特征和面部动作,并判断用户嘴部是否存在动作;

嘴部动作判断模块,用于当判断用户嘴部出现第一个动作时,在第一时间段内针对用户嘴部进行连续监控,判断用户嘴部在第一时间段内是否存在连续嘴部动作,其中,所述第一时间段为30——40s;

设置模块,用于如果第一时间段内检测到用户嘴部没有进行连续的嘴部动作,则设置第二时间段,如果在第二时间段内,用户依然没有嘴部连续动作,则取消针对用户嘴部的连续监控,返回到原始面部跟踪操作;如果在第一时间段或第二时间段内检测到用户嘴部进行连续的嘴部运动时,则判断连续嘴部运动是否为开合运动;其中,所述第二时间段通过如下公式获取:

其中,T1表示第一时间段;T2表示第二时间段,INT[]表示向上取整函数;n表示检测到的用户嘴部出现第一个动作的次数;m表示用户出现嘴部第一个动作后未在INT[0.8×T1]时间段内进行连续嘴部开合动作,但在取消嘴部连续监控之后的1s‑9s内用户立即出现下一个运动监控周期内的嘴部第一个动作的情况的次数;Ti表示用户第i次出现未在INT[0.8×T1]时间段内进行连续嘴部开合动作,但在取消嘴部连续监控之后的1s‑9s内用户立即产生下一个运动监控周期内的嘴部第一个动作的情况时,当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T1]之间的相差时间长度;max(Ti‑INT[0.8×T1])表示当前进行下一个运动监控周期的嘴部第一个动作与INT[0.8×T1]之间的相差时间长度最大值,且,当max(Ti‑INT[0.8×T1])≥13s时,取max(Ti‑INT[0.8×T1])=13s;

识别模块,用于如果用户的连续嘴部运动为开合运动,则识别嘴部动开合状态,通过嘴部开合状态传输至三位虚拟渲染引擎中模拟语言沟通张嘴变化程度;

统计模块,用于实时统计用户出现嘴部第一个动作但未进行连续嘴部开合动作的次数以及对应的嘴部动作图像;

调取模块,用于当所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数超过预先设置的阈值次数时,调取每次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作所对应的嘴部动作图像;其中,所述阈值次数5‑8次:相似度确定模块,用于提取嘴部动作图像中的动作特征,判断所述动作特征相似性,当出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的次数达到相似度值大于0.93时,判定当前相似性判断的两次所述出现嘴部第一个动作但在第二时间段内仍未进行连续嘴部开合动作的嘴部第一个动作属于同一动作,并进行相同动作标记;

习惯动作设置模块,用于统计相同动作标记次数,当相同动作标记次数超过相同次数阈值时,将此动作设置为用户第t号习惯嘴部动作,并在后续脸部追踪过程中实时监测用户嘴部是否出现习惯最不动作,当用户出现习惯嘴部动作时,不进行嘴部连续监控;其中,t表示自然整数;所述相同次数阈值为3‑6次。