利索能及
我要发布
收藏
专利号: 2022109552736
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于头部姿势识别的鼠标控制方法,其特征在于,包括:获取人脸图像,采集颧弓、眉毛、鼻尖以及嘴巴关键特征点;

根据颧弓、眉毛与鼻尖的关键特征点的几何关系,判断头部姿势在水平方向和垂直方向的移动数据,根据所述移动数据在预先建立的人脸图像直角坐标系上的向量关系,计算出鼠标偏移量,根据鼠标偏移量控制光标的移动;

根据嘴巴的关键特征点,在以连续固定帧为循环的周期内,判断两侧嘴角的距离差值保持恒大于设定距离阈值时,触发一次鼠标点击事件;

所述获取人脸图像,采集颧弓、眉毛、鼻尖以及嘴巴关键特征点,包括:利用图像识别技术以及预先构建的人脸图像直角坐标系获取人脸关键特征点;

所述直角坐标系为以屏幕左上角为原点,屏幕从左至右为横向x轴,屏幕从上至下为纵向y轴的坐标系;

所述人脸关键特征点包括:左侧颧弓最突出点 、右侧颧弓最突出点 ,左眉毛最外侧点 、右眉毛最外侧点 、左嘴角最外侧点 、右嘴角最外侧点 、鼻尖点 以及眼睛部分的12个关键特征点;

所述计算出鼠标偏移量,包括:

利用左侧颧弓最突出点 、右侧颧弓最突出点 与鼻尖点 的位置关系,判断头部在水平方向的转动,确定鼠标在横向 轴方向上的偏移量Fx,表示为:Fx=K0·(F1x+ F2x‑2F7x)/( F1x‑ F2x)利用左右眉毛最外侧点 和 与左右嘴角外侧点 和的位置关系,判断头部在垂直方向的转动,确定鼠标在纵向 轴方向上的偏移量Fy:Fy=K1·(F5y+ F6y‑ F3y‑ F4y)F1x表示左侧颧弓最突出点的x轴坐标值,F2x表示右侧颧弓最突出点的x轴坐标值,F7x表示鼻尖点的x轴坐标值,F3y表示左眉毛最外侧点的y轴坐标值,F4y表示右眉毛最外侧点的y轴坐标值,F5y表示左嘴角最外侧点的y轴坐标值,F6y表示右嘴角最外侧点的y轴坐标值,和 分别表示在屏幕横向x轴和纵向y轴方向上的鼠标移动灵敏度。

2.根据权利要求1所述的基于头部姿势识别的鼠标控制方法,其特征在于,所述人脸关键特征点还包括眼睛关键特征点,包括:右眼的外眼角 ,上眼皮中心偏右 ,上眼皮中心偏左 ,内眼角 ,下眼睑中心偏左 ,下眼睑中心偏右 ;左眼的外眼角,上眼皮中心偏左 ,上眼皮中心偏右 ,内眼角 ,下眼睑中心偏右 ,下眼睑中心偏左 。

3.根据权利要求2所述的基于头部姿势识别的鼠标控制方法,其特征在于,还包括:根据眼睛关键特征点计算眼睛部分的纵横比E,根据纵横比判断眼睛是否睁开;

在一个预设循环周期内,根据两只眼睛是否睁开检测眨眼次数是否达到预设次数阈值,若是,则进行光标坐标的初始化;若否,则光标保持在当前的位置;所述光标坐标的初始化的位置为屏幕中央。

4.根据权利要求3所述的基于头部姿势识别的鼠标控制方法,其特征在于,所述纵横比E的计算公式为:;

Pn1y表示外眼角的y轴坐标值,Pn2y表示上眼皮中心偏右的y轴坐标值,Pn3y表示上眼皮中心偏左的y轴坐标值,Pn4y表示内眼角的y轴坐标值,Pn5y表示下眼睑中心偏左的y轴坐标值,Pn6y表示下眼睑中心偏右的y轴坐标值,n=1或者2,用来表示右眼或者左眼。

5.根据权利要求1所述的基于头部姿势识别的鼠标控制方法,其特征在于,所述两侧嘴角的距离差值的计算过程,包括:左侧嘴角外侧点 和右侧嘴角外侧点 之间的距离记为 ,表示为:;

当嘴角上扬动作时,此时两点的距离记为 ,表示为:;

将 与 之间的相对变化记为两侧嘴角的距离差值 ,表示为: 。

6.根据权利要求1所述的基于头部姿势识别的鼠标控制方法,其特征在于,设置有左击、双击和右击的功能选择页面,通过触发鼠标点击事件进行选择,默认初始点击状态为左击;当选择双击后的第一个循环周期执行双击命令,在第二个循环周期恢复初始点击状态;当选择右击后的第一个循环周期执行右击命令,在第二个循环周期恢复初始点击状态。

7.一种存储一个或多个程序的计算机可读存储介质,其特征在于,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据权利要求1至6所述的方法中的任一方法。

8.一种计算设备,其特征在于,包括,

一个或多个处理器、存储器以及一个或多个程序,其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至6所述的方法中的任一方法的指令。