欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2019108373807
申请人: 南京信息职业技术学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种可穿戴人体基本姿态识别的实现方法,其特征是穿戴者通过穿戴的摄像头采集图片信息,提取其中的人物姿态特征,运用动态触觉编码触发穿戴者穿戴的振动电机,控制振动电机点阵中的振动单元按照一定频率、时间顺序和节奏产生振动,对穿戴者产生动态振动触觉刺激,让穿戴者通过触觉刺激感知图像中人的姿态特征。

2.根据权利要求1所述的一种可穿戴人体基本姿态识别的实现方法,其特征是所述提取其中的人物姿态特征触发振动电机基于图像处理技术,在高层语义层面建立图像和触觉之间的桥梁,建立人体姿态和感知体系,实现信息的触觉表达和感知,包括以下内容:首先,运用基于卷积神经网络和监督学习,以卷积神经网络框架caffe为框架编程的开源库作为数据处理模块,实现图像识别、人脸识别、姿态识别以及深度学习,得到人的面部表情、躯干和四肢及手指的跟踪;

其次,基于ARM嵌入式开发平台,实现图像信息采集、姿态特征信号提取、振动触觉编码模块及电机驱动控制电路,所述数据处理模块构建在平台中,在有限触觉点阵空间内,从图像中提取人体姿态特征,产生按图像姿态特征提取并随时间变化的振动触觉刺激信号,反应人的姿态动作的行为信号;

最后,运用嵌入式系统、USB摄像头和微型振动电机阵列构建图像振动触觉显示穿戴系统,通过穿戴系统采集图像、识别图像、触发电机,使穿戴者感知摄像头采集的环境中人的基本姿态特征和相对位置信息,实现帮助视觉障碍者以振动触觉方式感知图像信息。

3.根据权利要求1或2所述的一种可穿戴人体基本姿态识别的实现方法,其特征是所述人物姿态图像的采集包括摄像头视频流采集和静态图片采集,基于卷积神经网络和监督学习方法进行视频流及图像的人体姿态识别,综合识别结果提取目标人体的姿态特征及姿态变化,随特征变化进行连续振动编码,实现动态触觉编码,控制振动电机点阵中的振动单元按照一定频率、时间顺序和节奏产生振动,辅助穿戴者通过触觉刺激感知图像中人的姿态变化。

4.根据权利要求3所述的一种可穿戴人体基本姿态识别的实现方法,其特征是人体姿态识别包括对视频流及图像中的多人二维姿态的识别。

5.根据权利要求3所述的一种可穿戴人体基本姿态识别的实现方法,其特征是对视频流的人体姿态识别为:采用卷积神经网络对视频流每帧识别出人体,进行人体姿态估计,根据姿态分割得到不同的身体部位,对身体部位进行特征提取时,根据不同帧中同一身体部位的姿态是否产生变化,分为静态和动态两部分,静态部分通过神经图像网络识别身体部位的外貌特征,动态部分通过神经光流网络识别身体部位的运动特征,将提取的外貌特征和运动特征通过聚合和归一化,最后整合为一个特征集合,使用线性SVM进行分类训练,由此达到姿态信息的运动行为识别。

6.根据权利要求3所述的一种可穿戴人体基本姿态识别的实现方法,其特征是振动电机点阵中电机包括分布于人体背部和四肢的振动电机,根据识别的人体的姿态特征及姿态变化,产生按图像姿态特征提取并随时间变化的振动触觉刺激信号,驱动对应部位的振动电机以姿态变化过程跟踪方式逐个振动,显示人体姿态信息。