利索能及
我要发布
收藏
专利号: 2017108555384
申请人: 湖南师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向复杂视觉场景下的远距离类脑三维步态识别方法,其特征在于,采用一种面向复杂视觉场景下的远距离类脑三维步态识别系统,包括步态视觉感知机械结构,步态数据感知和前端处理硬件平台,云端步态数据处理和类脑学习平台,所述的步态数据感知和前端处理硬件平台安装于步态视觉感知机械结构上,步态数据感知和前端处理硬件平台远程通信连接至云端步态数据处理和类脑学习硬件平台;

所述的步态视觉感知机械结构包括系统安装底板1和云台3,所述的云台固定于系统安装底板上;

所述的步态数据感知和前端处理硬件平台包括ARM嵌入式主板2,以及分别与ARM嵌入式主板2通信连接的体感摄像机9,直流稳压电源模块4,GPS模块7,智能感光模块8,红外人体探测模块10,LED光源补充模块11,语音识别模块12和激光测距传感器14;所述的ARM嵌入式主板2,直流稳压电源模块4,通信模块、GPS模块7和智能感光模块8分别安装于系统安装底板1上,所述的体感摄像机9、红外人体探测模块10、LED光源补充模块11、语音识别模块12和激光测距传感器14分别安装于云台上;

还包括空中拍摄装置,所述的空中拍摄装置包括高清航拍无人机飞行器16,无人机停机平台17和无线充电系统18,所述的无线充电系统18设置于无人机停机平台17上,所述的高清航拍无人机飞行器16通过无人机停机平台17进行起降,高清航拍无人机飞行器16通信连接至步态数据处理硬件平台;

所述的通信模块包括无线WIFI模块5,4G移动网络通信模块6和有线通信模块15,所述的无线WIFI模块5,4G移动网络通信模块6和有线通信模块15分别通信连接至ARM嵌入式主板2;

步态视觉感知机械结构还包括防护罩13,所述的防护罩13安装于云台上并罩住安装于云台上的体感摄像机9、红外人体探测模块10、LED光源补充模块11、语音识别模块12和激光测距传感器14;包括以下步骤:A、通过虚拟姿态合成模型和Action Banking运动人体检测方法确定人体运动区域、行走方向和运动姿态,运用图像信息和激光测距传感器数据对运动人体区域进行像素面积、方向角度和距离分析,确定是否需要动用高清航拍无人机飞行器进行近距离放大拍摄,是的话则通过GPS定位系统确定出无人机飞行器的飞行航线,并重新完成拍摄和对人体运动区域的检测;

B、使用gPb‑OWT‑UCM分层分割算法,结合三维人体模型先验知识进行运动人体轮廓分割;

C、利用基于三维人体模型先验知识的二维步态轮廓修复方法,通过构建三维和二维人体轮廓残差能量代价函数,结合轮廓边界加权的方法,完成对人体步态轮廓的修复;

D、利用修复好的二维步态轮廓,估计其最佳形体参数,运用最优的三维人体步态形体参数和姿态参数构建步态指纹数据;

E、使用序列动作情境下的类脑计算模型来完成步态特征的提取;

F、在类脑计算模型顶层使用Needleman‑Wunsch序列比较算法来实现分类比较和增量学习。

2.根据权利要求1所述的方法,其特征在于,所述步骤A包括以下具体步骤:

1)依据虚拟姿态合成模型,合成多视角和不同姿态的运动人体,并将其嵌入到2D的复杂场景中,生成较为完备的运动人体模板:首先,定义三维人体模型表示为:F3D(S,ψ),其中S表示人体的形体参数,ψ表示人体的姿态参数,F3D(·)为使用指定的形体参数和姿态参数进行基于参数化三维人体构建的过程;

然后,选取一个公共的三维人体模型库或通过三维人体扫描系统自采集一个三维人体模型库,并在此库中定义一个标准人体步态模型Y={VY,PY},其中VY={y1,y2,...,yM}为模型M个顶点集合,PY={p1,p2,...,pK}为模型K个三角面集合,标准人体模型选自于整个人体模型库中,其身高、体重和其他形体参数最接近于人体数据库各项参数的均值,同时姿态接近标准对称的“T”姿态,数据库中其它的模型称之为训练模型;

接着,令α=[α1...αi]表示三维人体模型库中标准模型Y和其它不同形体和姿态的训练模型的集合, i为人体模型总数量;Dis(·)为对包括形体和姿态的三维人体模型参数进行离散的函数,为包括性别、身高、体重、肌肉、身体比例、躯干厚度、躯干水平尺寸、躯干垂直尺寸、躯干上下位移、肚子隆起程度、手长、上臂长、上臂厚度、前臂长、前臂厚度、胸围、胸垂直位置、头部尺寸、头部水平深度、头部垂直深度、颈垂直长、颈围、臀部厚度、臀部水平尺寸、臀部垂直尺寸、臀部上下位移、臀部翘起程度、大腿长、大腿厚、小腿长、小腿厚、膝关节位置、脚宽和脚长、头部关节、颈部关节,左右锁骨关节,左右肩关节,左右手臂关节,左右手踝关节,左右手指关节,胸部关节,臀部关节,左右膝部关节,左右脚踝关节,左右脚趾关节和根节点在内的人体自然语义描述,表示为Dis=[d1...dj],构建以下目标函数:其中,Zoff表示偏移量,G表示方向梯度值,G和Zoff为模型参数,α为三维模型数据集,其中α=[α1...αi]表示上述三维人体模型库中标准模型Y和其它不同形体和姿态的训练模型的集合, V为三维人体模型顶点集合,P为三维人体模型三角面集合,i为三维人体模型总数量,Dis为人体自然语言描述参数矩阵,包括形体参数S和姿态参数ψ两部分数据;

两组模型参数Zoff和G通过支持向量回归算法来训练和学习得到,利用这两组参数,在给定形体参数和姿态参数的情况下,通过求解 来得到相应的三维人体模型;然后,通过变换不同的形体参数S和姿态参数ψ,利用标准三维人体模型,可以合成各种虚拟的三维人体模型集,表示为:BdSet={F3D(S1,ψ1),...,F3D(Sn,ψn),...,F3D(SN,ψN)}再将虚拟合成的三维人体模型水平旋转β度,并投影到对应二维空间,表示为其中β为俯仰角固定情况下,观测三维人体模型时的水平变化视角,范围在

0~360度,令Bg={g1,...,gi,...,gI}为2D图像复杂背景图像集,将 嵌入到各种取自日常生活环境的背景图像中,生成各种虚拟合成的各视角和姿态的虚拟复杂场景步态图,表示为: 描述为第n个虚拟合成三维人体模型投影到β视角下,并与第i个复杂背景相融合所得到的虚拟复杂场景步态图即虚拟步态运动模板;

2)通过生成的虚拟步态运动模板,来构造Action Banking模型中的运动检测器,以消除视角、形体和速度因素的影响,各视角下不同姿态的运动人体模板表示如下:其中L表示复杂背景的总数量;

3)对2)中构造的运动检测器,利用各视角下不同姿态的虚拟合成人体模板进行训练;

4)训练完成后,对输入Action Banking模型的含复杂背景的步态图像ImgC,估计出人体步态运动区域,以及行走方向和大概姿态;

5)计算分割后的步态轮廓占整幅图像的百分比,当百分比小于设定目标K时,确定需要运用无人机飞行器进行近距离高清拍摄,利用估计出的人体行走的方向和轮廓像素区域大小信息,结合激光测距传感器数据,估计出运动人体与摄像头的方向和距离d,从而计算出人体相对摄像机原点的坐标(X,Y);通过GPS数据,计算出无人机的起始点和目标点,将信息输入无人机飞行器,实现固定轨迹飞行、悬停拍摄、数据无线传输和返航,近距离捕获的运动人体数据通过虚拟姿态合成方法和Action Banking运动人体检测方法重新确定人体运动区域。

3.根据权利要求1所述的方法,其特征在于,所述步骤B中包括以下具体步骤:

1)根据步骤A中得到含有复杂背景的步态图像ImgC中运动人体活动矩形区域并确定为感兴趣区域ROI,将此区域剪切出来,表示为

2)对 运用gPb‑OWT‑UCM分层分割算法进行人体轮廓分割,令分割生成N块子轮廓Sil={Sil1,...,Siln,...,SilN},完整的人体轮廓由N块子轮廓中的i块轮廓组合而成,其中i≤N,完整轮廓表示为:

3)依据步骤A中虚拟姿态合成模型和Action Banking运动人体检测方法所得到的人体行走视角和运动姿态数据,在步态三维模型库中,生成与当前行走姿态相似的三维参数化人体模型,表示为F3D(S′,ψ′),根据行走方向信息,将选取的三维人体模型旋转至与二维轮β廓一致的角度,并投影到2D空间,形成一个参考模板B(F3D(S′,ψ′));

4)在参考模板和子轮廓组合之间构造一个目标函数,表示为:

其中, wi∈{1,...,n...,N},表示假设的构成完整人体轮

廓的一种子轮廓组合,它从所有分割子轮廓集中选取,Imggroup(SilD)表示子轮廓组合集D所β对应的整体步态分割轮廓图,B(F3D(S′,ψ′))为对应行走角度和姿态下的参考模型,将估计轮廓与参考模板进行轮廓匹配,通过最优化的问题来求解最佳的e块子轮廓,此复杂背景下的人体轮廓便由此e块子轮廓共同构成,从而实现基于人体模型的步态轮廓分割,令分割后轮廓表示为

4.根据权利要求1所述的方法,其特征在于,所述步骤C包括以下具体步骤:

1)求取需要修复2D轮廓的水平集: 其中φ2D(x,y)表示二维图像I2D(x,y)的水平集函数,φ2D(x,y)=0为对应的零水平集步态轮廓;

β

2)求取参考模板B (F3D(S′,ψ′))的水平集: 其中φ3D(x,y)表示三维人体在β视角所对应二维投影图像 的水平集函数,φ3D(x,y)=0为对应的零水平集步态轮廓;

3)将水平集 和 进行加权混合处理,得到: 其中H(·)表示

Heaviside函数, 为向量 与人体步态水平轮廓集

间的欧式距离,G为高斯,标准方差为σ;

2

4)定义目标函数Q=|H(‑φmix)·φmix||,由于待修复二维轮廓无法做变换处理,因此只需要改变所对应三维人体模型的姿态参数,并重新投影,求取对应轮廓水平集,计算目标β函数Q值,待修复二维轮廓 与三维参考模型轮廓B (F3D(S′,ψ′))越接近,其值越小,因此转换成了如下最优化问题: 即求解其对应三维模型的最优姿态参数,该姿态下,三维模型投影和二维步态图最逼近;

5)利用下式完成对有缺失二维步态轮廓的修复:

φinpainting=φresidual+ω′·φ′3D

β opt

其中φinpainting为修复后的步态轮廓,φ3′D为B(F3D(S′,ψ ))的水平集,φresidual为三β opt维投影轮廓B (F3D(S′,ψ ))和待修复步态轮廓的差值轮廓Imgdiff水平集;ω′为权值,ζ′3d表示水平集φ′3D在零水平上的曲线,为差值轮廓Imgdiff上的向量, η调节修复的步态轮廓与三维投影轮廓间的近似程

度。

5.根据权利要求1所述的方法,其特征在于,所述步骤D包括以下具体步骤:

1)利用步骤C中所求得的姿态参数和修复后的步态轮廓,通过以下最优化问题求解出opt其对应三维人体模型的最佳形体参数S :

opt opt

2)对二维步态轮廓来估计出其对应三维人体模型参数形体参数S 和姿态参数ψ 进行类脑稀疏分布表示编码,用二进制0或1的数据流来编码形体参数和姿态参数,得到的数据定义为步态指纹数据:CodeSDR。

6.根据权利要求1所述的方法,其特征在于,所述步骤E包括以下具体步骤:

1)构建基于多层结构的类脑计算模型:选取类脑层级实时记忆模型作为类脑计算模型的基础,放在中间层;原始数据感知层为底层,输入为步态指纹数据;输出层定义为特征空间池;顶层定义为步态序列池;

2)以步态指纹数据:CodeSDR二进制流作为底层输入,经过类脑层级实时记忆模型后,得到抽取步态特征后的二进制流输出 其二进制流长度远小于输入CodeSDR的二进制流长度,即将变化频繁的特征转换成了稳定的高层抽象语义特征,步态周期内的每一个轮廓对应一组步态指纹数据,经过层级实时记忆模型后,对应唯一的输出步态空间抽象特征,表示为Sn,定义为步态单词,n为步态图像序列编号;

3)在顶层构建的序列层中,将所有子序列中的步态单词Sn,依据时间聚合成能代表整体步态序列动作特征的二进制文本语义数据,表示为Semantick={Sn|n∈IndexT},其中R为来自同一目标的短时动作序列索引。

7.根据权利要求1所述的方法,其特征在于,所述步骤F包括以下具体步骤:

1)选取一段步态视频,对其中的每一帧图像数据,依据步骤A‑E,生成对应的步态语义文本序列数据Semanticinput={Sn|n∈Indexinput};

2)在类脑计算模型数据库中,查找已有的步态语义文本序列数据,定义为

3)利用Needleman‑Wunsch序列比较算法,计算两者之间的重合率并给出评分,与通用计算方法不同,需先根据文本位置进行加权处理,权值函数表示为ωn,其中重要的步态单词权重较大,权值ωn通过对一定样本的步态周期轮廓数据进行PCA主成份分析统计方法得到,加权后序列数据为:加权后再进行序列比较,当前输入与库中第m个数据的相似度评分

4)利用最优化问题,求解出加权评分最高的数据 m即为其分类识别结

果;

5)定义一个加权评分阀值Scoremin,当库中最高评分数小于Scoremin时,将此样本加入到数据库中,实现增量学习。