利索能及
我要发布
收藏
专利号: 2021103417878
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于分区卷积神经网络的跌倒检测方法,其特征在于:将用于识别人体关键点的卷积神经网络分区,分别部署在移动端和云端,过程如下:首先对目标神经网络进行每一层的输出数据尺寸分析和浮点运算数统计,统计通过以下公式(1),H和W为输出特征图的高和宽,Cin为输入的通道数,Cout为输出的通道数,K为卷积核的个数,1为偏置项:2

FLOPs=2HW(CinK+1)Cout    (1)

随后,根据分析统计结果初步确定网络模型的候选划分层,再根据整体计算时间确定最优划分层p;其中轻量部分部署在移动端上,重量部分部署在云端服务器上,实现两端的协同计算;

所述神经网络用于识别图像中人体的关键点坐标,再结合KNN分类器对关键点坐标做判断实现跌倒检测;

所述跌倒检测方法包括以下步骤:

步骤1,对神经网络进行结构分析,确定最佳分区层;

步骤2,以最佳分区层为分层点,将模型分区,将轻量部分的网络部署在计算资源有限的移动端;

步骤3,将重量部分的网络部署在高计算性能的云端;

步骤4,移动端采集视频图像帧并作为系统的输入;

步骤5,执行移动端的模型计算,得到输出张量,并基于背景差分法初步提取人体目标的轮廓信息集合;

步骤6,移动端将输出张量数据和人体的轮廓信息集合发送至云端,期间的传输通信开销低于原始输入视频图像帧的传输开销;

步骤7,云端接收到传输数据后执行云端的模型计算,初步输出人体关键点坐标,此时的预测结果存在部分错误关键点数据;

步骤8,云端将模型输出的关键点集合与接收到的人体轮廓点集进行最大重叠度匹配,最终输出最大重叠度的人体关键点坐标集合;

步骤9,KNN分类器提取连续帧之间的头部、左右髋、左右膝、和左右踝关键点坐标的偏移值作为一部分输入特征;再从目标形状考虑,以头部坐标值为基准,对关键点坐标进行标准归一化,作为KNN输入的另一部分输入特征,最终分类器输出人体行为活动的预测,即是否跌倒。

2.如权利要求1所述的一种基于分区卷积神经网络的跌倒检测方法,其特征在于:在移动端设计了人体轮廓预识别步骤,由背景差分法提取运动人体的轮廓点集,并和移动端的网络模型的输出张量同时通过WIFI传至云端服务器。

3.如权利要求1或2所述的一种基于分区卷积神经网络的跌倒检测方法,其特征在于:所述云端在接收到移动端的输出张量后将执行剩余网络层的计算,得到初始关键点坐标集Ckeypoints[n],再将该坐标集和人体轮廓信息根据以下重叠度公式做匹配:最大重叠度的点集为目标人体坐标集合,其中,Ccontour为人体轮廓点集。

4.如权利要求1或2所述的一种基于分区卷积神经网络的跌倒检测方法,其特征在于:在得到目标人体坐标集合后,为充分考虑关键点的运动信息,以连续帧之间指定关键点的偏移值作为KNN分类器输入的一部分特征,关键点包括头部、左右髋、左右膝和左右踝;再从目标形状考虑,以头部坐标值为基准,对关键点坐标进行标准归一化,作为KNN输入的另一部分输入特征,KNN计算这些输入特征之间的欧氏距离完成跌倒判断任务。

5.如权利要求1或2所述的一种基于分区卷积神经网络的跌倒检测方法,其特征在于:网络中间层输出的特征图已过滤原图包含的大量信息;假设云端服务器遭到黑客攻击,云端输出的数据为人体关键点坐标信息,并非原始图像数据,并且仅依靠云端的模型参数无法逆向推断出原图数据。