利索能及
我要发布
收藏
专利号: 2021100760298
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于深度神经网络与全景分割方法相结合的跌倒预判方法,其特征在于:其包括如下步骤:

步骤1、利用全彩色相机采集稳定的室内视频图像;

步骤2、将步骤1所得到的视频图像进行图像处理,排除噪声干扰因素,得到处理后的图像信息;

步骤3、训练数据集PASCALVOC2012,通过激活层来激活神经网络,将步骤2得到的处理后的图像信息输入到卷积层;

步骤4、在将获取的图像信息输入卷积层后进行图像特征提取,对步骤3所获数据采用数据转换方法,通过滤除小数位数将浮点数据转化为整型数据,从而减少运算数据量;

步骤5、将提取到的特征进行批归一化处理,统一输出;

步骤6、将经过批归一化处理后的图像送入池化层,进行特征降维,提取关键特征作为输出结果,关键特征包括图像中的主体成分、轮廓、形状以及纹理特征;

步骤7、将步骤6中的输出结果传入全连接层,进行数据集分类,数据集分类具体采用矩阵压缩的方法,具体为:利用矩阵奇异值分解法把原来大的全连接层矩阵分解为两个小的全连接层矩阵和一个中间层矩阵,两个小的全连接层矩阵包含大部分神经元,中间层矩阵包含少部分神经元;

矩阵奇异值分解法具体如下公式所示:其中:假设 为全连接层FC8中的m×n矩阵,U,V,N均为SVD变换矩阵的中间变量,为中间层矩阵,原来的权重矩阵变成两个矩阵相乘的形式:矩阵点乘满足交换率,因此输出y与输入N的映射表示为:其中b表示全连接层的偏移量,如果不需要对深度神经网络进行微调,b的值取0,N为步骤6输出的数据量;

步骤8、经过全连接层输出,将数据集中的所有图像进行分类识别,标注出各个图像的所属类别,此时数据集训练已经完成,然后将步骤2所得到的视频图像与训练好的数据集进行匹配,对视频图像中的各个事物进行分类识别,从而构建出全景分割图像网络;

步骤9、将步骤8输出的图像信息进行特征金字塔融合,提取特征融合后的图像;

步骤10、对步骤9得到的特征融合后的图像进行语义分割,需要经过候选框框选出感兴趣区域,然后通过感兴趣区域对每个像素进行分析,运用步骤8训练好的全景分割图像网络,利用像素类别预测公式实现对每个像素语义类别预测,将不同类物体区分开;

步骤11、对步骤10输出的图像进行实例分割,通过设置实例掩膜区域分割将同种类别的不同物体区分开来,

实例分割公式如下所示:

其中:Lins(xi)表示图像实例分割结果,xi为第i个像素点,Nmask(i,j)表示实例掩膜分割区域数量;

步骤12、经过步骤11,完成视频图像全景分割任务,之后通过深度神经网络与图像全景分割算法得到标注好类别的图像分割模型,图像分割模型中按照物体摆放情况进行归类,每一个被识别出的物体均具有一个危险系数判定,只会根据危险系数高低划定危险等级,具体地,根据该图像分割模型识别环境中的多种具体情况,多种具体情况具体为:若环境中没有积水或者障碍物,则判定为安全环境;若环境中存在积水或者障碍物,则判定为一般危险环境;若环境中同时存在楼梯,积水以及障碍物等易发生跌倒的危险因素,则判定为高危环境,触发报警以提醒行人与医护人员关注。

2.根据权利要求1所述的基于深度神经网络与全景分割方法相结合的跌倒预判方法,其特征在于:步骤3中选用的激活函数为线性修正单元函数,具体表达式如下所示:其中,X表示图像梯度,f(x)表示数据集最后生成的图像梯度。

3.根据权利要求1所述的基于深度神经网络与全景分割方法相结合的跌倒预判方法,其特征在于:所述步骤4中,将步骤3中所得到的32位浮点型数据转换为8位整型数据。

4.根据权利要求1所述的基于深度神经网络与全景分割方法相结合的跌倒预判方法,其特征在于:在步骤5中,所应用的批归一化处理公式为:(k)

其中,g(x)为归一化处理后的图像输出信息,x 为图像维度信息,E表示期望,Var表示方差。

5.根据权利要求4所述的基于深度神经网络与全景分割方法相结合的跌倒预判方法,其特征在于:所述步骤6中的池化层处理方法采用最大池化方法来减少计算量,提高训练速度,得到的图像信息数据量为:

N=(g(x)‑F+2P)/S+1N为池化处理后数据量,g(x)为步骤5的输出,F为滤波器大小,P为Padding填充的像素数量,S为步长。

6.根据权利要求1所述的基于深度神经网络与全景分割方法相结合的跌倒预判方法,其特征在于:所述步骤9中,使用ResNet‑50作为图像特征提取的基础网络,实现原理如下公式所示:

其中,Li为第i层特征融合后结果,g(xi)为第i层特征输入,UP为上采样运算, 为特征核大小为5*5。

7.根据权利要求1所述的基于深度神经网络与全景分割方法相结合的跌倒预判方法,其特征在于:在步骤10中,像素类别预测公式如下所示:*

其中:L(pi,li)为像素类别预测结果,i为像素索引,pi为像素概率,pi为标注概率,λ为*

分割系数,li为向量,表示真实候选框边界的四个坐标,li 为预测候选框边界坐标,Ncls为物体类别像素总量,Lcls为物体类别的对数损失函数,Lcls的计算公式为:Nreg为感兴趣区域像素数量,Lreg为回归损失函数,Lreg的计算公式为:其中smooth为平滑处理函数,其将所得数据转化为8位整型数据。