利索能及
我要发布
收藏
专利号: 2022106669697
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种物联网边缘服务环境下深度感知的人体行为分析方法,其特征在于,所述人体行为分析方法包括以下步骤:S1,图像预处理:将采集得到的视频流转化为图像帧,针对不同环境参数下的图像的各个像素点灰度值的变化,对图像的对比度做出自适应调整;

S2,姿态点提取:基于YOLOv5s网络构建目标检测模型,采用目标检测模型进行目标检测,识别出图像中的人体目标,标记各个人体区域矩形框;对各个人体区域矩形框中的人体姿态进行估计,提取出人体骨骼关键点;

S3,姿态预筛选:基于姿态点置信度,对人体姿态进行预筛选,对于任意一个人体姿态,当其所对应的人体骨骼关键点置信度为0的数目大于预设阈值时,忽略此人体姿态;

S4,正面人体姿态点二维坐标信息计算:针对每个预筛选的人体姿态,获取其所对应的目标姿态点深度信息,通过人体两侧姿态点深度信息得到的不对称关系来确定出人体偏转角,通过所得偏转角来纠正人体姿态点二维坐标信息,得到正面人体姿态点二维坐标信息;

S5,异常行为识别:根据正面人体姿态点二维坐标信息统计得到人体关节数据序列,基于LSTM网络构建骨架行为识别模型,采用骨架行为识别模型对指定阶段内的人体关节数据序列进行处理,对其中包含的异常行为进行识别分析;

步骤S1中,图像预处理的过程包括以下步骤:

S11,加载原始RGB彩色图像S(x,y),将其转化为HSI颜色模型,得到对应的强度图像SI(x,y);

S12,提高强度图像SI(x,y),具体地:S121,估计强度的光照分量SIL(x,y):式中,和 都是以像素i为中心的wi窗口中的线性系数,i=1,2,3...N,N为窗口总个数;

S122,使用自适应伽马函数校正光照分量:

φ(x,y)

SILG(x,y)=SIL(x,y) ;

通过光照分量各个像素点的灰度值计算得到自适应系数a的表达式:式中,SILG(x,y)为纠正后的照明分量,φ(x,y)为伽马矫正函数,m和n为图像的高度和宽度,参数a由灰度值自适应导出;

S13,采用下述公式执行全局线性拉伸:

式中,min(SILG(x,y))和max(SILG(x,y))分别是图像中的最小和最大像素值;

S14,采用下述公式计算反射分量:

SIR(x,y)=SI(x,y)/SIL(x,y);

S15,使用WGIF去噪反射组件去除图像噪声:S16,进行图像融合操作:

S161,采用下述公式计算增强的强度图像:

SIE(x,y)=SILGf(x,y)SIRH(x,y);

S162,利用s‑双曲正切函数提高融合图像的亮度:式中,b*是SIE的平均强度;

S17,进行颜色恢复,具体地:

S171,计算亮度增益系数α(x,y):

α(x,y)=SIEf(x,y)/SI(x,y);

S172,通过线性颜色恢复将增强的HSI图像转换为RGB:R1(x,y)=α(x,y)R0(x,y);

G1(x,y)=α(x,y)G0(x,y);

B1(x,y)=α(x,y)B0(x,y);

式中,原始和增强彩色图像的RGB通道分别表示为[R0,G0,B0]和[R1,G1,B1];

步骤S3中,根据下述公式进行姿态预筛选:

* * * * *

式中,I(p)为p的指示函数,表示p是否忽略;K为p中关键点的个数; 表示p的第k个关键点是否缺失,缺失为1,否则为0;x1和y1分别为人体脖子姿态点的横坐标和纵坐标,xi和yi分别为人体姿态点的横、纵坐标,i=0,1,...,n‑1;

步骤S4中,正面人体姿态点二维坐标信息计算的过程包括以下步骤:S41,利用双目立体相机来估计人体骨架深度信息:式中, 对应于第t帧图像中人体第i个姿态点与左摄像头连线在成像图中的点, 对应于第t帧图像中人体第z个姿态点与右摄像头连线在成像图中的点,b是为两个摄像头之间的距离,f为摄像头平面与成像平面之间的距离,是在第t帧图像中人体第i个姿态点的深度信息;

S42,通过人体两侧姿态点深度信息得到的不对称关系来确定出人体偏转角:式中,为第t帧图像中人体第i个姿态点的横坐标,为第t帧图像中人体第i个姿态点的纵坐标, 为对应于 在人体另一侧的横坐标, 为对应于 在人体另一侧的纵坐标,为偏转角对应的人体姿态点连接而成的封闭三角形的三边, 为人体横截面与X轴的夹角, 为摄像头与人体姿态点连线与Y轴的夹角:S43,通过所得偏转角来纠正人体姿态点二维坐标信息:式中, 为纠正后的人体姿态点横坐标, 为纠正后的人体姿态点纵坐标,

2.根据权利要求1所述的物联网边缘服务环境下深度感知的人体行为分析方法,其特征在于,步骤S2中,目标检测模型的损失函数为:式中,M为所有正样本的集合,|M|为正样本数,b表真实目标,b′表示目标框,b∩b′表示两者之间的交集区域,b∪b′分别表示两者之间并集区域,FPIOU函数的计算公式如下:式中,Sb∩b′表示经损失函数内核函数处理后,目标b和目标框b′交集的像素量数;Sb∪b′表示两者并集的像素量数。

3.根据权利要求1所述的物联网边缘服务环境下深度感知的人体行为分析方法,其特征在于,在目标检测模型中,FPN聚合相邻特征图层的方式公式如下:式中,finner是1*1的卷积操作实现通道匹配,fupsample代表2倍上采样操作实现特征图大小匹配,利用数据集的统计信息计算平衡因子式中, 和Npi分别代表Pi+1和pi层的数量。

4.根据权利要求3所述的物联网边缘服务环境下深度感知的人体行为分析方法,其特征在于,步骤S2中,采用DCPose框架对各个人体区域矩形框中的人体姿态进行估计,提取出人体骨骼关键点;

所述DCPose框架包括姿态时间合并模块、姿态残差融合模块和姿态矫正模块;

所述姿态时间合并模块用于定位关键点的搜索范围,定位过程包括以下步骤:将前一帧、这一帧和后一帧的预测热图结合得到新的热图,根据时间分配权重,得到初始的权重,时间上更接近当前帧的帧分配更高的权重:* *

式中hi(p)、hi(c)和hi(n)表示初始关键点热图,p、c和n表示帧索引;

利用神经网络对权值进行调整,对于每个关节,仅包括其自己特定时间信息的关键点热图,将15个关节点得到的热图进行拼接生成最后的热图:式中,表示连接操作,上标j索引第j个关节,总共N个关节;

将热图输入到3*3的残差模块中,得到合并后的热图:* *

φi(p,c,n)→Φi(p,c,n);

所述姿态残差融合模块用于计算帧间关键点偏移,计算过程包括以下步骤:计算姿态残差,将计算得到的姿态残差用作时间相关的线索,计算姿态残差特征的公式如下:式中,表示原始姿态残差 及其加权版本;

将热图输入到3*3的残差模块中,得到合并后的热图:所述姿态矫正模块用于对姿态进行矫正,矫正过程包括以下步骤:*

将合并的关节点热图 和姿态残差特征Ψi(p,c,n)两组特征合并,姿势校正网络用于细化初始关键点热图估计hi(c),产生调整后的最终关节点热图;

*

将合并的关节点热图Φi(p,c,n)和偏移量输入到卷积层,获得五组掩码;通过可变形卷积V2网络在各种膨胀系数d下实现姿态校正模块;

输出人i的姿势热图:

*

(Φi(p,c,n),Oi,d,Mi,d)→Hi,d(c)。

5.根据权利要求1所述的物联网边缘服务环境下深度感知的人体行为分析方法,其特征在于,步骤S5中,骨架行为识别模型包括依次连接的局部卷积神经网络、基于注意的LSTM网络和分类模块;

所述局部卷积神经网络基于输入序列X=(x1,x2,...xN),执行时空卷积网络,得到每个短期骨架序列的时空关系,获得N个特征值f=[f1,f2,...fN];xp代表在p阶段的人体关节数据,为一T×M×D维矩阵,D是人体关节数据的维度,M表示骨架关节的数量,T表示骨架序列的帧数量;

所述基于注意的LSTM网络对局部卷积神经网络输出的每个短期骨架序列的时空关系进行处理,得到相应的时间特征图,再对所有时间特征图进行平均,获得全局特征图:hp=g(fp),p∈(1,N);

Q=[h1,h2,...,hN];

T

α=softmax(wtanh(Q));

T

r=Qα;

式中,S是整个骨架序列的全局特征表示,h是LSTM网络输出的时空特征图,k是输入骨架序列的人数;g函数表示LSTM网络的特征提取过程,Q是LSTM网络输出的所有时间特征图的组合输出结果,使用时间序列的局部特征作为LSTM的输入,LSTM遗忘门意味着移除前一时间段中的无用段,并且输入门增加当前时间段中的有用段,LSTM门表示骨架序列中的选择过程,保留有用的时间段特征,并丢弃无用的时间段特征,以获得骨架序列中最有用的计时特征,α表示LSTM输出中N个特征的注意,w表示注意力学习的加权矩阵,r表示LSTM输出时的加权注意力总和,在这个等式中,更重要的特征会引起更高的关注;

所述分类模块包括全连接层和softmax层,全连接层与分类总类别相适配,对基于注意的LSTM网络输出的全局特征进行识别,得到行为分类结果。