1.面向居家场景的老人异常行为检测方法,其特征在于,具体步骤包括如下:步骤(1.1)、在居所的各房间中的不同方位安置若干个摄像头;
步骤(1.2)、从安置的若干个摄像头中获取居所内老人的各种生活视频;
步骤(1.3)、训练单人行为识别CNN神经网络,通过该网络对输入的老人的各种生活视频进行识别并提取特征;再根据老人在进行异常行为时的人物特征变化,提取其进行异常行为时的特征值;
步骤(1.4)、将从不同摄像头获取的不同角度的各种生活视频进行网络训练,以此神经网络从不同的角度获得不同的行为特征值;
步骤(1.5)、将该特征值进行特征融合,对老人的行为进行判断,再根据该判断结果,通过发送信息给老人家属的方式对老人的异常行为进行通知;
在步骤(1.1)中,在所述各房间中安置的摄像头的个数≥3个;
通过在居所中设置多个摄像头以在多个方位进行监控,并且每个房间至少安置有3个;
所述摄像头的摆放位置安置在同时拍摄到居所内老人活动时的正面、背面、侧面及上面的多块区域;所述多个摄像头以在多个方位进行监控:摄像头的摆放位置至少满足能同时拍摄到房间内活动人物的正面、侧面、上面三块区域;呈现出三维坐标轴XYZ的位置,从多角度对老人行为进行监控,以此来从n个不同的角度采集老人行动的行为特征在步骤(1.3)中,所述的训练单人行为识别CNN神经网络采用SSD快速检测算法进行网络构建;
其具体操作步骤如下:
(1.3.1)、默认框:使用SSD前馈神经网络通过利用小卷积核预测特征图上一组默认边界框的位置偏移量和每个框中目标类别的得分,然后使用NMS生成最终检测结果;
(1.3.2)、损失函数:SSD模型的重点是确定目标位置的同时预测目标类别;确定目标位置是一个回归的过程,确定目标类别是一个分类的过程;目标分类是计算多类别的Softmaxloss,位置回归采用Smooth L1 loss;一旦确定默认框,就可以端到端地应用损失函数和反向传播;
假设表示类别p的第i个默认框与第j个真实框相匹配;当时,表示默认框和真实框之间的交并比的值大于给定的阈值;故SSD总的目标损失函数是目标位置损失与置信损失之和,如公式(1)所示:
其中:N代表与真实框匹配的默认框个数;Lconf为置信度损失值;Lloc为位置损失值;x为输入图像;c为目标置信度;l为预测值;g为真实框;α为权重项;
(1.3.3)、SSD网络模型采用基础网络和辅助网络提取图像特征;CNN提取特征是自主学习特征的过程,其主要有卷积层、池化层和非线性激活层组成;通过网络层提取特征,可避免复杂人工提取特征程序;通过可视化网络层发现不同的网络层可以提取到不同的特征信息;
在步骤(1.5)中,将该特征值进行特征融合具体是指:对网络层获得的n种不同尺度的特征图进行多尺度融合,构建多时长特征融合密集连接网络模型,以获得融合后的多尺度特征图;再采用批量归一化对来自网络的多层进行归一化处理,最后使用降维后的特征图进行级联,形成融合特征层,利用融合后得到的特征重构特征图来进行检测;
其具体的操作情况如下:
特征融合使用多时长特征模块,该模块由多个互相独立的3D卷积计算、融合计算与平均池化计算所组成,其中每一个3D卷积计算都使用了不同时间跨度的3D卷积核;
对于输入数据x∈RH×W×F,在经过K个分别独立的3D卷积核Wi计算后分别产生对应的特征长方体数据fi为fi=Gconv(x,Wi) (2)式中:Gconv表示3D卷积计算的函数;x表示输入数据;Wi表示第i个3D卷积核的参数矩阵,且i∈K;由于3D卷积核有不同的时间跨度,则产生的特征长方体的时间维度大小也不同,即f1∈RH×W×F;将具有不同时间跨度信息的多个特征长方体数据fi做融合特征fv为fv=Gconv(f1,f2,…,fi) (3)式中:Gconv表示拼接操作;得到的融合特征为减小特征立方体的大小,需要对融合特征进行平均池化计算得到favg为
式中:n表示池化区域中元素个数;fv(xi,yi,ti)表示特征长方体融合特征在位置(xi,yi,ti)的值;为增加特征的表达能力,引入非线性激活函数得到多时长特征融合模块的最终输出为x′为x′=GReLU(fvavg) (5)式中GReLU表示ReLU函数;通过该模块计算能够有效地提取不同时间跨度下的动态行为特征,将更多的行为类别信息进行映射。