1.基于骨骼点融合循环空洞卷积的乱丢垃圾行为检测方法,其特征在于包括以下步骤:步骤(S1)采集包含乱丢垃圾行为的图像集,进行预训练;
步骤(S2)通过目标检测算法获取预训练后图像集中乱丢垃圾行为个体的图像训练集,并对获取的图像训练集中的图像人工定义乱丢垃圾行为的人体骨骼点分布;
步骤(S3)基于人体骨骼点分布制作图像训练集中每个图像的骨骼点热图;
步骤(S4)构建基于骨骼点融合循环空洞卷积的乱丢垃圾行为检测网络;
步骤(S5)将预训练后图像集输入乱丢垃圾行为检测网络,使用梯度下降法迭代更新网络,获取最优乱丢垃圾行为检测网络;
步骤(S6)将测试集中连续几帧的检测图像输入最优乱丢垃圾行为检测网络中,获取相应的骨骼点分布序列,并进行相似度计算,判断是否为乱丢垃圾行为。
2.根据权利要求1所述的基于骨骼点融合循环空洞卷积的乱丢垃圾行为检测方法,其特征在于步骤(S1)具体过程如下:S1.1选取不同场地,在不同角度放置监控摄像头,采集不同人物个体乱丢垃圾行为的视频;
S1.2整理采集到的视频,提取每一个视频的连续几帧,转化为一个相应的图像序列并存储在原始人体姿态数据集中,同时对该图像序列Ⅰ进行人工分类;所述的人工分类是指同一地方同一时间段内的同一个人乱丢垃圾行为作为一类;
S1.3将存储的原始人体姿态数据集进行数据增强预处理,并使用高斯滤波处理图像,用以减少图像噪声,获取预处理的人体姿态数据集Ⅰ。
3.根据权利要求2所述的一种基于骨骼点融合循环空洞卷积的乱丢垃圾行为检测方法,其特征在于步骤(S2)具体过程如下:S2.1将经过步骤S1.3处理后的人体姿态数据集Ⅰ中的每个图像进行目标检测算法识别出单独的人物,消除图像中的无关信息,获取人体姿态数据集Ⅱ;
S2.2人工标注人体姿态数据集Ⅱ中乱丢垃圾的人物个体的各个人体骨骼点分布,获得人体骨骼点分布图像集。
4.根据权利要求3所述的一种基于骨骼点融合循环空洞卷积的乱丢垃圾行为检测方法,其特征在于步骤(S3)具体过程如下:S3.1对于人体骨骼点分布图像集中的每张图像,以每个骨骼点坐标为中心,生成对应的高斯热图,对于图像中缺失的骨骼点生成空白图;根据人体结构连接各个骨骼点后对应的高斯热图,称之为身体部位热图;
S3.2根据人体骨骼点分布图像集,将其中每张图像中的骨骼点根据人体结构对应连接,获得骨骼点连接图,该图各个骨骼点之间的连接处标记为关节点,以每个关节点为坐标中心生成对应的高斯热图,同时根据人体结构连接相应的高斯热图,获得关节点热图;通过融合关节点热图以及相对应的身体部位热图得到骨骼点热图,从而获取乱丢垃圾行为的人体姿态,建立相应的乱丢垃圾人体姿态数据库。
5.根据权利要求4所述的一种基于骨骼点融合循环空洞卷积的乱丢垃圾行为检测方法,其特征在于步骤(S4)具体过程如下:S4.1构建基于骨骼点融合循环空洞卷积的乱丢垃圾行为检测网络,该网络由4层网络组成,前两层为前向传播模块,第三层为引入了空洞卷积的循环模块,第4层是输出的骨骼点热图和损失值;
S4.2前两层的前向传播模块(第1、2层)使用了3*3的过滤器卷积核,之后然后进行池化,减小输入图片的分辨率,进一步提取特征;并且每次卷积加入非线性激活函数Relu,以保证卷积性能;
S4.3第二层的前向传播模块的输出串联第三层的输出作为第三层循环模块的输入;循环模块内部迭代了3个空洞卷积网络,在每次迭代中,第二层的前向传播模块的输出作为第三层循环模块的输入都是固定的,而第三层的输出则是根据上一次迭代的输出而更新;
所述的循环模块引入的空洞卷积网络,设置了三个卷积核大小为3,空洞率分别为1、2、
5的过滤器,由于空洞卷积的特性,它能够在不增加额外参数的情况下,增大感受野,获取不同感受野上的语义信息,极大地简化了计算复杂性;
S4.4第四层有四部分输出,分别输出不同深度的目标热图和损失值;每部分的目标热图中包含骨骼点热图和身体部位热图,身体部位热图主要用于捕获肢体,能够作为关节点热图的建模的数据增强;前三部分的骨骼点热图和损失值作为辅助信息来提高反向传播期间的梯度幅度;第四部分输出的骨骼点热图就是网络预测的最终结果,同时该部分的损失值在网络的训练过程中用于优化参数。
6.根据权利要求5所述的一种基于骨骼点融合循环空洞卷积的乱丢垃圾行为检测方法,其特征在于步骤(S5)具体过程如下:S5.1将预训练好的网络参数加载到乱丢垃圾行为检测网络中,完成网络的参数初始化,设置学习率为10-5;
S5.2将人体姿态数据集Ⅱ输入到初始化后的乱丢垃圾行为检测网络中,采用Adam优化器进行训练,利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率,经过偏置校正后,每一次迭代学习率都有个确定范围,使得参数比较平稳;
在训练过程中,均等的加权第四层输出的骨骼点热图,使用均方误差,对预测的骨骼点热图与人工标注的骨骼点热图之间的像素方差进行平方损失计算,训练函数如下所示:其中,hk是人工标注的真实骨骼点热图,f(*)表示特征图迭代训练模型,经过训练后能够得到预测的骨骼点热图,θ表示学习参数,x表示特征图,y表示迭代次数,K表示骨骼点热图总数;
S5.3使用反向传播和梯度下降法完成对乱丢垃圾行为检测网络的训练。
7.根据权利要求6所述的一种基于骨骼点融合循环空洞卷积的乱丢垃圾行为检测方法,其特征在于步骤(S6)具体过程如下:S6.1从需要检测的视频中提取连续几帧的检测图像,输入训练好的乱丢垃圾行为检测网络中,将输出的骨骼点热图相连接,得到人体姿态图序列;
S6.2将得到的人体姿态图序列与乱丢垃圾人体姿态数据库中的序列做相似度计算,若相似度小于阈值,则判定为乱丢垃圾,反之不然;相似度公式如下:其中,sk表示第k个骨骼点,a表示检测的结果,b表示人工定义的乱丢垃圾行为数据库的结果,K表示所有骨骼点的个数,S越小,相似度越高。