1.基于深度学习的人群高兴程度识别方法,其特征在于,包括以下步骤:
步骤A),将由人工标注的单个人脸图像,按照标签分类并对图像大小归一化后,得到人脸高兴程度数据库和人脸遮挡程度数据库,将它们分别分为训练集和验证集并进行预处理操作;
步骤B),分别构建用于识别人脸高兴程度和人脸遮挡程度的卷积神经网络;
步骤C),对步骤B)中构建的两个卷积神经网络进行初始学习率、权重衰减系数、训练迭代次数的设置后,将经过预处理操作后的人脸高兴程度和人脸遮挡程度样本分别对应输入所述两个卷积神经网络,得到用于识别人脸高兴程度和人脸遮挡程度的网络模型;
步骤D),将需要进行人群高兴程度识别的合影图像输入至所述用于识别人脸高兴程度和人脸遮挡程度的网络模型中,得到该合影图像中每张人脸fi的高兴程度IHi和遮挡程度qi;然后采用人脸高兴程度加权的方式计算出该合影图像中的人群高兴程度。
2.根据权利要求1所述的一种基于深度学习的人群高兴程度识别方法,其特征在于,所述步骤B)中构建用于识别人脸高兴程度的卷积神经网络的具体步骤如下:步骤B1.1),构建第一层数据输入层,第一层数据输入层分为训练数据输入层和测试数据输入层,其将输入数据裁剪为a11×a11维,其中,a11×a11为构建的此网络中第一层输出数据的大小;
步骤B1.2),构建第二层卷积层,第二层卷积层选用k21个a21×a21维的卷积核对输入数据进行卷积操作,卷积步长为s21,不采用像素填补加边,卷积层偏置常数为c21,卷积后再经过修正线性单元函数进行非线性映射,得到k21个l21×l21维的特征图,其中,k21为第二层中卷积核的个数,a21×a21为卷积核的大小,l21×l21为本层输出特征图的大小;
步骤B1.3),构建第三层池化层,第三层池化层用a31×a31维的窗口、以步长s31对上一层的结果进行下采样,得到k21个l31×l31维的特征图,其中,k21为要进行下采样操作的特征图数目,即为第二层输出的特征图数目,a31×a31为下采样操作的窗口大小,l31×l31为本层输出特征图的大小;
步骤B1.4),构建第四层卷积层,第四层卷积层选用k41个a41×a41维的卷积核对上一层的输出数据进行卷积操作,卷积步长为s41,不采用像素填补加边,卷积层偏置常数为c41,卷积结果经过ReLU函数,得到k41个l41×l41维的特征图,其中,k41为第四层中卷积核的个数,a41×a41为卷积核的大小,l41×l41为本层输出特征图的大小;
步骤B1.5),构建第五层池化层,第五层池化层用a51×a51维的窗口、以步长s51对上一层的结果进行下采样,得到k41个l51×l51维的特征图,其中,k41为要进行下采样操作的特征图数目,即为第四层输出的特征图数目,a51×a51为下采样操作的窗口大小,l51×l51为本层输出特征图的大小;
1 1 1
步骤B1.6),构建第六层卷积层,第六层卷积层选用k6个a6×a6维的卷积核对上一池化层的输出数据进行卷积操作,卷积步长为s61,采用像素填补,加边数目为p61,卷积层偏置常数为c61,同样再经过ReLU函数,得到k61个l61×l61维的特征图,其中,k61为第六层中卷积核的个数,a61×a61为卷积核的大小,l61×l61为本层输出特征图的大小;
1 1 1
步骤B1.7),构建第七层卷积层,第七层卷积层选用k7个a7×a7维的卷积核对上一卷积层的输出数据进行卷积操作,卷积步长为s71,不采用像素填补加边,卷积层偏置常数为c71,经过ReLU函数,得到k71个l71×l71维的特征图,其中,k71为第七层中卷积核的个数,a71×a71为卷积核的大小,l71×l71为本层输出特征图的大小;
步骤B1.8),构建第八层池化层,第八层池化层用a81×a81维大小的窗口、以步长s81对上一层的结果进行下采样,得到k71个l81×l81维的特征图,其中,k71为要进行下采样操作的特征图数目,即为第七层输出的特征图数目,a81×a81为下采样操作的窗口大小,l81×l81为本层输出特征图的大小;
步骤B1.9),构建第九层、第十层,第九层、第十为全连接层,第九层将上一层的输出全连接至本层的k91个输出神经元,构成一个k91维的特征向量,将其再经过ReLU函数非线性变1
换,然后使用dropout方法调整连接权重,作为第十层的输入,第十层将输入再连接至k10 个输出神经元,k101即为人脸高兴程度的类别数,最后再经过Softmax-loss层,通过计算网络实际输出与数据标签之间的差值得到损失值函数J(θ):上式为加入规则项的损失函数,其中k指人脸高兴程度的类别总数,b为设置的网络批处理大小,即整个网络训练迭代完一次所使用的输入数据个数,y(t)为第t个输入数据对应的数据标签,l{·}是指示性函数,即当大括号中的值为真时,该函数的结果为1,否则结果(t)为0;x 为Softmax-loss层的第t个输入向量,n为输入向量的维数,γ为预设的权重衰减率,θ为要调整的权重参数矩阵:
3.根据权利要求2所述的一种基于深度学习的人群高兴程度识别方法,其特征在于,所述步骤B)中构建用于识别人脸遮挡程度的卷积神经网络的具体步骤如下:步骤B2.1),构建第一层数据输入层,第一层数据输入层分为训练数据输入层和测试数据输入层,其将输入数据裁剪为a12×a12维,a12×a12为本层输出数据的大小;
步骤B2.2),构建第二层卷积层,第二层卷积层选用k22个a22×a22维的卷积核对输入数据进行卷积操作,卷积步长为s22,不采用像素填补加边,卷积层偏置常数为c22,卷积后再经过ReLU函数进行非线性映射,得到k22个l22×l22维的特征图,其中,k22为本层中卷积核的个
2 2 2 2
数,a2×a2为卷积核的大小,l2×l2为本层输出特征图的大小;
步骤B2.3),构建第三层池化层,第三层池化层用a32×a32维大小的窗口、以步长s32对上一层的结果进行下采样,得到k22个l32×l32维的特征图,其中,k22为要进行下采样操作的特征图数目,即为本层输出的特征图数目,a32×a32为下采样操作的窗口大小,l32×l32为本层输出特征图的大小;
步骤B2.4),构建第四层卷积层,第四层卷积层选用k42个a42×a42维的卷积核对上一层的输出数据进行卷积操作,卷积步长为s42,不采用像素填补加边,卷积层偏置常数为c42,卷积结果经过ReLU函数,得到k42个l42×l42维的特征图,其中,k42为本层中卷积核的个数,a42
2 2 2
×a4为卷积核的大小,l4×l4为本层输出特征图的大小;
步骤B2.5),构建第五层池化层,第五层池化层用a52×a52维大小的窗口、以步长s52对上一层的结果进行下采样,得到k42个l52×l52维的特征图,其中,k42为要进行下采样操作的特征图数目,即为本层输出的特征图数目,a52×a52为下采样操作的窗口大小,l52×l52为本层输出特征图的大小;
步骤B2.6),构建第六层卷积层,第六层卷积层选用k62个a62×a62维的卷积核对上一池化层的输出数据进行卷积操作,卷积步长为s62,不采用像素填补加边,卷积层偏置常数为c62,经过ReLU函数,得到k62个l62×l62维的特征图,其中,k62为本层中卷积核的个数,a62×a62
2 2
为卷积核的大小,l6×l6为本层输出特征图的大小;
步骤B2.7),构建第七层池化层,第七层池化层用a72×a72维大小的窗口、以步长s72对上一层的结果进行下采样,得到k62个l72×l72维的特征图,其中,k62为要进行下采样操作的特征图数目,即为本层输出的特征图数目,a72×a72为下采样操作的窗口大小,l72×l72为本层输出特征图的大小;
步骤B2.8),构建第八层、第九层,第八层、第九层为全连接层,第八层将上一层的输出全连接至本层的k82个输出神经元,构成一个k82维的特征向量,将其再经过ReLU函数非线性变换,然后同样使用dropout方法调整连接权重,作为第九层的输入,第九层将输入再连接
2 2
至k9 个输出神经元,k9 即为人脸遮挡程度的类别数,最后再经过Softmax-loss层,计算网络实际输出与数据标签之间的差值得到损失值函数。
4.根据权利要求1所述的一种基于深度学习的人群高兴程度识别方法,其特征在于,所述步骤D)的详细步骤如下:步骤D1),使用人脸和非人脸图像训练Adaboost分类器,然后利用训练好的分类器检测出输入的合影图像中的所有人脸图像,并对检测出的每个人脸图像使用用于识别人脸高兴程度和人脸遮挡程度的网络模型分别进行人脸高兴程度IHi和人脸遮挡程度qi的识别,其中,i为合影图像中的人脸图像的数量;
步骤D2),根据以下公式计算输入的合影图像中的合影人数对该合影图像中每张人脸高兴程度的影响权重值:其中,m为训练数据集中图像的平均合影人数,s为输入合影图像中检测出的人脸数,预设的参数α用于控制权重δi的影响大小;
步骤D3),根据以下公式计算输入的合影图像中每个人脸的遮挡程度对图像中对应人脸的高兴程度的惩罚值:λi=||1-βqi||,0≤λi≤1,0≤qi≤p-1
其中,p为人脸的遮挡程度的类别总数,qi为第i个人脸的遮挡强度,预设的参数β用于控制λi的影响大小;
步骤D4),根据以下公式计算出输入合影图像中的人群高兴程度:
其中,πi=δiλi。