1.一种基于无人巡逻车的人群状态检测方法，其特征在于，该方法包括如下步骤：步骤1：定义行人定位算法总体结构

1.1)对激光雷达与相机的联合标定，确定点云空间与像素平面的刚体变换、投影透视、平移转换的关系；

1.2)分别对点云数据与图像数据进行目标检测，利用点云滤波与聚类分割算法对输入的点云数据进行目标聚类，获取点云数据中的目标聚类框尺度、空间中心点坐标信息；

1.3)利用深度学习YOLOv4算法对输入的图像进行行人目标检测，利用Deep SORT算法对前后帧的行人检测框进行匹配，获取图像中的行人检测框尺度、像素中心点坐标等信息，实现行人目标的实时跟踪；

1.4)对点云的聚类检测结果与图像的行人识别结果进行融合，将点云聚类结果投影到二维图像平面上，计算点云二维投影框与行人目标检测框的交并比，完成匹配；

1.5)输出三维空间的行人目标识别结果，再根据融合后的检测框是否被匹配，筛选出置信度较高的融合结果进行输出；

步骤2：激光雷达和相机联合标定

通过对激光雷达和相机联合标定，获得点云空间与像素平面的坐标转换关系，找到同一时刻内，点云数据的每个点和图像中相应像素的位置；

步骤3：点云数据预处理

在初始状态下，选取巡逻车头正方向，地面平面拟合模型表示：ax+by+cz+d＝0

其中，a、b、c分别表示垂直于x、y、z平面的法向量；d为坐标原点到平面的正交投影距离；

步骤4：点云聚类检测

4.1)初始化：创建三维的kd‑tree；

T

4.2)在点云空间P中随机选取一个点pi，pi＝(xi,yi,zi) ，使用kd‑tree算法搜索其近邻点Pn＝{pj,j＝1,2,...,n}，计算三维点pi和pj之间的欧氏距离：

4.3)当Dij＜Eps，将对应的pj划分成一个聚类点云集Q；其中，Eps为聚类半径阈值；

4.4)在聚类点云集Q中随机选取一个点pi1，重复步骤1)，在Eps范围内的点划分到聚类点云集Q；

4.5)搜索完所有的点，直到没有点可以划入聚类点云集Q；

4.6)检测聚类点云集Q里的点云数量，如果点云数量大于聚类点最小数目MinPts且小于聚类点最大数目MaxPts，则该聚类点云集有效，构成一个聚类结果；

通过欧氏聚类算法对巡逻环境中扫描到的目标物进行聚类，将被检测目标物体分别用三维包围框的形式进行输出，从中提取出被检测目标物体的空间位置信息和长宽高尺度信息；

步骤5：融合匹配方法

5.1)输入一帧包含m个三维检测框的点云数据、一帧包含n个行人目标识别框的图像数据；

5.2)选取第i个三维检测框，第j个行人目标识别框，参数i和j的初始值设为1；

5.3)将第i个三维检测框的点云投影至图像上，生成二维包围框ii；

5.4)计算二维包围框ii与第j个行人目标识别框之间的交并比，并定义为变量IoU，其计算公式为：union＝Sii+Sj‑intersetion其中，intersection表示两个二维框之间的交集，union表示两个二维框之间的并集；

二维包围框ii左上角坐标为 右下角坐标为 第j个行人目标识别框左上角坐标为 右下角坐标为

5.5)判断IoU是否大于融合阈值，如果IoU大于融合阈值，则更新融合目标标签为第j个行人目标识别框的标签；如果IoU小于融合阈值，则进一步判断是否还有未匹配的目标识别框；如果有未匹配的目标识别框，则进入步骤5.2)，如果没有未匹配的目标识别框，则更新融合目标标签为“未知”；

5.6)判断是否所有的三维检测框都进行了融合检测，若是，则输出融合后的行人三维检测框；否则，继续检测下一个三维检测框；

5.7)对融合的结果进行输出；筛选出行人目标融合置信度较高的结果进行输出；

步骤6:基于深度学习的人群密度检测

6.1)人群密集度监测

以巡逻车辆为形心，绘制半径为3米的圆形探测框，统计探测框内的行人数量并计算人群密集度ρpeds，其计算公式如下：其中，Npeds为探测框内的行人数量；Sdetect表示探测框面积；

6.2)行人间距分析

算法输入融合检测得到的行人目标，提取每个行人目标的形心坐标，构建一个三维的kd‑tree，通过遍历计算得到每个行人距离最近行人的欧氏距离；

6.3)行人聚集状况预警

根据实际测试选取人群密度阈值为0.5，当人群密度低于0.5时，人群状态将视为稀疏，当人群密度大于0.5时，人群密度将视为稠密；

根据对不同人群状态感知状况，将人群状况划分为四种预警模式，预警级别从低到高依次为蓝色预警、黄色预警、橙色预警以及红色预警；

稀疏状态下，若最小间距与平均间距均大于1，不存在预警措施；

若最小间距小于1，无论最小间距平均值为多少，启动蓝色预警，说明人群存在部分聚集，语音提醒注意出行安全；

稠密状态下，若最小间距与平均间距均大于1，则不存在人群聚集，启动黄色预警与语音提醒；若最小间距小于1而最小间距平均值大于1，则说明存在部分聚集，启动橙色预警与语音提醒；若最小间距小于1且最小间距平均值小于1，启动最高级别红色预警，语音疏散人群。

2.如权利要求1所述的一种基于无人巡逻车的人群状态检测方法，其特征在于，所述步骤2中激光雷达和相机联合标定具体步骤为：

1)点云数据中标定板的特征点提取

激光雷达坐标系描述物体以激光雷达为原点的相对位置，激光雷达坐标系中的点坐标表示为(XL,YL,ZL)，在点云数据可视化软件PolyWorks中截取出棋格图标定板反射的点云区域作为点云感兴趣区域，然后对其余位置的点云进行滤除处理，对点云ROI区域进行最大化矩形拟合，通过拟合得到的矩形为棋格图标定板在点云空间的特征矩形，选取矩形的四个角和中心点作为点云数据的特征点；

2)图像数据中标定板的特征点提取

相机坐标系描述物体以相机光心为原点的相对位置，物体坐标表示为(XC,YC,ZC)；像素坐标系描述以图像左上角为原点，u轴水平向右，v轴竖直向下，某一点在图像中的像素坐标表示为(u,v)，从像素坐标系转换为相机坐标系，用相机内参矩阵A表示：其中，fx和fy为x、y方向的焦距，单位为像素；cx和cy为图像的中心坐标；

通过张正友标定法得到像素坐标系和相机坐标系的转换关系，表示为：其中，s为缩放因子；

3)激光雷达与相机的坐标变换

激光雷达和相机的外参标定关系为：

T

T＝[t1 t2 t3]

通过提取点云数据和图像数据中相对应的特征点数据，求得旋转向量R和平移向量T；

点云空间的三维点从激光雷达坐标系变换到相机坐标系，最后投影到像素坐标系并成像显示，完成点云数据与图像数据的像素级融合。