利索能及
我要发布
收藏
专利号: 2020115394228
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种汽车座舱内遗留物检测系统,其特征在于,所述系统包括前后排座椅压力传感器、前后排图像采集设备、中控台显示、存储器、嵌入式处理器、整车控制器;其中:前后排压力传感器,安装在前后排乘客座椅每个座位底下,用于监测来自每个座位上的压力,根据压力的变化判断乘客的位置和上下车的动作;

前后排图像采集设备,安装在汽车中控台上方、镜头对准副驾驶座位的前排图像采集设备和安装在座舱顶部位于后排座椅斜上方、镜头对准后排座椅的后排图像采集设备的使用近红外图像格式的摄像头;所述前排图像采集设备获取副驾驶座位的图像;所述后排图像采集设备获取后排座位的图像;

存储器储存,用于存储前后排图像采集设备、前后排压力传感器和嵌入式处理器产生的数据;

所述嵌入式处理器为一种车规级深度学习处理器,能够读、写、计算所述存储器中的数据,同时将计算结果暂时存储在所述存储器中或者发送给所述整车控制器;

整车控制器,用于整个汽车数据的中转和处理,控制车辆各个部件的运转,在本发明中,将所述嵌入式处理器和中控台显示连通,使得所述中控台与所述嵌入式处理器数据互通;

中控台显示,用于输出来自嵌入式处理器的遗留物检测结果,通知司机提醒已下车乘客取回遗留物。

2.一种汽车座舱内遗留物检测方法,其特征在于,包括一种汽车座舱内遗留物检测系统,具体包括以下步骤:

S1:读取视频,根据汽车座舱内监控视频在乘客上车前画面稳定的特性,设定帧数阈值,建立座椅背景画面;

S2:乘客上车后,座椅下的压力传感器记录下乘客的数量以及坐的位置,并持续监控压力的变化;

S3:当压力达到预设阈值时,对前排座椅开始进行遗留物检测,对后排座椅空出来的位置区域进行遗留物检测;

S4:检测并判定遗留物后,根据我们提出的图像分类算法识别遗留物类别;

S5:识别成功后,车机系统发送短信通知到乘客的手机上或通知司机,提醒刚下车的乘客拾回遗落的物品。

3.根据权利要求2所述的一种汽车座舱内遗留物检测方法,其特征在于,在进行背景建模时,如果汽车处于熄火或未行驶状态时,采用中值建模获取干净的无乘客前后排背景画面,否则采用高斯建模获取干净的无乘客前后排背景画面。

4.根据权利要求2或3所述的一种汽车座舱内遗留物检测方法,其特征在于,在进行背景建模时,对后排的背景画面,需要根据车辆后排三个座椅的位置分别建立背景画面。

5.根据权利要求2所述的一种汽车座舱内遗留物检测方法,其特征在于,进行遗留物检测包括:

当前帧与背景相减后得到差值图像,经过形态学操作后得到多个连通区域,根据连通区域的面积排除乘客,得到遗留物的二值图像;

将剩余的区域存入可疑物队列,在后续帧中对队列中的物体持续跟踪;

通过计算形心坐标间的距离、灰度直方图间的匹配度和Hu矩间的匹配度,统计可疑物队列中每个物体存在的帧数、消失的帧数;

当某个物体存在帧数超过设置的帧数后,则判断该物体为遗留物;

当某个物体连续消失帧数超过设置的帧数后,则将之从可疑物队列中剔除;

若检测到新的物体,则把它加入到可疑物队列中,并开始对其跟踪。

6.根据权利要求5所述的一种汽车座舱内遗留物检测方法,其特征在于,不同物体的形心坐标距离为不同物体形心的对应横坐标差值和纵坐标差值之和,第j个物体的形心的横坐标和纵坐标均可表示为:

灰度直方图间的匹配度表示为:

Hu矩间的匹配度表示为:

其中,N是物体的数量,cj是第j个物体的形心的横坐标或纵坐标,ci是第j个物体的第i个像素的横坐标或纵坐标,n是第j个物体的像素个数;p和q为被比较的两个物体,L(p,q)为p和q物体的Hu矩匹配度, 为p物体的Hu矩的第k个分量, 为q物体的Hu矩的第k个分量,D(p,q)为p和q物体的灰度直方图匹配度, 为p物体的灰度直方图中s灰度的像素个数,为q物体的灰度直方图中s灰度的像素个数,m为灰度直方图的范围。

7.根据权利要求5所述的一种汽车座舱内遗留物检测方法,其特征在于,获取遗留物的二值化图像的过程包括:

Ji(x,y)=|Fi(x,y)‑B(x,y)|,i=s,s+1......n;

其中,B(x,y)为背景帧对应像素点的灰度值,Fi(x,y)为当前帧对应像素点的灰度值;Ji(x,y)为背景帧与当前帧的差分图像;T为进行二值化操作的阈值,Oi(x,y)为二值化图像,s为用来创建背景画面的帧数,n为总帧数。

8.根据权利要求5所述的一种汽车座舱内遗留物检测方法,其特征在于,对队列中的对象持续跟踪包括:

读取第一帧图像,获得原始的可疑物队列Q1,为Q1中的每个可疑物创建并分配一个结构体,结构体成员包括:边界框坐标、总可见帧数、连续不可见帧数、灰度直方图数组和Hu矩数组;

读取下一帧图像,获得可疑物队列Q2,同样为Q2中的每个可疑物创建并分配结构体;

计算Q1、Q2中可疑物形心坐标、灰度直方图和Hu矩,当Q1中的可疑物A1与Q2中的可疑物B1的形心距离、灰度直方图匹配度和Hu矩匹配度都小于阈值时,则匹配成功,将A1的结构体更新为B1的结构体,并且总可见帧数加1;

当Q1中的可疑物A2与Q2中所有的可疑物的形心距离、灰度直方图匹配度和Hu矩匹配度都大于阈值时,则A2的连续不可见帧数加1,当该值到达最大不可见帧数之前,A2匹配成功,则连续不可见帧数归零;

Q2中没有匹配上的可疑物,全部加入Q1中,清空Q2;

当某个可疑物的总可见帧数大于10时,则判定为遗留物,当某个可疑物的连续不可见帧数大于20时,则丢弃该可疑物。

9.根据权利要求2所述的一种汽车座舱内遗留物检测方法,其特征在于,识别遗留物类别包括:

采集带标签的历史数据,输入神经网络,输出得到降维和提取特征处理后的数据;

根据历史数据对每一种类标签求解目标函数获得编码系数x进行训练,目标函数表示为:

其中,A是训练集数据,b是测试集数据,λ是平衡保真项和正则项的权衡参数,αi是权衡参数;xi是每一类样本的编码系数;x是所有类样本的编码系数;||·||1为计算L1范数,||·||2为计算L2范数, 为计算L2范数的平方;

根据遗留物的图像特征向量,根据其重构残差和类间分散程度进行分类,输出遗留物的标签。

10.根据权利要求9所述的一种汽车座舱内遗留物检测方法,其特征在于,遗留物的标签表示为:

其中,label(y)表示遗留物图像特征向量y的类别信息;x为所有类样本的编码系数。