利索能及
我要发布
收藏
专利号: 2020106054744
申请人: 北京百度网讯科技有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-02-06
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像检测的方法,包括:

获取在待测环境中相机采集的待测图像,所述相机为单目相机;

将所述待测图像的全局特征、所述待测图像的局部特征和所述待测环境的深度图特征进行融合,获取所述待测图像的融合特征;

根据所述待测图像的融合特征,预测所述待测图像中的障碍物距离所述相机的深度;

所述待测环境的深度图特征是根据所述待测环境的地面深度图得到的,所述待测环境的地面深度图是根据所述待测环境的地面上的至少一个点距离相机的深度建立的,所述待测环境的地面上至少一个点距离所述相机的深度是根据所述待测环境的地面上的至少一个点在图像坐标系下的坐标、所述相机的内参和地面方程确定的。

2.根据权利要求1所述的方法,在所述获取所述待测图像的融合特征之前,还包括:从所述待测环境的地面深度图中提取所述待测环境的深度图特征。

3.根据权利要求2所述的方法,其中,所述从所述待测环境的地面深度图中提取所述待测环境的深度图特征,包括:将所述待测环境的地面深度图输入主干网络中,并获取所述主干网络输出的所述待测环境的深度图特征。

4.根据权利要求2所述的方法,在所述从所述待测环境的地面深度图中提取所述待测环境的深度图特征之前,还包括:根据所述待测环境的地面上的至少一个点距离所述相机的深度,建立所述待测环境的地面深度图。

5.根据权利要求4所述的方法,在所述建立所述待测环境的地面深度图之前,还包括:根据所述待测环境的地面上的至少一个点在图像坐标系下的坐标,确定所述待测环境的地面上至少一个点距离所述相机的深度。

6.根据权利要求5所述的方法,其中,所述根据所述待测环境的地面上至少一个点在图像坐标系下的坐标,确定所述待测环境的地面上的至少一个点距离所述相机的深度,包括:获取所述待测环境的地面上的至少一个点在图像坐标系下的坐标;

根据所述待测环境的地面上的至少一个点在图像坐标系下的坐标、所述相机的内参和地面方程,确定所述待测环境的地面上至少一个点距离所述相机的深度。

7.根据权利要求6所述的方法,其中,所述根据所述待测环境的地面上至少一个点在图像坐标系下的坐标、所述相机的内参和地面方程,确定所述待测环境的地面上的至少一个点距离所述相机的深度,包括:根据所述相机的内参和所述地面方程,对所述待测环境的地面上的至少一个点在图像坐标系下的坐标进行反射投影,计算出待测环境的地面上的至少一个点距离所述相机的深度。

8.根据权利要求1‑7任一项所述的方法,其中,所述根据所述待测图像的融合特征,预测所述待测图像中的障碍物距离所述相机的深度,包括:将所述待测图像的融合特征输入神经网络模型,并获取所述神经网络模型输出的所述待测图像中的障碍物距离所述相机的深度。

9.根据权利要求8所述的方法,其中,所述神经网络模型为卷积神经网络模型或全连接神经网络模型。

10.根据权利要求1‑7任一项所述的方法,其中,所述待测图像为单目图像。

11.一种图像检测的装置,包括:

获取模块,用于获取在待测环境中相机采集的待测图像,所述相机为单目相机;

融合模块,用于将所述待测图像的全局特征、所述待测图像的局部特征和所述待测环境的深度图特征进行融合,获取所述待测图像的融合特征;所述待测环境的深度图特征是根据所述待测环境的地面深度图得到的,所述待测环境的地面深度图是根据所述待测环境的地面上的至少一个点距离相机的深度建立的,所述待测环境的地面上至少一个点距离所述相机的深度是根据所述待测环境的地面上的至少一个点在图像坐标系下的坐标、所述相机的内参和地面方程确定的;

预测模块,用于根据所述待测图像的融合特征,预测所述待测图像中的障碍物距离所述相机的深度。

12.根据权利要求11所述的装置,还包括:

提取模块,用于从所述待测环境的地面深度图中提取所述待测环境的深度图特征。

13.根据权利要求12所述的装置,其中,所述提取模块具体用于将所述待测环境的地面深度图输入主干网络中,并获取所述主干网络输出的所述待测环境的深度图特征。

14.根据权利要求12所述的装置,还包括:

绘图模块,用于根据所述待测环境的地面上的至少一个点距离所述相机的深度,建立所述待测环境的地面深度图。

15.根据权利要求14所述的装置,还包括:

计算模块,用于根据所述待测环境的地面上的至少一个点在图像坐标系下的坐标,确定所述待测环境的地面上至少一个点距离所述相机的深度。

16.根据权利要求15所述的装置,其中,所述计算模块具体用于获取所述待测环境的地面上的至少一个点在图像坐标系下的坐标;根据所述待测环境的地面上的至少一个点在图像坐标系下的坐标、所述相机的内参和地面方程,确定所述待测环境的地面上至少一个点距离所述相机的深度。

17.根据权利要求16所述的装置,其中,所述计算模块具体用于根据所述相机的内参和所述地面方程,对所述待测环境的地面上的至少一个点在图像坐标系下的坐标进行反射投影,计算出待测环境的地面上的至少一个点距离所述相机的深度。

18.根据权利要求11‑17任一项所述的装置,其中,所述预测模块具体用于将所述待测图像的融合特征输入神经网络模型,并获取所述神经网络模型输出的所述待测图像中的障碍物距离所述相机的深度。

19.根据权利要求18所述的装置,其中,所述神经网络模型为卷积神经网络模型或全连接神经网络模型。

20.根据权利要求11‑17任一项所述的装置,其中,所述待测图像为单目图像。

21.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑10中任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑10中任一项所述的方法。

23.一种图像检测的方法,包括:

将待测图像的全局特征、所述待测图像的局部特征和待测环境的深度图特征进行融合,获取所述待测图像的融合特征,所述将待测图像是由单目相机采集的,所述待测环境的深度图特征是根据所述待测环境的地面深度图得到的,所述待测环境的地面深度图是根据所述待测环境的地面上的至少一个点距离相机的深度建立的,所述待测环境的地面上至少一个点距离所述相机的深度是根据所述待测环境的地面上的至少一个点在图像坐标系下的坐标、所述相机的内参和地面方程确定的;

根据所述待测图像的融合特征,预测所述待测图像中的障碍物距离所述相机的深度。

24.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1‑10中任一项所述的方法。