利索能及
我要发布
收藏
专利号: 2018104749258
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于跨模态多尺度特征融合的对象检测方法,其特征在于,所述基于跨模态多尺度特征融合的对象检测方法,包括:采用第一数据集训练预训练模型,所述第一数据集包括已标注图像中物体类别的RGB图像,基于预训练模型初始化单模态的RGB检测网络模型;

采用第二数据集中的RGB图像对RGB检测网络模型进行训练,所述第二数据集包括已标注图像中物体类别和位置的RGB图像及对应的深度图像;

基于已训练好的RGB检测网络模型,初始化单模态的深度图检测网络模型;

采用第二数据集中的深度图像对深度图检测网络模型进行训练;

基于已训练好的RGB检测网络模型和深度图检测网络模型,初始化融合网络模型并进行多尺度特征融合;

采用配对的已标注图像中物体类别和位置的RGB图像和深度图像,对融合网络模型进行训练;

采用已训练好的融合网络模型对颜色深度图像中的对象进行检测。

2.根据权利要求1所述的基于跨模态多尺度特征融合的对象检测方法,其特征在于,所述基于已训练好的RGB检测网络模型,初始化单模态的深度图检测网络模型,包括:复制RGB检测网络模型的网络参数,作为深度图检测网络模型的网络参数。

3.据权利要求1所述的基于跨模态多尺度特征融合的对象检测方法,其特征在于,所述基于已训练好的RGB检测网络模型和深度图检测网络模型,初始化融合网络模型并进行多尺度特征融合,包括:

复制RGB检测网络模型和深度图检测网络模型的网络参数,作为融合网络模型中两个特征提取部分的权重;

用多个融合层来结合两个特征提取部分提取的多尺度特征。

4.据权利要求3所述的基于跨模态多尺度特征融合的对象检测方法,其特征在于,所述融合网络模型在训练的时候采用Multibox Loss作为损失函数。

5.据权利要求1所述的基于跨模态多尺度特征融合的对象检测方法,其特征在于,所述对RGB检测网络模型进行训练、对深度图检测网络模型进行训练、对融合网络模型进行训练时,还包括:

对输入数据进行数据增强处理。

6.据权利要求3所述的基于跨模态多尺度特征融合的对象检测方法,其特征在于,所述对融合网络模型进行训练时,还包括:冻结特征提取部分的权重。