利索能及
我要发布
收藏
专利号: 2024118315387
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-04
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多源信息融合的场景识别方法,其特征在于:包括以下步骤:

步骤一、使用知识图谱嵌入模型获取物体与场景类型之间的关联概率p;

步骤二、采集被测场景的点云数据;将采集的点云数据拟合成多条直线,根据拟合直线中点云的数量对被测场景进行初步分类;

步骤三、采集被测场景中的图像,使用目标检测模型对采集的图像进行检测,获取被测场景中的物体;

步骤四、根据被测场景中的物体以及对应的关联概率p获取当前帧的最终场景概率 ;

利用最终场景概率 进一步分类被测场景,获取被测场景的类型;

步骤五、重复步骤二至四,获取每一帧图像中被测场景的类型,完成场景识别。

2.根据权利要求1所述的一种基于多源信息融合的场景识别方法,其特征在于:所述的步骤二中,初步分类的方法为:统计多条拟合直线中包含点云数量最多的两个拟合直线,若这两个拟合直线中的点云数量之和超过预设阈值,则判断被测场景为走廊;反之,则判断被测场景为房间。

3.根据权利要求2所述的一种基于多源信息融合的场景识别方法,其特征在于:所述的步骤四中,利用最终场景概率 进一步分类被测场景的方法为:若步骤二判断被测场景为走廊时,输出当前帧的场景为走廊;若步骤二判断被测场景为房间且当前帧的最终场景概率 大于场景概率阈值 时,输出当前帧的场景类型为大于阈值 的最终场景概率对应的场景类型。

4.根据权利要求2所述的一种基于多源信息融合的场景识别方法,其特征在于:所述的步骤四中,最终场景概率 的获取方法为:依次获取当前帧中每一个物体对应的场景概率,场景概率 的表达式为:其中, 和 为前一个物体对应的场景概率; 为衰减因子; 为连续发现同一物体的次数; 为第n个物体与第i个场景的关联概率; 为第n个物体与第j个场景的关联概率;M为场景数量; ; ;N为当前帧中检测到的物体数量;

以当前帧中最后一个物体对应的场景概率 作为当前帧中第i个场景的最终场景概率 ;以前一帧的最终场景概率作为当前帧的场景概率 ;若前一帧场景为走廊时,前一帧的最终场景概率为 。

5.根据权利要求1所述的一种基于多源信息融合的场景识别方法,其特征在于:所述的步骤二中,拟合直线的方法如下:步骤1‑1.将采集的点云数据转换为笛卡尔坐标格式;

步骤1‑2.逐点对点云数据进行拟合,若扩展点与当前拟合直线的距离小于设置的范围阈值,则认为扩展点属于当前拟合直线;否则,以扩展点作为新拟合直线的起点;

步骤1‑3.根据斜率相似性以及截距相似性将属于同一直线的两条拟合直线合并。

6.根据权利要求1所述的一种基于多源信息融合的场景识别方法,其特征在于:所述的步骤一中,点云数据通过单线激光雷达进行采集。

7.根据权利要求6所述的一种基于多源信息融合的场景识别方法,其特征在于:所述的步骤二中,对单线激光雷达采集点云数据进行噪声过滤,排除点云数据中与激光雷达距离小于0.1米或大于20米的点。

8.根据权利要求1所述的一种基于多源信息融合的场景识别方法,其特征在于:所述的步骤一中,获取关联概率p的方法为:构建知识图谱数据集;使用知识图谱数据集对知识图谱嵌入模型进行训练;基于训练后的知识图谱嵌入模型,获取物体与场景之间的关联得分x;将关联得分x进行归一化后获取关联概率p。

9.根据权利要求8所述的一种基于多源信息融合的场景识别方法,其特征在于:所述的步骤一中,训练过程中,设置的损失函数L的表达式:其中, 为固定边界阈值,控制正例和负例之间的距离; 为定义的距离函数;

为sigmoid函数;h、r、t分别为头实体、关系和尾实体对应的向量;h'和t'分别为负样本集合中的头实体和尾实体对应的向量;N为负采样得到的负样本集合;d为向量的维度;

为哈达玛积。

10.一种基于多源信息融合的场景识别装置,包括搭载组件以及安装在搭载组件上的单线激光雷达、深度相机和控制模块;其特征在于:所述的控制模块用于执行如权利要求1所述的一种基于多源信息融合的场景识别方法;控制模块包括直线检测模块和场景概率更新模块;直线检测模块用于根据点云数据对被测场景的类型进行初步分类;场景概率更新模块用于根据物体的图像进一步分类被测场景。