利索能及
我要发布
收藏
专利号: 2020116423497
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于Mesh R‑CNN模型改进的目标检测与三维重构方法,其特征在于:包括以下步骤:获取包括有待识别目标的图像;

利用生成对抗网络对图像进行预处理;

利用GA‑RPN网络模型对原图像和预处理后的图像进行二维目标检测,得到目标物体的锚框区域;

利用目标检测产生的锚框区域结合Pix2Vox方法进行体素转换,得到目标物体的三维体素信息;

对得到的目标物体的三维体素信息进行细化得到目标物体的最终3D模型;

GA‑RPN由位置预测分支根据特征图产生一个指示目标对象位置的概率图,输出锚框的位置信息;

形状预测分支根据生成的位置信息生成相关的锚框形状,通过设定的阈值确定每个位置处最有可能的形状,结合位置信息生成一组锚框;

利用GA‑RPN网络模型对原图像和预处理后的图像进行二维目标检测,还得到目标物体的位置和分类信息;

使用编码器利用输入的预处理后的图像生成特征图,解码器将每个特征图作为输入,生成相应的粗三维体;

将产生的解编码结果进行上下文融合,融合模块自适应的从粗体素中为每个部分选择最高质量的结果,输出最终融合的三维体;

解码器生成的粗体素进入融合模块生成每个粗体素的上下文信息,再将得到的粗体素信息进行融合,包括:融合模块将每个体素都设计生成一个得分图;

然后将得分图进行加权求和,融合成一个体素;

先采用cubify方法将产生的体素转换为三维网格,再使用PNA对三维体进行细化。

2.如权利要求1所述的基于Mesh R‑CNN模型改进的目标检测与三维重构方法,其特征在于:在三维立体网格的表面利用点云进行密集采样,将点云损失作为形状损失,并添加边缘损失以提高网格预测质量,优化三维重建模型。

3.一种基于Mesh R‑CNN模型改进的目标检测与三维重构系统,其特征在于:包括:数据获取模块,被配置为:获取包括有待识别目标的图像;

图像处理模块,被配置为:利用生成对抗网络对图像进行预处理;

二维目标识别模块,被配置为:利用GA‑RPN网络模型对原图像和预处理后的图像进行二维目标检测,得到目标物体的锚框区域;

体素转换模块,被配置为:利用目标检测产生的锚框区域结合Pix2Vox方法进行体素转换,得到目标物体的三维体素信息;

3D模型生成模块,被配置为:对得到的目标物体的三维体素信息进行细化得到目标物体的最终3D模型;

GA‑RPN由位置预测分支根据特征图产生一个指示目标对象位置的概率图,输出锚框的位置信息;

形状预测分支根据生成的位置信息生成相关的锚框形状,通过设定的阈值确定每个位置处最有可能的形状,结合位置信息生成一组锚框;

利用GA‑RPN网络模型对原图像和预处理后的图像进行二维目标检测,还得到目标物体的位置和分类信息;

使用编码器利用输入的预处理后的图像生成特征图,解码器将每个特征图作为输入,生成相应的粗三维体;

将产生的解编码结果进行上下文融合,融合模块自适应的从粗体素中为每个部分选择最高质量的结果,输出最终融合的三维体;

解码器生成的粗体素进入融合模块生成每个粗体素的上下文信息,再将得到的粗体素信息进行融合,包括:融合模块将每个体素都设计生成一个得分图;

然后将得分图进行加权求和,融合成一个体素;

先采用cubify方法将产生的体素转换为三维网格,再使用PNA对三维体进行细化。

4.一种介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1‑

2任一项所述的基于Mesh R‑CNN模型改进的目标检测与三维重构方法中的步骤。

5.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑2任一项所述的基于Mesh R‑CNN模型改进的目标检测与三维重构方法中的步骤。