1.一种基于Mesh R‑CNN模型改进的目标检测与三维重构方法,其特征在于:包括以下步骤:获取包括有待识别目标的图像;
利用生成对抗网络对图像进行预处理;
利用GA‑RPN网络模型对原图像和预处理后的图像进行二维目标检测,得到目标物体的锚框区域;
利用目标检测产生的锚框区域结合Pix2Vox方法进行体素转换,得到目标物体的三维体素信息;
对得到的目标物体的三维体素信息进行细化得到目标物体的最终3D模型;
GA‑RPN由位置预测分支根据特征图产生一个指示目标对象位置的概率图,输出锚框的位置信息;
形状预测分支根据生成的位置信息生成相关的锚框形状,通过设定的阈值确定每个位置处最有可能的形状,结合位置信息生成一组锚框;
利用GA‑RPN网络模型对原图像和预处理后的图像进行二维目标检测,还得到目标物体的位置和分类信息;
使用编码器利用输入的预处理后的图像生成特征图,解码器将每个特征图作为输入,生成相应的粗三维体;
将产生的解编码结果进行上下文融合,融合模块自适应的从粗体素中为每个部分选择最高质量的结果,输出最终融合的三维体;
解码器生成的粗体素进入融合模块生成每个粗体素的上下文信息,再将得到的粗体素信息进行融合,包括:融合模块将每个体素都设计生成一个得分图;
然后将得分图进行加权求和,融合成一个体素;
先采用cubify方法将产生的体素转换为三维网格,再使用PNA对三维体进行细化。
2.如权利要求1所述的基于Mesh R‑CNN模型改进的目标检测与三维重构方法,其特征在于:在三维立体网格的表面利用点云进行密集采样,将点云损失作为形状损失,并添加边缘损失以提高网格预测质量,优化三维重建模型。
3.一种基于Mesh R‑CNN模型改进的目标检测与三维重构系统,其特征在于:包括:数据获取模块,被配置为:获取包括有待识别目标的图像;
图像处理模块,被配置为:利用生成对抗网络对图像进行预处理;
二维目标识别模块,被配置为:利用GA‑RPN网络模型对原图像和预处理后的图像进行二维目标检测,得到目标物体的锚框区域;
体素转换模块,被配置为:利用目标检测产生的锚框区域结合Pix2Vox方法进行体素转换,得到目标物体的三维体素信息;
3D模型生成模块,被配置为:对得到的目标物体的三维体素信息进行细化得到目标物体的最终3D模型;
GA‑RPN由位置预测分支根据特征图产生一个指示目标对象位置的概率图,输出锚框的位置信息;
形状预测分支根据生成的位置信息生成相关的锚框形状,通过设定的阈值确定每个位置处最有可能的形状,结合位置信息生成一组锚框;
利用GA‑RPN网络模型对原图像和预处理后的图像进行二维目标检测,还得到目标物体的位置和分类信息;
使用编码器利用输入的预处理后的图像生成特征图,解码器将每个特征图作为输入,生成相应的粗三维体;
将产生的解编码结果进行上下文融合,融合模块自适应的从粗体素中为每个部分选择最高质量的结果,输出最终融合的三维体;
解码器生成的粗体素进入融合模块生成每个粗体素的上下文信息,再将得到的粗体素信息进行融合,包括:融合模块将每个体素都设计生成一个得分图;
然后将得分图进行加权求和,融合成一个体素;
先采用cubify方法将产生的体素转换为三维网格,再使用PNA对三维体进行细化。
4.一种介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1‑
2任一项所述的基于Mesh R‑CNN模型改进的目标检测与三维重构方法中的步骤。
5.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑2任一项所述的基于Mesh R‑CNN模型改进的目标检测与三维重构方法中的步骤。