利索能及
我要发布
收藏
专利号: 2022113037850
申请人: 东华理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于改进全卷积神经网络的土石混合体图像三维重建方法,其特征在于,所述方法包括:利用岩土CT扫描设备对土石混合体试样进行扫描,获取土石混合体的切面图像,得到土石混合体CT扫描的影像数据集,并对所述影像数据集进行真实边界标注,得到真实标签数据集;

构建UNet全卷积神经网络,并建立损失函数,所述损失函数为Boundary Loss与Dice Loss的融合型损失函数;

基于预设比例,将所述影像数据集分为训练集、验证集以及测试集,并将所述训练集进行数据增强与归一化,得到预处理数据集;

将所述预处理数据集输入神经网络进行训练,每次输入不同批次的所述训练集,进行前向传播、计算损失值以及反向传播,并优化网络参数,经过迭代多轮训练,并利用验证集评估网络性能,以确定一个性能最优网络模型,得到改进的UNet全卷积神经网络;

按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测,得到分割后的土石混合体切面图像序列;

识别所述土石混合体切面图像序列中所有边界,并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵;

基于所述砾石边界矩阵进行边界重组,获得每个砾石表面的点云数据,并进行每个砾石表面的点云数据的三维可视化,得到砾石模型,以实现三维重建;

所述Boundary Loss的表达式为:

LB(θ)=∫ΩφG(q)sθ(q)dq;

其中,Ω代表图像区域集合;q代表某个像素值;φG(q)代表预测值与真实值的边界之间的距离,若预测值在真实值的边界上为0,若在预测值在真实值的边界外部为正数,若预测值在真实值的内部则为负数;sθ(q)为预测值的二值函数,若预测值在目标区域内则值为1,否则为0;

Dice Loss的表达式为:

其中,pred为预测值的集合,true为真实值的集合;

所述融合型损失函数的表达式为:

Loss=αLD+1‑α)LB,

其中,α初始值等于1;

所述基于所述砾石边界矩阵进行边界重组包括:

输入需要重组的图像,计算出所有图像的边界矩阵和每个图像中所有边界的假中心点,存入数组;

用字典存放每个砾石的id、边界矩阵、与边界矩阵对应的z轴坐标,用字典数组存放每个砾石的字典;

设置k为第一张图像的边界数,为第一张图像的砾石边界矩阵编号,id=1,2,3....k;z=1,Total_num为图像总数,now_img_num为当前图像计数,初始值为2;

判断now_img_num是否小于等于Total_num;

若为假,则直接重组结束,若为真,则now_img_total_num=当前图像中砾石边界矩阵数,pre_img_total_num=前一张图像中的砾石边界矩阵数,now_count初始值为1,pre_count初始值为1,now_count为当前图像的砾石边界矩阵计数,pre_count为前一张图像的砾石边界矩阵计数;

判断now_count是否小于等于now_img_num;

若为假,则确定当前图像中边界全部处理完成,now_img_num=now_img_num+1,并重新判断now_img_num是否小于等于Total_num;

若为真,则继续判断pre_count是否小于等于pre_img_num;

若为假,则确定前一张图像中的边界均匹配失败,说明当前图像中的now_count个边界属于新砾石,k=k+1;

新建字典存放新砾石信息,id=k,边界为当前图像中now_count个边界,z=now_img_num,now_count=now_count+1,并重新判断now_count是否小于等于now_img_num;

若为真,则计算now_img_num张图像中now_count个边界矩阵和pre_img_num张图像中pre_count个边界矩阵的面积;

对面积较小边界矩阵的假中心点映射到面积较大的边界矩阵所围成多边形中,并判断映射点是否在该多边形内部或边界上;

如果为假,则说明两边界不属于同一砾石,pre_count=pre_count+1,并重新判断pre_count是否小于等于pre_img_num;

如果为真,则说明两边界属于同一个砾石,则在该砾石字典中添加边界信息。

2.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法,其特征在于,所述UNet全卷积神经网络包括编码器部分、解码器部分以及预测部分,所述编码器部分用于得到五个有效特征层,所述解码器部分用于进行四次上采样,并与所述编码器部分得到的所述有效特征层进行融合,得到最终特征层,所述预测部分用于对所述解码器部分得到的有效特征层中的每一个特征点进行分类。

3.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法,其特征在于,所述数据增强的方法包括:随机旋转、镜像翻转、图像弹性变形、光学畸变、随机更改亮度和对比度、对比度受限自适应直方图均衡化。

4.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法,其特征在于,所述按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测,包括:按照CT扫描的顺序将需三维重建的土石混合体切面图像进行排序,得到符合实际情况的图像序列;

对图像序列进行不失真的尺寸变换,添加灰条,以使得图像序列的高和宽均为512,通道数为3;

对图像序列进行归一化,使得像素值为0~1范围内的浮点数;

将图像序列输入改进的UNet全卷积神经网络进行预测,得到砾石与土体的目标分割图像;

将灰条部分截取,保证输出的图像与输入的图像的尺寸一致。

5.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法,其特征在于,所述识别所述土石混合体切面图像序列中所有边界,并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵,包括:利用开源计算机视觉库OpenCV的findContours函数识别出所述土石混合体切面图像序列中所有边界;

将边界像素点按照顺时针或逆时针的顺序存入边界矩阵,得到所有土石混合体切面图像的无所属关系的砾石边界矩阵。

6.根据权利要求1所述的基于改进全卷积神经网络的土石混合体图像三维重建方法,其特征在于,所述进行每个砾石表面的点云数据的三维可视化,得到砾石模型,包括:基于每个砾石表面的点云数据,得到每个砾石表面的三维坐标;

基于计算机图形学及三维可视化软件工具包,在应用程序用户界面中渲染出所述砾石模型。

7.一种基于改进全卷积神经网络的土石混合体图像三维重建装置,其特征在于,所述装置包括:数据集构建模块,用于利用岩土CT扫描设备对土石混合体试样进行扫描,获取土石混合体的切面图像,得到土石混合体CT扫描的影像数据集,并对所述影像数据集进行真实边界标注,得到真实标签数据集;

网络构建模块,用于构建UNet全卷积神经网络,并建立损失函数,所述损失函数为Boundary Loss与Dice Loss的融合型损失函数;

数据集处理模块,用于基于预设比例,将所述影像数据集分为训练集、验证集以及测试集,并将所述训练集进行数据增强与归一化,得到预处理数据集;

网络训练模块,用于将预处理数据集输入神经网络进行训练,每次输入不同批次的所述训练集,进行前向传播、计算损失值以及反向传播,并优化网络参数,迭代多轮训练,并利用验证集评估网络性能,以确定一个性能最优网络模型,得到改进的UNet全卷积神经网络;

图像序列预测模块,用于按照CT扫描的序列将需三维重建的土石混合体切面图像输入至所述改进的UNet全卷积神经网络进行预测,得到分割后的土石混合体切面图像序列;

边界矩阵确定模块,用于识别所述土石混合体切面图像序列中所有边界,并确定所有土石混合体切面图像的无所属关系的砾石边界矩阵;

三维模型重建模块,用于基于所述砾石边界矩阵进行边界重组,获得每个砾石表面的点云数据,并进行每个砾石表面的点云数据的三维可视化,得到砾石模型,以实现三维重建;

所述Boundary Loss的表达式为:

LB(θ)=∫ΩφG(q)sθ(q)dq;

其中,Ω代表图像区域集合;q代表某个像素值;φG(q)代表预测值与真实值的边界之间的距离,若预测值在真实值的边界上为0,若在预测值在真实值的边界外部为正数,若预测值在真实值的内部则为负数;sθ(q)为预测值的二值函数,若预测值在目标区域内则值为1,否则为0;

Dice Loss的表达式为:

其中,pred为预测值的集合,true为真实值的集合;

所述融合型损失函数的表达式为:

Loss=αLD+1‑α)LB,

其中,α初始值等于1;

所述基于所述砾石边界矩阵进行边界重组包括:

输入需要重组的图像,计算出所有图像的边界矩阵和每个图像中所有边界的假中心点,存入数组;

用字典存放每个砾石的id、边界矩阵、与边界矩阵对应的z轴坐标,用字典数组存放每个砾石的字典;

设置k为第一张图像的边界数,为第一张图像的砾石边界矩阵编号,id=1,2,3....k;z=1,Total_num为图像总数,now_img_num为当前图像计数,初始值为2;

判断now_img_num是否小于等于Total_num;

若为假,则直接重组结束,若为真,则now_img_total_num=当前图像中砾石边界矩阵数,pre_img_total_num=前一张图像中的砾石边界矩阵数,now_count初始值为1,pre_count初始值为1,now_count为当前图像的砾石边界矩阵计数,pre_count为前一张图像的砾石边界矩阵计数;

判断now_count是否小于等于now_img_num;

若为假,则确定当前图像中边界全部处理完成,now_img_num=now_img_num+1,并重新判断now_img_num是否小于等于Total_nu;

若为真,则继续判断pre_count是否小于等于pre_img_num;

若为假,则确定前一张图像中的边界均匹配失败,说明当前图像中的now_count个边界属于新砾石,k=k+1;

新建字典存放新砾石信息,id=k,边界为当前图像中now_count个边界,z=now_img_num,now_count=now_count+1,并重新判断now_count是否小于等于now_img_num;

若为真,则计算now_img_num张图像中now_count个边界矩阵和pre_img_num张图像中pre_count个边界矩阵的面积;

对面积较小边界矩阵的假中心点映射到面积较大的边界矩阵所围成多边形中,并判断映射点是否在该多边形内部或边界上;

如果为假,则说明两边界不属于同一砾石,pre_count=pre_count+1并重新判断pre_count是否小于等于pre_img_num;

如果为真,则说明两边界属于同一个砾石,则在该砾石字典中添加边界信息。

8.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于改进全卷积神经网络的土石混合体图像三维重建程序,所述处理器执行所述基于改进全卷积神经网络的土石混合体图像三维重建程序时,实现如权利要求

1‑6任一项所述的基于改进全卷积神经网络的土石混合体图像三维重建方法的步骤。

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于改进全卷积神经网络的土石混合体图像三维重建程序,所述基于改进全卷积神经网络的土石混合体图像三维重建程序被处理器执行时,实现如权利要求1‑6任一项所述的基于改进全卷积神经网络的土石混合体图像三维重建方法的步骤。