利索能及
我要发布
收藏
专利号: 2022112568829
申请人: 佛山科学技术学院
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种虚拟场景构建方法,其特征在于,所述方法包括以下步骤:

S100,获取若干图像形成图像序列;

S200,分别识别出图像序列中各个图像的曲线;

S300,将图像序列中各个图像进行边缘检测获得边缘线并以边缘线将依次各个图像划分出多个子区域;

S400,依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域标记映射域,分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列;

S500,对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列;

S600,通过图像序列中各个图像进行三维重建得到三维场景模型;

其中,在S400中,依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域进行映射域标记,分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列的方法为以下步骤:以图像序列Pic中的第i个图像为Pic(i),以Pic(i)中第j个子区域为Pic(i,j);

在j的取值范围内,依次根据Pic(i,j)内部的曲线对各个图像的子区域进行映射域标记,具体方法为:以子区域Pic(i,j)作为锚定域,获取锚定域中最长的曲线作为锚线PTL,分别获取Pic中各个图像中除了锚定域外的子区域和锚定域的结构相似性SSIM的值最大的所有子区域组成的序列作为第一待选序列PS1;记PS1中的第k个子区域为PS1(k);其中,i、j、k为序号;

在PS1中搜索符合锚定映射条件的所有子区域标记为锚定域的映射域;

|PMean(PTL,PS1(k))‑GPm(1,k‑1)|≥|PiMEAN(PTL,PS1)‑PMax(PTL,PS1(k))|;

GPm(1,k‑1)表示PS1中从第1个到第k‑1个子区域中各个最长的曲线和PS1(k)中的最长曲线的相似度的平均值;PMean(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度均值;

PiMEAN(PTL,PS1)是PTL和PS1中各个子区域中最长的曲线的所有相似度均值;PMax(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度的最大值;

则PS1中标记为锚定域的映射域的子区域表示所述子区域和锚定域具有相同映射域标记;分别将Pic中各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列;

其中,在S500中,对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列的方法为以下步骤:分别计算区域映射序列中各个子区域和对应的锚定域的结构相似性SSIM值记为CSSIM,以各个CSSIM的平均值作为所述区域映射序列的SSIM值记为RSSIM;分别计算所有区域映射序列的RSSIM;以所有区域映射序列的RSSIM的平均值作为缩进阈值RT;

筛选出所有RSSIM<RT的区域映射序列作为待优化序列;

对各个待优化序列中的图像进行区域缩进处理,具体为:

筛选出待优化序列中所有CSSIM<RSSIM的子区域作为缺陷图像子块;对各个缺陷图像子块进行以下操作:记Pi(u)为缺陷图像子块中的第u个像素点,u∈[1,TOT],TOT为缺陷图像子块中所有像素点的数量,记在待优化序列中的各个子区域的CSSIM值大于缺陷图像子块的CSSIM值的所有子区域为修复对比区域;获取各个修复对比区域中与Pi(u)相同坐标位置的像素点为修复对比像素,记各个修复对比像素的像素值的平均值为Pa,遍历所有Pi(u),以Pa的值替换Pi(u)的像素值。

2.根据权利要求1所述的一种虚拟场景构建方法,其特征在于,在S100中,从不同视角、位置采集场景对象的若干图像形成图像序列的方法为:通过张氏标定法对CCD摄像机标定,通过标定好的CCD摄像机获取场景对象不同视角、位置的图像;即以场景对象的几何中心绕场景对象的顺时针方向进行 [0°,360°]旋转,每旋转1°~15°获取一张场景对象的图像;由各个获取到的图像依次构成图像序列。

3.根据权利要求1所述的一种虚拟场景构建方法,其特征在于,对各个待优化序列中的图像进行区域缩进处理还包括以下步骤:筛选出待优化序列中所有CSSIM<RSSIM的子区域作为缺陷图像子块;对各个缺陷图像子块进行以下操作:记在待优化序列中的各个子区域的CSSIM值大于缺陷图像子块的CSSIM值的所有子区域为修复对比区域;

依次获取各个修复对比区域的修正角Ale1,具体为:将修复对比区域中最长的曲线记为修复曲线,以通过修复曲线的端点的直线为XL,以缺陷图像子块中最长的曲线记为缺陷曲线,以通过修复曲线的端点的直线为YL,将XL投影在缺陷图像子块上和修复对比区域中的相同位置得到投影线ZL,以YL和ZL之间的夹角作为修正角Ale1;

计算各个修复对比区域的修正角Ale1的平均值记为待旋转角度LGA;获取各个修复曲线和缺陷曲线的相似度差值的绝对值最小的修复曲线作为选定曲线;将选定曲线复制到缺陷图像子块上和修复对比区域中的相同位置,将选定曲线朝着从ZL到YL的方向整体旋转角度LGA;删除缺陷曲线;

记Li(v)为选定曲线上的第v个像素点,v∈[1,TOT2],TOT2为选定曲线上所有像素点的数量,获取各个修复对比区域中与Li(v)相同坐标位置的像素点为曲线修复像素,记各个曲线修复像素的像素值的平均值为La,遍历所有Li(v),以La的值替换Li(v)的像素值,完成区域缩进处理。

4.根据权利要求1所述的一种虚拟场景构建方法,其特征在于,在S600中,三维重建的方法包括KinectFusion算法、SFM算法、R‑MVSNet方法或者PointMVSNet方法中任意一种。

5.根据权利要求1所述的一种虚拟场景构建方法,其特征在于,将所述三维场景模型用于康复训练时使用的显示器端的画面输出。

6.一种虚拟场景构建装置,其特征在于,所述一种虚拟场景构建装置包括:处理器、存储器及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1所述的一种虚拟场景构建方法中的步骤,所述一种虚拟场景构建装置运行于桌上型计算机、笔记本电脑、掌上电脑或云端数据中心的计算设备中。

7.一种虚拟场景构建方法在康复训练应用,使用者通过操作如权利要求6所述的一种虚拟场景构建装置以观察计算机程序实现的虚拟场景构建步骤得到的三维场景模型,所述虚拟场景构建步骤包括:S100,获取若干图像形成图像序列;

S200,分别识别出图像序列中各个图像的曲线;

S300,将图像序列中各个图像进行边缘检测获得边缘线并以边缘线将依次各个图像划分出多个子区域;

S400,依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域标记映射域,分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列;

S500,对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列;

S600,通过图像序列中各个图像进行三维重建得到三维场景模型;

其中,在S400中,依次根据图像序列中各个图像的所有子区域内部的曲线对各个图像的子区域进行映射域标记,分别将各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列的方法为以下步骤:以图像序列Pic中的第i个图像为Pic(i),以Pic(i)中第j个子区域为Pic(i,j);

在j的取值范围内,依次根据Pic(i,j)内部的曲线对各个图像的子区域进行映射域标记,具体方法为:以子区域Pic(i,j)作为锚定域,获取锚定域中最长的曲线作为锚线PTL,分别获取Pic中各个图像中除了锚定域外的子区域和锚定域的结构相似性SSIM的值最大的所有子区域组成的序列作为第一待选序列PS1;记PS1中的第k个子区域为PS1(k);其中,i、j、k为序号;

在PS1中搜索符合锚定映射条件的所有子区域标记为锚定域的映射域;

|PMean(PTL,PS1(k))‑GPm(1,k‑1)|≥|PiMEAN(PTL,PS1)‑PMax(PTL,PS1(k))|;

GPm(1,k‑1)表示PS1中从第1个到第k‑1个子区域中各个最长的曲线和PS1(k)中的最长曲线的相似度的平均值;PMean(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度均值;

PiMEAN(PTL,PS1)是PTL和PS1中各个子区域中最长的曲线的所有相似度均值;PMax(PTL,PS1(k))是PTL和PS1(k)中各个曲线的相似度的最大值;

则PS1中标记为锚定域的映射域的子区域表示所述子区域和锚定域具有相同映射域标记;分别将Pic中各个具有相同映射域标记的子区域组成的序列作为各个区域映射序列;

其中,在S500中,对各个区域映射序列进行区域缩进处理从而获得优化后的图像序列的方法为以下步骤:分别计算区域映射序列中各个子区域和对应的锚定域的结构相似性SSIM值记为CSSIM,以各个CSSIM的平均值作为所述区域映射序列的SSIM值记为RSSIM;分别计算所有区域映射序列的RSSIM;以所有区域映射序列的RSSIM的平均值作为缩进阈值RT;

筛选出所有RSSIM<RT的区域映射序列作为待优化序列;

对各个待优化序列中的图像进行区域缩进处理,具体为:

筛选出待优化序列中所有CSSIM<RSSIM的子区域作为缺陷图像子块;对各个缺陷图像子块进行以下操作:记Pi(u)为缺陷图像子块中的第u个像素点,u∈[1,TOT],TOT为缺陷图像子块中所有像素点的数量,记在待优化序列中的各个子区域的CSSIM值大于缺陷图像子块的CSSIM值的所有子区域为修复对比区域;获取各个修复对比区域中与Pi(u)相同坐标位置的像素点为修复对比像素,记各个修复对比像素的像素值的平均值为Pa,遍历所有Pi(u),以Pa的值替换Pi(u)的像素值。