利索能及
我要发布
收藏
专利号: 2020104879225
申请人: 山东省人工智能研究院
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于块卷积神经网络的多视图三维模型检索方法,其特征在于,包括:a)渲染三维模型得到三维模型的N个二维视图;

b)将每个二维视图输入卷积神经网络,每个二维视图得到M个特征块,每个特征块的特征维度为P维;

c)将每个特征块在P维的特征空间中根据欧氏距离寻找其k个近邻的块,利用中心块和k个近邻的块共同构建近邻图,每个近邻图包括k+1个顶点和k条无向边,k条无向边分别连接中心块和k个近邻块,采用(pi,pj‑pi)表示无向边的边特征,其中pi为中心块,pj为第j个近邻块,使用三维坐标(x,y,z)表示块在第z张二维视图的第x行第y列,两个块之间的边特征表示为(pi,pj‑pi,ci,cj‑ci),ci为中心块的三维坐标,cj为第j个近邻块的三维坐标,边特征的维度为E维,通过公式 对块进行卷积操作,得到新的块特征pi′,式中h为非线性函数,N(i)为第i个样本通过KNN算法获得的邻域样本;

d)将新的块特征pi′使用平均池化层融合块特征得到每张二维视图的视图特征,对视图特征使用一维卷积提取相邻视图之间的关系,通过最大视图池化得到二维视图的池化后的特征g,通过公式 计算池化后的特征g与第j个视图特征fj之间的余弦相似度sj(fj,g),式中D为特征维度,k为第k个维度,通过公式计算第j个二维视图余弦相似度的权重αj,式中si(fi,g)为池化后的特征g与第i个视图特征fi之间的余弦相似度,通过公式fj′=αj×fj计算加权后的视图特征fj′,通过公式 计算加权后的模型特征g′;

e)根据公式LDis=β×Lmodel+γ×Lviews计算损失函数LDis,式中Lmodel为模型特征g′产生的损失函数值,Lviews为视图特征fj′产生的损失函数值,β为表示Lmodel权重大小的超参,γ为表示Lviews权重大小的超参, 式中 为第j个二维视图的视图特征产生的损失函数值;

f)对于给定的一个三维模型,在目标数据集中检索得到与该模型最相似的三维模型。

2.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法,其特征在于:步骤a)中的三维模型为计算机生成的三维模型,计算机渲染三维模型得到多个二维视图。

3.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法,其特征在于:步骤a)中的三维模型为现实世界物体,物体周围设置X个不同角度的摄像头来获取物体在不同角度下的二维视图。

4.根据权利要求3所述的基于块卷积神经网络的多视图三维模型检索方法,其特征在于:在物体周围圆周方向上每隔30度设置一个相机,通过设置12个相机得到12张二维视图。

5.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法,其特征在于:步骤b)中每个二维视图经过卷积神经网络后由7×7的块特征表示,每个块特征的特征维度是512。

6.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法,其特征在于:步骤c)中k设置为12,E设置为1024。

7.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法,其特征在于:步骤d)中使用7×7的平均池化层融合块特征,使用卷积核大小为3的一维卷积来提取相邻视图之间的关系。

8.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法,其特征在于:步骤e)中β=0.5,γ=0.5。

9.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法,其特征在于:步骤e)中将每个二维视图的损失值权重设为αj′, 通过公式计算视图特征fj′产生的损失函数值。

10.根据权利要求1所述的基于块卷积神经网络的多视图三维模型检索方法,其特征在于:步骤f)中分别提取被检索模型和查询集中所有模型的模型特征,利用公式计算得到被检索模型的模型特征p与查询集中所有模型的模型特征q之间的欧氏距离D(q,p),式中pi为被检索模型的模型特征p中第i维的特征值,qi为查询集中所有模型的模型特征q中第i维的特征值,n为特征维度,通过公式Redist(qi,gj)=1‑prob(gj|label=qi))×D(p,q)计算重排后的距离Redist(qi,gj),式中prob(gj|label=qi)为与被检索模型属于同一类的概率。