1.一种针对PointCNN可解释性的可视分析方法,其特征在于,该方法具体包括以下步骤:S1:将三维人体点云三维坐标输入到待研究的目标神经网络模型中进行预测,获取所需研究数据;所述目标神经网络是采用PointCNN网络结构对于人体点云部位分割实现歧义点消除的神经网络模型;
PointCNN网络的每一层为X‑Conv,用于处理三维点云输入;具体包括以下步骤:(1)在PointCNN网络中输入K、p、P,F;其中,K为K近邻的K值,同时也是卷积核大小;p为特征聚集点,P为p的K近邻点集合,F为p点特征矩阵,网络第一层的F则为p点三维坐标矩阵;
(2)对于p'采用MLP生成特征矩阵Fδ;其中,p'是P中点三维坐标分别减去p点坐标生成的新三维坐标集合;
(3)将F与Fδ拼接成F*;
(4)通过MLP习得X变换矩阵;
FX=X×F*
Fp=Conv(K,FX)
总结起来表述为:
Fp=X‑Conv(K,p,P,F)=Conv(K,MLP(P‑p)×[MLPδ(P‑p),F])其中,Fp表示p点通过X‑Conv所学习到的特征;
S2:提取所需研究数据,具体包括各层网络参数、特征信息、各层点云数据和预测结果点云详细信息;所述网络参数包括神经网络网络层数和各层通道数;所述特征信息数据包括特征矩阵;所述各层点云数据为各层特征点云的三维坐标;所述预测结果详细数据包括预测结果点云三维坐标、各点的准确率和手动标注原始点云各点标签;
S3:将得到的点云、特征信息和网络参数进行关联,输出并存储关系矩阵;
S4:将建立关联的点云、特征信息和网络参数以可视化的方式呈现出来,从多个方面对PointCNN进行分析。
2.根据权利要求1所述的针对PointCNN可解释性的可视分析方法,其特征在于,步骤S4中,将建立关联的点云、特征信息和网络参数以可视化的方式呈现出来,具体包括:使用三维散点图表示各层特征聚集点、歧义点划分结果、错误分割点云、k‑近邻点云;使用饼图表示错误分割点云占比;使用条形图表示错误分割不同区分度的点云数量;使用像素矩阵表示特征点学习到的特征;使用贝塞尔曲线表示数据流向。
3.根据权利要求2所述的针对PointCNN可解释性的可视分析方法,其特征在于,步骤S4中,多个方面对PointCNN进行分析,具体包括:使用三维散点图分别展示上传至网络的原始点云、歧义点分割结果来了解神经网络预测效果;三维散点图展示错误分割点云以了解错误分割点云位于人体哪些部位,条形图展示区分度位于不同区间的错误分割点云数量,区分度为预测概率与0.5的差值,饼图展示错误分割点云占比;三维散点图展示各层特征聚集点,点击特征点,联动展示高亮的k‑近邻点以及展示像素矩阵表示的特征;贝塞尔曲线表示网络中数据流向。