1.一种基于深度学习的超高压输电线路点云数据语义分割方法,其特征在于所述方法包括以下步骤:
步骤1、超高压输电线路点云数据训练数据集建立;对于获取的原始点云数据中任意两个相邻超高压电力线杆塔及其中间点云数据,利用基于安全缓冲距离的场景划分方法对数据进行选取并作为一个场景,基于该方法对获取的原始数据进行多次划分得到N个场景数据,将各个场景数据中采集的去除地面点后所有点的数据进行类别标记,包括植被、杆塔、导线、地线、建筑物和低压电力线6个类别,其类别标签数值用cls表示,分别对应1、2、3、4、
5、6,将以上建立的包含N个场景数据的点云数据训练集划分为训练样本和验证样本两部分;
步骤2、深度学习网络模型训练;将步骤1得到的训练样本输入到深度学习网络模型中,设置数据预处理参数,包括单样本集中点数量为NS个,每次训练过程中单样本集数量为NTrain个,训练周期数量为TTrain个,每个周期训练次数为NTime,每个周期内每次训练前利用预处理过程实现NTrain个单样本集选取;
每次训练时,将利用样本集选取得到的NTrain个单样本集数据逐一作为输入层进行网络模型训练,网络前向传播过程使用5层编码层及5层解码层;在编码层中,利用基于组合系数的两步法稀疏化方法,包括基于组合系数的索引法及基于组合系数的距离判定法,实现数据的稀疏化,同时利用基于稀疏后数据及局部位置相关信息重要性的特征抽象化方法从各层稀疏化前的输入数据中得到稀疏化后数据的局部抽象单点特征;NTrain个单样本集输入数据经前向传播得到各点类别评分后,利用加权交叉熵损失函数计算损失值,并根据所得损失值利用adam优化器进行反向梯度传播,更新模型参数;
步骤3、深度学习网络模型验证;在每个训练周期中,完成NTime次训练得到最新模型参数后,将步骤1中得到的验证样本输入到步骤2所建立的网络模型中,经过前向传播过程得到各点预测类别,根据预测类别与真实类别的匹配情况计算平均交并比值,作为衡量语义分割的精度指标;完成以上TTrain个训练周期后,存储分割精度最高时对应的网络模型参数作为最终模型训练结果;
步骤4、深度学习网络模型测试;得到最优网络模型参数后,对于未经步骤1处理的原始点云数据中任意两个相邻电力线杆塔及其中间点云数据,利用基于安全缓冲距离的场景划分方法对数据进行选取并作为一个场景,通过对数据进行划分得到M个场景数据,将M个场景数据作为测试集输入步骤3所优化的网络模型中,经前向传播过程得到各点预测标签并根据真实标签计算其总体分割精度及各类别分割精度作为精度评定依据,从而实现超高压输电线路点云数据的高精度语义分割;
所述步骤2中的网络前向传播过程中采用5层编码层实现点云数据的稀疏化和特征抽象化,以步骤1中预处理后的点云数据作为输入层进行点云稀疏化处理,具体包括以下步骤;
步骤2.1、在第1层编码层中,设输入层的点云数据中单个样本集点的个数为n1,m1为第1层编码层的稀疏率,m1的取值范围是0到100%,采用基于组合系数的索引法进行数据稀疏化,即首先利用公式(3)计算每次训练时NTrain个单样本集中不同类别的单次训练类别系数W={w1,w2,w3,w4,w5,w6},其中wcls,cls=1,2,3,4,5,6表示每次训练时NTrain个单样本集点云数据中第cls个类别的单次训练类别系数;
公式(3)中,Ncls,cls=1,2,3,4,5,6表示每次训练时NTrain个单样本集输入层点云数据中第cls个类别中所有点的数量,满足 将输入点云数据根据所有点的数量进行索引号赋值,其中每个点的索引号用idxj,j=1,2,…,n1表示,idxj的取值为1至n1中的任一个整数,且每个点的索引号都不相同;然后对每个点根据类别cls数值分别计算距离系数dcj,j=1,2,…,n1,其计算表达式如公式(4)所示,公式中,dj,j=1,2,…,n1表示点坐标到当前所在场景杆塔中心连线的水平距离,max{dj}和min{dj}分别表示当前所在场景中dj的最大值和最小值,cls=5表示第5个类别,cls=6表示第6个类别;
对于每个索引号idxj,j=1,2,…,n1,根据其对应的距离系数和类别系数相乘得到组合系数Comj,j=1,2,…,n1,然后将索引号乘以该索引点对应的组合系数Comj,j=1,2,…,n1得到新的索引号new_idxj,j=1,2,…,n1,最后对新索引号按照值的大小进行升序排列后取前n1·m1个点作为稀疏化后的采样点,将此n1·m1个采样点数据进行特征抽象化处理,并将其作为第2层编码层的输入;
步骤2.2、在第2层编码层中,由第1层编码层输入到第2层的采样点数据个数为n2=n1·m1,此外m2为第2层编码层的稀疏率,m2的取值范围是0到100%,采用基于组合系数的索引法根据输入该层的所有点的数量进行索引号赋值,并将索引号乘以该索引点对应的组合系数得到新的索引,最后对新索引进行排序后取前n2·m2个点作为稀疏化后的采样点,将此n2·m2个采样点数据进行特征抽象化处理,并将其作为第3层编码层的输入;
步骤2.3、在第3层编码层中,由第2层编码层输入到第3层的采样点数据个数为n3=n2·m2,此外m3为第3层编码层的稀疏率,m3的取值范围是0到100%,采用基于组合系数的索引法根据输入该层的所有点的数量进行索引号赋值,并将索引号乘以该索引点对应的组合系数得到新的索引,最后对新索引进行排序后取前n3·m3个点作为稀疏化后的采样点,将此n3·m3个采样点数据进行特征抽象化处理,并将其作为第4层编码层的输入;
步骤2.4、在第4层编码层中,由第3层编码层输入到第4层的采样点数据个数为n4=n3·m3,此外m4为第4层编码层的稀疏率,m4的取值范围是0到100%,将点云数据利用基于组合系数的距离判定法取n4·m4个点作为稀疏化后的采样点,将此n4·m4个采样点数据进行特征抽象化处理,并将其作为第5层编码层的输入;其中基于组合系数的距离判定法实现过程为:①从输入到第4层的采样点数据中取任意一点,设该点坐标为 其中i=1,2,3,…,n4‑1,n4;设K4为第4层中的搜索点坐标集合,集合大小为n5,然后将 作为初始点放入集合K4;
②以 为查询点在输入到第4层的采样点数据中寻找与 相距最远的3个点,并根据步骤2.1中组合系数的计算方法得到3个点对应的组合系数,将组合系数的数值最小的点放入集合K4,若3个点组合系数相同,则选取距离最大的点,若3个点组合系数和距离都相同,则选取最先找到的点;
③对于输入到第4层的采样点数据中剩余的所有点,分别计算其与集合K4中所有点的距离之和,根据计算结果,从剩余的所有点中选择与集合K4距离之和最大的3个点作为待选点,并将组合系数的数值最小的点放入集合K4中,若3个点组合系数相同,则选取距离最大的点,若3个点组合系数和距离都相同,则选取最先找到的点;
④重复步骤③,直到集合K4中点的数量达到n5,即输入到第5层的点的个数;
步骤2.5、在第5层编码层中,由第4层编码层输入到第5层的采样点数据个数为n5=n4·m4,此外m5为第5层编码层的稀疏率,m5的取值范围是0到100%,将点云数据利用步骤2.4中基于组合系数的距离判定法取n5·m5个点作为稀疏化后的采样点,将此n5·m5个采样点数据进行特征抽象化处理,并将其作为经过编码层处理之后的采样点数据。
2.根据权利要求1所述的一种基于深度学习的超高压输电线路点云数据语义分割方法,其特征在于所述步骤1中的基于安全缓冲距离的场景划分方法包括如下内容:步骤1.1、根据实际杆塔中心坐标及预定输电线路安全运行范围进行点云场景划分,设处理过程所选用数据的巡检走廊宽度d1米,杆塔中心点pk,k=1,2,…,N+1,pk值为杆塔中心点的水平坐标点,其中k对应第k个场景,同时根据输电线路安全运行范围的要求,将用于场景划分的安全缓冲距离设为d米,其中d
其中x和y分别表示待计算点云数据中任意一点水平坐标的横向分量和纵向分量,xk和yk分别表示第k个场景中的杆塔中心点Pk水平坐标的横向分量和纵向分量,xk+1和yk+1分别表示第k个场景中的杆塔中心点pk+1水平坐标的横向分量和纵向分量;最后将towerk和towerk+1所包含的点云以及由 四个点所围成的矩形内所包含的点云进行合并,得到第k个场景点云数据;
步骤1.2、利用渐进形态学地面滤波算法对步骤1.1得到的N个场景点云数据进行地面点云数据分离,同时对于去除地面点云后的N个场景的点云数据,根据每个点所对应的实际类别以及步骤1中的类别标签数值,利用手动标记的方法将每个点赋予类别标签数值。
3.根据权利要求1所述的一种基于深度学习的超高压输电线路点云数据语义分割方法,其特征在于所述步骤2中的网络前向传播过程中采用5层编码层,在各层中依次进行特征抽象化,具体包括以下步骤;
步骤2.1、在第1层编码层中,以步骤1中预处理后的NTrain个单样本集点云数据逐一作为输入数据,对任意一个单样本集的特征抽象化过程描述为:设第1层编码层单个样本集数据点数量为n1,输入数据坐标的集合为Pin,1,其中下标in表示数据输入,下标1表示第1层编码层,与Pin,1中每一个数据点相对应的特征集合表示为Fin,1,其中Pin,1与Fin,1的集合元素个数相同,且一一对应;将Pin,1与Fin,1的集合分别表示为 和其中 表示第1层编码层输入样本集中第i点
的三维空间坐标, 表示第1层编码层输入样本集中第i点特征数据;设输
入数据坐标稀疏化后的集合为Psub,1,其中下标sub表示数据稀疏化后,下标1表示第1层编码层,与Psub,1中每一个数据点相对应的特征集合表示为Fsub,1,其中Psub,1与Fsub,1的集合元素个数相同,且一一对应;将Psub,1与Fsub,1的集合分别表示为 和其中 表示第1层编码层稀疏化后样本集中第i
点的三维空间坐标, 表示第1层编码层稀疏化后第i点特征数据;
然后采用基于稀疏后数据及局部位置相关信息重要性的特征抽象化方法,从各层稀疏化前的输入数据中得到稀疏化后数据的单点特征;具体为对于三维空间坐标数据,以Psub,1中任意一点 作为中心点与该层输入数据Pin,1集合中所有点进行距离计算,选择Pin,1集合中与 距离最短的K′个点,然后在K′个点中分别计算距离系数和类别系数并得到组合系数,对组合系数进行排序,选取其中数值最小的K个点,满足K′>K,由这K个点得到分别与 相对应的集合 遍历Psub,1所有点得到关于Psub,1近邻点的集合 的集合 对于特征数据,根据计算
Psub,1近邻点集合的过程,从Fin,1中得到关于Fsub,1近邻点特征集合 其
中 表示由Fin,1中选出的以Fsub,1中第i点为中心的K个点组成的近邻点特征集合;
通过对L1中各子集合 对应的中心点 前两者局部相
关位置信息 以及局部分布特征 进行线性组合得到局部
相关特征集合 其中,局部相关位置信息 的获得方法是计
算每个中心点 与其近邻点的集合 中各点之间的三维坐
标的差值以及空间距离;局部分布特征 的计算过程为:计算
各子集合 中坐标数据的协方差矩阵的特征值利用公式
(5)得到各子集的各向异性特性为 一维分布特性为 二维分布特性 三维分布特性为 经线性组合后得到局部分布特征公式中, 表示 的协方差矩阵的最大特征值, 表示 的协
方差矩阵的第二特征值, 表示 的协方差矩阵的第三特征值,满足
将第1层编码层稀疏化后所有点局部相关特征集合的集合 与集
合C1进行线性组合得到特征链接信息集合,同时基于非线性映射得到第1层编码层稀疏化后数据的局部融合特征 然后根据局部融合特征经过非线性映射得到自适应伪码参数 然后利用自适应伪码参数对局部融合特征集合中
各近邻点特征进行互相关运算得到相关系数矩阵 相关系数矩阵
中的值代表当前各近邻点特征的重要程度值,该值越大,则对最终分割结果贡献越大;然后对Psub,1中每一个中心点及其近邻点的局部融合特征与其对应的重要程度值经非线性映射为单点特征集合,这里单点特征集合定义为 下标1表示第1层编码层,其中 表示第1层编码层稀疏化后样本集中第i点的单点特征,将单点特
征集合FS1作为下一层编码层的输入样本特征Fin,2,同时将Psub,1作为第2层编码层的输入样本坐标数据Pin,2;
步骤2.2、在第2层至第5层编码层中,根据步骤2.1的过程计算输入样本特征Fin,lay,lay=2,3,4,5,输入样本坐标数据Pin,lay,lay=2,3,4,5,稀疏化后样本特征Fsub,lay,lay=2,3,
4,5,稀疏化后样本坐标数据Psub,lay,lay=2,3,4,5,单点特征集合FSlay,lay=2,3,4,5,其中表示第lay层编码层;当lay=5时,即在第5层编码层中,将得到的单点特征集合FS5作为后续解码层的输入样本特征,并将Psub,5作为后续解码层的输入样本坐标数据。
4.根据权利要求1所述的一种基于深度学习的超高压输电线路点云数据语义分割方法,其特征在于,在步骤2的解码层中,对于其中的每一层,首先根据输入当前层的每一个点及其输入样本特征,在该层稀疏化前的数据中搜索最邻近特征点,并利用最邻近点插值算法得到该层稀疏化前的数据中所有点的插值特征;然后将各点的插值特征与对应的单点特征进行跳连以获取当前解码层的输出特征;进而将该输出特征作为下一层解码层的输入样本特征;最后,将经过5层解码层处理得到的各点输出特征利用共享感知机进行处理,获得该样本集中每个点的抽象特征以及对应的不同类别预测评分。
5.根据权利要求1所述的一种基于深度学习的超高压输电线路点云数据语义分割方法,其特征在于,步骤2所述单样本集选取的具体方法为,将训练样本中所有点分别随机赋予一个大于零且小于1的值作为初始筛选值,首先搜索训练样本中最小筛选值点并得到最小筛选值点所在场景,将最小筛选值点作为中心点计算距离其最近的NS个点作为一个单样本集,然后计算所选中单样本集内所有点对应的类别系数及各点与中心点的距离,进而利用各点对应的类别系数除以该点与中心点的距离求出更新算子,其中场景中各点的训练样本类别系数表示为B={b1,b2,b3,b4,b5,b6},其中bcls,cls=1,2,3,4,5,6表示训练样本中第cls个类别的类别系数,由公式(1)计算得到;
公式(1)中,Numcls,cls=1,2,3,4,5,6,是训练样本中第cls个类别中所有点的数量,进而将更新算子加上各点筛选值以更新该单样本集内的点被再次选为中心点的可能性,最后剔除当前中心点,利用更新后的各点筛选值重复以上搜索过程,直到完成NTrain个单样本集的选取。