利索能及
我要发布
收藏
专利号: 2024103049437
申请人: 南京师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-08-18
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于局部自注意力移动窗口算法的路径规划方法,其特征在于,包括以下步骤:(1)获取当前作业环境的RGB图像,并进行预处理,获得预处理后作业环境的RGB图像;

(2)将预处理后作业环境的RGB图像变换为灰度图;

(3)对变换后的灰度图进行边缘检测,获得含有边缘特征信息的二值化图像,通过激活函数得到二值化图像的边缘自注意力权重,计算公式为:;

其中, 表示第 个像素点的置信度, 表示含有边缘信息的二值化图像中第 个像素点的边缘自注意力权重值, 为 激活函数, 表示含

有边缘信息的二值化图像中像素点的总个数;

对变换后的灰度图进行分割化处理得到若干灰度图像块,计算分割后的每个灰度图像块对应的海塞矩阵特征值的熵,并根据熵通过激活函数计算得到每个灰度图像块的曲率自注意力权重;具体步骤包括:(3.21)对变换后的灰度图进行分割化处理得到若干灰度图像块;

(3.22)计算每一个灰度图像块所对应的特征图的海塞矩阵,同时滤去点状结构和噪声点;每个分割处理后当前作业环境的每个灰度图像块中的像素点与其对应高斯函数的二阶导数做卷积,得到每个分割处理后当前作业环境的灰度图像块对应的海塞矩阵,从而求得分割处理后当前作业环境的各个灰度图像块所对应海塞矩阵的特征值解,计算公式如下:;

其中, 表示分割处理后当前作业环境的灰度图像块所对应的灰度值函数,表示分割处理后当前作业环境的灰度图像块中的每个像素点所对应的灰度值,表示分割处理后当前作业环境的灰度图像块中像素点的数量, 表示分割处理后当前作业环境的每个灰度图像块所对应的海塞矩阵, 表示分割处理后当前作业环境的灰度图像块所对应的高斯函数, 分别表示预处理后分割处理后当前作业环境的灰度图像块中每个像素点的横、纵坐标, 表示高斯分布中的标准差,表示分割处理后当前作业环境的各个灰度图像块所对应海塞矩阵的特征值;

(3.23)计算分割处理后当前作业环境的各个灰度图像块所对应的特征值的熵,其基本公式如下:;

其中, 表示第 个分割处理后当前作业环境的灰度图像块所对应的特征值的熵,表示分割处理后当前作业环境的各个灰度图像块中像素点的数量, 表示分割处理后当前作业环境的第 个灰度图像块所对应海塞矩阵的特征值;

(3.24)对分割处理后当前作业环境的灰度图像块所对应的海塞矩阵的熵运用激活函数得到每个分割处理后当前作业环境的灰度图像块所对应的曲率自注意力权重;计算公式如下:;

其中, 表示第 个分割处理后当前作业环境的灰度图像块所对应的特征值的熵,表示第 个当前作业环境的灰度图像块所对应的曲率自注意力权重, 为分割处理后灰度图像块的总个数;

(4)通过边缘自注意力权重和曲率自注意力权重改进自监督注意力语义分割网络,自监督注意力语义分割网络中包括两个连续的自注意力窗口层,边缘自注意力权重和曲率自注意力权重分别加入两个连续的自注意力窗口层的注意力计算;

(5)通过改进的自监督注意力语义分割网络处理预处理后作业环境的RGB图像,获得含有语义信息的作业环境RGB图像,根据连续时刻获得的含有语义信息的作业环境RGB图像计算出障碍物质心位置,并预测出障碍物的运动方向,根据预测所得的障碍物的运动方向选择自身的运动方向。

2.根据权利要求1所述的路径规划方法,其特征在于,所述步骤(1)中对当前作业环境的RGB图像进行预处理包括对当前作业环境的RGB图像进行缩放,然后对缩放后的RGB图像进行翻转、仿射变换和增加噪声,得到预处理后作业环境的RGB图像。

3.根据权利要求1所述的路径规划方法,其特征在于,所述步骤(3)中对变换后的灰度图进行边缘检测,获得含有边缘特征信息的二值化图像,通过激活函数得到二值化图像的边缘自注意力权重包括:(3.11)对灰度图进行平滑处理,然后计算图像中每个像素的梯度幅值,并对其进行极大值抑制操作,最后通过双阈值算法进行边缘检测,得到含有边缘信息的二值化图像;

(3.12)将含有边缘信息的二值化图像中每个像素点的置信度进行平滑处理,置信度的计算公式为:;

其中, 表示第 个像素点的置信度, 表示含有边缘信息的二值化图像中第个像素点的灰度值,表示含有边缘信息的二值化图像中第 个像素点与第 个像素点的距离, 表示含有边缘信息的二值化图像中除第 个像素点以外第 个像素点的置信度, 表示含有边缘信息的二值化图像中像素点的总个数;

(3.13)将置信度通过激活函数转换为每个像素点的边缘自注意力权重。

4.根据权利要求1所述的路径规划方法,其特征在于,所述步骤(5)中通过改进的自监督注意力语义分割网络处理预处理后作业环境的RGB图像包括:(5.1)将预处理后作业环境的RGB图像进行缩小,并将缩小前后的图像分别从原始图通道和缩小图通道输入到图像块分割层进行分割,分别得到多个不重叠的图像块;

(5.2)将分割得到的图像块均输入第一个线性自注意力特征提取模块,第一个线性自注意力特征提取模块包括一个线性嵌入层和两个连续的自注意力窗口层,得到第一次特征提取后的特征图;

(5.3)将第一次特征提取后的特征图依次输入到三个融合自注意力特征提取模块,融合自注意力特征提取模块包括一个补丁融合层和两个连续的自注意力窗口层,得到第四次特征提取后的特征图;

(5.4)将原始图通道和缩小图通道中获得的各次特征提取后的特征图经过上采样和跳跃连接操作后输入到解码器中进行语义分割,获得含有语义信息的作业环境RGB图像。

5.根据权利要求4所述的路径规划方法,其特征在于,第一个融合自注意力特征提取模块的补丁融合层包括:将原始图通道中第一次特征提取后的特征图 输入到补丁融合层,进行下采样,输出维度设置为 ,得到第二次特征提取后的特征图 ;将缩小图通道中第一次特征提取后的特征图 输入到补丁融合层,进行下采样,输出维度设置为,得到第二次特征提取后的特征图 , 为图像深度, 为图像的高度,为图像的宽度;

第二个融合自注意力特征提取模块的补丁融合层包括:

将原始图通道中第二次特征提取后的特征图 输入到补丁融合层,进行下采样,输出维度设置为 ,得到第三次特征提取后的特征图 ;将缩小图通道中第二次特征提取后的特征图 输入到补丁融合层,进行下采样,输出维度设置为 ,得到第三次特征提取后的特征图 ;

第三个融合自注意力特征提取模块的补丁融合层包括:

将原始图通道中第三次特征提取后的特征图 输入到补丁融合层,进行下采样,输出维度设置为 ,得到第四次特征提取后的特征图 ;将缩小图通道中第三次特征提取后的特征图输入到补丁融合层,进行下采样,输出维度设置为 ,得到第四次特征提取后的特征图 。

6.根据权利要求5所述的路径规划方法,其特征在于,所述两个连续的自注意力窗口层包括:将线性嵌入层或补丁融合层输出的特征图输入到第一个层归一化层中进行归一化处理,将层归一化后的特征图输入到窗口自注意力计算层进行窗口分配操作,并将曲率自注意力权重加入自注意力计算,再将窗口自注意力计算层输出的特征图与线性嵌入层或补丁融合层输出的特征图依次输入全连接层、第二个层归一化层、多层感知机层中,最后将多层感知机层输出的特征图与窗口自注意力计算层输出的特征图进行全连接操作,得到第一个注意力窗口模块输出的特征图,自注意力计算公式如下:;

其中, 为加入曲率自注意力权重的自注意力计算函数,变量

为查询向量,变量 为键向量, 为键向量的转置向量,变量 为值向量,变量 表示偏置量,变量 表示键的维度, 为层归一化后当前作业环境的特征图中第 个像素点的曲率自注意力权重, 表示层归一化后当前作业环境的特征图中像素点的总个数,表示层归一化后当前作业环境的特征图中第 个像素点, 为 激活函数;

将第一个注意力窗口模块输出的特征图输入到第三个层归一化层中进行归一化处理,将层归一化后的特征图输入到移动窗口多头自注意力层中,并将边缘自注意力权重加入自注意力计算,再将移动窗口多头自注意力层输出的特征图与第一个注意力窗口模块输出的特征图依次输入全连接层、第四个层归一化层、多层感知机层中,经过多层感知机层的激活函数的处理,将多层感知机层输出的特征图与移动窗口多头自注意力层输出的特征图进行全连接操作,得到连续两个注意力窗口模块整体输出的特征图;自注意力计算公式如下:;

其中, 为加入边缘自注意力权重的自注意力计算函数,

为层归一化后当前作业环境的特征图中第 个像素点的边缘自注意力权重。

7.根据权利要求6所述的路径规划方法,其特征在于,所述步骤(5.4)中将原始图通道和缩小图通道中获得的各次特征提取后的特征图经过上采样和跳跃连接操作后输入到解码器中进行语义分割包括:将缩小图通道中第四次特征提取后的特征图进行上采样操作,使其大小为,并与原始图通道中第四次特征提取后的特征图进行跳跃连接并输入到扩展自注意力模块,输出图片大小为 ,扩展自注意力模块包括一个补丁扩展层和两个连续的自注意力层;

将缩小图通道中第三次特征提取后的特征图进行上采样操作,使其大小为,并与原始图通道中第三次特征提取后的特征图进行跳跃连接并输入到扩展自注意力模块,输出图片大小为 ;

将缩小图通道中第二次特征提取后的特征图进行上采样操作,使其大小为,并与原始图通道中第二次特征提取后的特征图进行跳跃连接并输入到扩展自注意力模块,输出图像大小为 ;

将缩小图通道中第一次特征提取后的特征图进行上采样操作,使其大小为,并与原始图通道中第一次特征提取后的特征图进行跳跃连接并输入到扩展自注意力模块,输出图像大小为 。

8.根据权利要求7所述的路径规划方法,其特征在于,所述根据连续时刻获得的含有语义信息的作业环境RGB图像计算出障碍物质心位置并预测出障碍物的运动方向,根据预测所得的障碍物的运动方向选择自身的运动方向包括:(5.51)计算每个时刻的含有语义信息的作业环境RGB图像中障碍物中心点的位置坐标;

(5.52)根据预测函数以及障碍物中心点的位置坐标预测出下一个时刻障碍物的位置,公式如下:;

其中, 表示预测得到的下一个时刻障碍物中心点的横坐标, 表示第 时刻含有语义信息的作业环境RGB图像中障碍物中心点的横坐标, 表示一共获取障碍物坐标的个数;

(5.53)根据预测得到的下一时刻障碍物中心点的位置在含有语义信息的作业环境RGB图像中的位置,确定下一时刻机器人运动的方向,计算公式如下:,

其中, 表示含有语义信息的作业环境RGB图像的中心点的横坐标, 表示预测得到的下一时刻障碍物中心点的横坐标, 为预测得到的下一时刻障碍物中心点相对含有语义信息的作业环境RGB图像的中心点的距离,为路径规划时机器人转动的角度;

(5.54)机器人调整对应的运动方向,并向前移动预设距离后,返回执行步骤(1)。