1.一种基于聚合式窗口自注意力机制的穴位定位方法,其特征在于,包括以下步骤:(1)获取人体背部图像,并进行预处理,获得预处理后的背部图像;
(2)将预处理后的背部图像输入多尺度特征提取网络,得到背部特征图;所述多尺度特征提取网络包括若干特征图提取模块,预处理后的背部图像依次经过若干特征图提取模块的处理,每个特征图提取模块均包括聚合式窗口自注意力学习层,聚合式窗口自注意力学习层用于强化提取的特征图中包含特征关键点像素的特征学习;所述多尺度特征提取网络包括一级特征图提取模块、二级特征图提取模块、三级特征图提取模块、四级特征图提取模块;预处理后的背部图像输入一级特征图提取模块,输出一级特征图;所述一级特征图提取模块包括补丁分区变换层和第一个聚合式窗口自注意力学习层;所述补丁分区变换层包括对预处理后的背部图像进行补丁裁剪和深度压缩;
一级特征图输入二级特征图提取模块,输出二级特征图,所述二级特征图提取模块包括第一个补丁合并层和第二个聚合式窗口自注意力学习层;
二级特征图输入三级特征图提取模块,输出三级特征图,所述三级特征图提取模块包括第二个补丁合并层和第三个聚合式窗口自注意力学习层;
三级特征图输入四级特征图提取模块,输出四级特征图,即背部特征图,所述四级特征图提取模块包括第三个补丁合并层和第四个聚合式窗口自注意力学习层;所述第一个补丁合并层、第二个补丁合并层、第三个补丁合并层用于对特征图进行非卷积式下采样;
(3)将背部特征图输入背部特征关键点检测网络进行背部特征关键点检测,得到背部特征关键点;
(4)根据背部特征关键点,通过背部穴位定位公式得到背部穴位具体坐标,实现背部穴位定位。
2.根据权利要求1所述的穴位定位方法,其特征在于,对人体背部图像进行预处理包括:获取人体背部图像的深度信息;
将深度信息通过深度信息融合公式与人体背部图像融合,得到可视深度信息图;
以人体背部图像的二值化图像作为掩膜,补偿可视深度信息图的缺失,得到预处理后的背部图像。
3.根据权利要求2所述的穴位定位方法,其特征在于,所述获取人体背部图像的深度信息具体包括:获取人体背部图像的视差图,将视差图通过深度转换公式转换为深度图从而获取深度信息,深度信息计算公式为:;
其中, 为深度信息,为视差, 为基线长度, 为焦距, 、 分别为深度双目相机的左右相机所对应视差图中相同位置的横坐标。
4.根据权利要求3所述的穴位定位方法,其特征在于,所述深度信息融合公式为:;
其中, 为人体背部图像中第i个像素的深度信息, 为人体背部图像中第i个像素的横坐标, 为人体背部图像中第i个像素的纵坐标, 为相机光轴与成像平面交点的横坐标, 为相机光轴与成像平面交点的纵坐标, 、 、 为可视深度信息图中第i个像素的融合点坐标, 、 分别为 轴方向和 轴方向上单个像素对应的长度。
5.根据权利要求2所述的穴位定位方法,其特征在于,所述预处理后的背部图像由人体背部图像 的二值化图像 和可视深度信息图 用二值程度数 随机化融合得到,融合公式为:;
其中, 为回归奖励模型,为一个无限不循环小数, 为奖励程度。
6.根据权利要求1所述的穴位定位方法,其特征在于,所述第一个聚合式窗口自注意力学习层、第二个聚合式窗口自注意力学习层、第三个聚合式窗口自注意力学习层、第四个聚合式窗口自注意力学习层均包括以下步骤:将输入的特征图进行窗口划分,得到若干个窗口;
单独对每个窗口内部进行自注意力学习;
将自注意力学习后的各个窗口向四个顶角偏移,形成各个窗口顶角上的聚合窗口;
对聚合窗口内部进行聚合自注意力学习,输出强化后的特征图。
7.根据权利要求6所述的穴位定位方法,其特征在于,所述自注意力学习为将单通道特征图中的每个像素的信息所对应的向量作为输入向量,通过权重矩阵生成对应的信息矩阵,并将信息矩阵输入自注意力学习函数;
所述聚合自注意力学习过程公式为:
;
其中, 为聚合窗口左上角第 行、第 列聚合窗口像素的特征矩阵; 与 为向窗口内部聚合的像素的特征矩阵; 为特征矩阵 中的背部特征量, 为特征矩阵中的背部特征量;
当出现 时,则该聚合窗口只存在背部区域特征,不存在背景区域特征,则筛除该聚合窗口;
当满足特征矩阵 的背部特征量由 增长为 且为四个聚合窗口特征量中的唯一最大值时,则确定该聚合窗口是四个聚合窗口中最有可能存在背部特征关键点的区域。
8.根据权利要求7所述的穴位定位方法,其特征在于,所述背部特征关键点检测网络包括全局池化层和分类器;全局池化层将背部特征图进行全局平均池化,背部特征图被压缩成固定长度的特征向量,分类器将特征向量输入到全连接层,得到背部特征关键点的预测标签及坐标。
9.一种应用权利要求1所述穴位定位方法的机器人,其特征在于,包括图像采集模块、处理模块、控制模块、末端执行器;
所述图像采集模块,用于获取人体背部图像;
所述处理模块,用于对获取人体背部图像进行预处理,获得预处理后的背部图像;将预处理后的背部图像输入多尺度特征提取网络,得到背部特征图;将背部特征图输入背部特征关键点检测网络进行背部特征关键点检测,得到背部特征关键点;根据背部特征关键点,通过背部穴位定位公式得到背部穴位具体坐标,实现背部穴位定位;
所述控制模块,用于控制末端执行器对定位的背部穴位进行按揉式按摩。