利索能及
我要发布
收藏
专利号: 2022106507226
申请人: 江汉大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种弱感知目标检测方法,其特征在于,包括:

获取训练样本集,输入至弱感知目标检测网络中,通过所述弱感知目标检测网络中的第一点云特征编码子网络进行初步检测获取初始候选数据,其中,所述初始候选数据包括初始候选框、候选目标点云数据和候选目标点云特征;

迭代运算包括第一迭代运算和第二迭代运算,重构操作包括折叠操作和特征提取操作,所述第一迭代运算是基于第一自注意力加权操作和第一前馈网络进行编码的,所述第二迭代运算包括第二自注意力加权操作、交叉注意力加权操作和第二前馈网络,所述折叠操作包括第二拼接操作、第三多层感知器和第三拼接操作,

根据所述候选目标点云数据进行所述弱感知目标检测网络中的采样卷积操作和第一嵌入操作以获取嵌入位置局部结构特征序列;

基于所述嵌入位置局部结构特征序列,利用transformer编码器进行所述第一迭代运算和维度变换操作,以获取缺失部分中心点序列和缺失部分中心点局部结构特征序列,其中,所述维度变换操作包括最大池化操作和第一多层感知器;

对所述缺失部分中心点序列和所述缺失部分中心点局部结构特征序列执行所述弱感知目标检测网络中的第二嵌入操作得到局部形状特征序列;

根据所述局部形状特征序列、所述缺失部分中心点局部结构特征序列和所述缺失部分中心点序列,利用transformer解码器进行所述第二迭代运算和特征变换操作,获取所述弱感知目标缺失部分形状特征序列;

对于所述弱感知目标缺失部分形状特征序列,结合所述缺失部分中心点序列和所述候选目标点云数据,进行所述折叠操作获取弱感知目标完整点云数据;

对于所述弱感知目标完整点云数据,采用第二点云特征编码子网络进行所述特征提取操作,得到所述弱感知目标完整形状特征序列;

基于所述弱感知目标完整形状特征序列和所述候选目标点云特征进行所述弱感知目标检测网络中的注意力融合操作得到弱感知目标全局特征;

基于所述弱感知目标全局特征进行所述弱感知目标检测网络中的置信度计算和位置回归操作以获取弱感知目标的置信度分数和残差参数,并基于所述置信度分数和所述残差参数计算损失值以调整所述弱感知目标检测网络的参数,生成弱感知目标检测模型;

利用所述弱感知目标检测模型对待检测样本集进行检测,生成弱感知目标检测框和弱感知目标类别信息,完成弱感知目标检测。

2.如权利要求1所述的方法,其特征在于,所述根据所述候选目标点云数据进行所述弱感知目标检测网络中的采样卷积操作和第一嵌入操作以获取嵌入位置局部结构特征序列,包括:利用所述候选目标点云数据通过迭代最远采样方法获取中心点序列;

利用所述中心点序列基于图卷积网络提取相关特征序列;

对所述中心点序列和所述相关特征序列执行所述第一嵌入操作以获取所述嵌入位置局部结构特征序列。

3.如权利要求1所述的方法,其特征在于,

所述基于所述嵌入位置局部结构特征序列,利用所述transformer编码器进行所述第一迭代运算和维度变换操作,以获取缺失部分中心点序列和缺失部分中心点局部结构特征序列,包括:将所述嵌入位置局部结构特征序列作为所述transformer编码器的输入进行所述第一迭代运算以获取编码器输出特征序列;

根据所述编码器输出特征序列利用所述最大池化操作和所述第一多层感知器变换特征维度,获取所述缺失部分中心点序列和所述缺失部分中心点局部结构特征序列。

4.如权利要求1所述的方法,其特征在于,

所述根据所述局部形状特征序列、所述缺失部分中心点局部结构特征序列和所述缺失部分中心点序列,利用所述transformer解码器进行所述第二迭代运算和特征变换操作,获取所述弱感知目标缺失部分形状特征序列,包括:将所述局部形状特征序列作为所述transformer解码器的首层输入形状特征序列 ;

将所述transformer解码器的第k层的输入形状特征序列 进行所述第二自注意力加权操作得到所述transformer解码器的第k层对应的query向量 ;

基于所述transformer解码器的第k层的输入形状特征序列 ,所述缺失部分中心点局部结构特征序列和所述缺失部分中心点序列,通过下式计算得到所述transformer解码器的第k层的混合特征 :其中, 代表第一拼接操作, 代表第一卷积操作, 代表第二卷积操作,Y表示所述缺失部分中心点序列,S表示所述缺失部分中心点局部结构特征序列,L表示所述transformer解码器的层数;

将所述混合特征 作为所述transformer解码器的第k层对应的key向量和value向量,结合所述transformer解码器的第k层对应的query向量 ,通过下式进行所述交叉注意力加权操作得到所述transformer解码器的第k层的交叉注意力加权形状特征 :其中, 是注意力头的个数, 、 和 分别表示所述transformer解码器的第k层的第h个所述注意力头的第一投影矩阵、第二投影矩阵和第三投影矩阵, 为所述transformer解码器的第k层的交叉注意力加权操作的输出线性投影矩阵,是缩放因子,表示矩阵转置操作,表示归一化操作;

基于所述transformer解码器的第k层的交叉注意力加权形状特征 利用所述第二前馈网络获取所述transformer解码器的第k层的输出形状特征序列 ;

基于所述transformer解码器的第k层的输出形状特征序列 通过所述transformer解码器的剩余(L‑k)层迭代(L‑k)次,得到所述transformer解码器的最后一层的输出形状特征序列 ,作为解码器输出特征序列;

根据所述解码器输出特征序列通过第二多层感知器进行所述特征变换操作以获取所述弱感知目标缺失部分形状特征序列。

5.如权利要求1所述的方法,其特征在于,

所述对于所述弱感知目标缺失部分形状特征序列,结合所述缺失部分中心点序列和所述候选目标点云数据,进行所述折叠操作获取弱感知目标完整点云数据,包括:将所述缺失部分中心点序列和所述弱感知目标缺失部分形状特征序列进行所述第二拼接操作,并对所述第二拼接操作的拼接结果使用所述第三多层感知器映射,以获取弱感知目标缺失部分点云数据;

将所述弱感知目标缺失部分点云数据和所述候选目标点云数据进行所述第三拼接操作以获取所述弱感知目标完整点云数据。

6.如权利要求1所述的方法,其特征在于,所述基于所述弱感知目标完整形状特征序列和所述候选目标点云特征进行所述弱感知目标检测网络中的注意力融合操作得到弱感知目标全局特征,包括:随机采集所述候选目标点云特征得到原始采样特征序列,并基于所述原始采样特征序列使用对应的神经网络操作得到原始特征序列;

将所述弱感知目标完整形状特征序列和所述原始特征序列进行第四拼接操作以获得拼接特征序列;

对所述拼接特征序列进行逐通道池化操作和逐点池化操作以分别获得逐点注意力特征序列和逐通道注意力特征序列;

对所述逐点注意力特征序列和所述逐通道注意力特征序列基于第一线性层和第二线性层分别进行线性变换后相乘得到注意力特征乘积,并标准化处理所述注意力特征乘积以获得整体注意力权重图;

将所述整体注意力权重图和所述原始特征序列相乘以重新分配权重,获得原始加权特征序列;

根据所述原始加权特征序列基于第三前馈网络获取加权特征序列;

对所述加权特征序列使用下采样操作得到几何特征,并使用相应的神经网络操作编码所述几何特征,得到所述弱感知目标全局特征。

7.一种弱感知目标检测装置,其特征在于,包括:

第一获取单元,用于获取训练样本集,输入至弱感知目标检测网络中,通过所述弱感知目标检测网络中的第一点云特征编码子网络进行初步检测获取初始候选数据,其中,所述初始候选数据包括初始候选框、候选目标点云数据和候选目标点云特征;

迭代运算单元,

迭代运算包括第一迭代运算和第二迭代运算,重构操作包括折叠操作和特征提取操作,所述第一迭代运算是基于第一自注意力加权操作和第一前馈网络进行编码的,所述第二迭代运算包括第二自注意力加权操作、交叉注意力加权操作和第二前馈网络,所述折叠操作包括第二拼接操作、第三多层感知器和第三拼接操作,

根据所述候选目标点云数据进行所述弱感知目标检测网络中的采样卷积操作和第一嵌入操作以获取嵌入位置局部结构特征序列;

基于所述嵌入位置局部结构特征序列,利用transformer编码器进行所述第一迭代运算和维度变换操作,以获取缺失部分中心点序列和缺失部分中心点局部结构特征序列,其中,所述维度变换操作包括最大池化操作和第一多层感知器;

对所述缺失部分中心点序列和所述缺失部分中心点局部结构特征序列执行所述弱感知目标检测网络中的第二嵌入操作得到局部形状特征序列;

根据所述局部形状特征序列、所述缺失部分中心点局部结构特征序列和所述缺失部分中心点序列,利用transformer解码器进行所述第二迭代运算和特征变换操作,获取所述弱感知目标缺失部分形状特征序列;

对于所述弱感知目标缺失部分形状特征序列,结合所述缺失部分中心点序列和所述候选目标点云数据,进行所述折叠操作获取弱感知目标完整点云数据;

对于所述弱感知目标完整点云数据,采用第二点云特征编码子网络进行所述特征提取操作,得到所述弱感知目标完整形状特征序列;

融合单元,用于基于所述弱感知目标完整形状特征序列和所述候选目标点云特征进行所述弱感知目标检测网络中的注意力融合操作得到弱感知目标全局特征;

第二获取单元,用于基于所述弱感知目标全局特征进行所述弱感知目标检测网络中的置信度计算和位置回归操作以获取弱感知目标的置信度分数和残差参数,并基于所述置信度分数和所述残差参数计算损失值以调整所述弱感知目标检测网络的参数,生成弱感知目标检测模型;

生成单元,用于利用所述弱感知目标检测模型对待检测样本集进行检测,生成弱感知目标检测框和弱感知目标类别信息,完成弱感知目标检测。

8.一种电子设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1‑6中任一项所述的弱感知目标检测方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1‑6中任一项所述的弱感知目标检测方法。