利索能及
我要发布
收藏
专利号: 2025103989540
申请人: 江西师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-12-22
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多尺度特征融合的交通标志检测方法,其特征在于,包括以下步骤:步骤 S1:构建数据集,数据集包括若干交通标志图片及对应的标签;

步骤S2:构建基于YOLOv8网络的检测模型,模型包括色差特征提取模块、骨干特征提取模块、多视图协同融合模块和检测头,导入步骤S1中数据集的图片至色差特征提取模块中,获取色差特征;

步骤S3:导入步骤S2中的色差特征至骨干特征提取模块中,获取不同尺度的提取特征;

步骤S4:导入步骤S3中的不同尺度的提取特征至多视图协同融合模块中,获取多视图协助融合特征;在此过程中,多视图协助模块对提取特征进行数据增强,以获取不同视角的多视角特征和不同距离下的多距离特征,并将多视角特征作为补充语义对多距离特征进行补充从而获取不同尺度的多视图协同特征,将不同尺度的多视图协同特征进行通道融合,获取多视图协同融合特征;

步骤S5:对步骤S4中的多视图协同融合特征和步骤S2的色差特征进行维度转换,将多视图协同融合特征和色差特征调整为统一的维度,将调整后的多视图协同融合特征和色差特征进行残差连接后输入至检测头中,获取预测输出;

步骤S6:构建损失函数,最小化损失函数以优化模型参数。

2.根据权利要求1所述的一种基于多尺度特征融合的交通标志检测方法,其特征在于,步骤S2具体为:步骤S21:色差特征提取模块基于三分量色差法将输入图片的红色色差图与蓝色色差图分别赋予不同的权重系数进行处理, 计算图片的红、蓝、黄色差图,表示为:;

其中, 表示输入图片在位置 的红色分量的强度值, 表示输入图片在位置 的蓝色分量的强度值, 表示输入图片在位置 的绿色分量的强度值, 表示红色色差图, 表示蓝色色差图, 表示黄色

色差图;

步骤S22:根据输入图片的图片特征 自适应地调整红色色差图、蓝色色差图和黄色色差图的权重,基于图片特征 来计算权重;图片特征 包括输入图片的光照、对比度和颜色分布;

步骤S23:使用自适应权重对红色色差图、蓝色色差图和黄色色差图进行加权拼接,获取色差特征。

3.根据权利要求1所述的一种基于多尺度特征融合的交通标志检测方法,其特征在于,步骤S4具体为:步骤S41:多视图协助模块对提取特征进行数据增强分别获取不同视角的视角补充特征和不同距离下的视图补充特征;其中,数据增强包括缩放、扩大、对角翻转和垂直翻转操作;

步骤S42:下采样不同视角的视角补充特征,与原始特征图也即对应的提取特征进行对齐,然后视角补充特征和提取特征进行卷积从而压缩通道维度,获取视角压缩特征,然后将视角压缩特征输入到三个并行张量的多元模乘单元中计算视角注意力权重,基于注意力权重拼接视角补充特征和提取特征,获取多视角特征;

步骤S42:下采样不同视角的距离补充特征,与原始特征图也即对应的提取特征进行对齐,然后距离补充特征和提取特征进行卷积从而压缩通道维度,获取距离压缩特征,然后将距离压缩特征输入到三个不同于步骤S41的并行张量的多元模乘单元中计算距离注意力权重,基于注意力权重拼接距离补充特征和提取特征,获取多距离特征;

步骤S43:将多视角特征作为补充语义对多视图特征进行补充从而获取不同尺度的多视图协同特征;具体为:依次通过通道注意力和空间注意力处理多视角特征获取补充特征,将补充特征与多距离特征进行通道维度拼接,接着通过卷积进一步融合获得不同尺度的多视图协同特征;

步骤S44:将不同尺度的多视图协同特征进行通道融合,获取多视图协同融合特征。

4.根据权利要求3所述的一种基于多尺度特征融合的交通标志检测方法,其特征在于,步骤S42中获取多视角特征的过程表示为:;

 ;

 ;

 ;

其中, 表示视角补充特征, 表示线性激活函数, 表示拼接

操作, 表示卷积操作, 表示提取特征, 表示第一视角下的视角补充特征,表示第二视角下的视角补充特征, 表示视角压缩特征, 表示Sigmoid激活函数, 、 和 表示第一多元模乘单元的权重矩阵, 表示第一多元模乘单元的视角注意力权重, 、 和 表示第二多元模乘单元的权重矩阵, 表示第二多元模乘单元的视角注意力权重, 、 和 表示第三多元模乘单元的权重矩阵, 表示第三多元模乘单元的视角注意力权重, 表示多视角特征, 表示元素乘积。

5.根据权利要求3所述的一种基于多尺度特征融合的交通标志检测方法,其特征在于,步骤S44具体为:将不同尺度的多视图协同特征沿通道维度划分为n块,每块的通道数相同;将每一块多视图协同特征再次沿通道维度划分为两部分,一部分用于和相邻块的多视图协同特征之间进行基于通道的交互,另一部分则用于进行输出;将所有块的输出重新拼接组合,获取多视图协同融合特征。

6.根据权利要求1所述的一种基于多尺度特征融合的交通标志检测方法,其特征在于,步骤S2中的骨干特征提取模块包括依次串联的第一卷积层、第二卷积层、第一C2f模块、第三卷积层、第二C2f模块、第四卷积层、第三C2f模块、第五卷积层、第四C2f模块和SPPF模块;

其中,第二C2f模块、第三C2f模块和SPPF模块分别输出不同尺度的提取特征。

7.根据权利要求6所述的一种基于多尺度特征融合的交通标志检测方法,其特征在于,第二C2f模块、第三C2f模块和第四C2f模块采用可变形卷积从而对输入进行动态采样。