1.一种图像自动标注方法,其特征在于,包括以下步骤:接收待标记图像;
将待标记图像输入到自动图像标注模型中,以使所述自动图像标注模型中的第二主干卷积神经网络、第二卷积注意力网络、第二多尺度特征融合分支网络依次对所述待标记图像进行处理,得到第K级第三图像特征图,并使所述自动图像标注模型中的第二标签预测网络对所述第K级第三图像特征图进行处理,得到所述待标记图像的语义标签,其中K为正整数;
使所述自动图像标注模型中的第二主干卷积神经网络、第二卷积注意力网络、第二多尺度特征融合分支网络依次对所述待标记图像进行处理,得到第K级第三图像特征图,包括:
利用所述自动图像标注模型中的第二主干卷积神经网络对所述待标记图像进行编码,得到第1级第一图像特征图至第K级第一图像特征图;
利用所述自动图像标注模型中的第二卷积注意力网络分别对所述第1级第一图像特征图至第K级第一图像特征图进行处理,得到第1级第二图像特征图至第K级第二图像特征图;
根据所述自动图像标注模型中的第二多尺度特征融合分支网络和所述第1级第二图像特征图至第K级第二图像特征图,得到第2级第三图像特征图至第K级第三图像特征图,其中,K为正整数;
根据所述自动图像标注模型中的第二多尺度特征融合分支网络和所述第1级第二图像特征图至第K级第二图像特征图,得到第2级第三图像特征图至第K级第三图像特征图,包括:
根据第六公式将第k‑1级第三图像特征图与第k级第二图像特征图进行融合,所述第六公式为:
直至得到第K级第三图像特征图,其中, 表示第k级第三图像特征图,F”k表示第k级第f
二图像特征图, 表示第k‑1级第三图像特征图,2≤k≤K,且当k=2时,F1 =F1”即第1级第三图像特征图为第1级第二图像特征图, 表示由卷积,批归一化和激活函数组成的第二复合函数, 表示由卷积,批归一化和激活函数组成的第三复合函数。
2.根据权利要求1所述的一种图像自动标注方法,其特征在于,还包括:获取实验数据集和预训练模型,所述实验数据集包括多个语义标签;
根据卷积注意力网络、多尺度特征融合分支网络、标签预测网络和主干卷积神经网络构建自动图像标注网络;
将所述预训练模型加载到所述自动图像标注网络中的主干卷积神经网络中,得到第一主干卷积神经网络;
利用所述实验数据集对所述自动图像标注网络中的卷积注意力网络、多尺度特征融合分支网络、标签预测网络共同进行训练,得到第一卷积注意力网络、第一多尺度特征融合分支网络和第一标签预测网络;
利用所述实验数据集对含有所述第一主干卷积神经网络、第一卷积注意力网络、第一多尺度特征融合分支网络和第一标签预测网络的自动图像标注网络进行训练,得到含有第二主干卷积神经网络、第二卷积注意力网络、第二多尺度特征融合分支网络和第二标签预测网络的自动图像标注模型。
3.根据权利要求1所述的一种图像自动标注方法,其特征在于,利用所述自动图像标注模型中的第二主干卷积神经网络对所述待标记图像进行编码,得到第1级第一图像特征图至第K级第一图像特征图,包括:根据第一公式对所述待标记图像进行编码,得到第1级第一图像特征图至第K级第一图像特征图,所述第一公式为:Fn=Mn(Fn‑1),其中,1≤n≤K,n为正整数,Fn为第n级第一图像特征图,Fn‑1为第n‑1级第一图像特征图,当n=1时,Fn‑1即F0为待标记图像的图像特征图,Mn表示的由卷积、池化、批归一化和激活函数组成的第一复合函数。
4.根据权利要求3所述的一种图像自动标注方法,其特征在于,所述自动图像标注模型中的第二卷积注意力网络分别对所述1至K级第一图像特征图进行处理,得到第1级第一图像特征图至第K级第二图像特征图,包括:根据第二公式得到第m级一维通道注意力图MC(Fm),所述第二公式为:MC(Fm)=σ(MLP(AvgPool(Fm)+MLP(MaxPool(Fm));
根据第三公式得到第m级通道注意特征Fm’,所述第三公式为:Fm'=Fm×MC(Fm);
7×7
根据第四公式得到第m级二维空间注意力图MS(Fm'),所述第四公式为:MS(Fm')=σ(f([AvgPool(Fm'),MaxPool(Fm')]));
根据第五公式得到第m级第二图像特征图Fm”,所述第五公式为:Fm”=Fm'×MS(Fm');
直至得到第K级第二图像特征图;
其中,MLP表示多层感知器,AvgPool表示平均池化,MaxPool表示最大池化,σ表示
7×7
sigmoid函数,f 为一个卷积核大小为7×7的卷积层,1≤m≤K,m为正整数,K为正整数,Fm为第m级第一图像特征图。
5.根据权利要求1‑4任一项所述的一种图像自动标注方法,其特征在于,所述自动图像标注模型中的第二标签预测网络对所述第K级第三图像特征图进行处理,得到所述待标记图像的语义标签,包括:
利用所述自动图像标注模型中第二标签预测网络的平均池化层提取所述第K级第三图像特征图的图像特征向量
利用所述自动图像标注模型中第二标签预测网络的全连接层和sigmoid函数对所述第K级第三图像特征图的图像特征向量进行处理,计算出所述自动图像标注模型中第二标签预测网络的每个语义标签的标注概率,并判断所述每个语义标签的标注概率是否大于或等于第一预设标签阈值;
若是,则将该标注概率对应的语义标签作为所述待标记图像的语义标签,直至得到所有的语义标签。
6.一种图像自动标注系统,其特征在于,包括接收模块和标注模块;
所述接收模块用于接收待标记图像;
所述标注模块用于将待标记图像输入到自动图像标注模型中,以使所述自动图像标注模型中的第二主干卷积神经网络、第二卷积注意力网络、第二多尺度特征融合分支网络依次对所述待标记图像进行处理,得到第K级第三图像特征图,并使所述自动图像标注模型中的第二标签预测网络对所述第K级第三图像特征图进行处理,得到所述待标记图像的语义标签,其中K为正整数;
还包括训练模块;
所述训练模块用于利用所述自动图像标注模型中的第二主干卷积神经网络对所述待标记图像进行编码,得到第1级第一图像特征图至第K级第一图像特征图;利用所述自动图像标注模型中的第二卷积注意力网络分别对所述第1级第一图像特征图至第K级第一图像特征图进行处理,得到第1级第二图像特征图至第K级第二图像特征图;根据所述自动图像标注模型中的第二多尺度特征融合分支网络和所述第1级第二图像特征图至第K级第二图像特征图,得到第2级第三图像特征图至第K级第三图像特征图,其中,K为正整数;
所述训练模块具体用于根据第六公式将第k‑1级第三图像特征图与第k级第二图像特征图进行融合,所述第六公式为: 直至得到第K级第三图像特征图,其中, 表示第k级第三图像特征图,F”k表示第k级第二图像特征图, 表示第k‑1级第三f
图像特征图,2≤k≤K,且当k=2时,F1=F1”即第1级第三图像特征图为第1级第二图像特征图, 表示由卷积,批归一化和激活函数组成的第二复合函数, 表示由卷积,批归一化和激活函数组成的第三复合函数。
7.根据权利要求6所述的一种图像自动标注系统,其特征在于,所述训练模块还用于获取实验数据集和预训练模型,所述实验数据集包括多个语义标签;
根据卷积注意力网络、多尺度特征融合分支网络和标签预测网络和主干卷积神经网络构建自动图像标注网络;
将所述预训练模型加载到所述自动图像标注网络中的主干卷积神经网络中,得到第一主干卷积神经网络;
利用所述实验数据集对所述自动图像标注网络中的卷积注意力网络、多尺度特征融合分支网络、标签预测网络共同进行训练,得到第一卷积注意力网络、第一多尺度特征融合分支网络和第一标签预测网络;
利用所述实验数据集对含有所述第一主干卷积神经网络、第一卷积注意力网络、第一多尺度特征融合分支网络和第一标签预测网络的自动图像标注网络进行训练,得到含有第二主干卷积神经网络、第二卷积注意力网络、第二多尺度特征融合分支网络和第二标签预测网络的自动图像标注模型。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述的一种图像自动标注方法的步骤。