1.基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,包括:通过摄像头获取待处理图像;对待处理图像进行预处理;
对预处理图像分别进行并行两个分支的特征提取,其中第一个分支提取出第一特征;
第二个分支提取出第二特征;
对第一特征和第二特征均进行不同尺度的全局上下文特征提取,分别得到四个尺度的全局上下文特征;
对八个尺度的全局上下文特征进行融合,得到融合特征;对融合特征进行上采样操作;
将上采样后的融合特征输入到训练后的分类器中,输出图像语义分割结果。
2.如权利要求1所述的基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,对待处理图像进行预处理;具体步骤包括:降噪处理和舍弃非关键帧处理。
3.如权利要求2所述的基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,所述非关键帧,判断步骤包括:对待处理图像的所有帧进行聚类处理,将距离簇中心超过设定距离的帧视为非关键帧。
4.如权利要求1所述的基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,第一个分支提取出第一特征;具体包括:使用改进的VGG16网络,对待处理图像提取出第一特征;
所述改进的VGG16网络,为对VGG16网络只保留前10个卷积层,删除后六个卷积层、全连接层和softmax分类器。
5.如权利要求1所述的基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,所述第二个分支提取出第二特征;具体包括:使用ResNet50提取出第二特征。
6.如权利要求1所述的基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,对第一特征和第二特征均进行不同尺度的全局上下文特征提取,分别得到四个尺度的全局上下文特征;具体包括:
对第一特征,采用1*1的卷积层进行全局上下文特征提取,得到第一尺度的全局上下文特征;
对第一特征,采用空洞率为6的3*3空洞卷积层进行全局上下文特征提取,得到第二尺度的全局上下文特征;
对第一特征,采用空洞率为12的3*3空洞卷积层进行全局上下文特征提取,得到第三尺度的全局上下文特征;
对第一特征,采用空洞率为18的3*3空洞卷积层进行全局上下文特征提取,得到第四尺度的全局上下文特征;
对第二特征,采用1*1的卷积层进行全局上下文特征提取,得到第五尺度的全局上下文特征;
对第二特征,采用空洞率为6的3*3空洞卷积层进行全局上下文特征提取,得到第六尺度的全局上下文特征;
对第二特征,采用空洞率为12的3*3空洞卷积层进行全局上下文特征提取,得到第七尺度的全局上下文特征;
对第二特征,采用空洞率为18的3*3空洞卷积层进行全局上下文特征提取,得到第八尺度的全局上下文特征;
和/或,
对八个尺度的全局上下文特征进行融合,得到融合特征;对融合特征进行上采样操作;
具体包括:
对八个尺度的全局上下文特征进行逐像素相加,得到融合后的特征图;对融合后的特征图进行上采样操作,还原至原图像大小。
7.如权利要求1所述的基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,将上采样后的融合特征输入到训练后的分类器中,输出图像语义分割结果;其中,训练后的分类器的训练步骤包括:
采用支持向量机作为分类器;
构建训练集,所述训练集为已知图像语义分割结果的图像;
将训练集输入到支持向量机中,训练次数达到迭代次数后,停止训练,得到训练好的分类器。
8.基于空洞卷积和多尺度多分支的图像语义分割系统,其特征是,包括:预处理模块,其被配置为:通过摄像头获取待处理图像;对待处理图像进行预处理;
基础特征提取模块,其被配置为:对预处理图像分别进行并行两个分支的特征提取,其中第一个分支提取出第一特征;第二个分支提取出第二特征;
全局上下文特征提取模块,其被配置为:对第一特征和第二特征均进行不同尺度的全局上下文特征提取,分别得到四个尺度的全局上下文特征;
特征融合模块,其被配置为:对八个尺度的全局上下文特征进行融合,得到融合特征;
对融合特征进行上采样操作;
语义分割模块,其被配置为:将上采样后的融合特征输入到训练后的分类器中,输出图像语义分割结果。
9.一种电子设备,其特征是,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述权利要求1‑7任一项所述的方法。
10.一种计算机可读存储介质,其特征是,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑7任一项所述的方法。