欢迎来到利索能及~ 联系电话:18621327849
利索能及
我要发布
收藏
专利号: 2020116400902
申请人: 山东师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,包括:通过摄像头获取待处理图像;对待处理图像进行预处理;

对预处理图像分别进行并行两个分支的特征提取,其中第一个分支提取出第一特征;

第二个分支提取出第二特征;

对第一特征和第二特征均进行不同尺度的全局上下文特征提取,分别得到四个尺度的全局上下文特征;

对八个尺度的全局上下文特征进行融合,得到融合特征;对融合特征进行上采样操作;

将上采样后的融合特征输入到训练后的分类器中,输出图像语义分割结果。

2.如权利要求1所述的基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,对待处理图像进行预处理;具体步骤包括:降噪处理和舍弃非关键帧处理。

3.如权利要求2所述的基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,所述非关键帧,判断步骤包括:对待处理图像的所有帧进行聚类处理,将距离簇中心超过设定距离的帧视为非关键帧。

4.如权利要求1所述的基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,第一个分支提取出第一特征;具体包括:使用改进的VGG16网络,对待处理图像提取出第一特征;

所述改进的VGG16网络,为对VGG16网络只保留前10个卷积层,删除后六个卷积层、全连接层和softmax分类器。

5.如权利要求1所述的基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,所述第二个分支提取出第二特征;具体包括:使用ResNet50提取出第二特征。

6.如权利要求1所述的基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,对第一特征和第二特征均进行不同尺度的全局上下文特征提取,分别得到四个尺度的全局上下文特征;具体包括:

对第一特征,采用1*1的卷积层进行全局上下文特征提取,得到第一尺度的全局上下文特征;

对第一特征,采用空洞率为6的3*3空洞卷积层进行全局上下文特征提取,得到第二尺度的全局上下文特征;

对第一特征,采用空洞率为12的3*3空洞卷积层进行全局上下文特征提取,得到第三尺度的全局上下文特征;

对第一特征,采用空洞率为18的3*3空洞卷积层进行全局上下文特征提取,得到第四尺度的全局上下文特征;

对第二特征,采用1*1的卷积层进行全局上下文特征提取,得到第五尺度的全局上下文特征;

对第二特征,采用空洞率为6的3*3空洞卷积层进行全局上下文特征提取,得到第六尺度的全局上下文特征;

对第二特征,采用空洞率为12的3*3空洞卷积层进行全局上下文特征提取,得到第七尺度的全局上下文特征;

对第二特征,采用空洞率为18的3*3空洞卷积层进行全局上下文特征提取,得到第八尺度的全局上下文特征;

和/或,

对八个尺度的全局上下文特征进行融合,得到融合特征;对融合特征进行上采样操作;

具体包括:

对八个尺度的全局上下文特征进行逐像素相加,得到融合后的特征图;对融合后的特征图进行上采样操作,还原至原图像大小。

7.如权利要求1所述的基于空洞卷积和多尺度多分支的图像语义分割方法,其特征是,将上采样后的融合特征输入到训练后的分类器中,输出图像语义分割结果;其中,训练后的分类器的训练步骤包括:

采用支持向量机作为分类器;

构建训练集,所述训练集为已知图像语义分割结果的图像;

将训练集输入到支持向量机中,训练次数达到迭代次数后,停止训练,得到训练好的分类器。

8.基于空洞卷积和多尺度多分支的图像语义分割系统,其特征是,包括:预处理模块,其被配置为:通过摄像头获取待处理图像;对待处理图像进行预处理;

基础特征提取模块,其被配置为:对预处理图像分别进行并行两个分支的特征提取,其中第一个分支提取出第一特征;第二个分支提取出第二特征;

全局上下文特征提取模块,其被配置为:对第一特征和第二特征均进行不同尺度的全局上下文特征提取,分别得到四个尺度的全局上下文特征;

特征融合模块,其被配置为:对八个尺度的全局上下文特征进行融合,得到融合特征;

对融合特征进行上采样操作;

语义分割模块,其被配置为:将上采样后的融合特征输入到训练后的分类器中,输出图像语义分割结果。

9.一种电子设备,其特征是,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述权利要求1‑7任一项所述的方法。

10.一种计算机可读存储介质,其特征是,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑7任一项所述的方法。