1.一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法,其步骤为:步骤1、利用卫星彩色图像数据集,制作高分辨率与低分辨率的图像块训练集;
步骤2、构建一个多任务的深度神经网络用于模型训练;
步骤3、依据步骤1制作的训练集和步骤2构建的网络,调整网络参数,进行网络训练;
步骤4、将一幅低分辨率的灰度图像作为网络的输入,利用步骤3学习得到的参数重建一幅高分辨率的彩色图像作为输出。
2.根据权利要求1所述的一种基于多任务深度神经网络的卫星图像同时进行超分辨和着色的方法,其特征在于:步骤1制作高分辨率与低分辨率的彩色图像块训练集的过程为:针对一常用的卫星图像处理数据集中每张彩色图像,首先对高分辨率图像进行两次双三次插值,得到与高分辨率图像对应的相同尺寸低分辨率图像;然后将每张高分辨率图像和低分辨率图像裁剪成多个图像块,并且相邻的图像块之间存在重合部分,由此得到用于深度网络训练的高分辨率图像块与低分辨率图像块的集合。
3.根据权利要求1或2所述的一种基于多任务深度神经网络的卫星图像同时进行超分辨和着色的方法,其特征在于:步骤2中构建一个43层的深度网络模型,一共分为三个部分,首先对图像进行预处理,之后的20层构成超分辨网络,最后的23层构成着色网络;在图像预处理部分,将彩色图像从RGB转换到Lab颜色空间,然后将彩色图像分为两部分,一部分为L向量,作为整个网络的输入;另一部分是ab向量,作为最后着色网络的标签;在超分辨网络中,一共包含了9个残差层和两个卷积层,其中每个残差单元有两个卷积层;每个卷积层之后接一个PReLU激活层;残差单元如公式(1)所示:yi=0.9*h(xi)+0.1*F(xi,wi)
xi+1=f(yi) (1)
其中,xi表示为第i层的残差单元的特征输入,wi表示为第i层权重和偏置项的设置,F代表残差函数,f则代表激活函数PReLU,h为恒等式映射h(xi)=xi;
该深度网络将学习低分辨率的灰度图像块和高分辨率的灰度图像块之间的映射关系,如公式(2)所示:x=F(y,Φ) (2)
其中,x,y分别为高分辨率的灰度图像块和低分辨率的灰度图像块,Φ为超分辨率网络学习到的模型参数,用于后续高分辨率图像重建;
在着色网络中,倒数第4层为反卷积层,剩余均为卷积层;在每个卷积层和反卷积层之后接一个Relu激活层;网络输入是超分辨网络输出的高分辨率的灰度图像块,该网络将学习高分辨率的灰度图像块和ab彩色分量图像块之间的映射关系,如公式(3)所示:x=f(y,θ) (3)
其中,x,y分别为ab彩色分量图像块和高分辨率的灰度图像块,θ为着色网络学习到的模型参数。
4.根据权利要求3所述的一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法,其特征在于:步骤2中网络训练的损失函数在超分辨网络和着色网络中采用不同的方法,在超分辨率网络中,损失函数采用均方误差表示,如公式(4)所示:其中,N为步骤1所得训练集中样本数量,xi,yi为第i个高分辨率图像块和对应的低分辨率图像块;
在着色网络中,损失函数采用多项式交叉熵损失表示,如公式(5)所示:其中,表示预测的概率分布,而Z则表示真实的概率分布,函数v是一个重新平衡的因子,其基于对训练集ab颜色分量的统计得到,h和w分别代表了图像的长和宽,q则是训练集中ab颜色分量的类别总数。
5.根据权利要求4所述的一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法,其特征在于:步骤2中ReLU激活层的激活函数用公式(6)表示如下:f(x)=max(0,x) (6)
其中,x为ReLU激活函数的输入,f(x)为ReLU激活函数的输出;
PReLU激活层的激活函数用公式(7)表示如下:
f(x)=max(0,x)+a*min(0,x) (7)其中,x为PReLU激活函数的输入,f(x)为PReLU激活函数的输出,a是可学习参数。
6.根据权利要求5所述的一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法,其特征在于:在步骤2中,除了最后一层卷积层,构建的深度网络的所有卷积层的卷积核大小均设为3*3,最后一层的卷积核大小设置为1*1;反卷积层的卷积核大小设置为4*
4。
7.根据权利要求6所述的一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法,其特征在于:在超分辨率网络中,前19个卷积层的特征图的数量全部设为64,最后一层的特征图数量为1;在着色网络中,前7个卷积层对应的特征图的数量分别设为64、64、
128、128、256、256、256,后面紧接着的12个卷积层被设置为512,再之后的3个卷积层的特征图的数量被设为256,最后一层卷积的特征图的数量设为244,每个卷积层和反卷积层得到的输出如公式(8)表示:yi=f(Wixi+bi),i=1,2,...,43 (8)其中,Wi表示第i层的权重,bi表示第i层的偏置,xi表示第i层的输入,yi表示第i层的输出;
分别经过激活函数ReLU和PReLU,结果如公式(9)和(10)所示:zi=max(0,yi) (9)
zj=max(0,yj)+a*min(0,yj) (10)其中,yi和yj分别为激活函数ReLU和PReLU上一层的输出,zi和zj分别为激活函数ReLU和PReLU的输出。
8.根据权利要求7所述的一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法,其特征在于:步骤3利用Caffe深度学习平台对网络进行训练,首先对步骤2中构建的多任务的深度神经网络的权重和偏置进行初始化,具体过程为:
1)在超分辨网络中采用MSRA方式初始化权重W后,W满足以下高斯分布:其中,n表示该层网络输入单元数目,即卷积层输入特征图数量;
在着色网络中,权重初始化全部设为0,即Wi=0;
2)在整个网络中,偏置全部初始化为0,即bi=0。
9.根据权利要求8所述的一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法,其特征在于:步骤3采用梯度下降法更新网络参数,用公式(12)表示如下:其中,Vi+1表示本次的权重更新值,而Vi表示上一次的权重更新值,而μ是上一次梯度值的权重,α是学习率, 是梯度;
在训练过程中,通过指定迭代次数来进行网络参数更新。