1.一种图像信息的优化方法,其特征在于,包括:获取多个低信噪比的原始图像,所述原始图像为针对相同对象的图像,每个原始图像包括的特征信息不同;
通过神经网络对各所述原始图像执行优化处理,得到针对所述多个低信噪比的原始图像的一个优化图像,其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理,所述优化图像的特征信息比所述原始图像的特征信息多,所述卷积处理用于融合各原始图像的特征信息得到卷积特征,所述非线性函数映射处理用于对所述卷积特征执行非线性映射处理得到优化特征矩阵,所述优化特征矩阵用于确定所述优化图像;
其中,所述原始图像为原始深度图像,所述优化图像为优化深度图像,所述优化处理包括恢复出深度信息。
2.根据权利要求1所述的方法,其特征在于,所述神经网络执行的优化处理包括依次执行的多组优化过程,每组优化过程包括至少一次卷积处理和/或至少一次非线性映射处理;
其中,所述通过神经网络对各所述原始图像执行优化处理包括:将各所述原始图像作为第一组优化过程的输入信息,通过所述第一组优化过程的处理后得到针对该第一组优化过程的优化特征矩阵;
将第n组优化过程输出的优化特征矩阵作为第n+1组优化过程的输入信息进行优化处理,或者将第n组优化过程输出的优化特征矩阵,以及前n‑1组优化过程中至少一组优化过程输出的优化特征矩阵,作为第n+1组优化过程的输入信息进行优化处理,基于最后一组优化过程处理后得到的优化特征矩阵确定所述优化图像,其中n为大于1且小于Q的整数,Q为优化过程的组数。
3.根据权利要求1或2所述的方法,其特征在于,所述优化处理包括依次执行的三组优化过程,所述通过神经网络对各所述原始图像执行优化处理包括:对多个所述原始图像执行第一组优化过程,得到融合各原始图像的特征信息的第一特征矩阵;
对所述第一特征矩阵执行第二组优化过程,得到第二特征矩阵,所述第二特征矩阵的特征信息比所述第一特征矩阵的特征信息多;
对所述第二特征矩阵执行第三组优化过程,得到与所述优化图像对应的优化特征矩阵并确定所述优化图像,所述优化特征矩阵的特征信息比所述第二特征矩阵的特征信息多。
4.根据权利要求3所述的方法,其特征在于,所述第一组优化过程包括依次执行的多个第一子优化过程,每个第一子优化过程包括第一卷积处理以及第一非线性映射处理;
其中,所述对多个所述原始图像执行第一组优化过程,得到融合各原始图像的特征信息的第一特征矩阵,包括:
通过第一个第一子优化过程执行各原始图像的第一卷积处理,得到第一卷积特征,以及通过对该第一卷积特征执行第一非线性映射处理,得到针对第一优化特征矩阵;
通过第i个第一子优化过程执行第i‑1个第一子优化过程得到的第一优化特征矩阵的第一卷积处理,并通过对该第一卷积处理得到的第一卷积特征执行第一非线性映射处理,得到针对第i个第一子优化过程的第一优化特征矩阵,以及基于第N个第一子优化过程得到的第一优化特征矩阵确定所述第一特征矩阵,其中i为大于1且小于或者等于N的正整数,N表示第一子优化过程的数量。
5.根据权利要求4所述的方法,其特征在于,在执行每个所述第一子优化过程的第一卷积处理时,每个第一卷积处理所采用的第一卷积核相同,并且至少一个第一子优化过程的第一卷积处理采用的第一卷积核的数量与其他第一子优化过程的第一卷积处理采用的第一卷积核的数量不同。
6.根据权利要求3所述的方法,其特征在于,所述第二组优化过程包括依次执行的多个第二子优化过程,每个第二子优化过程包括第二卷积处理以及第二非线性映射处理;
其中,所述对所述第一特征矩阵执行第二组优化过程,得到第二特征矩阵,包括:通过第一个第二子优化过程执行所述第一特征矩阵的第二卷积处理,得到第二卷积特征,以及通过对该第二卷积特征执行第二非线性映射处理,得到第二优化特征矩阵;
通过第j个第二子优化过程执行第j‑1个第二子优化过程得到的第二优化特征矩阵的第二卷积处理,并通过对该第二卷积处理得到的第二卷积特征执行第二非线性映射处理,得到针对第j个第二子优化过程的第二优化特征矩阵,以及基于第M个第二子优化过程得到的第二优化特征矩阵确定所述第二特征矩阵,其中j为大于1且小于或者等于M的正整数,M表示第二子优化过程的数量。
7.根据权利要求6所述的方法,其特征在于,在执行每个所述第二子优化过程的第二卷积处理时,每个第二卷积处理所采用的第二卷积核相同,并且每个第二卷积处理采用的第二卷积核的数量相同。
8.根据权利要求3所述的方法,其特征在于,所述第三组优化过程包括依次执行的多个第三子优化过程,每个第三子优化过程包括第三卷积处理以及第三非线性映射处理,所述第三子优化过程的数量与所述第一组优化过程包括的第一子优化过程的数量相同;
其中,所述对所述第二特征矩阵执行第三组优化过程,得到与所述优化图像对应的优化特征矩阵并确定所述优化图像,包括:通过第一个第三子优化过程执行所述第二特征矩阵的第三卷积处理,得到第三卷积特征,以及通过对该第三卷积特征执行第三非线性映射处理,得到第三优化特征矩阵;
将第k‑1个第三子优化过程得到的第三优化特征矩阵以及第G‑k+2个第一子优化过程得到的第一优化特征矩阵作为第k个升采样过程的输入信息,并通过第k个第三子优化过程执行该输入信息的第三卷积处理,并通过对该第三卷积处理得到的第三卷积特征执行第三非线性映射处理,得到针对第k个第三子优化过程的第三优化特征矩阵,以及基于第G个第三子优化过程输出的第三优化特征矩阵确定所述优化图像,其中k为大于0且小于或者等于G的正整数,G表示第三子优化过程的数量。
9.根据权利要求8所述的方法,其特征在于,在执行每个所述第三子优化过程的第三卷积处理时,每个第三卷积处理所采用的第三卷积核相同,并且至少一个第三子优化过程的第三卷积处理采用的第三卷积核的数量与其他第三子优化过程的第三卷积处理采用的第三卷积核的数量不同。
10.根据权利要求1或2所述的方法,其特征在于,各所述原始图像为飞行时间相机在一次曝光的情况下得到的多幅图像。
11.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:获取第一训练图像;
利用所述神经网络对所述第一训练图像执行所述优化处理,得到针对所述第一训练图像的优化特征矩阵;
基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异,对所述神经网络的参数进行调整,直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求。
12.根据权利要求11所述的方法,其特征在于,在所述基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异,对所述神经网络的参数进行调整,直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求之后,所述方法还包括:
获取第二训练图像;
利用所述神经网络对所述第二训练图像执行所述优化处理,得到针对所述第二训练图像的优化特征矩阵;
将所述第二训练图像的优化特征矩阵对应的第一优化图像和与该第二训练图像对应的标准图像输入至对抗网络,通过所述对抗网络对该第一优化图像和标准图像进行真假判定;在所述对抗网络生成的判定值为第一判定值时,反馈调节所述神经网络的参数,直至所述对抗网络针对所述第一优化图像与所述标准图像的判定值为第二判定值。
13.一种图像信息的优化装置,其特征在于,包括:获取模块,用于获取多个低信噪比的原始图像,所述原始图像为针对相同对象的图像,每个原始图像包括的特征信息不同;
优化模块,用于通过神经网络对各所述原始图像执行优化处理,得到针对所述多个低信噪比的原始图像的一个优化图像,其中所述优化处理包括至少一次卷积处理以及至少一次非线性函数映射处理,所述优化图像的特征信息比所述原始图像的特征信息多,所述卷积处理用于融合各原始图像的特征信息得到卷积特征,所述非线性函数映射处理用于对所述卷积特征执行非线性映射处理得到优化特征矩阵,所述优化特征矩阵用于确定所述优化图像;
其中,所述原始图像为原始深度图像,所述优化图像为优化深度图像,所述优化处理包括恢复出深度信息。
14.根据权利要求13所述的装置,其特征在于,所述优化模块执行的所述优化处理包括依次执行的多组优化过程,每组优化过程包括至少一次卷积处理和/或至少一次非线性映射处理;并且,
所述优化模块还用于将各所述原始图像作为第一组优化过程的输入信息,通过所述第一组优化过程的处理后得到针对该第一组优化过程的优化特征矩阵;以及将第n组优化过程输出的优化特征矩阵作为第n+1组优化过程的输入信息进行优化处理,或者将第n组优化过程输出的优化特征矩阵,以及前n‑1组优化过程中至少一组优化过程输出的优化特征矩阵,作为第n+1组优化过程的输入信息进行优化处理,基于最后一组优化过程处理后得到的优化特征矩阵确定所述优化图像,其中n为大于1且小于Q的整数,Q为优化过程的组数。
15.根据权利要求13或14所述的装置,其特征在于,所述优化处理包括三组优化过程,所述优化模块包括:
第一优化单元,用于对多个所述原始图像执行第一组优化过程,得到融合各原始图像的特征信息的第一特征矩阵;
第二优化单元,用于对所述第一特征矩阵执行第二组优化过程,得到第二特征矩阵,所述第二特征矩阵的特征信息比所述第一特征矩阵的特征信息多;
第三优化单元,用于对所述第二特征矩阵执行第三组优化过程,得到与所述优化图像对应的优化特征矩阵并确定所述优化图像,所述优化特征矩阵的特征信息比所述第二特征矩阵的特征信息多。
16.根据权利要求15所述的装置,其特征在于,所述第一组优化过程包括多个依次执行的第一子优化过程,每个第一子优化过程包括第一卷积处理以及第一非线性映射处理;
所述第一优化单元还用于通过第一个第一子优化过程执行各原始图像的第一卷积处理,得到第一卷积特征,以及通过对该第一卷积特征执行第一非线性映射处理,得到第一优化特征矩阵;以及
通过第i个第一子优化过程执行第i‑1个第一子优化过程得到的第一优化特征矩阵的第一卷积处理,并通过对该第一卷积处理得到的第一卷积特征执行第一非线性映射处理,得到针对第i个第一子优化过程的第一优化特征矩阵,以及基于第N个第一子优化过程得到的第一优化特征矩阵确定所述第一特征矩阵,其中i为大于1且小于或者等于N的正整数,N表示第一子优化过程的数量。
17.根据权利要求16所述的装置,其特征在于,所述第一优化单元还用于在执行每个所述第一子优化过程的第一卷积处理时,每个第一卷积处理所采用的第一卷积核相同,并且至少一个第一子优化过程的第一卷积处理采用的第一卷积核的数量与其他第一子优化过程的第一卷积处理采用的第一卷积核的数量不同。
18.根据权利要求15所述的装置,其特征在于,所述第二组优化过程包括依次执行的多个第二子优化过程,每个第二子优化过程包括第二卷积处理以及第二非线性映射处理;
所述第二优化单元还用于通过第一个第二子优化过程执行所述第一特征矩阵的第二卷积处理,得到第二卷积特征,以及通过对该第二卷积特征执行第二非线性映射处理,得到第二优化特征矩阵;以及
通过第j个第二子优化过程执行第j‑1个第二子优化过程得到的第二优化特征矩阵的第二卷积处理,并通过对该第二卷积处理得到的第二卷积特征执行第二非线性映射处理,得到针对第j个第二子优化过程的第二优化特征矩阵,以及基于第M个第二子优化过程得到的第二优化特征矩阵确定所述第二特征矩阵,其中j为大于1且小于或者等于M的正整数,M表示第二子优化过程的数量。
19.根据权利要求18所述的装置,其特征在于,所述第二优化单元还用于在执行每个所述第二子优化过程的第二卷积处理时,每个第二卷积处理所采用的第二卷积核相同,并且每个第二卷积处理采用的第二卷积核的数量相同。
20.根据权利要求15所述的装置,其特征在于,所述第三组优化过程包括多个第三子优化过程,每个第三子优化过程包括第三卷积处理以及第三非线性映射处理,所述第三子优化过程的数量与所述第一组优化过程包括的第一子优化过程的数量相同;
所述第三优化单元还用于通过第一个第三子优化过程执行所述第二特征矩阵的第三卷积处理,得到第三卷积特征,以及通过对该第三卷积特征执行第三非线性映射处理,得到第三优化特征矩阵;
将第k‑1个第三子优化过程得到的第三优化特征矩阵以及第G‑k+2个第一子优化过程得到的第一优化特征矩阵作为第k个升采样过程的输入信息,并通过第k个第三子优化过程执行该输入信息的第三卷积处理,并通过对该第三卷积处理得到的第三卷积特征执行第三非线性映射处理,得到针对第k个第三子优化过程的第三优化特征矩阵,以及基于第G个第三子优化过程输出的第三优化特征矩阵确定所述优化图像,其中k为大于0且小于或者等于G的正整数,G表示第三子优化过程的数量。
21.根据权利要求20所述的装置,其特征在于,所述第三优化单元还用于在执行每个所述第三子优化过程的第三卷积处理时,每个第三卷积处理所采用的第三卷积核相同,并且至少一个第三子优化过程的第三卷积处理采用的第三卷积核的数量与其他第三子优化过程的第三卷积处理采用的第三卷积核的数量不同。
22.根据权利要求13或14所述的装置,其特征在于,各所述原始图像为飞行时间相机在一次曝光的情况下得到的多幅图像。
23.根据权利要求13或14所述的装置,其特征在于,所述装置还包括第一训练模块,用于获取第一训练图像,并利用所述神经网络对所述第一训练图像执行所述优化处理,得到针对所述第一训练图像的优化特征矩阵;以及基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异,对所述神经网络的参数进行调整,直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求。
24.根据权利要求23所述的装置,其特征在于,所述装置还包括第二训练模块,用于在所述基于所述第一训练图像对应的优化特征矩阵与标准特征矩阵的差异,对所述神经网络的参数进行调整,直至输出的第一训练图像的优化特征矩阵与所述标准特征矩阵之间的差异满足预设要求之后,还用于获取第二训练图像,利用所述神经网络对所述第二训练图像执行所述优化处理,得到针对所述第二训练图像的优化特征矩阵,以及
将所述第二训练图像的优化特征矩阵对应的第一优化图像和与该第二训练图像对应的标准图像输入至对抗网络,通过所述对抗网络对该第一优化图像和标准图像进行真假判定;在所述对抗网络生成的判定值为第一判定值时,反馈调节所述神经网络的参数,直至所述对抗网络针对所述第一优化图像与所述标准图像的判定值为第二判定值。
25.一种电子设备,其特征在于,包括:处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行权利要求1至12中任意一项所述的方法。
26.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至12中任意一项所述的方法。