利索能及
我要发布
收藏
专利号: 2023105270576
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像块的正交位置编码表示方法,其特征在于,包括以下步骤:S1将待渲染的目标超分辨率图像切割成多个超分辨率图像块;

S2确定所述超分辨率图像块在相对坐标域中所对应的连续二元函数以及正交位置编码;

所述正交位置编码为:首先利用傅里叶基分别对所述超分辨率图像块横向和纵向维度的坐标信息进行位置编码,之后将各个维度的位置编码一一相乘,从而得到一个综合的位置编码向量;

将所述待渲染的目标超分辨率图像进行等距横向和纵向切割为 低分辨率输入图像的尺寸部分,且所述待渲染的目标超分辨率图像对应的尺寸表示为 ,则得到 个尺寸的图像区域小块,每一个这样的图像区域小块为超分辨率图像块;

所述相对坐标域定义为:

若所述低分辨率输入图像的尺寸为 ,则将2D域划分为 个网格,称该2D域为绝对坐标域;每个网格都对应一个低分辨率图像像素,也对应了一个目标超分辨率图像的图像块,所述图像块的尺寸为 ,即 超分辨率尺度,进一步将一个新的2D域划分为 个网格,称作相对坐标域;

所述二元函数f为图像块所对应的连续二元函数,其定义域为[‑1,1],该二元函数属于内积空间M,令x,y为根据图像块每个像素中心点映射在2D域内的坐标,从而f(x,y)为一个标量,代表了图像块上某一个像素点的取值;

所述2D域矩阵 的每个元素 都看作是一个二元函数,满足如下关系:;

其中, 构成了连续图像空间的一组正交基,而根据正交位置编码的上述定义,其包含了这组正交基;因此,一张连续图像块表示为一组基本平面波的线性组合,正交位置编码不包含复指数项。

2.根据权利要求1所述的方法,其特征在于,所述正交位置编码表示方法为:对于RGB图像的每个通道,将超分辨率图像块表示为I,将这个图像块在相对坐标域中的以x,y为中心点坐标的像素值记为 ,被看作为由二元函数f进行采样的结果,而f表示为一组正交基与投影的线性组合:;

其中, 表示展开2D域矩阵到1D域,Z为数学运算时泛指的隐编码,其是一组正交基的投影, 表示某一坐标的位置编码,n表示位置编码的最大频率,P为正交位置编码OPE。

3.一种基于权利要求1或2所述的正交位置编码的上采样模块实现方法,其特征在于,所述上采样模块的实现方法,包括:S1低分辨率输入图像经过编码器得到尺寸为 的特征图,所述低分辨率输入图像尺寸为 ,且所述特征图的长宽与输入图像保持一致,图像通道数变为,其中,n为整数,为预先选择的位置编码最大频率;

S2所述特征图的每个像素按照通道维度进行提取,得到形状为 的一维隐编码,其用于表示目标超分辨率图像相对应的图像块;

所述目标超分辨率图像为RGB图像,对应的图像块由三个通道组成,每一个通道实际上各自被隐编码的三分之一所表示,即形状为 的部分,在后续计算中,形状为的正交位置编码P与形状为 的隐编码进行线性组合,以表示目标图像块的一个像素某一个RGB通道的像素值;

S3由于RGB图像包括三个通道,则将相同的正交位置编码复制3次,分别与对应形状为隐编码进行特征图渲染或图像块聚合后即可得到超分辨率图像某一个像素三个RGB通道的像素值;

S4重复步骤S2 S3,直至计算完所有的目标分辨率像素值,之后将所有的像素值重排列~到 的矩形即可得到目标超分辨率图像。

4.根据权利要求3所述的基于正交位置编码的上采样模块实现方法,其特征在于,所述步骤S2具体包括:S21为了渲染尺寸为 的超分辨率图像,将2D域划分为 个网格区域,因此,每个目标像素均可分配得绝对中心点坐标 ;

S22相同的2D域根据所述特征图的尺寸划分为 个网格区域,每个特征图的Z均可分配得一个绝对中心点坐标 ,这样,对于每一个目标像素,均可以根据中心点坐标计算得到与之最短距离的一个Z,记为隐编码 ,并且得到该目标像素与隐编码的相对坐标 ,之后该相对坐标使用正交位置编码后,与 线性组合即可得到该坐标下的某一个RGB通道的目标像素值,表示为:;

其中, ,渲染函数 代表将相对坐标执行正交位置编码

后进行线性组合。

5.根据权利要求3所述的方法,其特征在于,所述步骤S2具体采用图像块聚合计算目标像素值,所述图像块聚合表示为:;

对于每一个中心点 ,寻找最近的四个相邻隐编码,即 ;分别对应着四个中心点坐标 ,之后计算 与四个隐编码的相

对坐标并得到四个待定像素值,之后这四个待定像素值重叠的部分进行插值,得到某一个RGB通道的目标像素值;

其中, 代表当前的隐编码与中心点所围成矩形区域的面积,分母的S代表所有 的和,四个 分别表示为 ,为了区分就用了下标t, ,对应的分别是 这四个隐编码在2D阈内的坐标各自与该目标像素值的绝对中心点坐标所围成的矩形区域面积,也即以这两个坐标为对角线的矩形面积。

6.根据权利要求5所述的方法,其特征在于,在计算 与最近的隐编码的相对坐标时,取值范围在2D域内,而计算其余三个隐编码的相对坐标时则会超出2D域,因此,计算相对坐标时,得到对应所述相对坐标后继续将该相对坐标除以2,保证相对坐标在2D域内,从整体的角度来看,目标超分辨率图像的图像块彼此之间产生了重叠,从而使得目标超分 辨率 图 像 不 会 因 为图 像块 产 生 不 连 续 的 效 果 ,即 表 示 为 :。

7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1‑6任一项所述的方法。

8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现上述权利要求1‑6任一项所述的方法。