利索能及
我要发布
收藏
专利号: 2025113434168
申请人: 安庆师范大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-21
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种联合视差感知与胶囊网络的光场图像质量评价方法,其特征在于,包括:获取目标光场图像并选取水平行和垂直列,构建子视角序列;

将所述子视角序列输入预训练的质量评价模型中,获取所述目标光场图像的质量评价结果,其中,所述质量评价模型用于基于细粒度通道注意力机制和Swin Transformer编码器对所述子视角序列进行特征提取,并通过基于胶囊网络的动态路由对特征进行跨视角联合建模与聚合,输出质量预测分数;

所述质量评价模型包括:

权重分配模块,用于基于细粒度通道注意力机制分别对水平行、垂直列的失真集合和参考集合中各张量动态分配权重;

特征提取模块,用于通过Swin Transformer编码器对加权后的失真集合和参考集合进行层级化特征提取,并进行特征融合;

特征聚合模块,用于采用基于胶囊网络的动态路由对融合后的特征进行跨视角联合建模与聚合;

质量预测模块,用于基于回归网络对高级胶囊聚合特征进行降维和映射,输出预测的质量分数;

所述权重分配模块基于细粒度通道注意力机制分别对所述水平行、垂直列的失真集合和参考集合中各张量动态分配权重包括:分别对所述水平行、垂直列的失真集合和参考集合中各张量执行通道注意力操作,通过全局平均池化提取通道统计特征,再利用一维卷积捕获通道间依赖关系,最终通过Sigmoid激活函数生成相应的通道权重系数;

将通道权重系数与原始输入特征逐通道相乘,获取动态强化后的视角通道;

所述特征提取模块通过Swin Transformer编码器对加权后的失真集合和参考集合进行层级化特征提取,并进行特征融合包括:将加权后的失真集合和参考集合分别输入多尺度Swin Transformer编码器,所述多尺度Swin Transformer编码器通过滑动窗口自注意力机制和多层次Transformer块,逐步提取方向感知的深层特征;

将对应方向的失真图像特征和参考图像特征分别在通道维度进行拼接,并进行降维处理,生成融合特征;

所述特征聚合模块采用基于胶囊网络的动态路由对融合后的特征进行跨视角联合建模与聚合包括:通过1×1卷积对融合特征进行通道降维后,经过3×3卷积提取空间特征;

基于空间特征生成初级胶囊,经过squash激活函数规范化后进行动态路由;

动态路由完成后,将输出胶囊重排,并对空间维度进行全局平均池化,获取特征向量作为跨视角融合特征。

2.根据权利要求1所述的联合视差感知与胶囊网络的光场图像质量评价方法,其特征在于,构建所述子视角序列包括:从所述目标光场图像的子孔径图像阵列中选取水平行、垂直列;

对所述水平行、垂直列的失真光场和参考光场,分别选取若干列子孔径图像,并在通道维度上将同列的子孔径图像进行顺序堆叠,获取若干单列张量,构建所述水平行、垂直列的失真集合和参考集合。

3.根据权利要求1所述的联合视差感知与胶囊网络的光场图像质量评价方法,其特征在于,所述质量预测模块基于回归网络对高级胶囊聚合特征进行降维和映射,输出预测的质量分数包括:所述高级胶囊聚合特征多层全连接层构成的回归网络,结合激活函数与Dropout机制进行降维和映射,分别获取所述水平行、垂直列的主观质量预测分数,再进行算术平均后输出最终的目标光场图像综合质量分数。