1.一种多模态融合的手部图像增强方法,其特征在于,包括以下步骤:
步骤S1、构建参数化三维手部模型的可微分物理仿真模块与二维图像处理模块之间的双向梯度通道;在双向梯度通道内执行多次迭代优化,获得优化后的二维手部区域分割掩码和三维手部模型姿态参数;
步骤S2、采样获得迭代过程中的中间分割掩码序列及其对应的三维手部模型的中间姿态参数序列,基于中间分割掩码序列和中间姿态参数序列生成一个定长的区域演化特征向量;
步骤S3、从优化后的二维手部区域分割掩码中提取静态形态特征向量;从优化后的三维手部模型姿态参数中提取结构特征向量,将静态形态特征向量、结构特征向量、区域演化特征向量进行自适应加权融合,生成多维区域形态控制向量;其中,生成多维区域形态控制向量采用两阶段门控融合机制,具体为:第一阶段:以静态形态特征向量和区域演化特征向量为输入,输出取值范围为[0,1]的融合权重 ,并融合为中间特征向量,计算公式为:;
其中, 表示中间特征向量, 表示静态形态特征向量, 表示区域演化特征向量,为静态形态特征向量与区域演化特征向量的融合权重;
第二阶段:以中间特征向量和结构特征向量为输入,输出取值范围为[0,1]的融合权重β,并融合为优化后的多维区域形态控制向量,计算公式为:;
其中, 表示最终融合得到的多维区域形态控制向量, 表示结构特征向量, 为中间特征向量与结构特征向量的融合权重;
步骤S4、将步骤S3获得的多维区域形态控制向量转化为图像增强控制指令,自适应地选择并组合图像处理算子,应用所述图像处理算子对原始图像中的手部区域进行像素级处理,输出增强后的手部区域图像。
2.根据权利要求1所述多模态融合的手部图像增强方法,其特征在于,在迭代优化前还包括对三维手部模型姿态参数进行初始化,具体为:先对输入图像进行初始图像分割与区域状态分析,获得初始分割掩码及初始区域形态分布参数,所述参数至少包括区域的面积参数、紧密度参数、纵横比参数、质心位置参数和主轴方向参数;再基于初始区域形态分布参数,结合预设的区域形态—姿态映射关系,初始化三维手部模型姿态参数。
3.根据权利要求1或2所述多模态融合的手部图像增强方法,其特征在于,步骤S1中每次迭代优化过程包括:基于上一次更新后的三维手部模型姿态参数,通过可微分渲染生成二维投影掩码,利用最小化联合损失函数更新分割网络参数、区域分析网络参数及三维手部模型姿态参数。
4.根据权利要求3所述多模态融合的手部图像增强方法,其特征在于,所述步骤S1中的双向梯度通道包括:第一前向通道,用于将所述二维图像处理模块输出的分割掩码和区域形态分布参数,映射为可微分物理仿真模块的输入约束;
第二反向通道,用于将可微分物理仿真模块的三维手部模型状态,通过可微渲染转换为图像域监督信号,以计算损失并反向传播至所述二维图像处理模块。
5.根据权利要求3所述多模态融合的手部图像增强方法,其特征在于,所述联合损失函数L由分割损失项 、几何对齐损失项 和关节角度限位损失项 加权求和构成:
;
其中, 、 、 为加权系数,取值为正实数; 为像素真实掩码值集合; 为二维图像处理模块输出的手部区域预测掩码的像素值集合; 为参数化三维手部模型经可微分渲染生成的二维投影掩码的像素值集合;为手部所有关节的当前角度状态;
几何对齐损失项表示为:
;
其中, 表示预测掩码在第i个像素位置的值,i为像素的索引, 表示投影掩码在第i个像素位置的值, 为预设的正数,求和符号 表示对掩码中所有像素的对应值进行累加计算;
关节角度限位损失项表示为:
;
其中, 为手部关节的总数, 为第 个关节的当前角度值,从1到 遍历所有关节, 为第 个关节预设的最大允许角度绝对值, 表示第 个关节角度的绝对值。
6.根据权利要求1所述多模态融合的手部图像增强方法,其特征在于,步骤S2中生成一个定长的区域演化特征向量的过程如下:步骤S21、对中间分割掩码序列中的每个分割掩码,计算其形状特征描述向量,该向量至少包括掩码的面积、紧致度以及Hu矩不变特征;
步骤S22、建立中间姿态参数序列中每个迭代步的姿态参数向量与中间分割掩码序列中一个分割掩码之间的对应关系;对每个迭代步,将其姿态参数向量与其对应的形状特征描述向量进行拼接,形成该迭代步的联合特征向量;
步骤S23、将按迭代顺序排列的联合特征向量序列,输入一个双向长短期记忆网络进行处理;
步骤S24、将双向长短期记忆网络最后一个时间步的前向隐藏状态与后向隐藏状态进行拼接,拼接结果即为定长的区域演化特征向量。
7.根据权利要求1所述多模态融合的手部图像增强方法,其特征在于,步骤S4中基于所述多维区域形态控制向量,通过预定义的参数‑指令映射规则,生成对应的图像增强控制指令。
8.根据权利要求7所述多模态融合的手部图像增强方法,其特征在于,所述图像处理算子至少包括去噪滤波器、锐化核、以及局部对比度增强函数;预设第一阈值用于评估运动模糊程度,第二阈值用于评估轮廓清晰度,所述组合图像处理算子的顺序与并行关系为:当运动模糊程度高于第一阈值时,采用先去噪后增强的顺序;当轮廓清晰度低于第二阈值时,采用增强与锐化并行的处理流程;若同时满足上述两个条件,则先将锐化与局部对比度增强进行并行融合处理,再对该并行融合处理后的结果执行去噪处理。
9.一种多模态融合的手部图像增强系统,其特征在于,该系统执行上述权利要求1‑8任一所述方法,具体包括:手部图像多模态质量分析器,用于执行步骤S1‑S3所述方法,生成多维区域形态控制向量;
参数指令转换器,用于接收一多维区域形态控制向量,通过预定义的参数‑指令映射规则,将所述向量转换为图像增强控制指令集;所述控制指令集用于指定图像处理算子的选择、参数配置及执行逻辑;
自适应处理引擎,与所述参数指令转换器连接,用于接收图像增强控制指令集,根据指令集从预存的算子库中选择并实例化对应的图像处理算子,并按照所述执行逻辑将多个算子组合成处理链;所述算子库至少包括去噪滤波器、锐化核以及局部对比度增强函数;
像素处理单元,与所述自适应处理引擎连接,用于加载处理链,对输入的原始手部区域图像执行像素级处理,并输出增强后的手部区域图像。