利索能及
我要发布
收藏
专利号: 2024115708806
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-06-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种面向边缘部署的光流模型轻量化剪裁方法,其特征在于,包括以下步骤:

(1)获取数据集Flying Chairs作为训练集和验证集并进行预处理;预处理具体如下:

将数据集Flying Chairs裁剪为统一大小;

(2)将预处理后的数据集输入到全局匹配光流神经网络即GMFlow神经网络中进行训练;GMFlow神经网络包括特征提取模块、特征增强模块、特征匹配模块和流传播模块;其中,特征提取模块具体如下:GMFlow神经网络的输入为两张相同尺寸的视频前后,在特征提取阶段,网络首先使用权重共享的卷积神经网络对两张图片进行特征提取;卷积神经网络由多个残差块组成,每个残差块又由卷积层,激活函数层和归一化层组成,神经网络在完成对输入图片特征提取的同时完成下采样,然后将特征图传输给特征增强模块;特征增强模块为Transformer模块用于进行特征之间相似关系的建立,Transformer模块中将自注意力机制和交叉注意力机制进行堆叠来获取对图片之间特征相互关系;特征匹配模块具体如下:完成对特征的增强后,通过一个用于全局特征匹配的相关层将两个特征图逐像素地进行相似度计算,生成相关矩阵来比较特征相似性;流传播模块具体如下:使用softmax层确定像素之间的对应关系,从而获得光流估计的结果;通过特征的相似性将匹配的光流估计结果传播到不匹配的像素上;

(3)对GMFlow神经网络进行裁剪即轻量化处理;具体如下:由于在特征提取阶段,GMFlow中在网络第一层使用大小为7 * 7的卷积核进行特征提取,残差块中的卷积核则使用3 * 3的卷积核进行多层特征提取;同时在残差块中,GMFlow以卷积层,激活层和归一化层为主,通过对削减Swin Transformer模块变体的数量进行神经网络的剪枝;对特征增强中的Transformer模块进行神经网络的剪枝即Transformer模块变体数量为2层或者去除Transformer模块中的前馈神经网络;

(4)获取测试集数据MPI Sintel Dataset,对步骤(3)得到的结果进行测试,选择最优方案;具体如下:将以GMFlow_without_ffn作为部署模型,将轻量化网络转换为ONNX中间模型,使用ONNX框架提供的两个工具ONNX Simplifier和Optimizer对ONNX模型进行优化;检查模型是否符合ONNX规范;将ONNX模型转换为NCNN框架支持的模型,得到NCNN框架下的.para和.bin文件,根据边缘设备的不同,开发不同的应用程序即可完成光流估计网络的落地使用。

2.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被加载至处理器时实现根据权利要求1所述的一种面向边缘部署的光流模型轻量化剪裁方法。

3.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现根据权利要求1所述的一种面向边缘部署的光流模型轻量化剪裁方法。