利索能及
我要发布
收藏
专利号: 2025102614307
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-08-12
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种轻量化的深度估计方法,其特征在于,包括:获取深度估计模型,将双目深度图像输入所述深度估计模型,获取深度估计结果,其中,所述获取深度估计模型的步骤包括:确定输入参量,所述输入参量包括双目深度图像;

基于二维深度可分离卷积对所述输入参量进行特征提取,获取特征参量;

通过所述特征参量获取代价体;

基于三维逐点卷积对所述代价体进行堆叠沙漏处理,获取多深度特征信息;

确定输出参量,所述输出参量包括多深度特征信息,所述多深度特征信息用于表征深度估计结果;

基于所述深度估计结果对所述深度估计模型进行模型训练,所述模型训练包括分类任务和回归任务;

获取深度图标签,并基于所述深度图标签获取分类标签和回归标签:对所述深度图标签进行聚类处理,获取聚类中心;

基于所述聚类中心和视差分类,获取类别映射;

基于所述类别映射获取所述分类标签;

基于所述分类标签和所述分类任务,获取分类损失;

基于所述回归标签和所述回归任务,获取回归损失;

基于所述分类损失和所述回归损失确定总损失函数:通过多层串联堆叠的沙漏网络进行所述堆叠沙漏处理,在多层所述沙漏网络中,对各所述沙漏网络的输出均使用平滑绝对误差损失函数确定回归损失,并分配权重系数;其中,深度越大的所述沙漏网络的输出分配的权重系数越大;

对各所述沙漏网络的输出均使用交叉熵损失函数确定分类损失,并分配权重系数;其中,深度越大的所述沙漏网络的输出分配的权重系数越大;

对于分类损失和回归损失之间的权重系数分配,使用动态系数分配,在优化迭代次数小于迭代阈值时,仅使用分类损失作为总损失函数;在迭代次数大于或等于迭代阈值时,则基于分类损失和回归损失分配权重系数后的函数确定总损失函数;

基于所述总损失函数优化所述深度估计模型。

2.根据权利要求1所述的轻量化的深度估计方法,其特征在于,所述基于二维深度可分离卷积对所述输入参量进行特征提取,获取特征参量的步骤包括:对所述双目深度图像进行多层二维深度可分离卷积操作,并在每层二维深度可分离卷积操作之后使用修正线性单元激活函数进行非线性处理,获取第一特征图;

通过多层残差网络处理所述第一特征图,获取第二特征图;

通过快速空间金字塔池化层处理所述第二特征图,获取融合多个尺度特征的多通道特征图,为第三特征图;

通过逐像素卷积层融合所述第三特征图的信息,获取特征参量。

3.根据权利要求1所述的轻量化的深度估计方法,其特征在于,所述双目深度图像包括左视图和右视图,所述通过所述特征参量获取代价体的步骤包括:获取各个像素对应的所述左视图和所述右视图的特征参量的差异数据,并通过移动窗口的方式进行匹配,对所述左视图和所述右视图分别进行裁剪匹配另一视图,获取所述代价体。

4.根据权利要求1所述的轻量化的深度估计方法,其特征在于,所述基于三维逐点卷积对所述代价体进行堆叠沙漏处理,获取多深度特征信息的步骤包括:堆叠多个沙漏网络,在所述沙漏网络中:

对所述代价体进行轻量化的三维逐点卷积操作,降低所述代价体的分辨率,获取初步预测结果;

对所述初步预测结果进行三维反卷积操作,进行上采样,获取所述深度特征信息。

5.根据权利要求1所述的轻量化的深度估计方法,其特征在于,所述分类任务的步骤包括:通过多层金字塔三维轻量化卷积和多层二维卷积处理所述深度估计结果,获取视差估计图;所述回归任务的步骤包括:通过多层金字塔三维轻量化卷积和多层二维卷积对所述视差估计图进行通道拟合,并基于视差回归获取连续视差图。

6.根据权利要求1所述的轻量化的深度估计方法,其特征在于,所述轻量化的深度估计方法还包括:对所述深度估计模型进行线性量化、权重裁剪优化和/或激活裁剪优化,所述线性量化的步骤包括:将单精度浮点数据线性映射到指定比特的数据上,其表征公式包括:其中,x为需要量化的浮点数据;s为量化标度;z为量化零;n为指定比特的数据的位宽;

round为舍入操作;clip为截断运算;xmax为最大裁剪阈值;xmin为最小裁剪阈值;q为量化初始目标参数后的整数;

所述权重裁剪优化的步骤包括:

在所述深度估计模型中确定目标卷积核;

基于粒子群算法,在所述深度估计模型中初始化粒子,并确定所述粒子的位置范围参数;

基于所述目标卷积核和所述位置范围参数确定所述粒子的位置和速度;

确定所述位置的量化偏差,并确定最小的所述量化偏差对应的所述位置为最优位置;

响应于所述量化偏差位于偏差阈值以内,判定所述量化偏差对应的最优位置为最优权值裁剪阈值;

响应于所述量化偏差位于偏差阈值以外,基于所述最优位置更新所述速度;

所述激活裁剪优化的步骤包括:

获取相同区间中每个通道的激活分布直方图,为通道注意力;

基于主成分分析对原特征图矩阵进行压缩,获取单层空间注意力;

对所述单层空间注意力进行求和并归一化,获取全局空间注意力;

基于所述单层空间注意力、所述全局空间注意力和所述通道注意力,获取激活裁剪的注意力;基于主成分分析对原始激活进行压缩,获取单层空间注意力的步骤包括:获取原特征图矩阵的去中心化矩阵;

对所述去中心化矩阵进行奇异分解,并对分解后的数据进行列向量压缩,获取原特征图矩阵在速度特征的第一列向量上的投影;

将线性修正单元和归一化操作作用在投影上,获取活化的空间注意力,为所述单层空间注意力。

7.一种轻量化的深度估计系统,其特征在于,包括:模型构建模块(10),所述模型构建模块(10)用于获取深度估计模型,将双目深度图像输入所述深度估计模型,获取深度估计结果,其中,所述模型构建模块(10)包括:输入子模块(11),所述输入子模块(11)用于确定输入参量,所述输入参量包括双目深度图像;特征提取子模块(12),所述特征提取子模块(12)用于基于二维深度可分离卷积对所述输入参量进行特征提取,获取特征参量;

代价体获取子模块(13),所述代价体获取子模块(13)用于通过所述特征参量获取代价体;

深度特征获取模块(14),所述深度特征获取模块(14)用于基于三维逐点卷积对所述代价体进行堆叠沙漏处理,获取多深度特征信息;

输出子模块(15),所述输出子模块(15)用于确定输出参量,所述输出参量包括多深度特征信息,所述多深度特征信息用于表征深度估计结果;基于所述深度估计结果对所述深度估计模型进行模型训练,所述模型训练包括分类任务和回归任务;获取深度图标签,并基于所述深度图标签获取分类标签和回归标签:对所述深度图标签进行聚类处理,获取聚类中心;

基于所述聚类中心和视差分类,获取类别映射;

基于所述类别映射获取所述分类标签;

基于所述分类标签和所述分类任务,获取分类损失;

基于所述回归标签和所述回归任务,获取回归损失;

基于所述分类损失和所述回归损失确定总损失函数:通过多层串联堆叠的沙漏网络进行所述堆叠沙漏处理,在多层所述沙漏网络中,对各所述沙漏网络的输出均使用平滑绝对误差损失函数确定回归损失,并分配权重系数;其中,深度越大的所述沙漏网络的输出分配的权重系数越大;

对各所述沙漏网络的输出均使用交叉熵损失函数确定分类损失,并分配权重系数;其中,深度越大的所述沙漏网络的输出分配的权重系数越大;

对于分类损失和回归损失之间的权重系数分配,使用动态系数分配,在优化迭代次数小、于迭代阈值时,仅使用分类损失作为总损失函数;在迭代次数大于或等于迭代阈值时,则基于分类损失和回归损失分配权重系数后的函数确定总损失函数;

基于所述总损失函数优化所述深度估计模型。