利索能及
我要发布
收藏
专利号: 2020106219323
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种获取图像信号处理器的架构的方法,其特征在于,所述方法包括:获取图像信号处理器中的多个处理模块;

根据所述多个处理模块生成所述图像信号处理器的待优化架构;所述待优化架构包括多级节点,所述多级节点中的每级节点包括所述多个处理模块中的每个处理模块;

对所述待优化架构中的每个处理模块进行训练,根据至少一个训练后的所述处理模块确定所述图像信号处理器的优化架构,具体包括:根据第i级节点的各个训练后的所述处理模块,确定所述第i级节点的第一目标处理模块;i为正整数;根据各级节点的第一目标处理模块确定所述图像信号处理器的优化架构。

2.根据权利要求1所述的方法,其特征在于,所述获取图像信号处理器中的多个处理模块,包括:在所述多个处理模块中的第一处理模块不可微分的情况下,获取所述第一处理模块对应的代理网络;和/或在所述多个处理模块中的第二处理模块可微分的情况下,获取所述第二处理模块。

3.根据权利要求1所述的方法,其特征在于,所述每级节点中的至少一个第一级节点还包括一个跳跃连接模块;

所述跳跃连接模块用于在所述待优化架构中跳过与所述跳跃连接模块处于同一级的各个处理模块。

4.根据权利要求1所述的方法,其特征在于,所述对所述待优化架构中的每个处理模块进行训练,包括:对所述待优化架构中的每个处理模块进行第一训练,以调整所述每个处理模块的权重;和/或对所述待优化架构中的每个处理模块进行第二训练,以调整所述每个处理模块的输入参数。

5.根据权利要求4所述的方法,其特征在于,所述对所述待优化架构中的每个处理模块进行第一训练,包括:获取所述待优化架构的第一损失函数,根据所述第一损失函数分别对所述待优化架构中各个处理模块的输入参数进行更新;

获取更新后的待优化架构的第二损失函数;

根据所述第二损失函数,分别对所述待优化架构中的各个处理模块进行第一训练。

6.根据权利要求4所述的方法,其特征在于,所述根据第i级节点的各个训练后的处理模块,确定所述第i级节点的第一目标处理模块,包括:将第i级节点的权重最大的处理模块作为所述第i级节点的第一目标处理模块。

7.根据权利要求4所述的方法,其特征在于,所述方法还包括:在对所述待优化架构中的每个处理模块进行第一训练之后,根据所述第i级节点包括的各个处理模块的权重,从所述第i级节点包括的各个处理模块中删除第二目标处理模块。

8.根据权利要求7所述的方法,其特征在于,所述根据所述第i级节点包括的各个处理模块的权重,从所述第i级节点包括的各个处理模块中删除第二目标处理模块,包括:将所述第i级节点包括的处理模块中优化权重小于所述第i级节点的权重阈值的处理模块作为所述第二目标处理模块删除掉。

9.根据权利要求8所述的方法,其特征在于,所述第i级节点的权重阈值根据以下方式确定:将所述第i级节点包括的处理模块的最大权重与相对阈值的乘积确定为所述第i级节点的权重阈值。

10.根据权利要求4所述的方法,其特征在于,所述对所述待优化架构中的每个处理模块进行第二训练,包括:获取所述待优化架构的第三损失函数;

根据所述第三损失函数,对所述待优化架构中的每个处理模块进行第二训练。

11.根据权利要求1至10任意一项所述的方法,其特征在于,所述多个处理模块中包括不可微分的至少一个第一处理模块对应的代理网络;

所述对所述待优化架构中的每个处理模块进行训练,包括:在所述图像信号处理器执行特定任务的情况下,对各个处理模块在训练过程中得到的最新输出数据进行存储;

根据存储的最新输出数据,对所述至少一个第一处理模块中每个第一处理模块的代理网络的网络参数进行调整。

12.根据权利要求11所述的方法,其特征在于,所述根据存储的最新输出数据,对所述至少一个第一处理模块中每个第一处理模块的代理网络的网络参数进行调整,包括:对存储的最新输出数据进行采样,得到采样数据;

将所述采样数据分别输入各个第一处理模块,获取各个第一处理模块的第一输出结果;

将所述采样数据分别输入各个第一模块对应的代理网络,获取各个第一模块对应的代理网络的第二输出结果;

根据所述第一处理模块的第一输出结果与所述第一处理模块对应的代理网络的第二输出结果,对所述第一处理模块对应的代理网络进行训练。

13.根据权利要求12所述的方法,其特征在于,所述根据所述第一处理模块的第一输出结果与所述第一处理模块对应的代理网络的第二输出结果,对所述第一处理模块对应的代理网络进行训练,包括:根据所述第一处理模块的第一输出结果与所述第一处理模块对应的代理网络的第二输出结果,获取第四损失函数;

根据所述第四损失函数,对所述第一处理模块对应的代理网络进行训练。

14.根据权利要求1至10任意一项所述的方法,其特征在于,所述方法还包括:在根据至少一个训练后的代理网络确定所述图像信号处理器的优化架构之后,对所述优化架构中包括的每个处理模块的输入参数进行调整。

15.一种获取图像信号处理器的架构的装置,其特征在于,所述装置包括:获取模块,用于获取图像信号处理器中的多个处理模块;

生成模块,用于根据所述多个处理模块生成所述图像信号处理器的待优化架构;所述待优化架构包括多级节点,所述多级节点中的每级节点包括所述多个处理模块中的每个处理模块;

确定模块,用于对所述待优化架构中的每个处理模块进行训练,根据至少一个训练后的所述处理模块确定所述图像信号处理器的优化架构,具体包括:根据第i级节点的各个训练后的所述处理模块,确定所述第i级节点的第一目标处理模块;i为正整数;根据各级节点的第一目标处理模块确定所述图像信号处理器的优化架构。

16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至14任意一项所述的方法。

17.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至14任意一项所述的方法。