利索能及
我要发布
收藏
专利号: 2021112756151
申请人: 北京市商汤科技开发有限公司
专利类型:发明专利
专利状态:授权未缴费
更新日期:2025-10-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种图像分类方法,其特征在于,包括:基于待处理的目标图像,确定所述目标图像对应的第一数量的初始图像块以及每个初始图像块对应的图像块特征;

针对每个所述初始图像块,基于所述初始图像块的图像块特征,确定所述初始图像块对应的重要度信息;

基于每个所述初始图像块对应的重要度信息,对所述第一数量的初始图像块分别对应的图像块特征进行聚合,得到第二数量的目标图像块以及每个目标图像块对应的图像块特征;所述第二数量小于所述第一数量;

基于每个所述目标图像块对应的图像块特征,确定所述目标图像的图像分类结果。

2.根据权利要求1所述的方法,其特征在于,所述针对每个所述初始图像块,基于所述初始图像块的图像块特征,确定所述初始图像块对应的重要度信息,包括:针对每个所述初始图像块,对所述初始图像块对应的图像块特征进行编码处理,得到所述初始图像块对应的编码特征;

基于每个所述初始图像块对应的编码特征,确定所述初始图像块对应的重要度信息。

3.根据权利要求2所述的方法,其特征在于,所述基于每个所述初始图像块对应的编码特征,确定所述初始图像块的重要度信息,包括:对所述每个初始图像块对应的编码特征进行归一化处理,得到归一化处理后的编码特征;

对所述归一化处理后的编码特征进行全连接映射处理,得到第一中间特征;其中,所述第一中间特征对应的特征维度小于所述编码特征对应的特征维度;

基于每个所述初始图像块对应的第一中间特征,确定每个所述初始图像块对应的重要度信息。

4.根据权利要求3所述的方法,其特征在于,所述对所述每个初始图像块对应的编码特征进行归一化处理,得到归一化处理后的编码特征,包括:基于每个所述初始图像块对应的编码特征,确定每个所述初始图像块对应的归一化权重;

基于每个所述初始图像块对应的归一化权重,对所述每个初始图像块对应的编码特征进行归一化处理,得到归一化处理后的编码特征。

5.根据权利要求3或4所述的方法,其特征在于,所述对所述归一化处理后的编码特征进行全连接映射处理,得到第一中间特征,包括:基于所述归一化处理后的编码特征,确定所述归一化处理后的编码特征对应的维度压缩权重;

按照所述维度压缩权重,对所述归一化处理后的编码特征进行全连接映射处理,得到所述第一中间特征。

6.根据权利要求3至5任一项所述的方法,其特征在于,所述基于每个所述初始图像块对应的第一中间特征,确定每个所述初始图像块对应的重要度信息,包括:对每个所述第一中间特征进行非线性变换,并对非线性变换后的所述第一中间特征进行全连接映射处理,得到每个所述第一中间特征对应的第二中间特征;

基于每个所述第二中间特征,确定每个所述初始图像块对应的重要度信息。

7.根据权利要求1至6任一项所述的方法,其特征在于,所述基于每个所述初始图像块对应的重要度信息,对所述第一数量的初始图像块分别对应的图像块特征进行聚合,得到第二数量的目标图像块以及每个目标图像块对应的图像块特征,包括:基于每个所述初始图像块对应的重要度信息,确定所述重要度信息对应的第一特征矩阵,所述第一特征矩阵对应的矩阵维度为N×M,N为所述第一数量,M为所述第二数量;

对所述第一特征矩阵执行矩阵维度转换操作,得到矩阵维度为M×N的第二特征矩阵;

基于所述第二特征矩阵和所述初始图像块的图像块特征对应的图像块矩阵,对所述第一数量的初始图像块分别对应的图像块特征进行聚合,得到所述第二数量的目标图像块以及每个目标图像块对应的图像块特征。

8.根据权利要求1至7任一项所述的方法,其特征在于,所述基于每个所述目标图像块对应的图像块特征,确定所述目标图像的图像分类结果,包括:将所述目标图像块作为新的初始图像块,将新的初始图像块的数量作为新的第一数量,并返回所述针对每个所述初始图像块,基于所述初始图像块的图像块特征,确定所述初始图像块对应的重要度信息步骤,直到返回次数达到预设值的情况下,基于最后确定的各个目标图像块对应的图像块特征,确定所述目标图像对应的概率分类信息;

基于所述概率分类信息,确定所述目标图像的图像分类结果。

9.根据权利要求8所述的方法,其特征在于,基于所述待处理的目标图像,确定所述目标图像的图像分类结果的步骤为预先训练好的剪枝神经网络执行的;

所述方法还包括:

获取样本图像;

将所述样本图像输入至待训练的剪枝神经网络,利用所述待训练的剪枝神经网络对所述样本图像进行处理,确定每个数据处理区块输出的第一预测图像特征,以及确定所述样本图像对应的第一预测分类信息;所述数据处理区块用于基于样本图像对应的初始预测图像块的图像块特征,确定所述初始预测图像块的重要度信息,以及,基于每个所述初始预测图像块对应的重要度信息,对第三数量的初始预测图像块分别对应的图像块特征进行聚合,得到第四数量的目标预测图像块以及每个目标预测图像块对应的第一预测图像特征;

将所述样本图像输入至预先训练好的教师神经网络,并利用所述教师神经网络对所述样本图像进行处理,确定所述教师神经网络中的每个数据处理区块输出的第二预测图像特征,以及确定所述样本图像对应的第二预测分类信息;所述教师神经网络中的数据处理区块包括目标编码模块;

基于所述第一预测图像特征、所述第二预测图像特征、所述第一预测分类信息和所述第二预测分类信息,确定所述待训练的剪枝神经网络的预测损失,并利用所述预测损失对所述待训练的剪枝神经网络进行迭代训练,直至满足预设训练截止条件,得到训练好的剪枝神经网络。

10.根据权利要求9所述的方法,其特征在于,所述基于所述第一预测图像特征、所述第二预测图像特征、所述第一预测分类信息和所述第二预测分类信息,确定所述待训练的剪枝神经网络的预测损失,包括:

针对所述待训练的剪枝神经网络中的每个所述数据处理区块,基于所述数据处理区块对应的第一预测图像特征和第二预测图像特征,确定所述数据处理区块对应的第一损失;

基于所述第一预测分类信息和所述第二预测分类信息,确定所述待训练的剪枝神经网络的第二损失;

基于每个所述数据处理区块对应的第一损失和所述第二损失,确定所述预测损失。

11.根据权利要求10所述的方法,其特征在于,所述基于所述数据处理区块对应的第一预测图像特征和第二预测图像特征,确定所述数据处理区块对应的第一损失,包括:基于各个第一预测图像特征,确定第三数量的还原预测图像特征;所述第三数量为所述样本图像对应的初始预测图像块的数量;

基于所述第三数量的还原预测图像特征和所述第二预测图像特征,确定所述数据处理区块对应的第一损失。

12.根据权利要求11所述的方法,其特征在于,所述基于各个第一预测图像特征,确定第三数量的还原预测图像特征,包括:对所述第一预测图像特征对应的第二特征矩阵进行归一化处理,得到归一化处理后的第一预测编码特征,并对所述第一预测编码特征对应的特征矩阵执行矩阵维度转换操作,得到转换后的第三特征矩阵;

对所述转换后的第三特征矩阵进行全连接映射处理,得到第二预测编码特征,并对所述第二预测编码特征进行非线性变换,得到第三预测编码特征;

对所述第三预测编码特征对应的特征矩阵进行全连接映射处理,以及对全连接映射处理后的特征矩阵执行矩阵维度转换操作,得到第四特征矩阵,并基于所述第四特征矩阵,确定所述第三数量的还原预测图像特征,其中,所述第四特征矩阵对应的矩阵维度中的特征数量为所述第三数量,所述第四特征矩阵对应的矩阵维度中的特征维度为:初始预测图像块的图像块特征对应的特征维度的数值。

13.根据权利要求12所述的方法,其特征在于,所述基于所述第四特征矩阵,确定所述第三数量的还原预测图像特征,包括:对所述第四特征矩阵进行归一化处理,并对归一化处理后的所述第四特征矩阵进行多次全连接映射,得到第五特征矩阵;

基于所述第五特征矩阵和所述第四特征矩阵,确定所述第三数量的还原预测图像特征。

14.根据权利要求11至13任一项所述的方法,其特征在于,所述基于所述第三数量的还原预测图像特征和所述第二预测图像特征,确定所述数据处理区块对应的第一损失,包括:基于所述第三数量的还原预测图像特征和所述第二预测图像特征,确定第一子损失;

对所述还原预测图像特征进行特征处理操作,得到所述还原预测图像特征对应的第一目标预测特征,并确定所述第一目标预测特征对应的第三预测分类信息;

对所述第二预测图像特征进行特征处理操作,得到所述第二预测图像特征对应的第二目标预测特征,并确定所述第二目标预测特征对应的第四预测分类信息;

基于所述第三预测分类信息和所述第四预测分类信息,确定第二子损失;并基于所述第一子损失和所述第二子损失,确定所述第一损失。

15.根据权利要求14所述的方法,其特征在于,所述基于所述第三预测分类信息和所述第四预测分类信息,确定第二子损失,包括:基于所述第三预测分类信息和所述第三预测分类信息对应的第一标准分类信息,确定第三子损失;

基于所述第四预测分类信息和所述第四预测分类信息对应的第二标准分类信息,确定第四子损失;

基于所述第三子损失和所述第四子损失,确定所述第二子损失。

16.根据权利要求10至15任一项所述的方法,其特征在于,所述基于每个所述数据处理区块对应的第一损失和所述第二损失,确定所述预测损失,包括:基于所述第一预测分类信息和所述样本图像对应的标准分类信息,确定所述待训练的剪枝神经网络对应的概率预测损失;

基于每个所述数据处理区块对应的第一损失、所述第二损失和所述概率预测损失,确定所述预测损失。

17.根据权利要求10至16任一项所述的方法,其特征在于,所述基于每个所述数据处理区块对应的第一损失和所述第二损失,确定所述预测损失,包括:利用预先训练好的卷积神经网络,对所述样本图像进行特征处理,确定样本图像对应的第五预测分类信息;

基于所述第五预测分类信息和所述第一预测分类信息,确定所述待训练的剪枝神经网络的第三损失;

基于所述第一损失、所述第二损失和所述第三损失,确定所述预测损失。

18.一种图像分类装置,其特征在于,包括:第一确定模块,用于基于待处理的目标图像,确定所述目标图像对应的第一数量的初始图像块以及每个初始图像块对应的图像块特征;

第二确定模块,用于针对每个所述初始图像块,基于所述初始图像块的图像块特征,确定所述初始图像块对应的重要度信息;

聚合模块,用于基于每个所述初始图像块对应的重要度信息,对所述第一数量的初始图像块分别对应的图像块特征进行聚合,得到第二数量的目标图像块以及每个目标图像块对应的图像块特征;所述第二数量小于所述第一数量;

第三确定模块,用于基于每个所述目标图像块对应的图像块特征,确定所述目标图像的图像分类结果。

19.一种计算机设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述处理器执行如权利要求1至17任意一项所述的图像分类方法的步骤。

20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被计算机设备运行时,所述计算机设备执行如权利要求1至17任意一项所述的图像分类方法的步骤。