1.一种基于局部和全局邻居对齐的原型对比图像聚类方法,其特征在于,包括以下步骤:步骤S1、接收原始图像数据集 ;
步骤S2、通过预设的目标网络的特征提取模块对原始图像数据集 进行特征提取,获取特征 ;
步骤S3、在特征 上执行k‑means初始化聚类中心,并获取聚类分配概率 ;
步骤S4、对原始图像数据集进行小批次训练,随机选取未经过训练的小批次数据集并将其分别经过不同的变换 和 ,得到变换后的数据集 ,其中, , 和分别为弱变换和强变换,为变换集合;
步骤S5、通过在线网络特征提取模块和目标网络特征提取模块对变换后的数据集分别进行特征提取获取特征 ;
步骤S6、通过聚类分配概率 和特征 计算每个批次的原型 ,并计算原型对比损失 ;
步骤S7、分别在特征 和全部特征 上挖掘邻近样本特征,获取每个特征的局部邻居 , 和全局邻居 , ,并将邻居特征输入至在线网络的预测模块中获取局部预测特征 和全局预测特征 ;
步骤S8、分别将一个变换的特征与另一个变换的局部和全局预测特征对齐,计算邻居对齐损失 ;
步骤S9、原型对比损失 和邻居对齐损失 构成的损失 通过反向传播更新网络权重,返回所述步骤S4直到训练整个图像数据集,并得到整个数据集的特征 并更新全局邻居 , ;
步骤S10、返回所述步骤S2,直到满足最大迭代次数或网络收敛,并计算最终的聚类结果。
2.根据权利要求1所述的一种基于局部和全局邻居对齐的原型对比图像聚类方法,其特征在于:所述目标网络的特征提取模块由ResNet和MLP网络组成,ResNet输出维度为512,MLP为两层,维度为512‑4096‑256。
3.根据权利要求2所述的一种基于局部和全局邻居对齐的原型对比图像聚类方法,其特征在于:所述在特征 上执行k‑means初始化聚类中心,并获取聚类分配概率 ,具体操作如下:通过在特征 上执行k‑means初始化聚类中心 ,聚类分配概率通过学生t‑分布获得:其中, 表示目标网络提取的第i个样本的特征, 表示第 个簇心,为学生t‑分布的自由度, 表示第i个样本属于第 个类的概率。
4.根据权利要求1所述的一种基于局部和全局邻居对齐的原型对比图像聚类方法,其特征在于:所述弱变换 为随机裁剪与缩放,随机水平翻转,随机亮度、对比度、饱和度、色调变换和随机灰度变换;
强变换 包括包含随机水平翻转、随机裁剪,并从归一化对比度、均衡直方图、旋转、反转、增强色彩平衡、调整对比度、调整亮度、调整清晰度、仿射变换、减少每个颜色通道位数中选择四个组成。
5.根据权利要求1所述的一种基于局部和全局邻居对齐的原型对比图像聚类方法,其特征在于:所述在线网络由特征提取模块和预测模块构成,维度为512‑4096‑256‑4096‑
256,目标网络由特征提取模块构成,在线网络的特征提取模块与目标网络的特征提取模块结构相同权重不同。
6.根据权利要求1所述的一种基于局部和全局邻居对齐的原型对比图像聚类方法,其特征在于:所述原型对比损失 定义为:其中, 为类别个数, 表示分别不同变换后的第k个原型,温度参数 用于控制特征表示的尺度,原型 通过小批量特征计算:其中,为每次获取小批量数据, 表示第i个样本属于第 个类的概率, 表示在线网络提取的第i个样本的弱变换特征, 表示目标网络提取的第i个样本的强变换特征。
7.根据权利要求1所述的一种基于局部和全局邻居对齐的原型对比图像聚类方法,其特征在于:所述邻居对齐损失 由局部邻居对齐损失 和全局邻居对齐损失 构成:其中, 表示在线网络提取的小批次数据的弱变换特征, 表示目标网络提取的小批次数据的强变换特征, 分别表示获取局部和全局邻居, 表示在线网络的预测模块。
8.根据权利要求1所述的一种基于局部和全局邻居对齐的原型对比图像聚类方法,其特征在于:所述损失 定义为:其中, 表示邻居对齐损失, 表示原型对比损失,为平衡系数;
在线网络参数通过损失函数反向传播进行更新,目标网络参数 通过动量 和在线网络参数 以移动平均策略更新:。
9.一种基于局部和全局邻居对齐的原型对比图像聚类系统,其特征在于,包括以下模块:接收模块,被配置为接收原始图像数据集 ;
特征提取模块一,被配置为通过预设的目标网络的特征提取模块对原始图像数据集进行特征提取,获取特征 ;
聚类分配模块,被配置为在特征 上执行k‑means初始化聚类中心,并获取聚类分配概率 ;
训练模块,被配置为对原始图像数据集进行小批次训练,随机选取未经过训练的小批次数据集 并将其分别经过不同的变换 和 ,得到变换后的数据集 ,其中,, 和 分别为弱变换和强变换,为变换集合;
特征提取模块二,被配置为通过在线网络特征提取模块和目标网络特征提取模块对变换后的数据集 分别进行特征提取获取特征原型对比模块,被配置为通过聚类分配概率 和特征 计算每个批次的原型,并计算原型对比损失 ;
预测模块,被配置为分别在特征 和全部特征 上挖掘邻近样本特征,获取每个特征的局部邻居 , 和全局邻居 , ,并将邻居特征输入至在线网络的预测模块中获取局部预测特征和全局预测特征 ;
邻居对齐模块,被配置为分别将一个变换的特征与另一个变换的局部和全局预测特征对齐,计算邻居对齐损失更新模块,被配置为原型对比损失 和邻和邻居对齐损失 通过反向传播更新网络权重,直到训练整个原始图像数据集,并得到整个数据集的特征并更新全局邻居 , 。
10.一种计算设备,其特征在于,包括:
一个或多个处理器、存储器以及一个或多个程序,其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1‑8所述的方法中的任一方法的指令。