利索能及
我要发布
收藏
专利号: 2024116320573
申请人: 浙江理工大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-07-01
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于多类昆虫图像训练数据集高效标注方法,其特征在于:包括以下步骤:S0:预处理多类昆虫图像数据集,包括数据过滤与合并,以及伪标签生成与背景自动去除;

S1:构建通用的昆虫检测器GInsectD,定位所有昆虫目标;

S2:裁剪生成具有唯一索引的昆虫目标小图;

S3:使用自监督学习方法DEIP学习到良好的特征表示;

S4:使用层次聚类算法分类目标小图;

S5:将分类好的目标小图回溯到原图形成最终的目标检测数据集;

所述步骤S3中,使用自监督学习方法DEIP学习到良好的特征表示包括以下子步骤:S31:输入图像经过不同的数据增强得到全局裁剪视图和局部裁剪视图;

S32:通过比较不同视图的特征计算交叉熵损失;

S33:反向传播中仅更新apprentice网络的参数来最小化损失函数;

所述步骤S3中,使用自监督学习方法DEIP学习到良好的特征表示还包括使用multi crop技术,以及通过比较不同视图的特征计算交叉熵损失,其中交叉熵损失的计算涉及对classification token和patch tokens的相似度比较,交叉熵损失的计算公式所示:;

其中,通过apprentice网络获取的classification token经过投影转换成k维向量,应用softmax获得概率值Pa,同样master网络特征投影后应用softmax,然后使用移动平均进行中心化操作,以获得Pm。

2.根据权利要求1所述的一种基于多类昆虫图像训练数据集高效标注方法,其特征在于:所述步骤S0中,预处理多类昆虫图像数据集包括以下子步骤:S01:过滤低质量图像;

S02:伪标签生成与背景自动去除包括使用多模态开放集目标检测器,标记所有昆虫,通过适当调低置信度来去除不含有目标框的图像文件,即背景图像文件。

3.根据权利要求1所述的一种基于多类昆虫图像训练数据集高效标注方法,其特征在于:所述步骤S1中,构建通用的昆虫检测器GInsectD包括以下子步骤:S11:使用双编码器‑单解码器的多模态开放集目标检测模型架构;

S12:采用Focal Loss作为分类损失函数和L1Loss作为边界框回归损失函数;

S13:图像主干使用Swin‑T,文本主干使用BERT;

S14:检测类别名称采用‘insect’;

S15:模型训练时的学习率调度策略采用CosineAnnealingLR。

4.根据权利要求1所述的一种基于多类昆虫图像训练数据集高效标注方法,其特征在于:所述步骤S2中,裁剪生成具有唯一索引的昆虫目标小图包括使用python工具根据检测框坐标信息裁剪小图,并保存为图像格式文件。

5.根据权利要求1所述的一种基于多类昆虫图像训练数据集高效标注方法,其特征在于:所述步骤S4中,使用层次聚类算法分类目标小图包括使用与生物学特有的层级分类结构相似的层次聚类方法进行分类,簇数量根据图像中昆虫种类数最大值进行设置。

6.根据权利要求1所述的一种基于多类昆虫图像训练数据集高效标注方法,其特征在于:所述步骤S5中,将分类好的目标小图回溯到原图形成最终的目标检测数据集包括以下子步骤:S51:建立昆虫类别数据库,以多类昆虫图像文件名与目标框坐标信息作为小图文件名以及数据库唯一索引;

S52:将聚类或分类模型得到的伪分类结果关联并上传结构化数据库;

S53:将所有裁切图像导入数据集标注软件,从数据库中加载预标注信息;

S54:待标注专家纠正并确认完数据集后,将标注信息更新至数据库,最后脚本自动根据索引中的信息将类别回溯到目标检测数据集中。

7.根据权利要求3所述的一种基于多类昆虫图像训练数据集高效标注方法,其特征在于:所述步骤S1中,构建通用的昆虫检测器GInsectD还包括使用小样本迭代训练的方法,即在后续迭代中使用前一次迭代的模型权重,并递增图像数量以进一步改善检测效果。

8.根据权利要求2所述的一种基于多类昆虫图像训练数据集高效标注方法,其特征在于:所述步骤S0中,数据过滤与合并还包括使用图像质量评估算法来自动识别和排除低质量图像。