1.一种基于多聚焦图像融合的芯片定位方法,其特征在于,包括以下步骤:实时监测芯片的来料信号,根据所述芯片的来料信息采集芯片图像,具体为:获取取像设备的景深可调范围数据,根据所述景深可调范围数据将取像设备景深调整至最大值,并调整取像设备焦距,获取取像设备的聚焦区域;
获取两组预设厚度芯片进行图像采集,实时监测芯片的来料信号,根据所述芯片的来料信号识别芯片位置信息,当芯片到达所述聚焦区域时,根据取像设备采集芯片图像;
根据所述芯片图像构建芯片图像数据集,对所述芯片图像数据集进行预处理,并构建训练集图像数据和测试集图像数据,得到预处理图像数据;
构建基于多聚焦图像融合的网络模型,基于所述预处理图像数据对所述网络模型进行训练,具体为:构建基于多聚焦图像融合的网络模型,将所述预处理图像数据导入所述网络模型的强化稠密连接模块中提取增强的高频与低频特征;
分别将所述增强的高频与低频特征混合输入至强化网络中提取强化高频特征和强化低频特征;
基于DeepLabv3先验的交叉注意力模块将所述强化高频特征和强化低频特征进行融合;
实时对训练过程中的网络模型进行计算损失函数,并优化所述网络模型的权重参数;
根据训练完成后的网络模型进行多聚焦芯片图像融合,对融合后的图像进行芯片主体与背景分割,根据分割后的主体和背景对芯片进行定位,具体为:获取不同焦距下的芯片俯视图,将芯片俯视图导入训练完成后的多聚焦图像融合的网络模型中,并通过YOLOv8‑seg分割算法根据灰度值的不同将芯片主体和芯片引脚与背景进行分割;
基于特征提取算法对分割后的芯片主体和芯片引脚与背景进行芯片像素坐标、面积、角度以及芯片类型信息进行提取,根据所述芯片像素坐标、面积、角度以及芯片类型信息对芯片进行定位。
2.根据权利要求1所述的一种基于多聚焦图像融合的芯片定位方法,其特征在于,所述根据所述芯片图像构建芯片图像数据集,对所述芯片图像数据集进行预处理,并构建训练集图像数据和测试集图像数据,得到预处理图像数据,具体为:将采集的芯片图像构建芯片图像数据集,将所述芯片图像数据集按照预设比例划分为训练集图像数据和测试集图像数据,所述预设比例分别为80%和20%;
将所述训练集图像数据中的每个图像剪裁为多个不重叠的预设像素大小的图像块,得到预处理图像数据。
3.根据权利要求1所述的一种基于多聚焦图像融合的芯片定位方法,其特征在于,所述将所述预处理图像数据导入所述网络模型的强化稠密连接模块中提取增强的高频与低频特征,具体为:将预处理图像数据导入强化稠密连接模块中,所述强化稠密连接模块包括一个密集卷积层、一个变换层以及一个强化模块层,所述密集卷积层与变换层并行连接;
所述密集卷积层和变化层通过接收导入的预处理图像数据进行加权拼接,将加权拼接后的预处理图像数据输入至所述强化模块层中;
所述强化模块层根据空间注意力机制对所述预处理图像数据的低频与高频特征进行强化操作,得到预设维度增强的高频与低频特征。
4.根据权利要求1所述的一种基于多聚焦图像融合的芯片定位方法,其特征在于,所述分别将所述增强的高频与低频特征混合输入至强化网络中提取强化高频特征和强化低频特征,具体为:将增强的高频和低频特征图混合输入至强化网络中,提取强化高频特征和强化低频特征,所述强化网络计算公式如下:,
,
其中, 表示增强后的高频特征, 表示增强后的低频特征, 表示增强前的高频特征, 表示增强前的低频特征,表示空间注意力增强操作。
5.根据权利要求1所述的一种基于多聚焦图像融合的芯片定位方法,其特征在于,所述基于DeepLabv3先验的交叉注意力模块将所述强化高频特征和强化低频特征进行融合,具体为:将强化高频特征和强化低频特征导入基于DeepLabv3先验的交叉注意力模块中,所述交叉注意力模块的注意力计算公式如下:,
其中,Q, K, V分别表示查询、键和值,所述查询、键和值由输入的强化高频特征和强化低频特征分别乘以trainable的矩阵计算出来的, 是K的维数,B是可相对学习的位置编码, 是归一化函数;
通过执行h次注意力函数,并将结果连接到多头注意力,h这里设置为4,根据多头注意力层生成的特征标记由两个具有GELU激活层的多层感知器层进行细化;
在执行多头注意力之后和多层感知器之前,对强化高频特征和强化低频特征导入归一化层中进行归一化操作,归一化操作表示为:,
,
给定来自不同域的两个局部窗口特征 和 ,跨不同窗口共享的权重矩阵 、根据归一化操作投影到Q、K和V中,将归一化后的强化高频特征和强化低频特征基于交叉注意力模块进行融合,融合过程为:,
对于来自焦距1的Q1,其通过对来自焦距2的K2和V2执行注意力加权来合并跨域信息,同时通过残差连接来保留焦距1中的信息,其中 为多头注意力层;
当不同焦距的互补信息融合完成后,基于CNN的图像重建单元将融合后的强化高频特征和强化低频特征映射回图像空间,生成融合图像 。
6.根据权利要求1所述的一种基于多聚焦图像融合的芯片定位方法,其特征在于,所述实时对训练过程中的网络模型进行计算损失函数,并优化所述网络模型的权重参数,具体为:在网络模型训练过程中,通过不断缩小网络模型输出的预测质量分数和目标质量分数之间的误差,根据ReLU激活函数和Adam优化器作为自动更新网络模型学习率的优化算法,其中,损失函数的计算公式为:,
其中, 表示辅助强度损失, 表示梯度损失,和 是用于控制每个项的贡献的权重因子,通过设计梯度损失以抑制融合结果保持来自输入图像的重要细节,其公式如下:,
,
其中H和W分别表示源图像的高度和宽度, 表示 范数, 指的是逐元素的最大值选择,是融合结果图, 和 分别是两种聚焦状态下的源图像。
7.一种基于多聚焦图像融合的芯片定位系统,其特征在于,所述系统包括存储器以及处理器,所述存储器中包括基于多聚焦图像融合的芯片定位方法程序,所述基于多聚焦图像融合的芯片定位方法被所述处理器执行时,实现如权利要求1‑6任一项所述的基于多聚焦图像融合的芯片定位方法的步骤。