利索能及
我要发布
收藏
专利号: 2022106373306
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-05-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种智慧医疗场景下时间相关特征挖掘的中草药识别方法,其特征在于,所述中草药识别方法包括以下步骤:S1,采集中草药图片,在中草药图片上标注图片类别标签和生长周期标签,生成中草药图像样本,构建中草药图像样本数据集;利用Retinex图像增强算法对获取的图像数据集进行预处理,将各个样本图像按照预设比例分为用于训练中草药识别模型的训练集、以及用于测试中草药识别模型的测试集;

S2,构建M层的金字塔网络模型,采用金字塔网络模型对导入的中草药图片进行处理,以输出具有空间敏感度的高分辨率特征图,减少空间流和语义流上特征图进行特征融合时出现空间信息定位偏差;该金字塔网络模型由两条路径构成:自底向上的空间流路径和自顶向下的语义流路径;中草药图片经空间流路径处理得到相应的特征图,得到的特征图导入语义流路径,通过像素混洗和特征感知重组,生成目标特征区域块;

S3,构建激活区域生成网络,激活区域生成网络包括竞争性通道注意力模块、空间注意力模块和特征处理结构块;竞争性通道注意力模块用于使语义流和空间流进行自适应竞争,得到空间流与语义流的通道依赖关系的激活权重矩阵;空间注意力模块用于获取不同层级之间局部特征和全局特征之间的激活权重矩阵,并融合竞争性通道注意力模块中学习的通道依赖关系激活权重矩阵,得到激活区域生成网络输出的激活特征图;特征处理结构块包括自注意力模块和特征分解模块;自注意力模块用于捕捉时间序列上下文信息,获取序列中特征的关联度;特征分解模块用于获取中草药时间序列特征中的时间不变特征;

S4,构建特征映射结构块,针对当前生长周期的中草药特征与其余生长周期的中草药特征建立映射关系;

S5,构建中草药识别网络模型,利用训练集对中草药识别网络模型进行训练,得到训练好的中草药识别网络模型;将测试集输入训练好的中草药识别网络模型中,得到中草药识别结果。

2.根据权利要求1所述的智慧医疗场景下时间相关特征挖掘的中草药识别方法,其特征在于,步骤S1中,根据下述公式,利用Retinex图像增强算法对获取的图像数据集进行预处理:式中,r(x,y)表示输出图像;R(x,y)表示反射图像;S(x,y)表示输入图像,L(x,y)表示亮度图像;F(x,y)表示高斯中心环绕函数;λ为归一化系数;q为高斯环绕尺度;x表示图像像素点横坐标;y表示图像像素点纵坐标。

3.根据权利要求1所述的智慧医疗场景下时间相关特征挖掘的中草药识别方法,其特征在于,步骤S2中,采用上采样模块对导入的中草药图片进行处理,以输出具有空间敏感度的高分辨率特征图的过程包括以下步骤:S21,设置M层金字塔网络模型,金字塔网络模型由两条路径构成:自底向上的空间流路径和自顶向下的语义流路径;自底向上的空间流路径上,第i层的特征通过上采样模块输出特征图 其中,Hi、Wi、Cb分别表示第i层特征图的高、宽、通道数;自底向上的空间流路径中,第i层金字塔的最后一个卷积层输出的特征为S22,将自底向上的空间流路径中的第M层金字塔的最后一个卷积层输出的特征DM通过通道调整后作为自顶向下的语义流路径的顶层特征 取特征图 上任意像素位置 形成以z为中心且大小尺寸为kup×kup预定义特征区域块 通过尺寸大小为1×1的卷积核对 进行通道调整,公式如下:式中, 代表经过1×1的卷积核进行通道调整后的特征;

S23,通过像素混洗算子将 的通道维度在空间维度展开,获取特征图 的任意像素位置 的区域上采样核,公式如下:式中, 表示坐标 的输出特征像素; α表示升标因子,αkup表示区域卷积块大小;

S24,通过对特征图 上每个通道的所有像素位置进行像素混洗操作,得到预测上采样核 取特征图 上任意像素位置 对应于预测上采样核FM上的特征像素块 通过通道重组操作将特征像素块Fz的通道维度转换为空间维度,生成区域上采样核,公式如下:F′z=reshape(Fz)

式中,reshape(·)代表通道重组操作;F′z代表尺寸大小为αkup×αkup的区域上采样核;

S25,将预定义特征区域块 与区域上采样核F′z通过特征感知重组模块生成目标特征区域块,公式如下:式中,U′M‑1代表输入特征图上的任意像素位置 在输出特征图上的目标特征区域块上的映射像素位置z′=(i′,j′), αkup表示区域上采样核尺寸。

4.根据权利要求1所述的智慧医疗场景下时间相关特征挖掘的中草药识别方法,其特征在于,步骤S3中,采用竞争性通道注意力模块使语义流和空间流进行自适应竞争,得到空间流与语义流的通道依赖关系的激活权重矩阵的过程包括以下步骤:A31,将自底向上的空间流路径中第i层金字塔的最后一个卷积层输出的特征Di通过1×

1的卷积操作实现横向连接后输出为 公式如下:

式中, 代表经过1×1的卷积核进行通道调整后的特征;i代表第i层;·代表卷积操作;

A32,令金字塔网络的第i层特征融合模块的输入为

对来自空间流和语义流的输入进行全局平均池化处理,以将每组特征图的每个通道的二维特征(H×W)进行挤压,得到平均特征,公式如下:式中, 代表空间流上输入的特征中第c个通道的描述符; 代表语义流上输入的特征中第k个通道的描述符;Fsq(·)代表的是全局平均池化操作; 与 分别代表空间流流与语义流上输入第i层特征中第k个通道的特征, 代表特征图上的像素点;

A33,将 与 进行通道维度连接后

作为联合激励输入, 使语义流和空间流进行自适应竞争,得到空间流与语义流的通道依赖关系的激活权重矩阵,公式如下:式中, Fex(·)为激励操作,代表

两层全连接层的前向传播;Wex为两层全连接层的权重矩阵,

5.根据权利要求4所述的智慧医疗场景下时间相关特征挖掘的中草药识别方法,其特征在于,步骤S3中,采用空间注意力模块获取不同层级之间局部特征和全局特征之间的激活权重矩阵,并融合竞争性通道注意力模块中学习的通道依赖关系激活权重矩阵,得到激活区域生成网络输出的激活特征图的过程包括以下步骤:B31,金字塔网络的第i层的特征融合模块的输入Li、Ui分别经过跨通道的全局平均池化处理操作,获得位置(x,y)的空间描述符,公式如下:式中,Gsq(·)表示跨通道的全局平均池化处理操作;[li]x,y、[ui]x,y分别表示第i层两条流中自底向上的空间流路径和自顶向下的语义流路径的输入的特征中所有通道的位置为(x,y);

将 与 进行通道维度的连接,获得第i层融合特征的空间关系信息,公式如下:式中, 是调配空间流与语义流之间空间信息关系的权重矩阵;Gex(·)代

1 2

表两层卷积层的前向传播操作;wV为两层卷积层的权重矩阵;Vi 、Vi为自底向上路径和自顶向下路径的空间信息关系权重矩阵;

B32,将调配空间流与语义流之间通道信息关系的权重矩阵Pi与空间流与语义流之间空间信息关系的权重矩阵Vi进行相乘,公式如下:式中, 代表逐元素乘法; 代表激活区域生成网络的激活值;

B33,通过激活区域生成网络的激活值 得到激活区域生成网络输出的激活特征图,公式如下:式中, 代表激活区域生成网络输出特征图; 代表逐元素乘法。

6.根据权利要求5所述的智慧医疗场景下时间相关特征挖掘的中草药识别方法,其特征在于,步骤S3中,采用自注意力模块捕捉时间序列上下文信息,获取序列中特征的关联度的过程包括以下步骤:C31,将自底向上的空间流路径中第i层金字塔的最后一个卷积层输出的特征堆叠成时间特征序列 设置三个关键学习参数 公式如下:式中, 表示时间序列Xi中第p个周期的特征学习参数; 表示权重学习矩阵;

C32,将特征学习参数分别堆叠成三个参数序列,分别表示为获得特征序列Xi中所表示任意生长周期特征 的三个关键学习参数序列,通过参数矩阵 获得每个head的权重参数,公式如下:式中,σ(·)表是softmax函数; 表示参数

矩阵;dq表示 的维度,dk表示 的维度,dv表示 的维度,且dk=dv=dq/h,h表示head的个数;

C33,通过可学习参数矩阵W融合每个head输出参数矩阵,公式如下:式中, 表示中草药图像特征权重序列;

7.根据权利要求6所述的智慧医疗场景下时间相关特征挖掘的中草药识别方法,其特征在于,步骤S3中,采用特征分解模块获取中草药时间序列特征中的时间不变特征的过程包括以下步骤:D31,将中草药时间特征序列Xi通过自注意力函数F输出中草药时间特征权重序列将中草药时间特征权重序列建模为时间不变特征分量、时变特征分量与平局特征的线性组合, 其中 表示时不变的特征,表示时变的特征,表示中草药特征的平均值;通过由两层全连接层组成的轻量级网络获取中草药序列中时不变特征分量与时变特征分量,通过期望最大算法估计轻量级网络的参数公式如下:(i)

式中,θ 表示给定轻量级网络参数;θ表示估计轻量级网络参数;P(·)表示后验分布;

V表示中草药训练样本的特征; 表示第i种中草药的第j个生长周期的特征;xia,l与xib,j分别表示相应的时不变因素和时变因素;

D32,根据给定后验分布,通过迭代的方式执行最大化 函数以更新轻量级网络参数θ,公式如下:(i+1)

式中,θ表示轻量级网络参数;θ 表示更新的轻量级网络参数;

(i+1)

D33,计算得到更新的轻量级网络参数θ ,公式如下:(i) (i) (i)

式中,μ1(·)表示P(xia,l|θ ,V)和P(xib,j|θ ,V)的一阶矩;μ2(·)表示P(xia,l|θ ,V)(i)和P(xib,j|θ ,V)的二阶矩;

D34,通过由两层全连接层组成的轻量级网络获得时不变特征分量和时变特征分量 并将序列中草药

时不变特征序列 与中草药时变特征序列 进行线性正规映射:式中, 表示可训练参数;

D35,通过对时间不变特征序列 与时变特征序列 之间的相关性进行表示:式中,μia、μib表示Yia与Yib的均值; 表示Yia与Yib的方差;

D36,通过去相关损失函数减少两个特征分量之间的相关性,降低时变特征分量对时间不变特征分量的影响:式中,F表示自注意力函数;K表示 与 之间的相关性。

8.根据权利要求1所述的智慧医疗场景下时间相关特征挖掘的中草药识别方法,其特征在于,步骤S4中,构建特征映射结构块,针对当前生长周期的中草药特征与其余生长周期的中草药特征建立映射关系的过程包括以下步骤:S41,将中草药时间特征序列Xi通过自注意力函数F输出中草药时间特征权重序列多类中草药时间特征权重序列集为j∈{1,2,3,…,m},其中,第j类中草药时间特征序列将多类中草药时间特征权重序列集生成对应的特征映射区域,公式如下:

式中, 表示在第p个生长周期的第j种中草药的特征所形成的特征映射区域;Np,j表示在第p个生长周期的第j种中草药的图片总数; 表示在第p个生长周期的第j种中草药的特征;

S42,定义 为多类中草药时间特征权重序列集生成对

应的特征映射区域; 为中草药时间特征序列 在特征映射区域的映射关系;将激活区域生成网络输出的激活特征图 通过特征目标函数映射至特征映射区域,获得其特征表示,公式如下:式中, E表示光

滑算子;λ1、λ2代表权重因子;

S43,计算得到中草药时间特征序列 在任意生长周期与其余m‑1种中草药的特征关系矩阵,并获得任意激活特征图的特征映射矩阵,公式如下:式中, 表示中草药时间特征序列 在任意生长周期与其余m‑1种中草药的特征关系矩阵; 表示将激活特征图映射至特征映射区域的特征映射矩阵。