利索能及
我要发布
收藏
专利号: 202211206014X
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
更新日期:2024-10-29
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于属性的多模态可解释分类方法,其特征在于,所述方法包括如下步骤:步骤一、通过多种传感器,获取图片中待分类识别的对象的多模态原始数据;

步骤二、将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图,并使用全局最大池化从模态特征图中提取模态属性强度;

步骤三、在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换,利用正则化损失函数稀疏批归一化层,用于增强各模态之间的数据互补能力;

步骤四、计算所述模态属性强度的置信度和不确定度,并利用邓普斯特‑谢弗理论对所述模态属性强度的置信度与不确定度进行融合,以计算得到对象的属性强度;

步骤五、将所述对象的属性强度输入至决策树,在决策树中利用嵌入决策推理规则进行软推理,以预测得到各类别概率并选择概率最大的一个类别作为预测结果,通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数,内部层级推理损失函数以及类别原型损失函数,对所述ResNet卷积神经网络进行优化;

步骤六、根据所述对象的属性强度、决策树推理规则以及路由信息,对所述预测结果进行解释;

在所述步骤二中,提取模态属性强度的方法包括如下步骤:将所述多模态原始数据 输入至对应模态的ResNet卷积神经网络中的网络特征提取模块中,以提取得到模态特征图 ;

利用全局最大池化对所述模态特征图进行提取,以得到模态属性强度;

使用带泄露整流函数对所述模态属性强度进行约束,微调后保证模态属性强度为非负数 ;

对应的计算公式表示为:

其中, 表示模态原始数据,表示模态特征图,表示模态属性强度, 表示第 个模态原始数据,表示第 个模态特征图, 表示第 个模态属性强度,表示模态数量, 表示第 个模态的ResNet卷积神经网络的特征提取操作,表示模态属性的数量, 表示最大值函数, 表示最小值函数, 表示泄露值为0.01的带泄露整流函数, 表示全局最大池化,表示微调偏移量;

在所述步骤三中,批归一化通道交换的计算公式表示为:其中, 表示第 个模态的批归一化通道交换结果, 表示第 个模态的批归一化缩放因子, 表示第 个模态的批归一化偏移量, 表示第 个模态的批归一化缩放因子, 表示第 个模态的批归一化偏移量, 表示第 个模态原始数据, 表示样本平均值,表示样本方差,表示批归一化通道交换阈值;

在所述步骤四中,计算对象的属性强度的方法包括如下步骤:计算各模态属性强度的狄利克雷分布 ,公式表示为:其中, 表示第 个模态的第 个属性强度, 表示第 个模态的第 个属性强度的狄利克雷分布;

计算模态属性强度的置信度 与不确定度 ,公式表示为:其中, 表示第 个模态属性强度的狄利克雷强度, 表示第 个模态的第 个属性强度的置信度, 表示第 个模态属性强度的不确定度;

根据邓普斯特‑谢弗理论对模态属性强度的置信度与不确定度进行融合,计算得到对象的属性强度 ,公式表示为:其中,表示模态间数据的冲突程度, 表示模态的第 个属性融合置信度,表示模态属性强度的融合不确定度, 表示第 个模态属性强度的不确定度, 表示对象的第 个属性强度,表示模态属性强度的狄利克雷强度;

在所述步骤五中,利用嵌入决策推理规则进行软推理的方法包括如下步骤:构建决策树,计算类别层次矩阵,公式表示为:

其中, 表示类别层次矩阵,用于确认根到节点 是否经过节点 ;

计算经softmax函数处理的节点决策概率 ,公式表示为:其中, 表示节点 的决策概率, 表示对象的属性强度, 表示归一化操作,表示嵌入决策推理规则, , 表示类别数量;

计算每个节点所代表类别的预测概率 ,公式表示为:将多个预测概率中数值最大的预测概率作为预测结果;

在所述步骤三中,正则化损失函数表示为:

其中, 表示正则化损失函数,表示正则化损失系数,表示进行批归一化通道交换的层次数量, 表示样本绝对值, 表示第 个模态的第 层批归一化缩放因子平均值,;

叶层级推理损失函数表示为:

其中, 表示改进的交叉熵损失函数, 表示KL散度, 表示多模态融合损失函数, 表示决策树推理损失函数, 表示推理损失函数, 表示叶层级推理损失函数,表示对象的类别向量, 表示双伽马函数, 表示第 个模态的狄利克雷分布, 表示去除不正确证据后第 个模态的狄利克雷分布, 表示属性强度的狄利克雷分布,表示去除不正确证据后属性强度的狄利克雷分布,表示向量内积, 表示伽马函数, 表示狄利克雷函数,表示KL散度权重, 表示交叉熵损失函数,表示叶子节点代表类别的预测概率, 表示ReLU函数的平滑操作, 表示叶子节点的嵌入决策推理规则;

内部层级推理损失函数表示为:

其中, 表示内部层级推理损失函数;

类别原型损失函数计算的步骤包括:

计算类别的原型属性强度:

其中,表示类别具有的原型属性强度, 表示类别具有的独特属性;

计算类别的原型属性强度的叶层级损失函数:

其中, 表示第 类原型属性强度的叶层级损失函数, 表示第 类原型属性强度, 表示决策树推理损失函数, 表示叶子节点;

计算类别的原型属性强度的内部损失函数:

其中, 表示类别的原型属性强度的内部损失函数, 表示决策树中除叶子节点以外的所有节点;

类别原型损失函数表示为:

其中,表示类别原型损失函数, 均表示损失函数权重参数。

2.一种基于属性的多模态可解释分类系统,其特征在于,所述系统应用如上述权利要求1所述的基于属性的多模态可解释分类方法,所述系统包括:信息获取模块,用于:

通过多种传感器,获取图片中待分类识别的对象的多模态原始数据;

属性提取模块,用于:

将采集到的所述多模态原始数据输入到对应模态的ResNet卷积神经网络中以得到模态特征图,并使用全局最大池化从模态特征图中提取模态属性强度;

通道交换模块,用于:

在各模态对应的所述ResNet卷积神经网络中进行批归一化通道交换,利用正则化损失函数稀疏批归一化层,用于增强各模态之间的数据互补能力;

属性融合模块,用于:

计算所述模态属性强度的置信度和不确定度,并利用邓普斯特‑谢弗理论对所述模态属性强度的置信度与不确定度进行融合,以计算得到对象的属性强度;

卷积优化模块,用于:

将所述对象的属性强度输入至决策树,在决策树中利用嵌入决策推理规则进行软推理,以预测得到各类别概率并选择概率最大的一个类别作为预测结果,通过由多模态融合损失函数与决策树推理损失函数构成的叶层级推理损失函数,内部层级推理损失函数以及类别原型损失函数,对所述ResNet卷积神经网络进行优化;

模型解释模块,用于:

根据所述对象的属性强度、决策树推理规则以及路由信息,对所述预测结果进行解释。