1.一种基于FPGA边缘计算的医学信息处理方法,其特征在于:包括如下步骤:
1)拍摄皮肤病图像并上传到FPGA边缘计算设备进行毛发去除预处理和病灶区域边缘轮廓分割预处理,生成原始皮肤病图像和分割后的病灶图像集合;
2) FPGA边缘计算设备使用其搭载的IR‑BNnet模型对集合中的所有图像进行处理;所述的FPGA边缘计算设备搭载的IR‑BNnet模型包括IR_Block、BN_Block、全连接层和Softmax分类器;
3)信息处理服务器使用搭载的双通道深度学习模型对FPGA的信息处理结果中类别识别概率值低于60%的模糊处理案例进行二次处理;
所述的步骤2)中,所述的IR_Block中包括3层反转残差层和1层最大池化层;所述的BN_Block中包括5层CNN卷积层和2层最大池化层;
所述的IR_Block反转残差层包括两个2×2的depthwise卷积,其具体实现如下:
2.21)当步长为1时,输入首先经过1×1的Conv卷积进行通道数的扩张,此时激活函数为ReLU6,然后连续经过两个2×2的depthwise卷积,激活函数是ReLU6,接着经过1×1的pointwise卷积,将通道数压缩回去,激活函数是Linear,将输出和输入相加,得到最终输出;
2.22)当步长为2时,输入首先经过1×1的Conv卷积进行通道数的扩张,激活函数为ReLU6;然后连续经过两个2×2的depthwise卷积,激活函数是ReLU6;最后经过1×1的pointwise卷积得到最终输出;
所述的BN_Block在每个CNN卷积层的激活函数之前插入批归一化操作,具体包括如下步骤:
2.31)输入首先经过3×3的Conv卷积提取特征信息,接着在该层激活函数之前加入批归一化操作,对输出的特征进行收敛,然后将该层输出作为输入再次进行3×3的Conv卷积和批归一化操作,最后通过最大池化层过滤冗余特征信息得到该层最终输出;
2.32)将上层最终输出作为该层输入连续进行3次进行3×3的Conv卷积和批归一化操作,最后通过最大池化层输出BN_Block模块的最终输出。
2.根据权利要求1所述的一种基于FPGA边缘计算的医学信息处理方法,其特征在于:所述的步骤1)中,毛发去除预处理的具体过程如下:
1.1a)对每个皮肤病图像的像素进行灰度化处理,灰度变换的函数为其中 ,R,G,B即图像像素点中的红绿蓝三个分量, 表示R分量通道的衰减系数, 表示G分量通道的衰减系数,表示B分量通道的衰减系数,其大小与其所对应的R,G,B分量和所有像素点值的总和成反比;对应公式如下:
其中n表示图像中像素点的总数,Ri表示第i个像素点中R分量的值,Gi表示第i个像素点中G分量的值,Bi表示第i个像素点中B分量的值;
1.2a)定义一个X型的卷积核,对灰度图像进行黑帽运算,得到图像内部毛发区域;
其中dst表示黑帽图像,blackhat()表示黑帽操作,src表示原图像,element表示图像中的颗粒度;close(src,element)表示闭运算图像;
1.3a)利用阈值分割得到毛发区域的大小;
1.4a)利用opencv的inpaint图像修补函数对图像修复。
3.根据权利要求1所述的一种基于FPGA边缘计算的医学信息处理方法,其特征在于:所述的步骤1)中,病灶区域边缘轮廓分割预处理的具体过程如下:
1.1b)对每个皮肤病图像进行自适应阈值灰度化处理,得到灰度图像;
1.2b)对灰度图像进行二值化处理,先计算像素平均值,若像素值小于等于像素平均值,则令该像素值为255;若像素值大于像素平均值,则令该像素值为0,从而获得二值化图像;
1.3b)计算每个二值化图像中像素值为 255的像素点覆盖区域面积Ar,若Ar<A0,则认为该区域为噪声区域,从图像中去除该区域;其中A0为预设阈值;
1.4b)对每幅图像的剩余区域重新涂色后,实现了图像的边缘轮廓分割,得到分割后图像。
4.根据权利要求1所述的一种基于FPGA边缘计算的医学信息处理方法,其特征在于:所述的步骤2)中,IR‑BNnet模型的具体实现如下:
2.1)IR‑BNnet模型将原始皮肤病图像样本与分割后的病灶图像集合,分别输入特征提取器后得到分类结 其中集合P为对原始皮肤病图像预测后得到的概率集合,集合Q为对分割后病灶图像预测的概率集合;取两个集合中的最大值作为最终结果F,
2.2)输入的皮肤病图像样本初始尺寸为w0×h0×3,w0和h0为输入样本图像的宽和长,初始通道数为3,IR_Block首先对皮肤病样本进行扩张、深度卷积和压缩,进行高维特征提取,并使用其深度可分离卷积减少模型参数和计算量,得到第一层输出特征尺寸为w1×h1×c1,w1和h1为IR_Block模块输出特征的宽和高,c1为IR_Block模块输出的通道数;
2.3)然后使用最大池化层下采样,去除冗余信息,得到下一层卷积神经网络模块的特征输入尺寸为 ,将特征输入到BN_Block以提取更细致的低维特征信息,得到输出特征向量,其输出尺寸为1×1×c2,c2为BN_Block模块输出的通道数;
2.4)最后通过全连接层和softmax分类器获得FPGA的信息处理结果。
5.根据权利要求4所述的一种基于FPGA边缘计算的医学信息处理方法,其特征在于:对所述的IR‑BNnet模型的训练和调优过程中,加入自适应惩罚系数L2,并使用SGD随机梯度下降方法调整学习率lr,设置衰减因子λ,在对全部样本进行一次训练之后,学习率按照λ衰减,惩罚系数L2根据学习率的衰减进行自适应调整,从而加快模型收敛速度,其对应公式如下:
。
6.根据权利要求1所述的一种基于FPGA边缘计算的医学信息处理方法,其特征在于:所述的步骤3)中,二次处理具体为:
信息处理服务器采用双通道卷积神经网络模型GL‑CNN分别提取病灶区域的局部特征和皮肤病图像的全局特征,通道1是ResNet101残差网络,通道2是Global‑CNN卷积神经网络;
所述的GL‑CNN包括两个卷积神经网络分支,每个分支处理不同区域的输入图像,其中分割出的病灶区域图像输入到通道1的残差网络ResNet101分支中提取局部特征,并把整体图像输入到通道2中,通道2是由7层卷积层和1层全局平均池化层组成的Global‑CNN卷积神经网络,用于提取皮肤病图像的全局特征,接着把通道1和通道2两个分支分别提取的局部特征和全局特征通过Concat函数融合起来;
最后通过全连接层和Softmax分类器输出信息处理服务器的处理结果。