1.一种基于跨域特征相关性分析的图像转换方法,其特征在于,包括如下步骤
1)所提框架的overview:
各domain真实图的batch相等,ITM和CFCAM进行迭代的对抗训练,通过迭代训练,两个模块的性能交替上升,在图像转换应用阶段,训练好的ITM被使用,而CFCAM不参与应用;
2)CFCAM的训练:
a.特征矩阵获取:各图像batch的特征矩阵H被对应的特征提取器f提取,H的列数等于batch的样本数,行数等于样本被提取出的特征维数,见公式(1):*
其中,G为ITM的cross‑domain转换操作,将源domain图像转换为Y,f采用卷积神经网络CNN;对batch中的每一个样本,都有一个特征列向量被f所提取,各domain对应的f的网络结构相同,所提取的特征维数也相同,又因为各domain的batch大小一致,即都为p,H的尺寸都是一致的;
b.特征矩阵匹配: 和 进行匹配,所得“Matched Hs‑i”用于SLMi的训练,其中,同列的图像特征来自paired但unaligned cross‑domain图像,即弱标签; 同列特征对应的图像是unpaired中各列向量的排顺被随机化,得到 以及同列特征对应的真实图/合成图是paired;
c.损失映射函数计算:规范相关性分析CCA模块因其训练无需类别标签而被采用为SLM,CCA将cross‑domain特征映射至公共子空间以进行特征距离度量,paired样本对应的特征距离要小于unpaired样本对应的特征距离,即paired样本的相关性较高;
对于SLMi,其映射函数都先根据 进行计算,如公式(2)所示:其中, 是Si特征至共享子空间特征的映射, 是T特征至共享子空间特征的映射;
corr(.)是对映射后特征进行相关性计算的操作,该过程不涉及参数学习;通过最大化在公共子空间的特征相关性, 和 被计算;
d.模块优化,根据所得的映射函数,特征矩阵之间的相关性可被计算,如公式(3)所示:由于paired图像所蕴含临床表征的相关性是高于unpaired图像对应的相关性, 是*较大的, 是较小的;期望CFCAM能找到Y的临床表征偏差,因此在CFCAM训练阶段,和 也应是较小的;综上可用 和 指导CFCAM的优化,如公式(4)所示:
其中,k是用于归一化的常量,使 特征相关性C越高,越接近1,即 越接近0;反之 越接近负无穷,通过最小化LCFCAM‑i, 的参数可被更新,对于fT,其参数更新过程受i个LCFCAM‑i的共同反馈,如公式(5)所示:根据优化后的 被更新,从而 也被更新;
3)ITM的训练:
*
在ITM优化阶段,CFCAM的 的和 均被固定,此时期望ITM输出的Y 具有准确*的临床表征,换言之Y /y和 都具有较高的相关性,因此在ITM训练阶段, 和应尽可能变大,如公式(6)所示:将该损失项集成至ITM的优化目标,对ITM的训练进行约束,如公式(7)所示:LITM=LITMself+λ×LITMsup (7)。