1.一种基于双重注意力的图像界面自动生成代码方法,其特征在于,所述基于双重注意力的图像界面自动生成代码方法,包括:对含有GUI图像界面与对应DSL文件的数据集进行预处理,获得训练集,训练集中每个训练样本包括与GUI图像界面对应的图像界面张量,以及与DSL文件对应的DSL向量;
构建并训练图像界面DSL序列预测模型,所述图像界面DSL序列预测模型包括注意力层、特征提取器、双重注意力模块、生成层和分类层,将所述DSL向量输入到注意力层提取出上下文向量,将所述图像界面张量输入到所述特征提取器提取出多尺度特征图,所述多尺度特征图与上下文向量输入到双重注意力模块,提取出双重注意力特征,所述双重注意力特征与上下文向量输入到生成层生成分类分数张量,所述分类分数张量经过分类器输出DSL序列;
采用训练好的图像界面DSL序列预测模型对输入的待处理图像界面进行预测,预测出对应的DSL序列,经编译器编译得到对应平台代码;
其中,所述多尺度特征图与上下文向量输入到双重注意力模块,提取出双重注意力特征,包括:将多尺度特征图变换为空间特征图,然后经过卷积操作后与上下文向量经过softmax函数生成空间权重向量,将所述空间权重向量与空间特征图相乘得到空间注意力特征;
将多尺度特征图变换为通道特征图,然后经过卷积操作后与上下文向量经过softmax函数生成通道权重向量,将所述通道权重向量与通道特征图相乘得到通道注意力特征;
将所述空间注意力特征与通道注意力特征逐项求和得到双重注意力特征。
2.根据权利要求1所述的基于双重注意力的图像界面自动生成代码方法,其特征在于,所述特征提取器基于ResNet50,去除了ResNet50最后一个卷积层以及之后的平均池化层和全连接层,最后接一个1×1卷积层。
3.根据权利要求1所述的基于双重注意力的图像界面自动生成代码方法,其特征在于,所述训练图像界面DSL序列预测模型,所采用的损失函数为交叉熵损失函数。
4.根据权利要求1所述的基于双重注意力的图像界面自动生成代码方法,其特征在于,所述注意力层和生成层分别为单层长短期记忆网络。
5.一种基于双重注意力的图像界面自动生成代码装置,包括处理器以及存储有计算机指令的存储器,其特征在于,所述计算机指令被处理器执行时实现权利要求1至权利要求4中任意一项所述方法的步骤。