利索能及
我要发布
收藏
专利号: 2023110101120
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-14
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于词性标注的图像多样化描述可控生成方法,其特征在于,包括训练阶段和测试阶段,其中训练阶段和测试阶段均包括对多样化词性标注序列生成模型进行训练和对可控描述生成模型进行训练;具体的对多样化词性标注序列生成模型进行训练包括:对多样化词性标注序列生成模型进行训练包括:步骤S100,给定一张图像I,使用预训练的Faster‑RCNN为图像I提取目标特征,并获得全局图像特征 ;

步骤S200,采用双向门控循环单元设计后验模型,获得后验隐变量 ;

步骤S300,建立先验模型,获得下先验隐变量 ;

步骤S400,通过KL散度将后验隐变量 和先验隐变量 对齐;

对可控描述生成模型进行训练包括:将离散的词性序列作为控制信号与全局图像特征、文本嵌入共同传入到自上而下的注意力LSTM中控制描述语句生成;

步骤S200中所述的双向门控循环单元包括两个方向相反的单向门控循环单元,其中后验模型 的输入 和输出 分别为,

其中,[·]为向量拼接操作,pos表示T长度的词性序列;

步骤S300中,先验模型采用单向门控循环单元进行建模,其中先验模型输入 和输出为 ,;

步骤S400中KL散度为

其中,

所述词性解码器模型采用经典的Up‑Down注意力模型,该模型由两个LSTM组成,分别为自上而下的注意力LSTM和语言LSTM,此时词性解码器的输入 和输出 可以定义为:,

其中,Att(·)代表注意力机制,t‑1表示前一时刻,v表示Faster‑RCNN提取图像I的区域特征;

将 映射到词性类别维度并通过Softmax函数得到t时刻的词性预测结果,即描述语句,具体计算过程如下:,

其中在训练阶段的 中 ,在测试阶段的 中 。

2.根据权利要求1所述的方法,其特征在于,对可控描述生成模型进行训练时词性解码器的输入 和输出 可以定义为:,

其中,Att(·)代表注意力机制,t‑1表示前一时刻,v表示Faster‑RCNN提取图像I的区域特征,将 映射到单词类别维度并通过Softmax函数即可得到 时刻的单词预测结果,具体计算过程如下:,

其中,在训练阶段pos1:T采用的是真实的人工描述所对应的词性标注,在测试阶段pos1:T采用的为多样化词性标注序列生成器所生成的词性序列。

3.根据权利要求2所述的方法,其特征在于,步骤S100中,给定一组从输入图像使用预训练Faster‑RCNN提取的区域特征 ,其中 为该图像的视觉区域数目;对于全局图像特征 可以通过下式得到。