1.一种云菜谱的自动生成方法,其特征在于,包括:
在获取到用户所下达的菜谱生成指令后,根据所录制的烹饪操作视频以及设备状态信息生成烹饪数据流;
对烹饪数据流进行分析并确定用户烹饪行为,根据用户烹饪行为以及设备状态信息生成烹饪流程简版;
将烹饪流程简版发送给用户并获取用户所反馈的修正信息,根据修正信息以及烹饪流程简版生成菜谱并共享至云端平台;
所述在获取到用户所下达的菜谱生成指令后,根据所录制的烹饪操作视频以及设备状态信息生成烹饪数据流包括:在获取到用户所下达的菜谱生成指令后,控制预设的摄像装置进入录制状态,并记录所录制的视频图像帧与各时间节点之间的第一对应关系;
通过物联网获取所存在的烹饪设备的设备状态信息,并建立设备状态信息与各时间节点之间的第二对应关系;
根据第一对应关系以及第二对应关系建立视频图像帧与设备状态信息间的第三对应关系;
按照第三对应关系输出由设备状态信息与视频图像帧结合生成的烹饪数据流;
所述对烹饪数据流进行分析并确定用户烹饪行为,根据用户烹饪行为以及设备状态信息生成烹饪流程简版包括:根据烹饪数据流建立烹饪流程时间线,并根据烹饪数据流中的设备状态信息对烹饪流程时间线进行设备烹饪流程的补充;
对烹饪数据流中的烹饪操作视频进行分析,确定烹饪操作视频中所存在的第一类识别目标以及第二类识别目标并对其进行分类标注;
根据烹饪操作视频确定第一类识别目标以及第二类识别目标之间的交互状态,并根据交互时对应对象的目标类型及状态判断用户的具体烹饪行为;
确定用户具体烹饪行为在烹饪操作视频内对应发生的起止时间,并在烹饪流程时间线上生成对应的时间段‑具体烹饪行为的判定标记;
将烹饪流程时间线按照预设的固定模式进行处理输出,得到烹饪流程简版;
所述根据烹饪操作视频确定第一类识别目标以及第二类识别目标之间的交互状态,并根据交互时所对应对象的目标类型及状态判断用户的具体烹饪行为包括:确定第一类识别目标产生协同动作的第二类识别目标,并确定该第二类识别目标所对应的标注内容、该第二类识别目标的状态以及与其他第二类识别目标的结合状态;
其中,第二类识别目标的状态包括食材的处理形态,第二类识别目标与其他第二类识别目标的结合状态包括食材与容器、食材与烹饪设备以及食材与烹饪器具的结合状态;
根据第二类识别目标对应的标注内容确定该第二类识别目标的目标类型以及对应映射的关联特征库,并根据关联特征库确定识别目标对应的多种烹饪步骤特征;
根据第二类识别目标与第一类识别目标之间以及其他第二类识别目标之间的交互状态,基于该第二类识别目标所对应的多种烹饪步骤特征确定出用户的具体烹饪行为;
所述对烹饪数据流进行分析并确定用户烹饪行为还包括:
确定烹饪数据流中所存在的多段烹饪操作视频,并确定构成任意一段烹饪操作视频的视频帧序列 ;
采用VGG‑16神经网络提取任意视频帧 中存在的深度特征向量矩阵 ,并构成基于烹饪操作视频帧变换的深度特征矩阵序列 ;
将深度特征矩阵序列 输入预先训练的S2VT模型,得到关于概况烹饪操作视频内容的行为词序列 的条件概率 :
其中,n表示待分析的烹饪操作视频的视频帧序列长度n,m表示行为词序列长度;
选择概率最高的一个行为词作为该段烹饪操作视频的主体烹饪行为;
确定该段烹饪操作视频中存在的用户人体和参与烹饪工作的识别目标,基于主体烹饪行为生成具有主谓宾关系的用户烹饪行为。
2.根据权利要求1所述的一种云菜谱的自动生成方法,其特征在于,所述对烹饪数据流中的烹饪操作视频进行分析,确定烹饪操作视频中所存在的第一类识别目标以及第二类识别目标并对其进行分类标注包括:通过预设的第一类神经网络模型对烹饪操作视频中所存在的第一类识别目标进行识别,并对第一类识别目标进行分类标注;
通过预设的第二类神经网络模型对烹饪操作视频中所存在的第二类识别目标进行识别,并确定所存在的第二类识别目标的目标类型,其中,第二类识别目标包括烹饪器具、烹饪设备、食材、调料以及容器;
确定第二类识别目标所对应的目标类型以及该目标类型所映射的关联特征库作为识别结果,并利用识别结果对第二类识别目标进行分类标注。
3.根据权利要求1所述的一种云菜谱的自动生成方法,其特征在于,所述S2VT模型通过以下方式训练得到:通过VGG‑16神经网络获取利用行为词标注过后的用于训练的烹饪操作视频的视频帧所对应的卷积特征并基于该烹饪操作视频构建深度特征矩阵序列;
将深度特征矩阵序列按时序输入第一层LSTM算子进行特征建模;
在第二层LSTM算子中通过LSTM网络学习视频帧序列与行为词序列之间的映射关系,生成特征矩阵序列和行为词之间的关联建模。
4.一种云菜谱的自动生成装置,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器 实现如权利要求1至3中任一项所述的方法。
5.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至3中任一项所述的方法。