1.面向工艺标准化的生产知识自动化抽取与管理系统,其特征在于,包括:
数据采集处理模块,采集操作员执行工艺操作过程中的多模态时序数据,对所述多模态时序数据进行预处理和特征提取,生成多模态特征序列;
技能识别模块,基于所述多模态特征序列,将所述工艺操作过程分割为技能基元序列并获取每个技能基元的关键参数向量,基于所述技能基元序列和所述关键参数向量识别操作意图;
技能建模模块,基于所述技能基元序列构建工艺操作过程的共性技能模型和个性化技能模型;构建工艺操作过程的共性技能模型和个性化技能模型包括:
针对每种技能基元类型,构建基于条件变分自编码器的共性技能模型,包括:定义条件编码器,将技能基元的多模态特征子序列和技能基元类型映射到潜在变量分布;定义条件解码器,根据从所述潜在变量分布采样的潜在向量和技能基元类型重构所述多模态特征子序列;通过最大化证据下界训练所述条件变分自编码器;将训练完成的所述条件解码器作为所述共性技能模型;
基于所述共性技能模型,构建个性化技能模型,包括:利用所述共性技能模型的条件编码器获取特定操作员执行每种技能基元类型对应的潜在向量序列;计算所述潜在向量序列的经验均值和协方差矩阵,作为所述特定操作员在每种技能基元类型上的个性化潜在分布;所述个性化技能模型由所述个性化潜在分布和所述共性技能模型的条件解码器共同定义;
模型评价模块,定义多维度评价指标,对所述共性技能模型和所述个性化技能模型进行评价;
知识管理模块,基于所述技能基元序列、所述关键参数向量、所述操作意图、所述共性技能模型、所述个性化技能模型和模型评价结果,构建结构化工艺知识库,所述结构化工艺知识库支持动态更新和复杂查询。
2.根据权利要求1所述的面向工艺标准化的生产知识自动化抽取与管理系统,其特征在于,所述数据采集处理模块包括:采集姿态数据、力传感器数据、视觉数据和声学数据并进行时间同步处理形成多模态时序数据;对所述多模态时序数据进行预处理,包括去噪、滤波、校准以及标准化;对于姿态数据和力传感器数据,采用滑动窗口方法,在每个时间窗口内计算统计特征、频域特征以及结合小波变换提取不同尺度下的时频特征,生成力特征向量和姿态特征向量;针对视觉数据,利用预训练的深度学习模型提取视觉特征向量;针对声学数据,同样采用滑动窗口,提取梅尔频率倒谱系数、谱质心、谱熵和短时能量,生成声学特征向量;将所有模态在每个时间步提取的特征组合成多模态特征向量,生成多模态特征序列。
3.根据权利要求1所述的面向工艺标准化的生产知识自动化抽取与管理系统,其特征在于,将所述工艺操作过程分割为技能基元序列并获取每个技能基元的关键参数向量包括:将所述多模态特征序列输入时间卷积网络,提取高层特征表示序列;将所述高层特征表示序列作为隐半马尔可夫模型的观测序列,隐半马尔可夫模型定义一组隐状态,其中每个隐状态对应一种技能基元,为每个隐状态引入持续时间分布,并观测发射概率和状态转移概率;基于观测序列、持续时间分布、发射概率和状态转移概率,利用维特比算法寻找最优的状态序列及对应的起止时间戳,得到技能基元序列,其中包含每个技能基元的类型、开始时间和结束时间;基于多模态特征序列获取每个技能基元对应的多模态特征子序列,应用信号处理算法获取每个技能基元的关键参数向量。
4.根据权利要求1所述的面向工艺标准化的生产知识自动化抽取与管理系统,其特征在于,基于所述技能基元序列和关键参数特征识别操作意图包括:使用第一循环神经网络处理每个技能基元对应的多模态特征子序列得到第一隐藏特征序列,在第一隐藏特征序列内部应用第一注意力机制,生成基元表示向量;将基元表示向量与对应的关键参数向量进行拼接,得到技能基元综合表示;将全部技能基元综合表示输入到第二循环神经网络,得到第二隐藏特征序列;在第二隐藏特征序列内部应用第二注意力机制,生成操作表示向量;通过全连接层和Softmax激活函数处理所述操作表示向量,得到操作意图。
5.根据权利要求1所述的面向工艺标准化的生产知识自动化抽取与管理系统,其特征在于,模型评价模块包括:定义包括效率、质量、一致性、资源消耗和安全的多维度评价指标;基于所述共性技能模型和所述个性化技能模型生成重构多模态特征序列;通过物理仿真执行重构的多模态特征序列对应的操作,计算多维度评价指标的值;对多维度评价指标的值进行归一化处理,并根据预设权重计算每个模型的综合评价得分;生成包含各项指标值和综合评价得分的模型评价报告。
6.根据权利要求1所述的面向工艺标准化的生产知识自动化抽取与管理系统,其特征在于,知识管理模块包括:设计结构化知识库模式,用于存储和关联信息实体,信息实体包括工艺、操作员、操作记录、技能基元类型、技能基元实例、关键参数、操作意图、共性技能模型、个性化技能模型、模型评估结果以及结构化工艺知识;通过外键定义所述信息实体之间的关联;构建知识库管理子模块,支持对所述信息实体的增、删、改、查操作,并支持复杂查询,所述复杂查询包括标准操作检索、操作员差异比较、关键参数统计分析以及基于意图的流程挖掘;建立知识更新机制,在新数据处理完成后自动更新知识库内容,并对模型和知识条目实施版本控制;形成结构化工艺知识库。