1.一种基于多模态数据的微短剧用户画像分析系统,其特征在于,包括:数据获取模块,用于获取多模态微短剧用户数据;
特征提取模块,用于根据所述多模态微短剧用户数据进行特征提取,得到若干用户特征;
融合模块,用于将若干所述用户特征输入预训练的分层注意力网络模型中,得到联合特征向量;
动态画像生成模块,用于将所述联合特征向量输入预设的在线深度森林模型,生成动态画像;
画像分析模块,用于计算所述动态画像各维度的沙普利值,根据所述沙普利值生成画像分析报告;
其中,所述融合模块中,具体包括:
第二预处理单元,用于对若干所述用户特征进行预处理,得到若干预处理特征;
模态内注意力单元,用于将若干所述预处理特征划分为若干模态,计算每个模态内各所述预处理特征的注意力得分,根据所述注意力得分从每个模态中选出关键子特征;
跨模态注意力单元,用于采用跨模态注意力算法计算模态两两之间的关联度;
融合单元,用于根据所述关键子特征和所述关联度生成联合特征向量;
其中,所述动态画像生成模块中,具体包括:
子集建立单元,用于从所述联合特征向量中选取不同粒度的若干特征子集;
衰减单元,用于根据预设的时间衰减因子调整若干所述特征子集的影响权重;
画像生成单元,用于将若干所述特征子集和所述影响权重输入所述预训练的在线深度森林模型,得到初始用户画像;
更新单元,用于按照预设时间间隔进行增量学习,更新用户画像,得到动态画像;
其中,所述在线深度森林模型包括3个增量式随机森林模型和2个动态梯度提升树模型,每个基学习器接收不同粒度的特征子集;基学习器是集成学习中的单个分类或回归模型,通过将所述特征子集和各特征子集对应的影响权重输入不同的模型,得到初始用户画像。
2.根据权利要求1所述的一种基于多模态数据的微短剧用户画像分析系统,其特征在于,所述数据获取模块中,具体包括:数据获取单元,用于从不同数据来源获取初始多模态数据;
时间对齐单元,用于根据网络时间协议使不同来源的所述初始多模态数据时间戳同步,得到时间同步的初始多模态数据;
第一预处理单元,用于采用三次样条插值法和噪声抑制算法处理所述时间同步的初始多模态数据得到多模态微短剧用户数据。
3.根据权利要求1所述的一种基于多模态数据的微短剧用户画像分析系统,其特征在于,所述多模态微短剧用户数据包括行为数据、用户面部数据、用户语音数据和文本数据,若干所述用户特征包括若干第一用户特征、若干第二用户特征、若干第三用户特征和若干第四用户特征,所述特征提取模块中,具体包括:第一提取单元,用于采用时序卷积网络对所述行为数据进行特征提取,得到若干第一用户特征;
第二提取单元,用于根据视觉数据库采用预训练的目标检测模型对所述用户面部数据进行特征提取,得到若干第二用户特征;
第三提取单元,用于将所述用户语音数据输入预训练的语音表示模型进行特征提取,得到若干第三用户特征;
第四提取单元,用于将所述文本数据输入预训练的语言模型进行特征提取,得到第四用户特征。
4.根据权利要求1所述的一种基于多模态数据的微短剧用户画像分析系统,其特征在于,所述画像分析模块中,具体包括:沙普利值计算单元,用于计算所述动态画像中各维度的沙普利值;
标签生成单元,用于根据所述动态画像中各维度和各维度对应的沙普利值生成若干多维度标签;
分析单元,用于根据若干所述多维度标签生成画像分析报告。
5.根据权利要求3所述的一种基于多模态数据的微短剧用户画像分析系统,其特征在于,所述第一用户特征通过观看专注度特征、内容偏好强度特征和交互行为特征加权得到;
所述第二用户特征通过眼部区域特征、嘴部区域特征和综合面部特征加权得到;
所述第三用户特征通过兴奋程度特征、失望强度特征、惊讶指数特征、愤怒水平特征、恐惧程度特征和中性情绪比例特征加权得到;
所述第四用户特征通过正面情感强度特征、负面情感强度特征、网络热词使用密度特征、情感波动频率特征、互动积极性特征、情感一致性特征、群体情绪同步度特征和情感深度特征加权得到。
6.根据权利要求1所述的一种基于多模态数据的微短剧用户画像分析系统,其特征在于,所述动态画像生成模块中,还包括动态特征增强单元,所述动态特征增强单元用于检测若干所述关键子特征,当所述若干所述关键子特征中出现特殊字段时,调整出现特殊字段的所述关键子特征在生成联合特征向量时的权重。
7.一种基于多模态数据的微短剧用户画像分析方法,其特征在于,所述方法基于权利要求1‑6中任一项所述的基于多模态数据的微短剧用户画像分析系统,所述方法包括:S10:获取多模态微短剧用户数据;
S20:根据所述多模态微短剧用户数据进行特征提取,得到若干用户特征;
S30:将若干所述用户特征输入预训练的分层注意力网络模型中,得到联合特征向量;
S40:将所述联合特征向量输入预设的在线深度森林模型,生成动态画像;
S50:计算所述动态画像各维度的沙普利值,根据所述沙普利值生成画像分析报告。