利索能及
我要发布
收藏
专利号: 2020114258917
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-04-30
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.基于时空联合响应网络的智能家居系统,其特征在于:包括物理层、数据处理层、行为识别层和控制层四部分;其中:所述的物理层通过摄像和通信设备获取行为识别视频,然后,通过局域网传输至数据处理层;

所述的数据处理层对数据进行预处理并计算特征图送入行为识别层;

所述的行为识别层采用时空联合响应网络,将实时接收的行为数据通过训练好的模型进行分类;

所述的控制层接收行为识别层传入的行为类别,然后根据建立的行为和控制的关联库发出指令以控制家居的运转;

所述的基于时空联合响应网络的智能家居系统的控制方法包括如下步骤:

步骤1,数据采集,通过Kinect摄像头采集不同家居环境中不同个体的动作视频;然后,对采集到的数据进行规范化处理并进行标记;

步骤2,数据加工,由深度动作序列计算得出表示空域和时域特征的动作特征图,然后分别作为空域自编码器和时域自编码器的输入;

步骤3,模型构建,采用一种时空联合响应网络结构,具体包括如下步骤:

第一步,构建特征提取网络;构建一个卷积神经网络并将其全连接层的输出作为自编码器的输入;

第二步,构建自编码器,包括时域自编码器和空域自编码器两种;两个自编码器均采用五层栈式结构并将中间层作为输出层;时域和空域自编码器均使用重构误差和稀疏惩罚项作为损失函数;

第三步,组装网络,首先确定时间和空间的响应优先级,将优先级高的自编码器直接与特征提取网络进行全连接;两个自编码器之间加入一个门控单元,根据设置的阈值大小选择最优的编码方式;优先级低的自编码器后接一个全连接层经过Softmax激活函数后输出;

输出层神经元的个数对应于行为类别的个数;

步骤4,模型训练,将采集到的数据划分为测试集和训练集,按照步骤2生成深度运动图并提取空间特征作为空域自编码器的训练数据,然后生成运动历史图并提取时间特征作为时域自编码器的训练数据,模型训练的具体过程为:

4.1,训练自编码器;首先以空间特征图作为输入,通过特征提取网络获得相应的特征向量,使用无监督的方法训练空域自编码器;训练时将空域自编码器的第一、二、五层看作浅层自编码器1,将第二、三、四层看作另一个浅层自编码器2;因为自编码器具有严格的对称性因此每一个编码器都采用捆绑权重的方式进行训练;先训练浅层自编码器1,再训练浅层自编码器2,然后再将两者堆叠成空域自编码器;训练的损失函数均为重构误差加上稀疏惩罚项;训练时域自编码器的方法同理;

4.2,以时域和空域自编码器最终的平均误差作为门控单元的阈值;将空域自编码器每次迭代得到损失记为 将空域自编码器每次得到的损失记为 则空间响应级优先时阈值的大小为 相应地,时间响应级优先时阈值的大小为

4.3,固定自编码器的参数和门控单元的阈值,训练全连接层的参数;使用交叉熵作为损失函数并使用L2正则化项来防止过拟合;不断迭代直至误差等于或小于期望值时结束训练;

步骤5,关联设计,建立行为与控制的匹配关系,确定每个动作对应的指令以实现对家居的操控;

步骤6,行为识别,将真实场景下采集的行为视频,通过步骤2转化动作特征图送入训练好的网络模型中进行行为识别;

步骤7,家居控制,根据行为识别的结果触发指令并通过局域网对家居进行控制。

2.根据权利要求1所述的基于时空联合响应网络的智能家居系统,其特征在于:所述的时空联合响应网络,该网络包括特征提取网络和两个栈式自编码器组成;特征提取网络提取时域特征和空域特征,分别送入对应于时域特征和空域特征的栈式自编码器中;在两个栈式自编码器中之间加入一个门控单元,将优先级低的自编码器连接全连接层和激活层,使用Softmax作为激活函数。

3.根据权利要求1所述的基于时空联合响应网络的智能家居系统,其特征在于:所述的步骤2中,数据加工的具体过程为:首先,将获得的深度视频投影到三个正交的笛卡尔平面上,因此每个3D深度帧都会生成三个2D特征图;

然后,以深度图序列中相同像素位置的最小值作为DMI的像素值生成空间特征图;

最后,计算两个连续投影图之间的绝对差,然后按照时间序列生成时间特征图。

4.根据权利要求1所述的基于时空联合响应网络的智能家居系统,其特征在于:所述的步骤3中,具体包括如下步骤:首先,构造特征提取网络用于提取时空特征;

然后,构造空域自编码器和时域自编码器;两个自编码器均由编码器和解码器两个部分组成;其中,解码器的输出看作输入的近似即重构样本并作为对输入样本的补充;根据响应优先级调整自编码器的位置,优先级高的自编码器放在前面;两个自编码器之间加入门控单元并设置响应阈值;

最后,将优先级低的自编码器连接全连接层和激活层;通过自编码器进行优化编码的行为特征作为全连接层的输入并进行分类。

5.根据权利要求1所述的基于时空联合响应网络的智能家居系统,其特征在于:所述的步骤4中,训练时使用重构误差和稀疏惩罚项作为损失函数,通过无监督学习进行训练;然后固定编码器的参数训练整个网络,使用交叉熵作为损失函数并使用L2正则化项来防止过拟合;这里对编码器的训练并行执行。