利索能及
我要发布
收藏
专利号: 2020108994909
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
更新日期:2025-10-25
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种数据审核方法,其特征在于,该方法包括:

当监测到第一审核服务请求时,所述第一审核服务请求是由指定区域内已配置的智能系统在基于已配置的智能算法对至少一个采集图像进行处理时监测到异常触发的,则依据所述第一审核服务请求携带的事件类型审核所述第一审核服务请求携带的第一告警数据以得到用于纠正所述异常的目标数据,并在审核失败时,向审核客户端发送所述第一审核服务请求,以由审核客户端得到用于纠正所述异常的目标数据;

其中,所述向审核客户端发送所述第一审核服务请求包括:

向已配置的服务端发送所述第一审核服务请求,以由所述服务端依据所述第一审核服务请求生成对应的第二审核服务请求,所述第二审核服务请求携带所述事件类型和第二告警数据,所述第二告警数据至少包括所述第一告警数据;并从当前已接入的且开启了审核服务功能的所有审核客户端中选择用于审核所述第二审核服务请求的审核客户端,并向选择的审核客户端发送所述第二审核服务请求。

2.根据权利要求1所述的方法,其特征在于,所述依据所述第一审核服务请求携带的事件类型审核所述审核服务携带的第一告警数据包括:依据所述事件类型确定与所述事件类型匹配的审核策略;

按照所述审核策略对所述第一审核服务请求携带的第一告警数据进行审核以得到用于纠正所述异常的目标数据。

3.根据权利要求2所述的方法,其特征在于,所述事件类型为第一类型,所述第一类型用于指示新生成的目标用户轨迹与任一用户在进入指定区域时被分配的已知用户ID关联失败;第一告警数据包括所述至少一个采集图像对应的图像信息、所述目标用户轨迹;所述审核策略为用户轨迹审核策略;

所述按照所述审核策略对所述第一审核服务请求携带的引起所述异常的第一告警数据进行审核以得到用于纠正所述异常的目标数据包括:从所述图像信息对应的至少一个采集图像中提取所述目标用户轨迹对应的用户图像区域;

依据所述目标用户轨迹对应的用户图像区域以及已获得的至少一个已知用户ID对应的用户图像区域,从所述至少一个已知用户ID中确定与所述目标用户轨迹相匹配的第一目标用户ID。

4.根据权利要求3所述的方法,其特征在于,所述依据目标用户轨迹对应的用户图像区域以及已获得的至少一个已知用户ID对应的用户图像区域,从所述至少一个已知用户ID中确定与所述目标用户轨迹相匹配的第一目标用户ID包括:将所述目标用户轨迹对应的用户图像区域输入至已训练的第一卷积神经网络得到目标人体特征模型;

将已获得的至少一个已知用户ID对应的用户图像区域输入至所述第一卷积神经网络得到各已知用户ID对应的候选人体特征模型;

依据所述目标人体特征模型与每一候选人体特征模型之间的相似度,将其中一个候选人体特征模型对应的已知用户ID确定为所述第一目标用户ID。

5.根据权利要求2所述的方法,其特征在于,所述事件类型为用于指示人货关联异常的第二类型;所述第一告警数据包括目标时刻、目标货格、目标行为、目标商品的商品信息;目标货格是指目标商品所处的货格,目标时刻是指所述目标商品被执行所述目标行为的时刻,目标行为是指取拿或者放回;所述审核策略为人货关联审核策略;

所述按照所述审核策略对所述第一审核服务请求携带的引起所述异常的第一告警数据进行审核以得到用于纠正所述异常的目标数据包括:获得至少一个指定采集设备在所述目标时刻之前已采集的且时长为第一时长的第一视频图像;以及,获得至少一个指定采集设备在所述目标时刻之后已采集的且时长为第二时长的第二视频图像;所述至少一个指定采集设备是指视场区域至少包括所述目标货格的采集设备;

依据已获得的至少一个第一视频图像和至少一个第二视频图像,确定对所述目标商品执行所述目标行为的第二目标用户ID。

6.根据权利要求5所述的方法,其特征在于,所述依据已获得的至少一个第一视频图像和至少一个第二视频图像,确定对所述目标商品执行所述目标行为的第二目标用户ID包括:从至少一个第一视频图像和至少一个第二视频图像中分别提取每一疑似用户的人体图像序列;疑似用户是指处于目标货格前方的设定区域的用户,疑似用户的人体图像序列是由疑似用户在第一视频图像中的图像区域、以及该疑似用户在第二视频图像中的图像区域组成;依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果,若有一个疑似用户对应的行为分析结果与所述目标行为相匹配,则确定该疑似用户对应的用户ID为所述第二目标用户ID;或者,从至少一个第一视频图像中提取至少一个第一图像区域,第一图像区域与所述目标货格前方的设定区域对应;从至少一个第二视频图像中提取第二图像区域,第二图像区域与所述目标货格前方的设定区域对应;依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果,所述疑似用户是指处于所述目标货格前方的设定区域的用户;若有一个疑似用户对应的手持商品分析结果与所述目标行为、所述目标商品信息相匹配,确定该疑似用户对应的用户ID为所述第二目标用户ID。

7.根据权利要求6所述的方法,其特征在于,所述依据已获得的至少一个第一视频图像和至少一个第二视频图像,确定对所述目标商品执行所述目标行为的第二目标用户ID包括:从至少一个第一视频图像和至少一个第二视频图像中分别提取每一疑似用户的人体图像序列;疑似用户是指处于目标货格前方的设定区域的用户,疑似用户的人体图像序列是由疑似用户在第一视频图像中的图像区域、以及该疑似用户在第二视频图像中的图像区域组成;依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果,若有一个疑似用户对应的行为分析结果与所述目标行为相匹配,则确定该疑似用户对应的用户ID为第一候选用户ID;

从至少一个第一视频图像中提取至少一个第一图像区域,第一图像区域与所述目标货格前方的设定区域对应;从至少一个第二视频图像中提取第二图像区域,第二图像区域与目标货格前方的设定区域对应;依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果,疑似用户是指处于所述目标货格前方的设定区域的用户;若有一个疑似用户对应的手持商品分析结果与所述目标行为、所述目标商品信息相匹配,确定该疑似用户对应的用户ID为第二候选用户ID;

若所述第一候选用户ID与所述第二候选用户ID一致,则确定所述第二目标用户ID为所述第一候选用户ID或者所述第二候选用户ID。

8.根据权利要求6或7所述的方法,其特征在于,所述依据每一疑似用户的人体图像序列确定每一疑似用户对应的行为分析结果包括:将每一疑似用户的人体图像序列输入至已训练的第二卷积神经网络得到疑似用户对应的行为分析结果。

9.根据权利要求6或7所述的方法,其特征在于,所述依据至少一个第一图像区域以及至少一个第二图像区域确定各疑似用户在所述目标时刻前后对应的手持商品分析结果包括:将至少一个第一图像区域输入至已训练的第三卷积神经网络得到至少一个第一商品信息,第一商品信息至少包括:商品类别、商品数量、商品位置的对应关系;依据已获得的疑似用户ID对应的手部轨迹从至少一个第一商品信息中确定与疑似用户相关联的第一商品信息;

将至少一个第二图像区域输入至所述第三卷积神经网络得到至少一个第二商品信息,第二商品信息至少包括:商品类别、商品数量、商品位置的对应关系;依据已获得的疑似用户ID对应的手部轨迹从至少一个第二商品信息中确定与疑似用户相关联的第二商品信息;

依据同一疑似用户相关联的第一商品信息和/或第二商品信息确定同一疑似用户在所述目标时刻前后对应的手持商品分析结果。

10.根据权利要求2所述的方法,其特征在于,所述事件类型为用于指示商品识别异常的第三类型;所述第一告警数据包括目标时刻、目标货格、目标行为;目标货格是指目标商品所处的货格,目标时刻是指执行所述目标行为的时刻,目标行为是指取拿或者放回;所述审核策略为商品识别审核策略;

所述按照所述审核策略对所述第一审核服务请求携带的引起所述异常的第一告警数据进行审核以得到用于纠正所述异常的目标数据包括:获得至少一个指定采集设备已采集的所述目标时刻之前且时长为第三时长的第三视频图像;以及,获得至少一个指定采集设备已采集的所述目标时刻之后且时长为第四时长的第四视频图像;指定采集设备是指视场区域至少包括所述目标货格的采集设备;

依据至少一个第三视频图像和至少一个第四视频图像确定同一商品类别的商品在所述目标时刻前后发生的商品变化信息;依据商品变化信息确定被执行所述目标行为的目标商品的目标商品信息;目标商品信息至少包括:目标商品类别和目标商品数量。

11.根据权利要求10所述的方法,其特征在于,所述依据至少一个第三视频图像和至少一个第四视频图像确定同一类别的商品在所述目标时刻前后发生的商品变化信息包括:从至少一个第三视频图像中提取第三图像区域,第三图像区域与所述目标货格前方的设定区域对应;将至少一个第三图像区域输入至已训练的第四卷积神经网络得到第三商品信息,第三商品信息至少包括:商品类别、商品数量之间的对应关系;

从至少一个第四视频图像中提取第四图像区域,第四图像区域与所述目标货格前方的设定区域对应;将至少一个第四图像区域输入至所述第四卷积神经网络得到第四商品信息;第四商品信息至少包括:商品类别、商品数量之间的对应关系;

依据至少一个第三商品信息和/或至少一个第四商品信息确定同一商品类别的商品在所述目标时刻前后发生的商品变化信息。

12.一种数据审核方法,其特征在于,该方法应用于审核客户端,包括:

通过所述审核客户端的第一显示屏显示与已获得的第二审核服务请求相关联的第一类图像;所述第二审核服务请求是由指定区域内已配置的智能系统在基于已配置的智能算法对至少一个采集图像进行处理时监测到异常所触发的;所述第一类图像至少包括所述至少一个采集图像;

通过所述审核客户端的第二显示屏显示与所述审核服务请求所携带的事件类型对应的第二类图像;所述事件类型用于表征所述异常;所述第二类图像至少包括:已获得的用于纠正所述异常的至少一个图像;

获得基于所述第一类图像以及所述第二类图像审核所述异常所得到的审核结果,所述审核结果至少包括用于纠正所述异常的目标数据。

13.根据权利要求12所述的方法,其特征在于,所述第二审核服务请求还包括:第二告警数据;

当通过审核客户端的第一显示屏显示与审核服务请求相关联的第一类图像时该方法进一步包括:在所述第一显示屏的指定位置显示所述第二告警数据和所述事件类型。

14.根据权利要求13所述的方法,其特征在于,所述第二告警数据还包括目标时刻、目标位置;

所述第一类图像包括:所述指定区域内已安装的M个采集设备已采集的与所述目标时刻的时差小于或等于第一设定时间阈值的视频;所述M个采集设备的视场区域包含所述目标位置,M大于或等于1。

15.根据权利要求14所述的方法,其特征在于,所述第二告警数据还包括:所述指定区域内已安装的N个采集设备的设备标识;所述N个采集设备的视场区域的中心位置与所述目标位置之间的距离小于或等于设定距离,N大于等于1;

所述第二类图像包括:N个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频;或者,所述第二类图像包括:N个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频、以及基于深度审核指令扩充的除N个采集设备之外的至少一个采集设备已采集的与所述目标时刻的时差小于或等于第二设定时间阈值的视频。

16.根据权利要求15所述的方法,其特征在于,所述第二告警数据还包括:至少一个头肩框位置信息;

其中,所述通过审核客户端的第二显示屏显示与所述审核服务请求所携带的事件类型对应的第二类图像还包括:在所述第二类图像上叠加所述头肩框位置信息对应的头肩框。

17.根据权利要求15或16所述的方法,其特征在于,

所述事件类型为:第一类型,所述第一类型用于指示新生成的目标用户轨迹与任一用户在进入指定区域时被分配的已知用户ID关联失败;所述目标位置为所述目标用户轨迹中的至少一个位置;所述目标时刻为所述采集图像的采集时刻;所述审核结果是基于第一类图像、第二类图像上叠加的头肩框从已获得的所有已知用户ID中选中与所述目标用户轨迹相关联的目标已知用户ID;或者,所述事件类型为:第二类型,所述第二类型用于指示人货关联异常;所述目标位置为目标商品所处的目标货格;所述目标时刻为所述目标商品被执行目标行为的时刻,所述目标行为包括取拿或放回;所述审核结果是基于所述第一类图像、以及所述第二类图像上叠加的头肩框从两个以上疑似用户中选中对所述目标商品执行目标行为的目标用户ID。

18.根据权利要求14所述的方法,其特征在于,所述事件类型为第三类型,所述第三类型用于指示商品识别异常;所述目标位置为目标商品所处的目标货格,所述目标时刻为所述目标商品被执行目标行为的时刻,所述目标行为包括取拿或放回;

所述第二类图像包括:已获得的目标货架上各货格所存放的商品的商品图像;或者,所述第二类图像包括:已获得的所述目标货架上各货格所存放的商品的商品图像、以及基于深度审核指令扩充的除目标货架之外的至少一个非目标货架上各货格所存放的商品的商品图像。

19.根据权利要求18所述的方法,其特征在于,所述第二告警数据还包括:头肩框位置信息;

所述通过所述第一显示屏显示第一类图像包括:在所述第一显示屏显示的第一类图像上叠加所述头肩框位置信息对应的头肩框;

所述第二告警数据还包括用户轨迹ID,以使审核客户端基于所述第一类图像上叠加的所述头肩框以及已获得的所述用户轨迹ID对应的用户轨迹从所述第二显示屏显示的商品图像中选中的目标商品图像;所述目标数据为所述目标商品图像对应的目标商品信息。

20.一种数据审核系统,其特征在于,该审核系统包括:

智能审核系统,用于监测到的审核服务请求时,执行如权利要求1至11任一所述方法中的步骤;

审核客户端,用于在所述智能审核系统基于所述审核服务请求审核失败后获得所述审核服务请求,则执行如权利要求12至19任一所述方法中的步骤。

21.一种电子设备,其特征在于,该电子设备包括:处理器和机器可读存储介质;

所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;

所述处理器用于执行机器可执行指令,以实现权利要求1‑19任一项的方法步骤。