1.一种会议信息智能检索方法,其特征在于,包括以下步骤:步骤一、会议信息记录,全程实时以多媒体方式记录,包含会议整个视频、音频以及文本等形式的归档;
步骤二、提取会议视频内容的音频流,从视频流提取音频流通常使用解复用(demux)将音频流从媒体文件或者流文件的容器(Container)复制一份出来,而原始视频文件保持不变,再将音频流发送到语音识别模块将语音转换为文字信息并存储;
步骤三、对会议记录的视频、音频、文本按会议进行的时间进行标记,通过说话检测技术或者静音检测技术为起始和结束判断依据,再进一步结合NLP(自然语言处理)的上下文判断技术包括且不限于SBD(Sentence boundary disambiguation)以及粒度更细小的WS(Word Segmentation)将说话内容按照句子为单元,或者词为单元进行处理,处理的后的会议记录内容被分别按句以及按词添加标记并存储;
步骤四、用户搜索会议记录,输入文本信息或者语音信息进行查询,若接收到语音信息,则通过语音转文本模块将语音转换为文本,并与先前存储的会议信息匹配、查询,并返回对应的音频或视频信息,并附带语音转换而成的文本信息;
步骤五、用户在查看返回结果时,可以快速检索上下文的记录内容,即用户可同时查看被检索时间段之前与之后的会议信息,且记录内容以文本、音频或者视频信息通过高亮展示给用户,用户可直观的定位、选取以及修改对应的内容。
2.根据权利要求1所述的一种会议信息智能检索方法,其特征在于:所述步骤一中,如果会议为网络视频会议,则会议信息直接通过网络获取,如会议为非网络会议,则通过录音、录像等多媒体设备将会议进行录制,并进行提取转换。
3.根据权利要求1所述的一种会议信息智能检索方法,其特征在于:所述步骤二中语音转换的文字信息在存储的同时,也可被用于实时会议字幕展示,以及被记录。
4.根据权利要求1所述的一种会议信息智能检索方法,其特征在于:所述步骤三中标记的时间间隔以音频中包含说话内容的一句话、或者一个停顿为标记。
5.根据权利要求1所述的一种会议信息智能检索方法,其特征在于:所述步骤三中被标记的视频段、音频段以及文字段是分别设置时间顺序表一一对应存储,其中视频段按照时间顺序被记录在列表VSRL(Video Segments Recording List)中,音频段按时间顺序被记录在列表SSRL(Speech Segments Recording List),文字段信息按时间顺序记录在列表TSRL(Text Segments Recording List)中。
6.根据权利要求5所述的一种会议信息智能检索方法,其特征在于,所述步骤四中的匹配过程包括以下步骤:
步骤a、第一级文字匹配,用户搜索产生的文本信息用于在TSRL存储的文本信息匹配,如果能够匹配到则返回对应时间段的音频信息,如果有对应的视频信息则直接返回对应时间段的视频信息;
步骤b、第二级文字匹配,如果第一级无法匹配到,则将文本信息经过SBD降为更小粒度再次匹配,如果能匹配到则返回与之对应的音频或视频信息;
步骤c、第二级处理,如果第二级还无法匹配则再将信息经过WS分解为更小粒度再次匹配,如果能匹配到则返回对应的音频或视频信息,否则确实匹配不到查询信息。