本发明公开了一种双流神经网络时序动作定位方法。本发明方法首先对视频采样处理后获得视频帧流图像序列和视频光流图像序列;其次,构建双流神经网络边界分割模型,以完整视频的帧流以及光流图像序列为输入,以视频动作的边界信息为输出;再次,构建稀疏采样动作识别模型,输入为视频片段的帧流以及光流图像序列的稀疏采样序列,输出为视频片段对各动作类别(含背景)的概率。通过稀疏采样可以大为减少视频片段的冗余特征提取;采用边界分割策略搜索候选片段,规避了不同尺度下视频片段被重复处理的问题,抑制了后续候选片段在动作识别阶段中的背景类干扰,提高了时序动作定位的准确率。