关键词:
时序数据
神经常微分方程
循环神经网络
因素融合
摘要:
时间序列数据广泛存在于现实生活中,特别是在智能化城市,智能化工业以及大数据信息时代的大趋势下,大量的时间序列数据可以被轻松获取到,而如何将这些时序数据在现实场景中(如城市交通的监管与预测,工业中的数据分析与智能调度)加以有效利用一直是人们关注的重点。本文从城市交通流量和工业水电流量两种不同的时序数据出发,研究如何利用深度学习的方法对这两种时序数据进行有效分析与预测。现有的时间序列预测方法主要还是基于深度神经网络,如残差网络、卷积神经网络和循环神经网络。尽管这些现有方法有着许多优点,但都存在模型复杂度较高且内存参数暴力使用情况,无法在数据缺失时表现出强鲁棒性,此外,现有方法也无法在预测精度与效率之间提供有效折衷,为决策者提供高度的灵活性。在本文中,我们提出了TODE和FODE这两种方法来解决城市交通流量的分析预测问题和超分问题,提出Deep Hydro方法来对水电流量数据进行分析与预测,其主要内容分别如下:1、TODE首次将神经常微分方程(NODE)应用到城市交通流量的预测问题中,引入了一种离散化然后优化的方法来改善和平衡预测精度和计算效率,该连续动态系统能更好的应对部分数据缺失的情况,也能对因素进行更复杂的融合学习。2、FODE在TODE的基础上,改进原ODE存在的数值计算不稳定和梯度计算不准确的问题,在保证内存开销不变的情况下提高模型性能。改进的增强流量归一化流方法额外地考虑了外界因素的分布概率,加强了对城市交通流量的约束性。3、Deep Hydro通过将ODE与RNN结合提出一种新颖的条件潜伏循环神经网络,并引入连续归一化流(CNF)对潜在变量的分布进行连续变化,来捕获多元时序数据中的不确定性信息从而提高预测性能。最后,本文在城市交通流量和水电流量两种不同的数据集上对所提出的方法进行验证。实验证明,我们提出的基于神经常微分方程的时序模型表现均优于其他方法,并且所消耗的内存以及参数的使用量是最少的,这充分地体现出本文提出的模型的高效性。此外,本文提出的Deep Hydro模型目前已部署在国家电网集团的应用端上,已初步取得了一些成效。