文章信息
文献标题：Combining LSTM Network Ensemble via Adaptive Weighting for
Improved Time Series Forecasting
期刊名称： Mathematical Problems in Engineering
所属级别： 中科院分区：3区（Q3）
影响因子： 1.19
发表时间： 2018
作者机构：
1Division of Computer & Electronic Systems Engineering, Hankuk University of Foreign Studies, Yongin-si, Republic of Korea
2Department of Information and Communications Engineering, Chosun University, Gwangju, Republic of Korea
作者姓名：Jae Young Choi1 and Bumshik Lee 2
内容提要
主要内容：摘要提出了一种新的LSTM集成预测算法，该算法有效地结合了一组LSTM网络的多个预测结果。能够动态的调整权重，用递归的方法利用预测误差和遗忘权系数来更新各时间步的权重。
实验方法：
技术指标：
创新之处：
知识概念：
LSTM网络：
记忆模块包括输入门，遗忘门，输出门
参考：
（译）理解 LSTM 网络 （Understanding LSTM Networks by colah）
Tensorflow实战：LSTM原理及实现（详解）
LSTM原理及实现（一）
RNN以及LSTM的介绍和公式梳理
LSTM算法解析
在这个集成预测器中，每个LSTM模型都作为一个基础预测器[6]
权重调整理论基础：如果个体估计值的回归误差不相关且均值为零，则当权值与估计值的方差成反比时，加权平均(如式(2)所示)的方差最小[22]。证明过程见附录
随机梯度下降算法 stochastic gradient descent (SGD)
方法介绍
模型示意图👇
集成LSTM
将M个LSTM模型的输出加权计算，其中k表示第k步，ωm表示第m个模型的权重，m∈[1,M]，k∈[1,N]：
使用不同的步长进行训练，使模型具有更高的灵活性。一个具有可变序列长度的LSTM模型集合能够处理真实时间序列的动力学和非平稳性问题。
自适应权重调整pk
递归方法确定权重，建议λ的值为0.3，△ω(k)m是基于LSTM的逆预测误差计算所得：
ε(k)m是用过去的测量误差计算所得，ε(t)m表示第m个模型在第t步的误差，v表示滑动时间窗的宽度：
通过(3)(4)(5)的计算，得到最终步T的权重ω(T)m，将M个模型的权重归一化处理，计算集成LSTM中每个模型的权重：
计算工具：�TensorFlow [23]
使用随机梯度下降算法进行训练
10个LSTM网络构成一组，每个LSTM网络有1个隐藏层，记忆单元数目与固定步长相同。根据公式5，γ和v分别为0.85，4。公式3中的ω(k)m初始值设置为0.
从数据库中选取了四组数据，对于每组数据，60%作为训练集，15%作为验证集，25%作为测试集。验证集是为了来确定集成LSTM中每个子LSTM网络的权重。
评估预测准确度：平均绝对误差mean absolute error (MAE)，均方差mean square error (MSE)
在(7)式和(8)式中，两个不同的y值分别表示目标值和预测输出结果。
价值计算：价值的计算是在所有四个时间序列数据集上，所有集成预测效果中选择最差的一种，与之相比预测错误的平均减少百分比。对于第i个时间序列，第j种集成预测方法，价值函数计算如下：
结果讨论
模型结果
与其他集成方法对比：平均(AVG)，中值，最小二乘回归(LSR)，样本平均(AIW)，基于神经网络的线性集成方法(NNLE)
各集成模型的价值计算结果，LSTM集成方法具有了最佳的价值，MAE和MSE分别减小了约39%和49%的价值：
总结评论
我们已经证明，我们设计的LSTM集成预测方法能够很好地捕捉真实世界时间序列的动态行为。跟其他预测器比起来它具有更好的表现，能够基于时变推理和自适应来调整组合权重，可以有效地建模非线性的统计关系
有待研究
网络构建方式
值得学习
数据库：“Time Series Data Library (TSDL),” http://robjhyndman.com/TSDL/
“Time Series Data Library (TSDL),” http://robjhyndman.com/
TSDL/
英文表达
In light of this fact：鉴于这个事实
网友评论