作者:datamonday

贡献者:datamonday

Github:https://github.com/datamonday/Time-Series-Forecasting-Algorithm

CSDN:原理+论文+实战:60篇由浅入深的时间序列预测/分类教程汇总

初次发布:2020年04月17日

最后修改:2021年06月01日

• 更新Python datetime模块和Pandas 时间序列数据处理的相关知识及代码

[toc]

⏱最一段时间都在学习时间序列预测和时间序列分类相关的知识,一开始感觉无从下手,论文看不懂,代码不会写。经过近三个月的摸索,也算是入门的小白了,这篇博文算是个人经过踩坑,去粗取精之后的经验总结。通过4篇博客、9篇论文、32篇实战教程,梳理出了一套系统化的时间序列预测和时间序列分类任务的入门指南。文中提及的博客论文和教程全部内容字数大约在50万字到100万字之间。既是对这段时间所学知识的梳理总结,也希望给有需要的同学提供帮助。水平有限,如有问题欢迎指出,谢谢。

🎯【适用人群】:

• 没有时间序列预测/分类相关的经验的小白。

⌨【代码环境】:

• python 3.7.6
• tensorflow 2.1.0

🔊【注意事项】:

• 因为tensorflow 2.0版本开始集成了keras,成为了 tensorflow.keras API,因此不用额外安装,并且无需 (削除) import keras (削除ここまで)。

• 本文提及文章的神经网络编写部分使用Keras深度学习框架。

• 本文提及文章的所有代码均在Jupyter Notebook中编写,并测试通过。

• 本文提及的所有文章中,参考资料均在每篇文章的文末给出。

📽【行文顺序】:

• 原理篇:逻辑顺序

• 论文篇:时间顺序

• 实战篇:逻辑顺序+时间顺序

• 注:本文提及的网络架构、论文、教程都是按照由浅入深介绍的,教程部分(三、实战篇)有些教程是有相互关联的。

📖【主要内容】:时间序列任务分为时间序列预测和时间序列分类两种类型,本文主要内容如下:

• LSTM 及其不同的网络架构处理时间序列预测/分类任务;
• CNN 及其不同的网络架构处理时间序列预测/分类任务;
• CNN-LSTM 网络处理时间序列预测/分类任务;
• ConvLSTM 网络处理时间序列预测/分类任务;
• DeepConvLSTM 网络处理时间序列分类任务;
• LSTM-FCN 网络处理时间序列分类任务;
• Multivariate LSTM-FCNs 网络处理时间序列分类任务

本部分所有标题都设置了对应文章超链接,直接点击传送。

如果对下文提及的原理比较熟悉,可以直接跳过。

1. 零基础入门深度学习(4) - 卷积神经网络

• 文章日期:2017年08月28日
• 内容梗概:CNN算法原理+数学推导+代码实现

2. 零基础入门深度学习(5) - 循环神经网络

• 文章日期:2017年08月28日
• 内容梗概:RNN算法原理+数学推导+代码实现

3. Understanding LSTM Networks

• 文章日期:2015年08月27日
• 适合人群:了解LSTM的基本原理。

相信大家看过的很多介绍LSTM原理的文章都用到了这篇文章的配图。

4. 零基础入门深度学习(6) - 长短时记忆网络(LSTM)

• 文章日期:2017年08月28日
• 内容梗概:LSTM算法原理+数学推导+代码实现

这三篇文章(本篇+之前同系列两篇)应该是我目前遇到的讲解得最详细最全面思路最清晰的文章,由浅入深,原理+推导+代码,墙裂推荐。

本部分主要内容:

• 时间序列分类任务数据集构建(人类活动识别)
• CNN-LSTM 网络
• ConvLSTM 网络
• DeepConvLSTM 网络
• LSTM-FCN 网络

本部分可以先跳过,直接看实战篇,如果对其中的网络架构有疑问或者有些内容看不懂,再阅读这些论文也可以。

1. Activity Recognition using Cell Phone Accelerometers

• 论文被引:2034
• 论文年份:2010

WISDM实验室应该是最早开始做基于手机传感器的人类活动识别的实验室,手机的数据只有3个特征(3轴传感器数据)。这篇论文是该实验室的第一篇论文,主要介绍了关于数据集的构建与处理。

2. Cell Phone-Based Biometric Identification

• 论文被引:262
• 论文年份:2010

这篇论文是该实验室的第二篇论文,主要介绍了 数据收集以及将时间序列数据转换为样本的过程,值得借鉴。

该实验室还有3篇论文,个人感觉参考意义不大,可以先不看。

1. Human Activity Recognition on Smartphones using a Multiclass Hardware-Friendly SVM

• 论文被引:619
• 论文年份:2012

这篇论文是创建该数据集的实验室发表的有关人类活动识别的第一篇论文,主要介绍了使用监督机器学习方法通过手机传感器信号来识别人类活动(6类,分别是站立,行走,放置,行走,上楼和在下楼)进行分类。使用9个特征(6轴传感器+3个分离信号(身体重力加速度))。

2. A Public Domain Dataset for Human Activity Recognition Using Smartphones

• 论文被引:763
• 论文年份:2013

这篇论文介绍了 UCI-HAR Dataset数据集是如何创建的,很有借鉴意义,如果做时间序列分类任务的话,是必读论文。

1. Long-term Recurrent Convolutional Networks for Visual Recognition and Description

• 论文被引:3634
• 论文年份:2015

该论文提出的网络架构最初被称为长期循环卷积网络(LRCN),现在使用"CNN LSTM"来指代使用CNN作为前端的LSTM。该网络架构最初用于生成图像的文本描述的任务。关键是CNN,该CNN在图像分类任务上进行了预训练,使得可以用作字幕生成的特征提取器。

2. Show and Tell: A Neural Image Caption Generator

• 论文被引:3378
• 论文年份:2015

该论文提出的网络架构用于语音识别和自然语言处理问题,其中CNN用作音频和文本输入数据上的特征提取器,之后输入到LSTM进行进一步处理。

这两篇论文是CNN-LSTM网络家族的开篇之作,是必读论文。

1. Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting

• 论文被引:1787
• 论文年份:2015

这篇论文是最先提出 ConvLSTM 网络架构的论文,该论文是用于预测相对短时间内某个地区未来的降雨强度,属于必读论文。

1. Deep Convolutional Neural Networks On Multichannel Time Series For Human Activity Recognition

• 论文被引:541
• 论文年份:2015

在基准数据集上对所提方法与现有方法的比较进行了广泛的研究。结果表明,该方法是一种很有竞争力的HAR问题求解算法。该论文还研究了CNN的效率,并得出结论:CNN对于在线人类活动识别是足够快的。

2. Deep Convolutional and LSTM RNN for Multimodal Wearable Activity Recognition

• 论文被引:836
• 论文年份:2016

该论文提出了DeepConvLSTM网络架构:由卷积层和LSTM循环层组成的深度学习框架,它能够自动学习特征表示并对它们的激活之间的时间依赖性进行建模。通过业内的标准的人类活动识别数据集(OPPORTUNITY和Skoda)进行实验,证明此框架适用于可穿戴传感器数据的活动识别。属于必读论文。

1. LSTM Fully Convolutional Networks for Time Series Classification

• 论文被引:211
• 论文年份:2017

该论文提出的模型在显著地提高全卷积网络性能的同时保证模型大小只有很少的增加,并且几乎不需要对数据集进行预处理。提出的长短期记忆-全卷积网络 (LSTM-FCN) 与其他网络相比,具有最新的性能。利用注意力-长短期记忆-全卷积网络 (ALSTM-FCN),探讨了注意力机制在时间序列分类中的应用。利用注意力机制可以可视化LSTM细胞的决策过程。此外,还提出了微调的方法来提高训练模型的性能。对模型的性能进行了全面的分析,并与其他技术进行了比较。

2. Multivariate LSTM-FCNs for Time Series Classification

• 论文被引:70
• 论文年份:2018

该论文提出将现有的单变量时间序列分类模型长短期记忆-全卷积网络(LSTM-FCN)和注意力-长短期记忆-全卷积网络(ALSTM-FCN)通过在全卷积块上增加一个压缩和激励块来进一步提高分类精度,从而转化为多变量时间序列分类模型。提出的模型在少量预处理的情况下优于大多数最新模型。所提出的模型能有效地处理各种复杂的多元时间序列分类任务,如活动识别或动作识别。此外,所提出的模型在满足实时要求(小,快),可以部署在内存受限的系统上。

本部分不涉及具体的数据集,使用构造的数字序列;目的是通过程序了解网络架构和定义方法。

• LSTM 01:理解LSTM网络及训练方法
• LSTM 02:如何为LSTMs准备数据
• LSTM 03:如何用Keras编写 LSTMs
• LSTM 04:4种序列预测模型及Keras实现
• LSTM 05:如何用Keras开发 Vanilla LSTMs 和 Stacked LSTMs
• LSTM 06:如何用Keras开发 CNN LSTM
• LSTM 07:如何用Keras开发 Encoder-Decoder LSTM
• LSTM 08:超详细LSTM调参指南

• 时间序列预测01:如何将时间序列预测转化为监督学习问题
• 时间序列预测02:经典方法综述 自回归ARIMA/SRIMA 指数平滑法等
• 时间序列预测03:如何为CNN/LSTM模型构建数据集
• 时间序列预测04:TF2.1开发多层感知器(MLPs)时间序列预测模型详解
• 时间序列预测05:CNN时间序列预测模型详解 01 Univariate CNN、Multivariate CNN
• 时间序列预测06:CNN时间序列预测模型详解 02 Multi-step CNN、Multivariate Multi-step CNN
• 时间序列预测07:如何开发LSTM实现时间序列预测详解 01 Univariate LSTM
• 时间序列预测08:如何开发LSTM实现时间序列预测详解 02 Multivariate LSTM
• 时间序列预测09:如何开发LSTM实现时间序列预测详解 03 Multi-step LSTM
• 时间序列预测10:如何开发LSTM实现时间序列预测详解 04 Multivariate Multi-step LSTM

• 时间序列预测11:用电量预测 01 数据分析与建模
• 时间序列预测12:用电量预测 02 朴素模型多步预测建模
• 时间序列预测13:用电量预测 03 ARIMA模型多步预测建模
• 时间序列预测14:CNN 实现用电量/发电量预测
• 时间序列预测15:Multi-input / Multi-head CNN 实现用电量/发电量预测
• 时间序列预测16:Encoder-Decoder LSTM 实现用电量/发电量预测
• 时间序列预测17:CNN-LSTM 实现用电量/发电量预测
• 时间序列预测18:ConvLSTM 实现用电量/发电量预测

• 使用Keras实现预测燃油效率
• 使用Keras实现LSTM天气预测

• 时间序列分类01:人类活动识别深度学习模型综述
• 时间序列分类02:数据可视化与问题分析建模流程详解(UCI-HAR)
• 时间序列分类03:如何开发CNNs模型实现人类活动识别(调参)
• 时间序列分类04:如何开发LSTMs模型实现人类活动识别(CNN-LSTM、ConvLSTM)

• TensorFlow实现时间序列滑动窗口
• Python yield 实现滑动窗口截取时间序列数据(滑动步长可调)
• numpy unique() 方法实现将分类标签转化为数字编码(非one-hot)

• 深度学习模型24种优化策略详解

1. Energy consumption prediction using machine learning a review
2. Electric Energy Consumption Prediction by Deep Learning with State Explainable Autoencoder
3. Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting
4. 【CMU & AWS 2020】Forecasting Big Time Series: Theory and Practice(Part I)
5. 【CMU & AWS 2020】Forecasting Big Time Series: Theory and Practice(Part II)
6. A review of data-driven building energy consumption prediction studies
7. A Comparative Study of Time Series Forecasting Methods for Short T erm Electric Energy Consumption Prediction in Smart Buildings

1. Attention Is All You Need(Transformer)
2. 【Attention】注意力机制简介
3. 【Attention】注意力机制的直观理解
4. 【Attention】图解 Attention
5. 【Attention】注意力机制概述
6. 【Transformer】How Transformers Work
7. 【Transformer】图解 Transformer

Github:https://github.com/datamonday/Time-Series-Forecasting-Algorithm

部分源码已经放到Github了,欢迎Star,Fork!

欢迎关注公众号,获取更多干货内容! 在这里插入图片描述

以上是三个多月以来对时间序列预测和分类任务的总结,仅供参考。如果给你带来了帮助,请动动手指点个赞;如果对文中内容存疑,欢迎指出交流,谢谢各位人才。

刚开始的时候,无从下手,走了很多弯路。经过这段时间的试错和摸索,算是总结出了一些经验。上文提到的论文,是个人认为帮助比较大的论文,如果在做时间序列预测或分类任务的话最好看一下,理解其中的建模思路和网络架构的优缺点,以便快速上手。

实战篇的代码主要参考澳大利亚博主Jason Brownlee的博客文章,在此表示感谢。博客地址:传送门。