期间序列预测近期外围钻研点总结

期间序列畛域最近几年的变动十分大，在2018年左右，RNN这类模型才刚在期间序列上运行，而目前曾经基本和NLP、CV等畛域对齐了。随着深度学习在期间序列预测畛域钻研的深化，最近一年也产生了很多新的期间序列预测钻研方向。这篇文章就给大家汇总一下最近比拟抢手的期间序列钻研点。

很多同窗都觉得如今各种群众号上期间序列的常识太杂太散，很难串联成一个全体，系统性的学习。圆圆在常识星球中开设了系统性学习期间序列预测的专题课程，从最基础的期间序列预测各类义务定义、数据处置，到模型结构优化、翻新运行。系统性梳理从2017年以来的近百篇期间序列论文上班，让你对期间序列有一个片面的意识和深化了解。

变量间相关建模

多元期间序列预测疑问中，输入是多条期间序列。最开局的钻研并没有特意关注这个点，每个期间步多个值就间接输入到MLP中编码，再输入到后续的模型中。但是，在PatchTST中，提出了用channel independent的模式建模，即每个变量独立预测，只管损失了变量之间的相关的消息，但是却取得了更好的成果。这个发现启示了钻研者，应该如何启动更好的多变量间相关建模。

近期也产生了很多多变量相关建模的相关上班。这些建模方法的外围理路，基本是将变量间相关建模，与时序建模这两个疑问拆解开，用不同的模块区分建模，防止两局部消息纠缠在一同形成的过拟合疑问。比如iTransformer中，间接将期间维度的建模变成MLP，专门用transformer启动变量间相关建模。再比如InjectTST中，每个变量依然是独立建模，但是独自参与一个全局消息模块，输入一切变量的消息，再拼接回每个变量的时序表征，来成功变量间相关建模的目标。

频域消息运行

频域消息不时是期间序列中的一个外围点，传统的期间序列剖析方法中，傅里叶变换等将时域映射到频域的方法，是十分罕用的。但是在最开局的深度学习期间序列模型中，很少用到频域消息，更多是期间将时域的期间序列自身输入到模型，疏忽了频域消息关于序列全局性个性描写的才干。因此，最近很多上班都开局将频域消息融入到深度期间序列预测模型中。这类方法的外围是，将时域中曾经成功运行的建模方法，在频域中也经常使用一遍，而后将时域和频域独立建模的表征融合到一同，启动后续的预测。例如Frequency-domain MLP这篇文章中，将纯MLP的期间序列建模方法间接迁徙到频域，验证了频域MLP是更好的时序建模方法。FEDformer则是将self-attention在频域中启动一次性，补充了频域消息。

大模型期间序列

因为大模型潮流的星期，期间序列也有很多上班开局朝着大模型的方向钻研。大模型期间序列上班，基本可以分为两种类型：第一种是间接用NLP的大模型做期间序列预测。这类方法中，经常使用GPT、Llama等NLP大模型启动期间序列预测，重点是如何将期间序列数据转换成适宜大模型的输入数据。第二种是训练期间序列畛域的大模型。这类方法中，经常使用少量的期间序列数据集，联结训练一个期间序列畛域的GPT或许Llama等大模型，并用于下游期间序列义务。这类大模型的目标也不同，有的是搭建一个可以用于各类domain数据的期间序列预测大模型，有的则是搭建一个能用于各类期间序列疑问的大模型。

比如TIME_LLM提出了一种reprogramming方法，将期间序列映射到文本，成功期间序列和文本这两种模态之间的对齐。TimeGPT则是基于期间序列数据和GPT的结构，训练了一个期间序列畛域的大模型。

Mamba模型

Mamba是最近最火的模型之一，更是被业内以为可以有取代Transformer的后劲，在NLP中曾经取得了比拟成功的成果验证。这种序列建模方法，是十分实用于期间序列这种数据的，因此，最近也有很多上班尝试将Mamba运行到期间序列畛域，验证Mamba这种结构关于期间序列场景的有效性。

在Is Mamba Effective for Time Series Forecasting?这篇文章中，初步验证了Mamba结构在期间序列上的成果，并验证了有效性。在其后的一些文章中，则是不时改良Mamba结构，适配期间序列，或许迁徙Mamba在NLP最新的运行方法到期间序列。例如MambaFormer将NLP中Transformer+Mamba的结构从NLP畛域迁徙到期间序列畛域，也取得了不错的成果。

Patch建模优化

Patch的期间序列处置方法是PatchTST中首先提出的，将原来的期间序列处置方法从点变成patch，增强每个区块序列的完整性。这种建模方法也自此被宽泛运行，目前成为了期间序列预测中的干流数据处置方法。

但是，基础的Patch处置方法也存在疑问，例如patch窗口的大小是固定的，灵敏性较差。针对这类疑问，一些上班对patch建模启动优化。例如，很多上班如patchformer，经过不同粒度的patch划分，并行或串行的ensemble多个表征，成功对不同粒度消息的提取。在往年AAAI2024的上班HDMixer中，则是提出了一种可学习的灵活patch方法，成功每个patch的窗口长度随消息量灵活变动的目标。

时序分散模型

分散模型也是最近很多的一个钻研方向，在生成式模型中成为干流，在Sora等运行中都有分散模型的身影。因此，基于分散模型的生成式期间序列概率预测，也成为一个目前比拟陈腐的钻研方向。

早在2021年的上班TimeGrad中，就开局用扩撒模型做期间序列生成了。在近期的上班TDSTF中，驳回了Diffusion Transformer的框架，启动期间序列生成，全体对齐了图像生成中的SOTA方法。

本文转载自​​，作者：