齐全在频域学习的时序预测模块 优化各类SOTA模型成果

当天给大家引见一篇浙大、中南、南洋理工、上交、北大等多所高校联结提出的一种期间序列预测建模方法，针对目前时序预测间接预测方法没有思考到预测各个期间步相关的疑问，提出了在频域中启动预测的方法，可适配到各类时序SOTA模型中，取得了长短周期时序预测的成果优化。

论文题目：FREDF: LEARNING TO FORECAST IN FREQUENCY DOMAIN

下载地址：​ ​​ ​

开源代码：​ ​​ ​

1.背景

在天气预告、工业保养等畛域，准确的时序预测可以协助咱们做出更好的决策和布局。期间序列数据的自相关性——即不同期间点数据之间的相关性——为预测带来了共同的应战。这种自相关性既存在于多步输入序列中，也存在于多步预测的标签序列中。

现有的期间序列预测方法重要关注输入序列中的自相关性。为了建模自相关性，各种模型结构(如RNN、CNN、GNN等)被相继提出。但大少数方法却疏忽了一个关键方面：预测标签之间的自相关性：这种相关相关难以经过设计模型结构来建模，须要对预测范式启动特意设计。

特意是，时下盛行的间接预测方法（Direct Forecast，DF），经过多义务模式一次性性预测多步，以防止误差累积，从而优化建模精度。但是本文证实：DF假定标签序列在给定输入序列的条件下是条件独立的，从而疏忽了标签序列中的自相关性。

为了绕开标签序列在时域中的自相关性，本文提出将其投影到“自相关不清楚”的视图中，再用DF对投影值做模型训练和预测。例如，把标签序列投影到频域：，其中 是不同频率上的频谱重量。与时域中的自相关 不同，在频域中，频点1的频谱重量对频点2的频谱重量没有间接影响，从而对标签自相关性的影响启动了克服。

※和现有FFT-based上班的区别：在期间序列预测畛域，曾经有了较多基于频域学习的上班，例如AutoFormer、FedFormer、FreTS等。这些方法重要是经过设计模型结构处置输入序列中的自相关性。相对地，FreDF经常使用频域变换优化预测范式，处置标签序列中的自相关性（LA）；不触及扭转模型结构以处置输入序列中的自相关性。

2.标签序列中的自相关性

LA在时域的清楚性：在期间序列的生成环节中，时辰的预测不只与历史数据有关，更与上一时辰的形态有关。也就是说：在给定历史数据后，不同期间步之间的标签也应该存在相关性（如蓝色箭头示意）。为验证这一假说，经常使用DoubleML方法量化给定历史数据后预测期间步之间的因果相关强度，结果说明：LA在实在数据中是十分清楚的。

现有间接预测范式疏忽了对LA的建模：间接预测（Direct Forecast，DF）范式经常使用一个多输入头同时预测未来多个期间步的标签值。但是，DF只是复用了普通的多义务学习方法，没有考量标签之间的依存相关（LA）。特意是，即使标签之间没有关联，也可以经常使用上述损失函数训练一个多义务模型。在训练模型时，DF试图最小化预测标签序列与实在标签序列之间的误差；这假定了标签序列在不同期间步之间是条件独立的，从而疏忽了标签序列外部各期间步之间的相关性（LA）。

LA在频域的清楚性获取克服：为了处置LA，是不是可以对标签序列启动必定的变换，使得变换后序列的相关性获取克服呢？对序列来说，一个很人造的方法是傅里叶变换，将序列用时域转换到频域为验证这一假说，图1（c-d）量化了给定历史数据后频域点之间的因果相关强度，发现不同频点上的频谱重量基本没有相关性。所以，将标签序列变换到频域可以有效克服LA。

论文中进一步提供了在3个额外实在数据的验证，试验结果均展现出相似性质。

3.FreDF模型结构

FreDF 的外围现实是将预测义务从时域转换到频域。之前的验证标明，标签序列变换到频域后LA不清楚，因此适配DF的条件独立性假定，所以可以经常使用多义务方法间接预测多个频点的频谱重量。这种方法防止了自相关性对模型的影响，且绕开了显式建模自相关性的复杂性。

详细的成功方法如下。文中经常使用傅里叶变换将标签序列和预测序列都从时域转换到频域。这里和其余频域消息引入上班的区别在于，其余上班普通是将输入转换到频域，但最后还是在时域中预测。本文则是齐全将数据转换到频域，预测也是在频域中启动预测的，损失函数也定义在频域中。频域损失函数如下：

最终损失函数由时域和频域损失函数融合获取：

FreDF 方法不依赖于特定的预测模型或变换方法。它可以与现有的多种预测模型（Transformer、MLP）和变换方法（如用Chebyshev、Legendre变换替代FFT等）结合经常使用，从而提高了方法的实用性和灵敏性。

4.试验成果

文中在常年和短期期间序列预测上均启动了试验验证。FreDF可以清楚提高预测功能。以ETTm1数据集为例，FreDF将iTransformer的MSE降落了0.019,这一改良与过去1.5年中该数据集功能优化可比（Fedformer到TimesNet,MSE降落了0.017）。FreDF这一便捷的改良，可以逾越局部设计精美的模型架构所能带来的功能优化。在局部数据集上，它将iTransformer的功能优化到了超越了一些原本优于iTransformer的模型：ETT、Weather。

论文还测试了FreDF在不同神经网络架构上的体现，包含iTransformer、DLinear、Autoformer和Transformer等，以证实其与模型有关的个性：可以实际有效优化大少数干流时序预测模型的精度。

论文进一步测试了FreDF经常使用不同变换打算的功能体现，包含狭义FFT方法（沿期间维度的1dFFT、沿变量维度的1dFFT、期间-变量维度的2dFFT）和正交基投影方法（勒让德基、拉盖尔基、切比雪夫基、傅里叶基），也有一些很幽默的发现和探讨；详细请参考论文原文。

本文转载自​​，作者：