多变量当辅佐序列优化多元时序预测成果 近期钻研趋向

在多元期间序列预测中，如何建模多变量之间的相关不时是钻研热点。过去一年最火的钻研方向之一就是多元期间序列应该驳回channel dependent（多变量联结建模）还是channel independent（多变量独立建模），以及channel dependent的各种改良方法。

近期，一种新的探求多变量建模的方法正在兴起。这类方法不再执着于用复杂的网络建模变量间相关，而是更间接一些， 在预测每个变量的期间序列时，将其余一切变量都当成外部特色或许辅佐序列，钻研的重点也就变成如何充沛应用这些辅佐序列优化指标序列的预测成果 。

当天这篇文章就给大家带来2篇近期 清华、亚马逊 宣布的相关上班。

清华-TimeXer

论文题目 ：TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables

下载地址 ：

TimeXer是清华大学近期宣布了一篇上班， 以Transformer为基础，经过更粗疏的建模外部变量建模成功指标变量拟合成果的优化 。

之前的建模中，更关心的是多变量和单变量的建模，即输入一个变量预测该变量，或许输入多个变量同时预测这多个变量，而关于输入多个变量预测一个指标变量的钻研较少。输入变量中，和指标变量分歧的为内源变量，其余变量为外源变量。如何应用外源变量辅佐优化内源变量的预测成果，是本文的外围优化指标。而之前的Transformer、PatchTST等方法，其实都是多预测多或一对一，并不适宜多对一的预测。因此本文对Transformer启动了更新，适配这种一对多的预测场景。

文中关于内院变量和外源变量两类变量的处置驳回了两种不同的方式。首先关于内源变量，也就是待预测的变量，经常使用了patchTST的方式，将期间序列分红不同的片段，每个片段作为一个patch映射成embedding。另一方面，关于外部变量，则驳回了相似iTransformer中的方法，将每个外部变量完整的映射成一个patch，生成对应的embedding。文中以为这种粗粒度的外部变量embedding生成方式，可以更好的将模型的重点放在描写外部变量对外部变量的空间影响上。

在获取两局部embedding后，对指标变量的patch内做self-attention，和PatchTST中的区别在于，会给每个指标变量的patch表征拼接成外部变量生成的embedding，以此成功外部变量消息的引入。在cross attention阶段，重要启动了指标变量表征和外部变量表征之间的cross attention，成功指标变量和外部变量之间的相关提取。

亚马逊-CATS

论文题目 ：CATS: Enhancing Multivariate Time Series Forecasting by Constructing Auxiliary Time Series as Exogenous Variables

下载地址 ：

本文是亚马逊宣布的上班， 外围理路是将其余变量作为辅佐序列来优化指标变量的预测成果 。

关于每个变量，都选用一局部其余变量作为辅佐序列，这些辅佐序列经过一个ATS Constructor启动变换，获取有助于指标变量预测的变换后结果。这些辅佐序列变换后的结果，会和原始单变量的预测结果相加，获取最终的预测结果。

一个便捷的例子如下图，AB两个序列，A是B的后移几个step的变换结果。在AB两个序列的多元预测中，独自预测不可借助两个序列之间的这种相关。假设驳回本文提出的这种方法，在预测A的时刻，将B看成辅佐序列，经过一个identity mapping获取shift后的结果，就可以间接用这个B的映射后结果用于预测A。

模型的全体结构如下图所示， 遵照了Continuty、Sparsity、Variablity三个准则 。

Continuty指的是延续性准则，经过在辅佐序列的映射结果加上相邻两个点距离不能太远的平滑性解放成功。

Sparsity指的是稠密性，关于多变量期间序列，或许只要一小局部实用于作为指标序列的辅佐序列，这里经常使用一个门控网络，挑选大批的其余变量作为辅佐序列，免得建模过于复杂造成过拟合。同时在期间维度上也运行了Sparsity，只截取局部窗口的序列用于预测。

Variablity指的是要让辅佐序列局部能提取多样性的序列间相关消息。文中经过对ATS Constructor结构的设计成功，提出了基于卷积、不堆叠卷积、独立卷积等多种方式从不同角度提取辅佐序列可用于指标序列预测的消息。

本文转载自​​，作者：