ICLR24
这篇文章给大家引见一下ICLR2024中,用对比学习强化时期序列预测的一篇上班。这篇文章是韩国KAIST宣布的上班,经过在时期序列预测中引入对比学习,成功对Encoder建模窗口以外全周期时期序列消息的运行。
论文题目 :SELF-SUPERVISED CONTRASTIVE FORECASTING
下载地址 :
背景
长周期时期序列预测不时是业内钻研的焦点,然而现有的方法,大少数都是在一个时期窗口内建模,行将原来的时期序列宰割成多个片段,每个片段外部独自的启动训练和预测。
比如原来的完整时期序列长度是10000,每个训练的时期序列长度或者只要200。这种只在一个窗口内启动建模的模式, 没有思考完整时期序列的消息 。这会造成,两个时期序列片段原本属于同一个完整的时期序列,有一些法令消息是相似的,然而模型在训练时却不可捕捉这个消息。
如下图所示,完整的时期序列存在必定的周期性,整个长度为10。然而假设以一个反常的Encoder长度训练模型,提取的片段完整表现不出这种长周期性消息。
建模方法
为了处置这个疑问,本文的外围提出了一种 基于自相相关数的对比学习loss 。自相相关数权衡了一个时期序列和自身T个时期步提前后的相相关数,自相相关数越大,说明时期序列具备更强的T周期性。比如一个齐全以年为周期的时期序列,假设把时期序列移动365个时期步,将移动前后的时期序列计算相相关数,其结果是1。
文中便应用这个消息优化时期序列示意的学习。在一个batch内,时期序列是来自同一个完整时期序列的多个窗口(也或者来自多个,本文重要以一个完整序列启动钻研),并且这些窗口大略率具备比拟大的时时期隔,由于是随机采样的。
首先标志出每两个时期序列之间的时时期隔T,而后计算两两时期序列距离为T的自相相关数,这个自相相关数描写了这两个时期序列的相关相关。以这个自相相关数为label,构建对比学习的正样对,并以对比学习为指标优化序列表征 。
经过这种模式,成功了应用完整时期序列消息的目的,在示意空间中拉近在完整时期序列中T自相关性系数高的时期序列片段表征。
基于上述的对比学习框架,文中提出了一种新的长周期时期序列预测模型。在经常出现的基于趋向项、节令项合成的时期序列预测模型结构基础上,引入了一个基于上述对比学习提取长周期示意的分支,最后由3个分支融合到一同启动预测。
其中,长周期分支的Encoder局部经常使用了TCN模型,也可以交流成其余模型。经过ReVIN和逆向ReVIN操作对输入的时期序列启动规范化。最后以MSE为loss启动模型优化。
试验成果
在试验中,本文对比了多种长周期时期序列预测的成果,本文提出的方法取得了清楚的成果优化。
同时,文中也剖析了在试验数据集中,窗口外的自相关性是宽泛存在的,也从一个角度验证了这种全周期时期序列消息提取的必要性。
本文转载自 圆圆的算法笔记 ,作者: