文本增强成功一致跨域期间序列预测 WWW24

当天给大家引见一篇WWW 2024中，因为新嘉博国立大学和香港科技大学联结宣布的多模态期间序列预测模型UniTime，经过文本消息成功一致跨域期间序列预测。

论文题目 ：UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting

下载地址 ：​ ​​ ​

背景

在很多期间序列预测场景中，会触及到跨域学习，即有多个畛域的期间序列数据，不同畛域的数据散布、特色都或者不同，须要对这些畛域都启动预测。处置这种疑问的一个基础方法为，为每个domain独立训练一个模型。这种方法的疑问在于资源占用多，不可共享不同domain期间序列数据的消息。

Cross Domain关系的方法钻研如何将多个不同domain的数据联结到一同训练一个模型。这其中须要面临的疑问包含，如何让模型兼容不同类型的数据、如何有效辨别不同domain的数据等疑问。本文就建设在这个疑问之上，宿愿建设一个能够联结训练不同domain期间序列数据的一致期间序列模型。

成功方法

针对上述疑问，本文提出了一种经常使用文本消息增强期间序列cross domain学习才干的方法。

首先，全体的模型结构驳回了Patch+Linear的基础模式，关于每个期间序列，经常使用patch的模式将序列转换为token embedding。因为不同domain的学习速率不同，为了防止那些学习快的domain产生过拟合，文中驳回了一种mask的思绪，将期间序列随机mask掉一局部点，让模型不能只依据domain数据自身的特色启动便捷预测造成过拟合。这一步的输入为mask标志和被mask序列的Gate融合结果。

接上去，文中引入了文本消息辅佐跨域学习。关于每个domain的数据，经常使用一个文本形容，输入到Transfomer中生成表征，形容这个domain的样本，以此作为一个domain的标识消息。这局部消息和期间序列自身的输入结果拼接到一同后，全体再过一个Transfomer融合文本和时序的消息。

最后，上述Transformer结果会输入到Decoder中，为了适配不同domain的序列长度或者不同的疑问，经常使用一个可学习的padding向量对Encoder的输入结果启动补全。补全结果输入到Transformer Decoder中获取最终预测结果。

试验成果

在试验中，文中对比了多个数据集中，不同预测窗口的预测成果。对比的模型包含在一切数据集上联结训练的方法，也包含在独自数据集上训练的方法。可以看到，UniTime在多个数据集的不同性能上都取得了比拟显著的成果优化。

同时，经过下图可以看出，经过引入instruction，可以让各个domain数据的表征学习的愈加正当，各个domain在表征空间辨别的更分散。

本文转载自​​，作者：