清华大学NeurIPS24 时序大模型AutoTimes 结合In

当天给大家引见一篇清华大学宣布于NIPS2024中的大模型期间序列预测上班AutoTimes，经常使用大模型启动自回归方式的期间序列预测，并结合In-Context Learning优化预测成果。

论文题目 ：AutoTimes: Autoregressive Time Series Forecasters via Large Language Models

下载地址 ：​ ​​ ​

背景

大模型在期间序列预测中的运行曾经有了一些钻研上班。之前的大模型时序预测，重要讲大模型当成一个表征抽取器，将期间序列对齐大模型表征空间后输入LLM，生成的编码经过映射获取预测结果。

但是，本文以为这种建模方法没有充沛应用大模型自回归的才干。因此，本文提出驳回自回归的方式将大模型运行到期间序列预测中。并结合NLP中的prompt、in-context learning等技术，优化大模型时序预测的成果。

成功方法

本文的建模方法重要可以分为时序消息处置、大模型预测、时序in-context learning三个局部。全体的建模流程图图所示。

时序消息处置 ：LLM输入期间序列编码和位置编码两种类型的消息。关于期间序列，将其合成成多个不堆叠的segment，每个segment经过一个Embedding层映射成一个token embedding。关于每个期间步的详细消息，取每个片段最后一个期间戳的文本消息，间接用其对应的LLM文本编码作为position embedding。每个片段的序列编码和位置编码拼接到一同，作为LLM的输入。

大模型预测 ：AutoTime全体建模驳回自回归的方式。期间序列消息输入到LLM后，LLM参数固定不变，生成segment对应的编码。而后经常使用一层网络，将每个segment的编码映射成期间序列值，经常使用MSE计算loss启动模型优化。训练义务驳回next item prediction的方式，循环的依据前面的时序token预测下一个时序token，和LLM的优化方式对齐。

时序In-context Learning ：自创NLP中的In-context Learning思绪，文中在启动指标数据集的预测时，应用源数据集中的期间序列构建prompt，拼接到待预测的数据中。经过在源数据集中，抽取几对历史序列+未来序列数据，转换成token embedding后，拼接到样本前面，作为context消息，协助大模型对样本的预测。

试验成果

文中在短周期时序预测、长周期时序预测等义务上都启动了试验，取得了大模型时序预测方法中的最优成果，相比传统的PatchTST等建模方法也有长处。

文中也进一步验证了In-context Learning的成果。相比Zero-shot Learning，In-context Learning在引入例子作为prompt消息后，使得模型的预测成果取得了进一步优化。

经过case剖析也可以看出，In-context Learning的预测结果愈加准确。

本文转载自​​，作者：​​