ICLR 2024 | iTRANSFORMER在时间序列预测中刷新SOTA

主要观点总结

该论文对Transformer在多元时间序列预测中的表现进行了反思，并指出其存在的问题。为此，作者提出了iTransformer模型，该模型将独立的时间序列作为变量标记，通过注意力机制捕获多变量相关性，并利用层归一化和前馈网络学习序列表示。实验结果表明，iTransformer在多个数据集上实现了最先进的性能。

关键观点总结

关键观点1: 论文背景及目的

论文对基于Transformer的时间序列预测器进行了反思，指出其在处理多变量时间序列数据时面临的挑战，如性能下降和计算爆炸问题。论文旨在提出一种改进的模型，以克服这些问题并实现更准确的预测。

关键观点2: iTransformer模型的特点

iTransformer模型采用倒置的维度结构，将注意力机制应用于变量token上，以捕获多变量相关性。此外，前馈网络应用于每个变量标记来学习非线性表示。模型还采用了层归一化和前馈网络模块，以减少变量间的差异并提取复杂的表示来描述时间序列。

关键观点3: 实验与结果分析

作者进行了大量的实验，以评估iTransformer模型与先进的预测模型的性能。实验结果表明，iTransformer在多个真实世界的数据集上实现了最先进的预测性能。此外，作者还通过对比实验验证了iTransformer模型在处理不同回溯长度和预测长度任务时的有效性。