时间序列transformer调参及应用

请问，您现在还在研究基于Transformer的时间序列预测问题吗？在您的经验过程中时序transformer是否可以做多变量预测单变量的任务。是否可以给我一些指引，我最近研究了Informer但是所支持的多变量预测单变量是需要输入目标预测变量的历史值，在一些方面这个是不适用的。但是我的调参过程中发现，其性能并不如RNN的好。期待您的回复。

transformer结构的model capacity很大，因此各种调整过后用于时间序列的transformer结构都很容易overfitting。RNN相对于Informer来说，模型结构更简单，针对单一历史数据的模型来说，过拟合风险更低。如果数据规模真的非常巨大，再考虑用transformer相关的结构建模吧。

参考资料