Attention

Divilkovskiy2024SourceSpace/paper/Divilkovskiy2024SourceSpace.tex

@@ -186,7 +186,11 @@ \section{Метрика}
 
 Исходя из этих утверждений, использование только лишь матрицы расстояний не позволяет решить задачу прогнозирования.
 
-\section{
+\section{Attention}
+
+В качестве альтернативы методу MDS, использующему только матрицу попарных расстояний, предлагается использовать модель, которая так же использует информацию о самих рядах. Так, например, для задачи предсказания одномерного ряда часто применяются модели основанные на RNN \cite{lin2023segrnn}. Недавние улучшения используют модели Transformer для выявления cross-time зависимостей \cite{zhou2021informer}. Однако, статья \cite{zeng2022transformers} показывает, что из-за недостатка у transformer-based моделей возможности выучивать позиционные зависимости (которые часто встречаются во временных рядах), они не столь эффективны, как обычные многослойные модели.
+
+В данной статье рассматриваются многомерные временные ряды. Предлагается использовать self-attention механизм для нахождения связей \textit{между рядами}. В такой постановке, инвариантность относительно перестановки, свойственная для transformer-ов, не повлияет на точность ответа.
 
 \bibliography{references}
 \bibliographystyle{plain}

Divilkovskiy2024SourceSpace/paper/references.bib

@@ -65,3 +65,29 @@ @misc{ARIMAvsLSTM
 	primaryClass={cs.LG}
 }
 
+@misc{zeng2022transformers,
+	title={Are Transformers Effective for Time Series Forecasting?}, 
+	author={Ailing Zeng and Muxi Chen and Lei Zhang and Qiang Xu},
+	year={2022},
+	eprint={2205.13504},
+	archivePrefix={arXiv},
+	primaryClass={cs.AI}
+}
+
+@misc{lin2023segrnn,
+	title={SegRNN: Segment Recurrent Neural Network for Long-Term Time Series Forecasting}, 
+	author={Shengsheng Lin and Weiwei Lin and Wentai Wu and Feiyu Zhao and Ruichao Mo and Haotong Zhang},
+	year={2023},
+	eprint={2308.11200},
+	archivePrefix={arXiv},
+	primaryClass={cs.LG}
+}
+
+@misc{zhou2021informer,
+	title={Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting}, 
+	author={Haoyi Zhou and Shanghang Zhang and Jieqi Peng and Shuai Zhang and Jianxin Li and Hui Xiong and Wancai Zhang},
+	year={2021},
+	eprint={2012.07436},
+	archivePrefix={arXiv},
+	primaryClass={cs.LG}
+}