О разработке гибридных нейросетевых моделей в задачах прогнозирования временных рядов

2017/12/31 Статьи

Автор статьи: Е.В. Пучков

Последнее время нейронные сети продемонстрировали впечатляющие результаты при решении прикладных задач анализа данных. Как и любой метод, искусственные нейронные сети имеют свои достоинства и недостатки. К главному достоинству нейронных сетей относится их способность эффективно строить нелинейные зависимости, точно описывающие исходные данные. Другими достоинствами являются: параллелизм, адаптивность, устойчивость к зашумлениям в данных, проектирование комплексной единой системы (end-to-end). Главным же недостатком является работа нейросетевых моделей в режиме «черного ящика», т.е. отсутствие прозрачности при построении моделей и интерпретации результатов их работы. К другому недостатку можно отнести достаточно высокую ресурсоемкость процесса настройки параметров сети. Конечно, интерпретация результатов очень важна при прогнозировании временных рядов, но адекватный выбор метрик качества модели и построение модели с высоким уровнем обобщения смогут нивелировать недостатки нейронных сетей.

В данной работе при разработке гибридной нейросетевой модели для прогнозирования временных рядов рассматриваются методы искусственного интеллекта –сверточные (CNN) и рекуррентные нейронные сети (LSTM), как одни из самых популярных на сегодняшнее время методов нейросетевого анализа данных. В современном прогнозировании наблюдается тенденция применения гибридных (комбинированных) моделей прогнозирования. Первый подход подразумевает объединение прогнозов индивидуальных моделей прогнозирования. При втором подходе объединяются несколько архитектур нейронных сетей в одну. Использование первого подхода связано с тем, что при прогнозировании временных рядов часто оказывается, что ни один из алгоритмов не обеспечивает желаемого качества восстановления зависимости.

Рисунок 1 – Модель временного ряда по ансамблю

Можно выделить три подхода композиции алгоритмов:

  1. Объединение, в котором с помощью метода усреднения или взвешивания согласовывают результаты прогнозов от базовых алгоритмов.
  2. Селекция, в которой ошибки прогнозов используются для формирования адаптивного критерия, позволяющего выбирать из набора моделей в текущий момент времени наилучшую модель.
  3. Стекинг, в котором с помощью базовых алгоритмов получают предсказания (метапризнаки) и используют их как признаки для некоторого обобщающего алгоритма (метаалгоритма).

Объединение архитектур нейронные сетей становится оправданным, когда необходимо совместить преимущества каждой сети в одной модели. Сверточные нейронные сети позволяют построить новое инвариантное признаковое пространство, а возможности рекуррентных сетей - выявить скрытые скрытые паттерны в динамике исследуемых процессов. Данные архитектуры могут быть скомбинированы по двум схемам. Первая схема [1] – это каскадное соединение сверточной и рекуррентной сети (рисунок 2). Вторая схема [2] – объединение состояний (признаков) последних слоев сетей с помощью дополнительного полносвязного слоя (рисунок 3).

Рисунок 2 – Каскадная схема объединения нейронных сетей

Рисунок 3 – Схема объединения состояний нейронных сетей

Применение гибридных нейросетевых моделей совместно с предобработкой данных в задачах прогнозирования временных рядов позволят создать комплексный единый механизм построения итогового решения, а также справится с рядом проблем, связанных с прогнозированием временных рядов – зашумленность и нестационарность данных, сложность выявления скрытых паттернов в динамики процессов.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 17-01-00888 а.

Литература

  1. Bashivan, P., Rish, I., Yeasin, M., et al.: Learning representations from EEG with deep recurrent-convolutional neural networks. arXiv preprint arXiv:1511.06448 (2015).
  2. Tao Lin, Tian Guo, Karl Aberer Hybrid Neural Networks for Learning the Trend in Time Series. Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence. Pages 2273-2279.