А.Н. Чернодуб

Прямий метод навчання нейромереж прямого поширення на основі пакетного фільтра Калмана

для багатокрокового прогнозування часових рядів

ІПММС НАНУ, м. Киев відділ Нейротехнологій

25 квітня 2013 р.

Аннотація

2

Доклад присвячено темі багатокрокового прогнозування часових рядів. Розглядаються існуючи методи навчання рекурентних і нерекурентних нейромереж для задач багатокрокового прогнозування, в тому числі методи зворотного поширення похибки у часі і метод розширеного фільтра Калмана. Пропонується новий метод навчання мереж прямого поширення на основі пакетної версії фільтра Калмана і спеціального способу обчислення похідних «прогнозуюче поширення у часі». Надано результати експериментів на хаотичному процесі Маккея-Гласса і даних часового ряда «Santa Fe Laser Data Series».

Задача ідентифікації

3

Нейромережева ідентифікація динамічного об’єкта

4

Типи нейронних мереж для вирішення задачі ідентифікації

5

Існує два базових підходи для надання нейронним мережам прямого поширення властивостей, необхідних для обробки динамічних даних:

• додавання ліній затримок до нейромережі;• додавання рекурентних зв'язків до внутрішньої

структури нейронної мережі;

Динамічная лінійна нейронна мережа (DLNN)

6Обчислення похідних для навчання: зворотне проширення похибки (Backpropagation)

7Обчислення похідних для навчання: зворотне проширення похибки (Backpropagation)

Динамічний багатошаровий персептрон (DMLP)

Рекурентний багатошаровий персептрон (RMLP)

8Обчислення похідних для навчання: зворотне проширення у часі (BPTT)

Cхема обчислення динамічних похідних BPTT для мережі RMLP

9Обчислення похідних для навчання: зворотне проширення у часі (BPTT)

Нейромережа нелінійної авторегресії із зовнішніми входами (NARX)

10Обчислення похідних для навчання: зворотне проширення у часі (BPTT)

Cхема обчислення динамічних похідних BPTT для мережі NARX

11Обчислення похідних для навчання: зворотне проширення у часі (BPTT)

Cхема обчислення динамічних похідних BPTT для мережі NARX

12Обчислення похідних для навчання: зворотне проширення у часі (BPTT)

Порівняння різних типів архітектур нейронних мереж

13

Усього для кожного з часових рядів було навчено 10 мереж DLNN, 1100 мереж DMLP, 2750 мереж NARX з різними параметрами кількості нейронів у прихованому шарі, вхідних та вихідних затримок.

Результати кращіх нейромереж на задачі однокрокового прогнозування

14

Навчання нейромереж методом розширеного фільтра Калмана

15

Задача багатокрокового прогнозування

16

Обчислення похідних методом «прогнозуюче поширення в часі»

17

Багатокрокове прогнозування різними типами нейромереж

18

Пакетна версія метод розширеного фільтра Калмана для навчання

нейромереж

19

Експеримент з прогнозування рядів Маккея-Гласса на горизонт H=14

20

Експеримент з прогнозування даних лазера «Санта-Фе» H=100

21

Система магнітної левітації

22

Програмна модель системи магнітної левітації в Simulink

23

Схема з пропусканням похибки через нейроемулятор у режимі

реального часу: навіщо?

24

Поведінка навчених нейроемуляторів

25

Схема PID-управління

26

Результати оптимізації PID-контролерів: 1) Оригінальна модель Simulink

27

Результати оптимізації PID-контролерів: 2) Нейроемулятор DMLP + EKF + BP

28

Результати оптимізації PID-контролерів: 3) Нейроемулятор DMLP + BEKF + FPTT

29

Результати оптимізації PID-контролерів

30

Дякую за увагу!

31