Нейро-автоматное управление в машинном обучении
-
Upload
heinrich-hunter -
Category
Documents
-
view
63 -
download
0
description
Transcript of Нейро-автоматное управление в машинном обучении
![Page 1: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/1.jpg)
Нейро-автоматное управление в машинном обучении
Выполнил: Губин Ю.А.ст. гр. 6539.
Руководитель: Шалыто А.А.д.т.н, проф., зав. каф. ТП, СПбГУ ИТМО
![Page 2: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/2.jpg)
Автоматное Программирование
Программа рассматривается как совокупность
автоматизированных объектов управления.
Каждый такой объект состоит из системы управления и
объекта управления.
Состояние
Функция переходов
Функция выходов
Входные воздействия
Выходные воздействия
Понятие автомата
2
![Page 3: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/3.jpg)
Искусственные Нейронные Сети
...
...
...Входной слой
Выходной слой
Скрытый слой
X1 XN
X’1 X’N1
X’’1 X’’N2
Y1 YM
Многослойный персептрон
Предложены Норбертом Винером в 1943г.Принцип организации и функционирования биологических нейронных сетей.Персептрон, сети Хопфилда, Хемминга
3
![Page 4: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/4.jpg)
Использование ИНС и Автоматов
Внешняя среда
Нейронная сеть
Конечный автомат
Система со сложным
поведением
Числовые или логические
входные переменные
Логические переменные
Выходные воздействия
Нейронная сеть используется для классификации значений вещественных входных переменных и выработки входных логических переменных для автомата.
4
![Page 5: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/5.jpg)
Использование ИНС и Автоматов
Внешняя среда Автоматы
Нейронная сеть
Автомат как источник входных данных для нейронной сети.
Клеточный автомат – элемент нейронной сети Хопфилда.
5
![Page 6: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/6.jpg)
Актуальность
В описанных методах: Автомат – средство для работы с ИНС или часть ИНС. ИНС – объект для связи среды с автоматом.Используется одна ИНС.Осложнено повторное использование разработанных автоматов.Нет возможности корректировать ИНС в процессе работы.
6
![Page 7: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/7.jpg)
Метод Нейро-Автоматного Управления
Использование ИНС для обработки данных в состоянии.Расширенное состояние.Реализация изначально неопределенной логики переходов.Корректировка ИНС в процессе работы автомата.Использование расширенных состояний для реализации ядра автомата.
7
![Page 8: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/8.jpg)
Метод Нейро-Автоматного Управления
1) Автомат находится в состоянии А.2) Подается входное воздействие, состоящее из управляющего
воздействия E и входных данных D1, D2, D3. 3) По управляющему воздействию E срабатывает переход из состояния A
в расширенное состояние B.4) При входе в расширенное состояние B входные данные D1, D2, D3
подаются на вход нейронной сети, вычисляются V1, V2, V3.
A
НС
B
D1
D2
D3
V1
V2
V3
Событие E
Входные данные D1, D2, D3
1
2
4
3E
8
![Page 9: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/9.jpg)
Метод Нейро-Автоматного Управления
Функция работы с НС.Использование результатов работы НС для генерации нового события.
Состояние
Функция переходов
Функция выходов
Выходные воздействия
Функция работы с НС
НС
СобытияВходные данные
Расчет выходных переменных НС Результат
События
9
![Page 10: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/10.jpg)
Метод Нейро-Автоматного Управления
1) Автомат находится в состоянии A.2) На вход подается воздействия E1 и входные данные D1, D2, D3, D4, D5. 3) Автомат переходит в расш. состояние B.4) Обработка D1, D2, D3 нейросетью состояния B.5) Генерации нового управляющего воздействия E2. 6) По управляющему воздействию E2 автомат переходит в C.7) Обработка D4, D5, нейросетью состояния C.
A
НС
B
D1
D2
D3
V1
V2
V3
Событие E1
Входные данные D1, D2, D3, D4, D5
1
2
4
3
E1
НС
C
D4
D5
V4
V5
75 6
E2
10
![Page 11: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/11.jpg)
Метод Нейро-Автоматного Управления
Определение структуры ядра автомата.Создание графа переходов автомата с использованием расширенных состояний для ядра автомата.Выбор топологии нейронной сети, используемой в расширенном состоянии.Реализация функции работы с НС.Сбор и подготовка данных для обучения. Обучение нейронных сетей расширенных состояний.Определение правил корректировки характеристик сети в процессе работы автомата.Проверка адекватности обучения и правил корректировки во время тестирования.
11
![Page 12: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/12.jpg)
Реализация
Используется разработанная библиотека для создания автоматных классов на языке Java:
Классы для создания состояний, переходов, групп состояний.Абстрактные классы для реализации действий и условий.Возможность изоморфного переноса кода в графическую модель (Graphviz API).Класс для создания расширенного состояния.Классы для создания нейронных сетей.
12
![Page 13: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/13.jpg)
Пример: Робот-Исследователь
Диаграмма состояний автомата Explorer
Wait
Detect see anything
Define action
Find way
Detect element in current position
Go
UnknownUnknown
Z: Step
Explore
ExplorerCore
Stop
Yes
Destroy^¬x
Z: Destroy
Collect ^¬x
Z: CollectUnknown
Yes
No ^¬x
Unknown v No
Z: Random_step
Detect state
Up
Z: UpRight
Z:Right
Z: x=false
Bad v Unknown
Z: x=true
Good
Z: Correct
Z: x=true
No ^x
Destroy^x
Z: Destroy
Collect ^x
Z: Collect
Down
Z: Down
Collect
Z: Collect
Left
Z: Left
Destroy
Z: Destroy
Move
Go
Stop
Think
x=true
13
![Page 14: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/14.jpg)
Выводы
14
ИНС – составляющая состояний автомата.
Использование нескольких ИНС.
Возможность корректировки ИНС во время работы.
Доступно повторное использование разработанных автоматов.
![Page 15: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/15.jpg)
Заключение
Предложен метод использования нейронных сетей в
автоматах.
Предложено использование расширенных состояний.
Продемонстрировано применение предложенного метода.
15
![Page 16: Нейро-автоматное управление в машинном обучении](https://reader035.fdocuments.net/reader035/viewer/2022081506/56812c1f550346895d908659/html5/thumbnails/16.jpg)
Спасибо за внимание!