Петрозаводск 2015 - Современные методы МО в моделировании (Айзель Г.В.)
Машинное обучение в гидрологии (Г.В. Айзель)
-
Upload
institute-of-water-problems-of-russian-academy-of-sciences -
Category
Education
-
view
73 -
download
7
Transcript of Машинное обучение в гидрологии (Г.В. Айзель)
![Page 1: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/1.jpg)
Георгий Айзель, к.т.н., м.н.с.
Машинное обучение в гидрологии
![Page 2: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/2.jpg)
На самом деле нет!
1 АПРЕЛЯ -
Международный день вомбатов и котиков
(или День Дурака)
![Page 3: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/3.jpg)
Поисковый запрос:
“вомбат... котяня”
Без машинного обучения мы бы никогда не нашли такую картинку
![Page 4: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/4.jpg)
ВомбатиПутин
![Page 5: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/5.jpg)
Котяняи
Путин
![Page 6: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/6.jpg)
Машинное обучение в гидрологии
![Page 7: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/7.jpg)
WTF?
![Page 8: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/8.jpg)
Разумные компьютеры-убийцы
Технологии: нейронные сети, связь с внешним источником супер-интеллекта skynet, зрение, распознавание звуков, могут стрелять/резать и т.д.Цель: истребление человечестваГод: до 2029 (на самом деле нет)
![Page 9: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/9.jpg)
Технологии: нейронные сети (convolutional, deep learning)Цель: распознавание образов объектов, ориентирование на местностиГод: 2013
![Page 10: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/10.jpg)
Яндекс.Диктовка
Технологии: разнообразие методов машинного обучения
Цель: быстрая коммуникация компьютер - человек
Год: 2014
![Page 11: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/11.jpg)
Стадии развития методов машинного обучения (Vapnik, 1995):
● первые алгоритмы машинного обучения
● основы теории
● нейронные сети
● альтернативы нейронным сетям
![Page 12: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/12.jpg)
Идея машинного обучения
Обучающаяся программа
Примеры данных с закономерностями
Модель закономерности
Поиск закономерностей в
новых данных
![Page 13: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/13.jpg)
?
признаковое описание
Об
учаю
щая
вы
бо
рка
Пр
ове
ро
чная
вы
бо
рка
Матрица объект-признак (X) Целевой вектор (y)
![Page 14: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/14.jpg)
Цикл решения задачи
Предобработка данных
Выбор метода и параметров
Обучение
Оценка качества
Окончательная методика
![Page 15: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/15.jpg)
X1
y WTF?
![Page 16: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/16.jpg)
X1
y
Простейшая задача машинного обучения - Линейная регрессия
?
![Page 17: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/17.jpg)
WTF?
X1
X2
![Page 18: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/18.jpg)
Простейшая задача машинного обучения - Логистическая регрессия
X1
X2
?? ?
![Page 19: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/19.jpg)
МАТАН - ДОБРО
![Page 20: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/20.jpg)
Нейронные сети
![Page 21: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/21.jpg)
Нейронные сети
● Могут подстроиться под любые данные
● Ассоциативная память
● Любят переобучаться (т.к. очень много параметров)
● На самом деле нет ничего общего с мозгом человека :)
● Огромное количество преимуществ и недостатков
● Made in
![Page 22: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/22.jpg)
Обучение нейронных сетей
Самый простой (но долгий) - алгоритм обратного распространения ошибки
● сходимость процесса
обучения
● выпуклость
● общие функциональные
пространства и сжимающие
отображения
![Page 23: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/23.jpg)
How to train your dragon ANN?
Кричите на неё!
![Page 24: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/24.jpg)
МАТАН - ДОБРО
![Page 25: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/25.jpg)
Пример использования искусственных
нейронных сетей в решении
гидрологической задачи
![Page 26: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/26.jpg)
Гидрологическое моделирование
Физически обоснованная модель взаимодействия
поверхности суши с атмосферой (SWAP)
Параметры
Осадки, температура
Параметры подстилающей
поверхности
Тепловая энергия
...
Рассчитанный речной сток
Измеренный речной сток
Калибровка параметров
![Page 27: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/27.jpg)
ДанныеКалибровка параметров
моделиДанные по стоку
Расчет речного стока
Данные
???
???
Расчет речного стока
Здоровый человек
Курильщик
![Page 28: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/28.jpg)
WTF?
![Page 29: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/29.jpg)
Выход есть !
![Page 30: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/30.jpg)
323 MOPEX-водосбора
210 водосборов на которых будет происходить обучение ИНС
113 «неизученных» водосборов для проверки эффективности разрабатываемой методики
![Page 31: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/31.jpg)
?
признаковое описание
Об
учаю
щая
вы
бо
рка
Пр
ове
ро
чная
вы
бо
рка
Матрица объект-признак (X) Целевая матрица (Y)
17 характеристик природных условий (GSWP – 2, MOPEX)
11 параметров модели SWAP
Неизученные водосборы
![Page 32: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/32.jpg)
Архитектуры ИНС
Многослойный персептрон Радиальная базисная функция
Алгоритмы обучения ИНС
● Обратного распространения ошибки
● Левенберга-Марквардта
● Сопряженных градиентов
![Page 33: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/33.jpg)
Результаты
Медианные оценки:
Eff = 0.484|Bias| = 13.7%
![Page 34: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/34.jpg)
Краткая характеристика результатов
![Page 35: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/35.jpg)
Альтернативы нейронным сетям
● SVM (Support Vector Machines)
● GEP (Gene Expression Programming)
● Boosting (combine ‘em all, weak decision trees, Yandex Matrix Net)
![Page 36: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/36.jpg)
2010 2011 2012 2013 2014 2015
Это стильно, модно, молодежно?
![Page 37: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/37.jpg)
Самые распространенные проблемы
● Размытая постановка задачи
● Большое количество степеней свободы
● Большое количество разных источников данных
● Качество данных и пропуски в них
● «Сырое» ПО для работы с данными
● Неудобство работы с большими данными
● Наличие обучающей выборки
@akrot (habr)
![Page 38: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/38.jpg)
С чего начать?
● Linux-way
● Python с библиотекой SciKit (или R, Matlab/Octave)
● Coursera (Machine Learning от Andrew Ng)
● Kaggle competition (kaggle.com)
● Yandex events (tech.yandex.ru, events.yandex.ru)
● Habrahabr.ru
![Page 39: Машинное обучение в гидрологии (Г.В. Айзель)](https://reader030.fdocuments.net/reader030/viewer/2022020106/55c48532bb61ebf72e8b4746/html5/thumbnails/39.jpg)
Александр Фонарев
Максим Мусин tech.yandex.ru
Andrew Ng
Александр Крот (@akrot)