Анализ данных - биг дата. для каждого (вебинар)
-
Upload
igor-kleiner -
Category
Data & Analytics
-
view
1.785 -
download
10
Transcript of Анализ данных - биг дата. для каждого (вебинар)
![Page 1: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/1.jpg)
![Page 2: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/2.jpg)
Добро пожаловать
http://geekbrains.ru/events/118
![Page 3: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/3.jpg)
Добро пожаловать
http://geekbrains.ru/events/118
![Page 4: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/4.jpg)
Будем знакомы
![Page 5: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/5.jpg)
Будем знакомы
Учеба
![Page 6: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/6.jpg)
Будем знакомы
Учеба
![Page 7: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/7.jpg)
Будем знакомы
Учеба
Работа
![Page 8: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/8.jpg)
Будем знакомы
Учеба
Работа
Специализация Image processing Big data \ machine learning Stochastic optimization
Psychology of perception
![Page 9: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/9.jpg)
Цель нашей встречи
![Page 10: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/10.jpg)
Цель нашей встречи
0 Где я?
0 Кто здесь?
0 А что вы тут делаете?
![Page 11: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/11.jpg)
Цель нашей встречи
0 Где я?
0 Кто здесь?
0 А что вы тут делаете?
![Page 12: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/12.jpg)
Цель нашей встречи
0 Познакомиться с вселенной анализа данных
![Page 13: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/13.jpg)
Цель нашей встречи
0 Познакомиться с вселенной анализа данных в интересной и доступной форме
![Page 14: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/14.jpg)
Цель нашей встречи
0 Познакомиться с вселенной анализа данных в интересной и доступной форме
0 Узнать как самостоятельно продолжить обучение в области работы с данными и их анализом
![Page 15: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/15.jpg)
Цель нашей встречи 0 Познакомиться с вселенной анализа данных
в интересной и доступной форме
0 Узнать как самостоятельно продолжить обучение в области работы с данными и их анализом
0 Получить удовольствие и хорошо провести время
![Page 16: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/16.jpg)
ГОТОВЫ?
![Page 17: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/17.jpg)
Анализ данных – сексапильная специальность?
0 hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/
![Page 18: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/18.jpg)
![Page 19: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/19.jpg)
дата дата дата
0 Более чем 7.9 зетабайт электронной информации существует в мире сегодня
![Page 20: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/20.jpg)
![Page 21: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/21.jpg)
Данные Данные Данные
0 Более чем 7.9 зетабайт электронной информации существует в мире сегодня
0 7 900 000 000 000 000 000 000 байт – это количество примерно эквивалентно информации, содержащейся в более чем 600 миллиардов фильмов в HD качестве
![Page 22: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/22.jpg)
Данные Данные Данные 0 Более чем 7.9 зетабайт электронной информации
существует в мире сегодня
0 7 900 000 000 000 000 000 000 байт – это количество примерно эквивалентно информации, содержащейся в более чем 600 миллиардов фильмов в HD качестве
0 Новые данные появляются с экспоненциальной скоростью
![Page 23: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/23.jpg)
![Page 24: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/24.jpg)
![Page 25: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/25.jpg)
Данные и их анализ очень полезны
0 Медицина
0 Спорт
0 Финансы
0 Корпорации
0 Государственные учреждения
0 СМИ
0 …
![Page 26: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/26.jpg)
Что такое анализ данных? 0 Наука (или искусство) об использовании данных, с
целью строить модели, которые позволяют принимать лучшие решения и приносят пользу
![Page 27: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/27.jpg)
Что такое анализ данных? 0 Наука (или искусство) об использовании данных,
для того чтобы строить модели, которые позволяют принимать лучшие решения и приносят пользу
“Science is what we understand well enough to explain to a computer. Art is everything else we do”
![Page 28: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/28.jpg)
Примеры успешного применения анализа данных 0 eHarmony
0 The Framingham Heart Study - фремингемское исследование сердца
0 Выбор игроков в команду
![Page 29: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/29.jpg)
eHarmony
0 Сайт знакомств:
0 модус операнди: создание пар для долгосрочных отношений
0 идея: научный подход для поиска подходящих кандидатур
0 нет поиска по анкетам
![Page 30: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/30.jpg)
eHarmony 0 Сайт знакомств:
0 модус операнди: создание пар для долгосрочных отношений
0 идея: научный подход, для поиска подходящих кандидатур
0 нет поиска по анкетам
0 Общая прибыль сайта превысила 1 миллиард долларов
0 Около 4% браков в США это результат eHarmony www.eharmony.com/press-release/31/
![Page 31: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/31.jpg)
eHarmony 0 Сайт знакомств:
пользователь при регистрации заполняю длинную анкету
![Page 32: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/32.jpg)
eHarmony 0 Сайт знакомств:
пользователь при регистрации заполняю длинную анкету
0 проанализировав данные, сайт выдает подходящие анкеты пользователей, проживающих рядом
![Page 33: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/33.jpg)
eHarmony 0 Магия анализа данных
![Page 34: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/34.jpg)
eHarmony 0 Магия анализа данных
![Page 35: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/35.jpg)
eHarmony 0 Магия анализа данных
![Page 36: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/36.jpg)
eHarmony 0 Магия анализа данных
![Page 37: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/37.jpg)
eHarmony 0 Инструменты
![Page 38: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/38.jpg)
The Framingham Heart Study 0 Исследование длиться более 65 лет и является одним
из самых продолжительных эпидемиологических исследований в истории медицины (фремингемское исследование сердца)
![Page 39: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/39.jpg)
фремингемское исследование сердца 0 Франклин Делано Рузвельт президент США 1933-
1945
0 Умер во время исполнения своих обязанностей в 1945
![Page 40: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/40.jpg)
фремингемское исследование сердца
0 Франклин Делано Рузвельт президент США 1933-1945
0 Умер во время исполнения своих обязанностей в 1945
0 Давление до 1933 года 140/100 - сегодня считается высоким давлением
0 Давление за год до смерти 210/120 - сегодня считается опасным кризисом
0 260/150 давление за два месяца до смерти
0 300/190 в день смерти
![Page 41: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/41.jpg)
фремингемское исследование сердца
0 Сегодня мы знаем об опасности высокого давления
0 Откуда сегодня врачам известна эта информация?
![Page 42: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/42.jpg)
фремингемское исследование сердца
0 Сегодня мы знаем об опасности высокого давления
0 Откуда сегодня врачам известна эта информация?
![Page 43: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/43.jpg)
фремингемское исследование сердца
0 1948 год, город Фремингем
0 5209 участников
0 участие в наблюдениях и тестах в течении длительного времени
0 Цель: выявление факторов риска для болезней
сердца
![Page 44: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/44.jpg)
фремингемское исследование сердца
![Page 45: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/45.jpg)
фремингемское исследование сердца
0 Благодаря полученным данным и последующим исследованиям, учеными были обнаружены различный факторы риска:
курение
уровень холестерина
давление
уровень сахара в крови
…
![Page 46: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/46.jpg)
фремингемское исследование сердца
![Page 47: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/47.jpg)
фремингемское исследование сердца
0 Более 2400 исследований на основе полученных данных
0 Выявление множества факторов риска
![Page 48: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/48.jpg)
фремингемское исследование сердца
0 Магия анализа данных
![Page 49: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/49.jpg)
фремингемское исследование сердца
0 Магия анализа данных
![Page 50: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/50.jpg)
фремингемское исследование сердца
0 Магия анализа данных
логистическая регрессия
![Page 51: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/51.jpg)
Выбор лучшего игрока в команду moneyball
![Page 52: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/52.jpg)
Бейсбол для чайников
0 https://goo.gl/FS7uPg
![Page 53: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/53.jpg)
Выбор лучшего игрока в команду
0 У богатых команд больше денег и они могут позволить купить лучших игроков
![Page 54: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/54.jpg)
Выбор лучшего игрока в команду
0 У богатых команд больше денег и они могут позволить купить лучших игроков
0 Оклендская бедная команда после прихода нового менеджера стала показывать хорошие результаты
![Page 55: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/55.jpg)
Выбор лучшего игрока в команду
0 У богатых команд больше денег и они могут позволить купить лучших игроков
0 Оклендская бедная команда после прихода нового менеджера стала показывать хорошие результаты
0 Что произошло?
![Page 56: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/56.jpg)
Выбор лучшего игрока в команду
0 У богатых команд больше денег и они могут позволить купить лучших игроков
0 Оклендская бедная команда после прихода нового менеджера стала показывать хорошие результаты
0 Что произошло?
![Page 57: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/57.jpg)
Выбор лучшего игрока в команду
0 У богатых команд больше денег и они могут позволить купить лучших игроков
0 Обработав множество параметров игроков, программа выявила тех игроков, которые были недооценены, т.е. качество игры которых было меньше заработка игроков их уровня
![Page 58: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/58.jpg)
Выбор лучшего игрока в команду
0 У богатых команд больше денег и они могут позволить купить лучших игроков
0 Обработав множество параметров игроков, программа выявила тех игроков, которые были недооценены, т.е. качество игры которых было меньше заработка игроков их уровня
0 Сегодня в любой команде высшей лиги есть свой статистик
![Page 59: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/59.jpg)
Выбор лучшего игрока в команду
0 Магия анализа данных
логистическая регрессия
![Page 60: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/60.jpg)
Еще примеры 0 предсказание решений высшего суда
0 предсказание будущей цены вина
0 предсказания цен на авиабилеты
0 предсказания эпидемии гриппа на основе поисковых запросов
0 …
0 …
![Page 61: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/61.jpg)
Еще примеры 0 предсказание решений высшего суда
0 предсказание будущей цены вина
0 предсказания цен на авиабилеты
0 предсказания эпидемии гриппа на основе поисковых запросов
0 …
0 …
![Page 62: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/62.jpg)
предсказания эпидемии гриппа на основе поисковых запросов
![Page 63: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/63.jpg)
предсказания эпидемии гриппа на основе поисковых запросов
![Page 64: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/64.jpg)
Дайте мне точку опоры
![Page 65: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/65.jpg)
Дайте мне данные
![Page 66: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/66.jpg)
Дайте мне данные, компьютер
![Page 67: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/67.jpg)
Дайте мне данные, компьютер и специалиста
по анализу данных
![Page 68: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/68.jpg)
Дайте мне данные, компьютер и специалиста
по анализу данных и я изменю жизнь людей
![Page 69: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/69.jpg)
Магия анализа данных
данные
закономерности - предсказания
![Page 70: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/70.jpg)
Магия анализа данных
данные
закономерности - предсказания
![Page 71: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/71.jpg)
Магия анализа данных
данные
закономерности - предсказания
![Page 72: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/72.jpg)
Детали дьявола анализа данных 0 Поиск и сбор необходимых данных
0 Приведение полученных данных в удобную для анализа форму
0 Выбор подходящей модели для анализа данных
0 Анализ данных
0 Верификация полученных результатов
0 Презентация полученных результатов и принятие решений
![Page 73: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/73.jpg)
Детали дьявола анализа данных
![Page 74: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/74.jpg)
Краткие итоги
0 Анализ данных это:
![Page 75: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/75.jpg)
Краткие итоги
0 Анализ данных это:
0 интересно
0 полезно
0 прибыльно
![Page 76: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/76.jpg)
Вопросы
0 Анализ данных
0 как изучить
0 что изучить
0 можно ли изучать самостоятельно
0 какие есть направление развития
0 что включает в себя анализ данных
![Page 77: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/77.jpg)
Как изучать анализ данных
0 Университет
0 Онлайн курсы \ онлайн специализации
0 Учебная литература \ интернет
![Page 78: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/78.jpg)
Как изучать анализ данных
0 Университет:
0 фундаментальные знания
0 долго
0 1-4 релевантных курса за все время обучения
![Page 79: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/79.jpg)
Как изучать анализ данных
0 Университет
0 Онлайн курсы \ онлайн специализации
0 множество бесплатных курсов
0 не все курсы одинаково хороши и полезны
0 есть очень хорошие курсы и специализации
![Page 80: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/80.jpg)
Онлайн курсы 0 EDX – MIT – «Меч Аналитики»
0 edx.org/course/analytics-edge-mitx-15-071x-0
0 Достоинства курса: 0 множество интересных примеров
0 минимум теории,
0 максимум практики
0 Язык программирования R
![Page 81: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/81.jpg)
Онлайн курсы 0 Stanford – Statistical Learning 0 lagunita.stanford.edu/courses/HumanitiesandScience/StatLearning/Winter2015
/about
0 Достоинства курса: 0 немного теории
0 много практики
0 хороший учебник по курсу
0 Язык программирования: R
![Page 82: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/82.jpg)
Онлайн курсы 0 Coursera, Stanford – Machine Learning
0 coursera.org/learn/machine-learning
0 Достоинства курса:
0 удачное сочетание практики и теории
0 Язык программирования: Matlab, Octave
![Page 83: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/83.jpg)
Онлайн курсы 0 Edx, Caltech, Learning from data
0 https://work.caltech.edu/telecourse.html
0 Достоинства курса:
0 твердый теоретический фундамент
0 основные теоретические моменты объяснены в интересной и доступной форме
0 хороший учебник сопровождающий курс
![Page 84: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/84.jpg)
«Анти онлайн курсы»
0 Записи лекций
0 Курс «Машинное обучение»
0 Преподаватель — Константин Вячеславович Воронцов.
![Page 85: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/85.jpg)
Онлайн специализации
0 Coursera, Machine Learning Specialization
coursera.org/specializations/machine-learning
Язык программирования: Питон
![Page 86: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/86.jpg)
Онлайн специализации
0 Coursera, Big Data Specialization coursera.org/specializations/big-data
![Page 87: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/87.jpg)
Соревнования
0 www.kaggle.com
![Page 88: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/88.jpg)
Вопросы
0 Что в себя включает анализ данных?
![Page 89: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/89.jpg)
Вопросы
0 Что в себя включает анализ данных?
0 Анализ данных лежит на пересечениях множества областей наук
![Page 90: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/90.jpg)
![Page 91: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/91.jpg)
теория вероятностей статистика случайные процессы структуры данных ИИ базы данных параллельные вычисления оптимизация выпуклая оптимизация линейное программирование алгоритмы структуры данных финансовое моделирование … …
![Page 92: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/92.jpg)
![Page 93: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/93.jpg)
![Page 94: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/94.jpg)
Может ли каждая кухарка научиться анализировать данные?
![Page 95: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/95.jpg)
Вопрос
0 На каких языках лучше заниматься анализом данных?
![Page 96: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/96.jpg)
Вопрос 0 На каких языках лучше заниматься анализом
данных? 0 нет жестких правил
0 R
0 Python
0 Matlab \ Octave
0 C++
0 …
![Page 97: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/97.jpg)
Вопрос
0 Необходимы ли навыки программирования для анализа данных?
![Page 98: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/98.jpg)
Вопрос
0 Необходимы ли навыки программирования для анализа данных?
0 нет, но желательны
![Page 99: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/99.jpg)
Вопрос 0 Необходимы ли навыки программирования для
анализа данных?
0 нет, но желательны
0 Существуют специальные программы позволяющие анализировать данные без знаний программирования
![Page 100: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/100.jpg)
Вопрос
0 Необходимы ли навыки программирования для анализа данных?
0 Существуют специальные программы позволяющие анализировать данные без знаний программирования:
0 Excel, Rattle, RapidMiner и другие
![Page 101: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/101.jpg)
Анализ данных на Excel
![Page 102: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/102.jpg)
Анализ данных на Rattle
![Page 103: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/103.jpg)
Анализ данных RapidMiner
![Page 104: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/104.jpg)
Анализ данных под микроскопом за 5 минут
![Page 105: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/105.jpg)
Анализ данных под микроскопом за 5 минут
1. Данные:
![Page 106: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/106.jpg)
Анализ данных под микроскопом за 5 минут
1. Данные:
![Page 107: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/107.jpg)
Анализ данных под микроскопом за 5 минут
1. Где взять данные?
![Page 108: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/108.jpg)
Анализ данных под микроскопом за 5 минут
1. Где взять данные?
![Page 109: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/109.jpg)
Анализ данных под микроскопом за 5 минут
1. Где взять данные?
![Page 110: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/110.jpg)
Анализ данных под микроскопом за 5 минут
0 Перед анализом данные надо подготовить:
![Page 111: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/111.jpg)
Анализ данных под микроскопом за 5 минут
0 Перед анализом данные надо подготовить:
0 препроцессинг: нормализация, …
0 обработать отсутствующие значения
0 привести данные в удобный для анализа вид
0 TIDY DATA
![Page 112: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/112.jpg)
Анализ данных под микроскопом за 5 минут
0 Предварительное знакомство с данными с помощью графической информации может помочь в дальнейшем анализе
0 Exploratory Data Analysis
![Page 113: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/113.jpg)
Анализ данных под микроскопом за 5 минут
0 Анализ данных, выбор лучшей модели, тестирование качества выбранной модели, использование модели на новых данных
![Page 114: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/114.jpg)
Анализ данных под микроскопом за 5 минут
0 Анализ данных, выбор лучшей модели
![Page 115: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/115.jpg)
Анализ данных под микроскопом за 5 минут
0 Анализ данных, выбор лучшей модели 0 регрессия линейная 0 дискриминантный анализ 0 логистическая регрессия 0 сплайны 0 случайные деревья 0 случайные леса 0 РСР 0 метод опорных векторов 0 бустинг 0 метод ближайших соседей 0 …. 0 …
![Page 116: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/116.jpg)
![Page 117: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/117.jpg)
Вопрос
0 Как вы думаете какой этап занимает больше всего времени? (как правило)
0 скачать данные
0 подготовить данные к анализу
0 выбор лучшей модели
0 представление результатов анализа
![Page 118: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/118.jpg)
Вопрос
0 Как вы думаете какой этап занимает больше всего времени? (как правило)
0 скачать данные
0 подготовить данные к анализу
0 выбор лучшей модели
0 представление результатов анализа
![Page 119: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/119.jpg)
Пример модели для анализа данных
Задача классификации
Цель: научить систему различать людей и пришельцев с марса
![Page 120: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/120.jpg)
Человек или пришелец Данные для обучения: таблица содержащая рост и вес 20 кандидатов, 12 из которых люди и 8 из которых пришельцы с Марса
![Page 121: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/121.jpg)
Человек или пришелец Данные для обучения: таблица содержащая рост и вес 20 кандидатов, 12 из которых люди и 8 из которых пришельцы с Марса
Перед нами новый персонаж, как понять человек это или пришелец?
![Page 122: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/122.jpg)
Человек или пришелец Данные для обучения: таблица содержащая рост и вес 20 кандидатов, 12 из которых люди и 8 из которых пришельцы с Марса
Перед нами новый персонаж, как понять человек это или пришелец?
![Page 123: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/123.jpg)
Кто это?
![Page 124: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/124.jpg)
Метод ближайшего соседа
0 «скажи мне кто твой друг и я скажу кто ты»
0 «дурак дурака видит издалека»
0 «Каковы соседи, таков и ты»
![Page 125: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/125.jpg)
Метод ближайшего соседа
0 «скажи мне кто твой друг и я скажу кто ты»
0 «дурак дурака видит издалека»
0 «Каковы соседи, таков и ты»
![Page 126: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/126.jpg)
Метод ближайшего соседа
0 «скажи мне кто твой друг и я скажу кто ты»
0 «дурак дурака видит издалека»
0 «Каковы соседи, таков и ты»
![Page 127: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/127.jpg)
Метод ближайших соседей
0 Несмотря на свою простоту, метод достаточно эффективен при определенных условиях
0 Метод хуже работает в пространствах высокой размерности (почему?)
![Page 128: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/128.jpg)
Пример 0 Анализ данных при диагностики рака груди
0 Wisconsin breast cancer data
0 Данные 569 примеров биопсий, каждая из которых характеризуется 30 параметрами
0 31 параметр - тип опухоли
![Page 129: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/129.jpg)
Пример
0 Загрузка данных
![Page 130: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/130.jpg)
Пример
0 Нормализация данных
![Page 131: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/131.jpg)
Пример
0 Построение модели KNN
![Page 132: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/132.jpg)
Пример
0 Анализ результатов
![Page 133: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/133.jpg)
Краткие итоги
0 Анализ данных это:
0 круто
0 интересно
0 доступно
0 выгодно
![Page 134: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/134.jpg)
BIG DATA
![Page 135: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/135.jpg)
![Page 136: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/136.jpg)
![Page 137: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/137.jpg)
![Page 138: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/138.jpg)
![Page 139: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/139.jpg)
![Page 140: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/140.jpg)
![Page 141: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/141.jpg)
![Page 142: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/142.jpg)
![Page 143: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/143.jpg)
![Page 144: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/144.jpg)
![Page 145: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/145.jpg)
Уголок Библиофила
![Page 147: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/147.jpg)
Благодарности
![Page 148: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/148.jpg)
Благодарности
Образовательный IT-портал GeekBrains
![Page 149: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/149.jpg)
Благодарности
0Клейнер Надежда
0Бородин Захар
0Гольцман Александр
0Дубинский Игаль
0Гликин Григорий
![Page 150: Анализ данных - биг дата. для каждого (вебинар)](https://reader033.fdocuments.net/reader033/viewer/2022042619/5884c8071a28ab767c8b491d/html5/thumbnails/150.jpg)
Ответы на вопросы слушателей