Deep Learningсложный анализ данных простыми словами

Сергей Шельпукsshel@softserveinc.com

Проблема классификации

Отличить мотоцикл от Луны

Проблема классификации

Классификатор

© A. Ng и др.

Проблема классификации

пиксель

светимость

Проблема классификации

«Сырые» данные не описывают данные достаточно хорошо. Нам нужны какие-то «умные» представления.

содержит колеса

содержит «моря»

Извлечение признаков

Классификатор

Оп

ред

ели

тел

ь п

ри

знак

ов

© A. Ng и др.

Извлечение признаков

Есть ли лучшие способы?

© A. Ng и др.

Автоэнкодер

Автоэнкодер

© Honglak Lee и др.

▪См. Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations

Автоэнкодер

© Quoc V. Le и др.

См. Building high-level features using large scale unsupervised learning

Deep Learning Нейронные Сети

Обучен предварительнокак автоэнкодер

Типичный классификатор

Moon

Deep Learning Нейронные Сети

© A. Ng и др.

Deep Learning Нейронные Сети

© A. Ng и др.

Deep Learning Нейронные Сети

Video

Text/NLP

Images

© A

. Ng

и д

р.

Deep Learning Нейронные Сети

Особенности обучения Можно использовать немаркированные данные Легко переобучить Очень большой объем вычислений

Немаркированные данные

колеса

руль

Переобучение автоэнкодера

Sparsity constraint – способ ограничения вариативности автоэнкодера

Идея: ограничить активацию скрытого слоя на восстановление одного примера

Переобучение классификатора

Dropout создает «ансамбль» нейронных сетей

Вычислительные ресурсы

Тысячи ядер Частота: 300-900 МГц Память: 2-6 Gb Производительность: до 3.5

Tflops Instruction-level parallelism Shared memory До 4 устройств в кластере

MNIST

Data:

Features:

Galaxy Zoo

Data: Features:

Thank you