#3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab
-
Upload
chatbotscommunity -
Category
Business
-
view
403 -
download
0
Transcript of #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab
![Page 1: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/1.jpg)
DEEPNEURAL
LANGUAGEPROCESSING
Михаил Бурцев,к.ф.-м.н., зав. лаб.
«Нейронных сетей и глубокого обучения» МФТИ
![Page 2: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/2.jpg)
Фундаментальная цель – Прикладная цель -
Понять природу человека Получить помощника
•
ЧТО ТАКОЕ ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ (ИИ)?
![Page 3: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/3.jpg)
ДВА ПУТИ
Нейроны передают электрические сигналы
мозг можно смоделировать
электрической схемой
искусственные нейронные
сети
Человеческий интеллект основан на манипуляции
с символами
компьютер совершает манипуляции с
символами
искусственный интеллект
![Page 4: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/4.jpg)
ЭВОЛЮЦИЯ ИИ
• Классификацияогромных массивовизображений и видео.
• Google и Facebook охотятся за головамиученых занимающихсянейронными сетями.
• Нейросети учатся игратьв игры по картинке.
deep learning
![Page 5: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/5.jpg)
ЧТО ТАКОЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ ИГЛУБОКОЕ ОБУЧЕНИЕ?
![Page 6: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/6.jpg)
• Активность нейрона определяется преобразованием взвешенного суммарного воздействия на него
• Воздействия могут быть активирующими(положительные веса) или тормозными (отрицательные веса)
ИСКУССТВЕННЫЙНЕЙРОН
![Page 7: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/7.jpg)
• Искусственная нейронная сеть(ИНС) является концептуальной моделью биологической нейронной сети
• Состоит из элементов, влияющих на активность друг друга
• Основные свойства– надежность – по мере
ухудшения качества входа, удалении связей или элементов эффективность сети снижается постепенно
– гибкость – ИНС могут быть применены в широком круге задач
– генерализация – достаточно обучения на ограниченной выборке
– ассоциативность памяти
ИСКУССТВЕННАЯНЕЙРОНАЯ СЕТЬ
![Page 8: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/8.jpg)
• Обучение нейросетипроисходит за счетизменения весов
БАЗОВЫЕ ПОНЯТИЯ
![Page 9: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/9.jpg)
ЧТО ТАКОЕГЛУБОКОЕ ОБУЧЕНИЕ?
DEEP LEARNING =
NEURAL NETS +BIG DATA + GPU
![Page 10: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/10.jpg)
В И Д Е Т Ь П О Н И М А Т Ь Д Е Й С Т В О В А Т Ь
СОВРЕМЕННЫЕ НАПРАВЛЕНИЯ ИССЛЕДОВАНИЙ В ОБЛАСТИ ГЛУБОКОГО ОБУЧЕНИЯ
![Page 11: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/11.jpg)
РЕКУРРЕНТНЫЕ НЕЙРОННЫЕ СЕТИ
задача предсказания временных рядов
архитектура рекуррентной сети
LSTM ячейка
примеры приложений в области работы с текстом
![Page 12: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/12.jpg)
• «Классические» нейронные сети – сети прямого распространения (feedforward network) не обладают памятью.
• «Активации» проходят всю сеть насквозь.
• Нейросети «с памятью» –рекуррентные сети.
• За счет наличия обратных связей «активации» циркулируют в сети.
В П О И С К А Х П А М Я Т И
сеть прямого распространения
рекуррентная сеть
![Page 13: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/13.jpg)
• Сигнал затухает!
П Р О Б Л Е М А Г Л У Б И Н Ы
![Page 14: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/14.jpg)
L ST M : Н Е Й Р О А Р Х И Т Е К Т У Р А
![Page 15: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/15.jpg)
![Page 16: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/16.jpg)
Алиса теперь счастлива.
Она не говорит, что это так. Она в опасности. Она выглядит прекрасно. Она была на концерте Фаллуджи. Я знаю, что она влюблена в него.Она великолепна.Она принесла нам немного воды. Она ведьма. А когда она говорит: "Я не говорю, что когда она позвонит" И когда она вернётся, я поняла,
Алиса попала в беду.
И все же так обожает. Ты не нашел ее? Она изменила свою жизнь. . ♪ К кому она придумала это? ♪Да, да. Она не умеет жить. А она не знает, кто ты? Я видела в ней все свои приключения. Вот она вот и все. Она не собирается никого убивать.
Джон теперь счастлив.
Спасибо. Да, на дворе 800 фунтов на каждом месте преступления в 1000 тысяч градусов по матче. Он в самом деле собирается позволить себе просто бросить все на свои места. Да, я тоже так думал. Я не знаю, что в нем
Джон попал в беду.
• Сверхъестественное: Ваша честь, это был не мы.
• И все они возвращаются в Вашингтон. • Он был не таким, как было в прошлом
году• Придурок! • Свиньи собираются в Старлинг Сити. • Он был в отчаянии. • Вот что я вам скажу. • И когда он вернулся, я выбросил его в
офис.• Я тоже хотел это сделать.
![Page 17: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/17.jpg)
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Около 25% всех сообщений электронной почты содержат менее 20 токенов.
Kannan, A., Kurach, K., Ravi, S., Kaufmann, T., Tomkins, A., Miklos, B., ... & Ramavajjala, V. (2016). Smart Reply: Automated Response Suggestion for Email. In Proceedings of the ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD)} (Vol. 36, pp. 495-503).
![Page 18: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/18.jpg)
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Внутреннее представление вопроса
![Page 19: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/19.jpg)
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Вызовы:
• Качество• недопустимость некачественных
ответов
• Полезность• необходимо максимизировать
использования сервиса
• Масштабируемость• миллионы сообщений в день
• Приватность• должна использоваться только
агрегированная статистика
![Page 20: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/20.jpg)
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Предобработка
![Page 21: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/21.jpg)
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Триггер ответа
- сеть прямого распространения с 3 слоями;- на вход подаются векторные представления
темы и содержания, а также дополнительная информация (наличие отправителя в адресной книге, наличие прочитанных писем от него);
- обучающая выборка состоит из писем двух категорий – был ответ с мобильного устройства или нет;
- в результате 10% сообщений классифицируются, как требующие ответа.
![Page 22: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/22.jpg)
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Выбор ответа
- LSTM сеть - на вход подается векторное представление
последовательности токенов;- выход последовательность токенов ответа;- при декодировании ответа используются
токены только из разрешенных ответов.
![Page 23: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/23.jpg)
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Множество разрешенных ответов
- выбор «канонических ответов»- “Thanks for your kind update.”, “Thank you
for updating!”, “Thanks for the statusupdate.”
- кластеризация по намерению- “Ha ha”, “lol” and “Oh that’s funny!” are
associated with the funny cluster
![Page 24: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/24.jpg)
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Диверсификация кандидатных ответов
- только один кандидат из кластера- обязательное присутвие, как «позитивных», так и
«негативных» ответов
![Page 25: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/25.jpg)
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation https://arxiv.org/abs/1609.08144 , Mon, 26 Sep 2016
Google's Neural Machine Translation System
![Page 26: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/26.jpg)
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation https://arxiv.org/abs/1609.08144 , Mon, 26 Sep 2016
Проблема: Затухающие градиенты - Решение:Residual connections
![Page 27: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/27.jpg)
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation https://arxiv.org/abs/1609.08144 , Mon, 26 Sep 2016
Проблема: Затухающий сигнал - Решение: Двунаправленное кодирование
![Page 28: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/28.jpg)
РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation https://arxiv.org/abs/1609.08144 , Mon, 26 Sep 2016
![Page 29: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/29.jpg)
от BIG DATA к DEEP LEARNING
глубокое обучение делает большие данные осмысленными
![Page 30: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/30.jpg)
Neural Networks
and Deep Learning
Lab
![Page 31: #3 Global AI Meetup (NLP) - Михаил Бурцев, DeepHackLab](https://reader034.fdocuments.net/reader034/viewer/2022042618/58aa33981a28abbb108b5ecd/html5/thumbnails/31.jpg)
https://www.udacity.com/course/deep-learning--ud730