Cisco - Global Home Page - Your Time Is Now...Tetration –анализ потоков данных...
Transcript of Cisco - Global Home Page - Your Time Is Now...Tetration –анализ потоков данных...
Your TimeIs Now
Искусственный интеллект, машинное и глубокое обучение.
Обзор технологий и сценарии применения для мониторинга сети передачи данных
Влад ПатенкоИнженер-консультант
2© 2018 Cisco and/or its affiliates. All rights reserved.
Содержание
• Текущая ситуация на рынке• Краткий обзор алгоритмов машинного
обучения• Сценарии и приложения
© 2018 Cisco and/or its affiliates. All rights reserved. 3
Искусственный интеллект в операторском бизнесе• Фильтрация спама• Распознавание текста и голоса• Распознавание образов• Приложения безопасности• Мониторинг
4
Взаимосвязь IA / ML / DL
Машинное обучение: область компьютерных наук, которая дает возможность компьютерам обучаться без специального
программирования
ИскусственныйинтеллектArtificialIntelligence
МашинноеобучениеMachinelearning
ГлубокоеобучениеDeeplearning
1950 1960 1970 1980 1990 2000 2010
5
Краткая история алгоритмов машинного обучения
Год1960 1970 1980 1990 2000 2010
Нейронныесети(персептрон)
Нейронныесети
Деревопринятиярешений
Методопорныхвекторов
Логистическаярегрессия
6
Ценность алгоритмов машинного обучения
7© 2018 Cisco and/or its affiliates. All rights reserved.
Данные
Алгоритмы
$0 $0 $0$0
Слияния и поглощения
8
• Основные покупатели –контент-провайдеры
• Источник: CBINSIGHTS
Рост количества решений на базе ПО
Рост объёмов данныхТелеметрия и детальная статистика
Требования по корреляции данных и прогнозам
Применение ПО с открытым кодом
Почему сейчас ?Источник:GarnerHypeCycleforEmergingTechnologies2017
9
Разработка чипов для AI/ML
• Nvidia Volta: процессор для Tesla• Google Tensorflow: тензорный процессор• Microsoft HoloLens: процессор для очков с дополненной
реальностью• Intel Loihi: процессор для R&D
10
Некоторые конференции AI/MLICML - International Conference on Machine Learning
Основана в 1980.Спонсируется Facebook, Google, Amazon, Netflix, Cisco…
NIPS - Conference on Neural Information Processing SystemsОснована в 1987Спонсируется Amazon, Google, Facebook, Microsoft...
ICLR - International Conference on Learning RepresentationsОснована в 2012Спонсируется Amazon, Google, Facebook, Nvidia, DeepMind…
MLConf - The Machine Learning ConferenceОснована в 2014Netflix, Amazon, Microsoft…
11
Стандартизация• 5G-PPP
• Cognet• Июль 2015
• Linux Foundation• Acumos• Октябрь 2017
• Telecom Infra Project (TIP)• Artificial Intelligence and Machine
Learning Project Group• Апрель 2017
• ETSI ENI• Industry Specification Group
'Experiential Network Intelligence’• Февраль 2017
• ITU-T• Focus Group on Machine Learning for
Future Networks including 5G• Ноябрь 2017
• IEEE• IEEE ComSoc Network Intelligence
Emerging Technology Initiative (ETI)• Декабрь 2017
12© 2018 Cisco and/or its affiliates. All rights reserved.
Обзор алгоритмов машинного обучения
13© 2018 Cisco and/or its affiliates. All rights reserved.
Машинное обучение и статистический анализСтатистический анализ:
Результат определяется предопределенной функцией
Машинное обучение:Результат, - это функция, которая выдает ожидаемые значения
Данные
ФункцияОжидаемыйрезультат
Данные
Ожидаемыйрезультат
Функция
Приложение
Приложение
14
Статистический анализAnalytics
Тестовыеданные
Данныедляобучения
Результат
Функция
f(x)
Подготовкаданных1
Определение особенностей2
Созданиемодели3
Применениемодели4
Анализмодели5
15
Машинное обучениеMachine Learning
Тестовыеданные
Данныедляобучения
АлгоритмML
Результат
Модель
Обратнаясвязь
Подготовкаданных1
Определениеособенностей2
Обучениемодели3
Применениемодели4
Анализмодели5
Определениеособенностей,- этопроцессидентификациихарактеристикдляиспользованияприпостроениимодели
16
Способы машинного обучения
• Обучение без учителя• Англ: Unsupervised learning• Возможно использование
нескольких уровней данных• Обработка исходных данных и
выдача модифицированного результата на следующий уровень
• Сценарии:• Распознавание образов
• Обучение с учителем• Англ: Supervised learning• Позволяет приложениям обучаться
без специфического программирования
• Обучение и прогнозирование на основании известных данных
• В основе статистика и вероятность
• Сценарии• Предсказательная аналитика
17
Обучение с подкреплениемReinforcement Learning
• Частный случай обучения с учителем
• Учитель - среда• Наличие обратной связи• Алгоритм проб и ошибок
18
Действие
Окружение
Текущие знания
Получение информации
Приз
Критерии, коэффициенты
Пример: дерево принятия решений
• Граф решений и возможных действий
• Популярный алгоритм для экспертных систем
Событие
Set Clear
Тип
Дубликат Новое
Добавитьксуществующемуобращению
Создатьновое
обращение
Пример: линейная регрессия
• Функция: y = ax+b• Математический метод:
• Решение уравнения
• Метод машинного обучения:• Подбор коэффициентов a и b
• Пример применения:• Идентификация нормального
состояние загрузки канала передачи данных
• Идентификация аномалий
20
Глубокое обучение / Deep Learning
Алгоритмы машинного обучения
Машинное обучение
Обучение без учителя
Обучение с учителем
Обучение с подкреплением
КлассификацияРегрессия Кластеризация
• Линейная регрессия• Метод опорных векторов• Ансамблевые методы• Дерево принятия решений• Нейронные сети
• Метод опорных векторов• Дискриминантный анализ• Байесовские методы• Метод к-ближайших соседей• Нейронные сети
• Метод К-средних• Иерархические модели• Смешанная Гауссовская• Скрытая Марковская• Нейронные сети
• Q-обучение• SARSA• Глубокие Q-сети
21
Нейронные сети
• Нейрон получает электрический импульс с одного или нескольких дендритов и выдает импульс через аксон
• Элемент нейронной сети выдает на выходе “1” в случае, если совокупность входных сигналов соответствует определенным значениям
22BRKIOT-2394
Пример нейронной сети: распознавание цифр
• X1…Xn – интенсивность заливки пиксела
• Yn=F(x) – вероятность цифры N на распознаваемом рисунке
• Функция классификации: Y=ax1+bx2+cx3+…nxn
• Коэффициенты a,b,c…n подбираются в процессе тренинга для каждого нейрона (цифры)
• Пример результатов распознавания цифры 6:
23© 2018 Cisco and/or its affiliates. All rights reserved.
…F(x)
…X1 ….Xn
Y1
F(x)
…X1 ….Xn
F(x)
…X1 ….Xn
F(x)
…X1 ….Xn
Y2 Y3 Y9
Y1 Y2 Y3 Y4 Y5 Y6 Y7 Y8 Y9
0.1 0.04 0.2 0.15 0.3 0.95 0.1 0.3 0.1
Данные для обучения
Нейронные сети
• Множество вариантов взаимодействия нейронов
• Гибкость в построении моделей
• Множество возможных приложений в зависимости от требуемого результата
24
Глубокое обучениеDeep Learning
• Базируется на наших знаниях о работе мозга
• Алгоритмы с использованием многоуровневых нейронных сетей
• Высокая производительность• Лучшая точность• Требуется большое количество
данных
25
Что такое Глубокое Обучение (DL)?
26
Сложныемат.функции Данные Результат
“Ольга”
Бесплатные библиотеки и пакеты ML
CNTK
Deeplearning4j
dlib
ELKI
GNU Octave
H2O
Mahout
Mallet
mlpy
MLPACK
MOA (Massive Online Analysis)
MXNet
ND4J: ND arrays for Java
NuPIC
OpenAI Gym
OpenAI Universe
OpenNN
Orange
R
scikit-learn
Shogun
SMILE
SparkML
TensorFlow
Torch
Yooreeka
Weka
Сценарии и приложения
28© 2018 Cisco and/or its affiliates. All rights reserved.
Влияние новых технологий на задачи мониторинга
Плюсы
• Виртуализация каждого уровня обеспечивает лучшую защищенность
• Отказы могут быть обусловлены несколькими причинами одновременно
Минусы
§ Чаще всего существующие системы мониторинга ищут единую первопричину отказа
§ Зависимость алгоритмов корреляции от полноты инвентарной и топологической информации
§ Сложность в моделировании современных сетей
29
Центрыобработкиданныхисети
Виртуализированные ресурсы
Виртуализированные сетевыефункциииприложения
УслугидляклиентовvRouter vFirewallvLoadbalancer
Услуга A Услуга B Услуга C
Современнаясервиснаяплатформа
DevOps Apps
Мониторинг с машинным обучением
Фильтры
Фильтрация• Машинное обучения без учителя:
• Классификация по важности
• >98% шума фильтруется
Создаются на базе правил
События
События: миллионы сообщений от сети и прилоежний
Обнаружение•Машинное обучения без учителя – сопоставление, рецепты,…
•Обучение с учителем –помощь эксперта
Обнаружение ситуаций
•Уменьшение количества проблем в консоли до >99,9%
•Определение заинтересованных лиц
Действие•Извещение всех заинтересованных лиц
•Создание команды для решения проблемы
Нотификация
Диагностика•Виртуальная ситуационная комната для быстрого решения проблемы
Ситуационная комната
Восстановление•Автоматическое восстановление или рекомендация пользователю
30
21:00 21:30 22:00 22:30 23:00 23:30 24:00
DetectIssue detected at 21:03
FixIssue Resolved at 23:30
90 min
Мониторинг деградации линейных карт
31
Прогнозирование и восстановление за минуты
• Проблема: Деградация линейных карт часто видна как ряд трудно сопоставимых симптомов• Решение: Мониторинг параметров работы линейных карт для определения отклонений• Ценность: Превентивное определение потенциальной проблемы и минимизация влияния отказа
Обнаружение, обучение
• Мониторинг ключевых параметров карт
• CPU• Памяти• Мощность оптических портов• Температура оптических портов• Ошибки ECC
• Настройки граничных значений для извещений
• Вручную или на базе ML
Мониторинг функции маршрутизации
32
• Проблема: Неправильные настройки, ограничения ресурсов и ошибки могут создавать ситуации с потерей трафика (blackholing)
• Решение: Mониторинг ключевых параметров функций маршрутизации для обнаружения аномалий• Ценность: Уменьшение времени поиска и диагностики проблемных устройств
• Ключевые параметры• Количество маршрутов• Память• Статистика по трафику
• Вычисление PCR (Producer Consumer Ratio)
• Обнаружение отклонений PCR
PCR =T − RT + R
T: Байт переданных за интервалR: Байт принятых за интервал
*
PCR сигнализирует о потере трафика
Несоответствие трафика на выходе по сравнению с входом
Tetration – анализ потоков данных в ЦОД
CiscoTetrationAnalytics™ Platform
BM VM VM VM BM
Телеметрия с bare-metal, VM и
коммутаторов
Телеметрия VM
Телеметриясbare-metal и VM
Аппаратные сетевые сенсоры, программные сенсоры, или оба типа
(желательно)
ПрограммныесенсорынаBare metal иVM
Виртуальные нагрузки из своего ЦОД или из облака (AWS)
Методымашинногообучения
Поведенческий анализ
CiscoNexus® 9000Series
BM VM VM BM
Brownfield
BM VM VM BM
BM VM
BMVM
VM BM
VMVM
VM BM
BMVM
BM
Виновенпоповедению§ Модельсовместныхзапросов
§ Геолокационная модель
§ Модельиндексабезопасности
Виновенпосвязям§ МодельпредсказуемогоIPсегмента
§ КорреляцияDNSиWHOISданных
Шаблонвиновности§ Модельвсплесковактивности
§ Модельоценкиязыковогошаблона(NLP)
§ ОбнаружениеDGA
2M+событийвсекунду
11B+историческихсобытий
Cisco UmbrellaБезопасный DNS
Безопасность: анализ трафика
35
Расширеннаяаналитикаимашинноеобучение
Корреляцияглобальныхилокальныхзнаний
БолеевысокаяточностьБыстроеисследованиеВозможности сети
Расширенный NetFlow изоборудованияCisco
Когнитивнаяаналитика
Экспортшифрованного
трафика
КоллекторыStealthwatch
Обнаружениевредоносного
ПО
Заключение
• Машинное обучение позволяет значительно повысить эффективность мониторинга сети передачи данных и услуг
• Объем данных – ключевой параметр при использовании алгоритмов ML
• Машинное обучение можно использовать уже сейчас – надо лишь подобрать подходящий алгоритм для решения задачи
36© 2018 Cisco and/or its affiliates. All rights reserved.
Спасибо за внимание!
© 2018 Cisco and/or its affiliates. All rights reserved.
Оцените данную сессию в мобильном приложении конференции
www.facebook.com/CiscoRu
www.instagram.com/ciscoru
www.youtube.com/user/CiscoRussiaMedia
www.vk.com/cisco
Контакты:
Тел.: +7 495 9611410www.cisco.com