SAS Viya€¦ · Высокая скорость обработки данных любого...
Transcript of SAS Viya€¦ · Высокая скорость обработки данных любого...
![Page 1: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/1.jpg)
Обзор новых возможностей
SAS Viya
Александр ЕфимовДиректор Дирекции аналитических
и индустриальных решений, SAS Россия / СНГ
![Page 2: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/2.jpg)
Выше производительность
Удобнее исследовать
и моделировать
Проще развертывать
и внедрять модели
Точнее алгоритмы
![Page 3: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/3.jpg)
Copyright © SAS Institute Inc. Al l rights reserved.
SAS Viya ещё быстрее
![Page 4: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/4.jpg)
Высокая скорость обработки
данных любого объема
SAS Viya обеспечивает параллельную In-Memory обработку
данных на всех этапах работы с данными
![Page 5: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/5.jpg)
• Параллельная загрузка
данных из различных
источников данных
• Параллельное
выполнение процедур
обработки данных (в том
числе Data Step)
• Скорость выполнения
скриптов обработки
сокращается до 10 раз
просто за счет переноса
из SAS 9 в SAS Viya
• Гибкое управление
ресурсами
![Page 6: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/6.jpg)
Еще больше распределенных
алгоритмов оптимизации
SAS Optimization оптимизируется сам и еще быстрее
решает ваши оптимизационные задачи
![Page 7: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/7.jpg)
• С каждым релизом SAS Viya
повышается скорость
движков
• Задачи линейного
программирования
решаются на 4,5% быстрее
• Задачи смешанно-
целочисленного
программирования
решаются на 12% быстрее
• Нелинейные задачи
решаются на 59% быстрее
за счет реализации нового
алгоритма внутренней
точки (IPDIRECT)
![Page 8: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/8.jpg)
Copyright © SAS Institute Inc. Al l rights reserved.
Удобнее исследовать и
моделировать в SAS Viya
![Page 9: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/9.jpg)
Data Quality доступен на этапе
интерактивного анализа данных
SAS Data Preparation предоставляет возможность простым
пользователям использовать сложные алгоритмы очистки
данных
![Page 10: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/10.jpg)
• Полнофункциональный
инструментарий Data
Quality в интерфейсе
интерактивного анализа
данных:
• Профилирование
данных
• Идентификационный
анализ, в т.ч.
Определение
персональных данных
• Работа с эталонными
словарями
• Парсинг
• Дедубликация, в том
числе с использованием
алгоритмов нечеткого
поиска
![Page 11: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/11.jpg)
Автоматизация процесса
моделирования и предотвращение
методологических ошибок
SAS Model Studio предоставляет набор шаблонов
моделирования для решения популярных задач
![Page 12: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/12.jpg)
• Набор типовых
шаблонов для разных
классов задач: бинарная
классификация и
непрерывные таргеты
• Разный уровень
сложности шаблонов:
Basic / Intermediate /
Advanced
• Возможность создавать
собственные шаблоны и
тиражировать лучшие
практики
• Автоматизация
выполнения стандартных
шагов моделирования
![Page 13: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/13.jpg)
Бесшовный переход от
интерактивного исследования
к проекту по моделированию
SAS Viya позволяет восстановить пайплайн обработки
данных из любого интерактивного исследования
![Page 14: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/14.jpg)
• Единый интерфейс для
интерактивных
исследований любой
сложности: Visual Analytics
/ Statistics / Data Mining
and Machine Learning
• Любое интерактивное
исследование по одному
клику мышки автомати-
чески воспроизводится
как пайплайн обработки
данных в SAS Model Studio
• Автоматически
полученный пайплайн
можно редактировать и
дорабатывать
![Page 15: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/15.jpg)
Исправление орфографии
SAS Visual Text Analytics извлекает сущности и факты из
текста, даже если в нём допущены ошибки и опечатки
![Page 16: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/16.jpg)
• В препроцессинг данных
добавлен алгоритм
распознавания ошибок и
опечаток в словах
• Слова с ошибками и
опечатками автоматически
приводятся к их корректной
словарной форме
• Повысилась точность работы
лингвистических правил,
особенно в задачах анализа
отзывов и комментариев в
социальных сетях
![Page 17: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/17.jpg)
Автоматическая генерация
лингвистических правил
SAS Visual Text Analytics использует размеченный корпус и
автоматически генерирует правила извлечения сущностей и
фактов
![Page 18: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/18.jpg)
• Новый алгоритм
автоматической генерации
лингвистических правил
использует вероятностную
семантику для выбора
лучшего правила среди
правил-кандидатов
• Пользователь получил
возможность по клику мышки
разметить произвольный
текст в SAS VTA для
последующей автоматической
генерации правил
![Page 19: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/19.jpg)
Copyright © SAS Institute Inc. Al l rights reserved.
Проще развертывать и
внедрять модели с SAS Viya
![Page 20: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/20.jpg)
Автоматизация любых
бизнес-процессов аналитики
SAS Workflow Manager позволяет описывать
бизнес-процессы в нотации BPMN
![Page 21: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/21.jpg)
• Vendor agnostic подход к
управлению моделями и
процессами
• Поддержка как
пользовательских, так и
технических шагов процесса
• Поддержка нотации BPMN
позволяет централизовать
процессы аналитики
в едином отделе
бизнес-анализа
• Организация процессов
разработки моделей, вывода в
продакшн, мониторинга
состояния моделей
![Page 22: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/22.jpg)
Простое и быстрое внедрение
любых моделей в бизнес
SAS Model Manager предоставляет универсальный и простой
инструмент размещения моделей в разных средах исполнения
![Page 23: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/23.jpg)
• Централизованный
репозиторий моделей
• В комплекте SAS Model
Manager поставляется два
движка: для пакетного и real-
time исполнения моделей
• Размещение и проверка
моделей в средах SAS, Hadoop
и Teradata в один клик
• Скоринговый код не нужно
вручную переписывать
под разные среды исполнения
![Page 24: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/24.jpg)
Единая платформа для
аналитики Internet of Things
SAS Event Stream Processing обеспечивает выполнение
любых моделей на потоковых данных
![Page 25: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/25.jpg)
• Визуальный интерфейс
моделирования c
исчерпывающим набором
готовых трансформаций
• Исполнение моделей
machine learning, text
analytics, deep learning, data
quality на потоковых данных
• Интеграция с репозиторием
SAS Model Manager
• Поддержка развертывания
на EDGE устройствах
![Page 26: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/26.jpg)
Copyright © SAS Institute Inc. Al l rights reserved.
Новые алгоритмы в SAS Viya
![Page 27: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/27.jpg)
Высокая точность прогнози-
рования временных рядов
SAS Visual Forecasting совмещает преимущества методов
анализа временных рядов и машинного обучения
![Page 28: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/28.jpg)
• Реализована стратегия Stacked
Model Forecasting, в которой
прогноз нелинейных зависимостей
строится методами ML, а
оставшиеся трендовые и сезонные
компоненты методами TSF
• Новая стратегия Multistage
Forecasting дополнила
традиционный подход
иерархического прогнозирования
методами ML
TIME SERIES
FORECASTING
MACHILE
LEARNING
![Page 29: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/29.jpg)
Выбирайте наилучшее решение с
точки зрения бизнеса
SAS Optimization может возвращать не одно оптимальное, но
несколько допустимых решений
![Page 30: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/30.jpg)
• Алгоритм MILP для решения
задач смешанно-
целочисленного
программирования
предоставляет набор
допустимых решений
• Аналитик получил
возможность определять в
каком направлении модель
ищет решения и в какие
ограничения упирается без
длительных итеративных
запусков оптимизации
![Page 31: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/31.jpg)
Deep learning для edge устройств
SAS Visual Data Mining and Machine Learning реализует
быстрое обучение и простое развертывание моделей на
конечных устройствах
![Page 32: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/32.jpg)
• Высокопроизводительная
обработка изображений на GPU
на SMP и MPP
• Не просто зоопарк, а набор
предтренированных моделей
стандартной архитектуры «из
коробки»
• Открыта возможность создания
своего собственного графа
вычислений (архитектуры
нейронной сети)
• Прунинг свёрточной сети
«из коробки» для повышения
её производительности
на мобильных устройствах
без потери качества
Глубокая нейронная сеть
Сверточнаянейронная сеть
Рекуррентная нейронная сеть
Автокодировщик
![Page 33: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/33.jpg)
Feature Machine для
АВТОподготовки предикторов
SAS Visual Data Mining and Machine Learning автоматически
выполняет сотни операций преобразования исходных данных и
формирует оптимальное признаковое пространство
![Page 34: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/34.jpg)
• АВТОдиагностика предикторов
и определение типичных
проблем в данных (7 методов)
• АВТОскрининг и отсев
«бесполезных» предикторов
• АВТОтрансформация признаков
для генерации производных
предикторов (53 метода)
• АВТОперемножение
предикторов для повышения
предиктивной силы
признакового пространства
• АВТОотбор наиболее
информативных предикторов
(7 методов)
Explore
Screen
Transform
Factor
Select
![Page 35: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/35.jpg)
Copyright © SAS Institute Inc. Al l rights reserved.
Принципиально новая
гибкость поставки решений
SAS Viya
![Page 36: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/36.jpg)
SAS Analytics for Containers –
принципиально новая гибкость в
поставке решений
SAS сформировал наборы решений, отвечающие
потребностям наших заказчиков как с технической,
так и с коммерческой точек зрения
![Page 37: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/37.jpg)
• Создание необходимой
вычислительной
и программной
конфигурации системы
за минуты
• Разворачивание в AWS,
Google, Azure, Oracle, MASP
• Быстрое масштабирование
под задачу:
• создать SMP/MPP
контейнер под задачу,
• решить задачу,
• отключить контейнер
после выполнения
задачи
Data
Science
Unified
Insights
Unified
Insights
Plus
Unified
Insights
MM
SAS Viya
programming
only
SAS Viya
Programming
+ GUI
SAS Viya
programming
+ GUI+ MM
SAS Viya
programming +
GUI+ MM +
Decisioning +
ESP
![Page 38: SAS Viya€¦ · Высокая скорость обработки данных любого объема SAS Viya обеспечивает параллельную In-Memory обработку](https://reader033.fdocuments.net/reader033/viewer/2022052101/603b2b29d0f1c7211560d48e/html5/thumbnails/38.jpg)
Спасибо за внимание
Александр ЕфимовДиректор Дирекции аналитических
и индустриальных решений, SAS Россия / СНГ
sas.com