Готовые решения Dell EMC для ИИ:Deep Learning with Intel · решения Deep...

© The Enterprise Strategy Group, Inc., 2019 г. Все права защищены.

Увеличение производительности, оптимизация совокупной стоимости владения и повышение удобства использования для рабочих нагрузок машинного и глубинного обучения

Автор: Джек Поллер (Jack Poller), старший аналитик Апрель 2019 г. Данная техническая валидация ESG составлена по заказу Dell EMC и распространяется в соответствии с лицензией от ESG.

Enterprise Strategy Group | Getting to the bigger truth.™

Техническая валидация

Готовые решения Dell EMC для ИИ:Deep

Learning with Intel

Техническая валидация. Готовые решения Dell EMC для ИИ: Deep Learning with Intel 2


Contents

Введение ........................................................................................................................................................................ 3

Общие сведения ....................................................................................................................................................... 3

Deep Learning with Intel ........................................................................................................................................... 4

Техническая валидация ESG .................................................................................................................................... 6

Ускорение разработки моделей ИИ ..................................................................................................................... 6

Интерпретация числовых значений ................................................................................................................. 7

Масштабирование инфраструктуры ................................................................................................................ 7

Интерпретация числовых значений ................................................................................................................. 8

Снижение совокупной стоимости владения для программ ИИ .................................................................... 9

Подготовка модели .............................................................................................................................................. 9

Интерпретация числовых значений ............................................................................................................... 10

Формирование логических выводов .............................................................................................................. 11


Глубинное обучение в локальных средах с использованием графических ускорителей ................ 12


Повышение удобства использования ............................................................................................................... 15

Выводы ......................................................................................................................................................................... 17

Приложение ................................................................................................................................................................. 19

Технические валидации ESG

Цель технических валидаций ESG — информирование ИТ-специалистов о новых решениях в сфере информационных технологий для компаний различного типа и размера. Отчеты ESG о технической валидации не рассчитаны на то, что их будут использовать в качестве замены обязательного процесса оценки перед принятием решения о покупке. Они лишь позволяют получить более глубокое представление о новых технологиях, которые в них анализируются. Мы стремимся освещать основные функции и возможности ИТ-решений, демонстрировать возможности их использования для устранения реальных проблем заказчиков и выявлять области, которые требуют улучшения. Независимое мнение экспертов по проверке ESG основано на собственном тестировании, а также на опросах заказчиков, которые используют эти продукты в производственных средах.



Введение

Данная техническая валидация ESG документально подтверждает оценку готового решения Dell EMC

для ИИ — Deep Learning with Intel. Мы сосредоточились на анализе производительности и удобства

использования решения, а также совокупной стоимости владения им. Чтобы валидировать

производительность всего стека, мы измеряли количество токенов в секунду, обработанных при

подготовке модели Token2Token Big Transformer, и оценивали, насколько Nauta, платформа Intel

с открытым исходным кодом, ускоряет подготовку модели глубинного обучения. Кроме того, мы

оценивали, насколько платформа Nauta упрощает процесс подготовки модели глубинного обучения,

а также сравнивали совокупную стоимость владения при использовании решения Deep Learning with Intel

и при выполнении тех же задач с применением ведущего сервиса ИИ на базе общедоступного облака.

Общие сведения

Повышение плотности размещения и мощности вычислительных ресурсов, а также появление

специализированных процессоров искусственного интеллекта (ИИ) и новых алгоритмов привели

к тому, что машинное обучение и глубинное обучение перешли от стадии демонстрационных

испытаний к практическому применению на предприятиях, где многие подразделения развертывают

программы ИИ. По данным исследования ESG, 59% респондентов прогнозировали, что их расходы

на ИИ и машинное обучение возрастут в 2019 году. При этом 31% организаций указывали, что

использование ИИ и машинного обучения в их ИТ-продуктах и услугах является одним из

направлений модернизации ЦОД, в которые они будут осуществлять самые значительные

инвестиции в ближайшие 12–18 месяцев.1

Организации, стремящиеся использовать возможности ИИ, сталкиваются со значительными

сложностями. 35% участников опроса ESG назвали самой серьезной проблемой стоимость ИТ-

инфраструктуры, 29% — возможности ИТ-инфраструктуры, а 21% — среду разработки приложений

(см. Рис. 1).2

1 Источник: отчет об исследовании ESG 2019 Technology Spending Intentions Survey (Планируемые затраты на ИТ в 2019 г.), февраль 2019 г. 2 Источник: результаты инициативного исследования ESG Artificial Intelligence and Machine Learning: Gauging the Value of Infrastructure (Искусственный интеллект и машинное обучение: оценка значения инфраструктуры), март 2019 г.

https://www.esg-global.com/research/esg-research-report-2019-technology-spending-intentions-survey

https://research.esg-global.com/reportaction/aimlmsr/Toc




Рис. 1. ИИ и машинное обучение: сложности, связанные с расходами, технологиями и данными

Источник: Enterprise Strategy Group

Какие факторы приводят к возникновению этих сложностей? Глубинное обучение — это

многосторонний и сложный процесс, а практическое применение технологий ИИ — трудная

и многогранная задача, для решения которой требуется подготовленный и опытный персонал.

Однако в настоящее время наблюдается дефицит сотрудников с необходимыми навыками.

Инициативы по практическому использованию ИИ осложняются необходимостью повышать

точность моделей. Для обработки более крупных наборов данных, настройки дополнительных

гиперпараметров и внедрения более сложных алгоритмов ИИ необходимы более крупные,

быстрые, сложные и дорогостоящие инфраструктуры. Это объясняет привлекательность общедоступных

облачных инфраструктур, которые требуют более низких

начальных расходов и предлагают услуги, относящиеся

к категории эксплуатационных затрат. Компаниям

необходим стек локальной инфраструктуры, который

обеспечивает высокую производительность и масштабируемость

даже для самых крупных и сложных моделей искусственного

интеллекта и одновременно упрощает их запуск и развертывание.

При этом совокупная стоимость владения у такого стека не

должна быть выше, чем у общедоступных облачных сервисов.

Deep Learning with Intel

Deep Learning with Intel входит в состав набора готовых

решений Dell EMC для ИИ — стандартизированных стеков

инфраструктуры для машинного и глубинного обучения,

предназначенных для ускорения окупаемости инвестиций.



Deep Learning with Intel — это горизонтально масштабируемый кластер, который включает в себя один главный узел (или узел входа в систему) Dell EMC PowerEdge R740xd и 16 серверов высокой плотности Dell EMC PowerEdge C6420, размещенных в четырех корпусах C6000. Каждый вычислительный узел имеет подключение 1 GbE для доступа к внешней сети и Интернету, а также подключение 10 GbE для внутреннего трафика и перемещения данных. Дополнительный кластер хранения Dell EMC Isilon H600 может быть подключен к внутренней сети 10 GbE с помощью подключений 40 GbE. Подробная информация о конфигурации системы представлена в Таблица 6 в приложении.

Для решения Deep Learning with Intel доступны услуги по развертыванию, позволяющие ускорить получение результатов, и централизованная поддержка всего стека аппаратного и программного обеспечения. Прошедшие валидацию стеки аппаратного и программного обеспечения объединяют серверы Dell EMC PowerEdge, хранилище Dell EMC Isilon, высокоскоростные сетевые компоненты, программное обеспечение для анализа данных, а также библиотеки и платформы ИИ в предварительно настроенные, масштабируемые и сбалансированные системы.

Компания Dell EMC валидировала Nauta, платформу Intel с открытым исходным кодом, и интегрировала ее с решением Deep Learning with Intel. Nauta — это распределенная платформа глубинного обучения, которая использует технологии Kubernetes и Docker для предоставления многопользовательской распределенной вычислительной среды, предназначенной для подготовки и тестирования систем глубинного обучения. Nauta упрощает рабочий процесс подготовки систем глубинного обучения и использует возможности ПО Kubernetes для автоматизации развертывания, масштабирования и администрирования контейнерных3 приложений. Помимо интерфейса командной строки (CLI), Nauta предоставляет графический веб-интерфейс пользователя (GUI). Кроме того, в нее интегрирован пакет инструментов визуализации для глубинного обучения TensorBoard. Эти интерфейсы оптимизируют и ускоряют обработку рабочих нагрузок, связанных с управлением экспериментами специалистов по анализу данных. Nauta поддерживает как пакетное, так и потоковое формирование логических выводов для интегрированной валидации моделей и включает настраиваемые шаблоны моделей, которые упрощают эксперименты по созданию и подготовке моделей.

Организации, развертывающие решение Deep Learning with Intel, получают следующие преимущества:

Быстрое развертывание. Организации могут внедрить решение Deep Learning with Intel вместо того, чтобы самим выбирать, конфигурировать, интегрировать и настраивать компоненты для создания стека ИИ. Это решение представляет собой развертываемую службой Dell EMC Services валидированную систему, которая сокращает время развертывания среды ИИ с нескольких месяцев до нескольких недель при одновременном снижении требований к квалификации и эксплуатационных рисков.

Упрощенная конфигурация. Решение Deep Learning with Intel предварительно интегрируется с платформой Nauta и дистрибутивом TensorFlow, а также включает в себя необходимые библиотеки, поддерживающие глубинное обучение и оптимизированные для масштабируемых процессоров Intel Xeon.

Оптимизированное использование общих ресурсов. Интегрированная платформа Nauta использует ПО Kubernetes, автоматизирующее оркестрацию рабочих процессов, что позволяет планировать и проводить многие эксперименты в автоматизированном режиме. Благодаря этому несколько специалистов по анализу данных могут совместно использовать один стек инфраструктуры ИИ, оказывая минимальное влияние на производительность системы.

Возможность быстрого масштабирования. Все готовые решения Dell EMC для ИИ обеспечивают быстрое масштабирование. Организации могут наращивать вычислительную мощность путем добавления вычислительных узлов в кластер несколькими кликами мыши. Систему хранения Isilon можно горизонтально масштабировать, добавляя дополнительные узлы без прерывания работы, что обеспечивает линейное увеличение быстродействия СХД. Или же можно масштабировать систему хранения в опциональном горизонтально масштабируемом кластере хранения Isilon.

3 Контейнеры используют виртуальную изоляцию для развертывания и выполнения приложений без накладных расходов на создание полных виртуальных машин для каждого приложения.

https://www.intel.ai/introducing-nauta/#gs.2yzgzl

https://kubernetes.io/

https://www.tensorflow.org/guide/summaries_and_tensorboard



Техническая валидация ESG

Специалисты ESG выполнили оценку и тестирование решения Deep Learning with Intel в

лаборатории Dell EMC HPC & AI Innovation Lab. Тестирование должно было количественно оценить

производительность и масштабируемость решения при подготовке моделей глубинного обучения.

Кроме того, целью тестирования было оценить преимущества решения с точки зрения совокупной

стоимости владения, а также определить, насколько платформа Nauta упрощает рабочий процесс

разработки моделей.

Ускорение разработки моделей ИИ

Специалисты ESG использовали Google Tensor2Tensor (T2T), библиотеку моделей глубинного

обучения и наборов данных с открытым исходным кодом, чтобы оценить производительность

решения Deep Learning with Intel. Из многих задач глубинного обучения, включенных в T2T, мы

сосредоточились на языковом переводе, используя модель Big Transformer для обучения системы

нейронного машинного перевода (NMT), предназначенной для перевода с английского языка на

немецкий. Набор данных содержал 4,5 миллиона пар предложений, а производительность

измерялась по количеству обработанных токенов в секунду, где токен — это часть слова.

Мы измерили производительность T2T в двух конфигурациях. Первая конфигурация включала

подготовку модели T2T, выполняемую на аппаратном стеке Intel без предустановленного ПО и без

использования контейнеров. Во второй конфигурации использовались полный стек инфраструктуры

решения Deep Learning with Intel и платформа Nauta для выполнения подготовки модели T2T с

применением ПО Kubernetes и контейнеров (контейнерная платформа). Для каждой конфигурации

мы выполняли подготовку несколько раз, используя один, два, четыре, восемь и 16 вычислительных

узлов. Полученные результаты представлены на Рис. 2 и в Таблица 1.

Рис. 2. Результаты подготовки модели Tensor2Tensor Big Transformer


https://github.com/tensorflow/tensor2tensor/



Таблица 1. Результаты подготовки модели Tensor2Tensor Big Transformer

Вычислительные узлы

Без предустановленного

ПО Число токенов в секунду

Контейнерная платформа Nauta

Число токенов в секунду Улучшение (%)

1 1115 1320 18%

2 2181 2400 10%

4 4302 4320 0%

8 8478 8800 4%

16 16 675 16 960 2%


Интерпретация числовых значений

В каждом тестовом сценарии использование контейнеров для глубинного обучения не приводило

к снижению производительности.

В большинстве случаев использование контейнеров приводит к незначительному повышению

производительности. Скорее всего, это результат сведения к минимуму переключений контекста

ядра и применения эффективных алгоритмов планирования в ПО Kubernetes.

Масштабирование инфраструктуры

Специалисты ESG использовали результаты подготовки для оценки эффективности масштабирования

в решении Deep Learning with Intel. На Рис. 3 показаны результаты контейнерной платформы Nauta

в сравнении с экстраполяцией линейного масштабирования, при использовании конфигурации

с одним вычислительным узлом в качестве базового уровня производительности системы. На графике

используются экспоненциальные оси, где каждое деление представляет собой удвоение значения

по сравнению с предыдущим делением. Результаты также подробно описаны в Таблица 2

Рис. 3. Масштабирование решения Deep Learning with Intel




Таблица 2. Масштабирование решения Deep Learning with Intel

Вычислительные узлы

Экстраполяция линейного

масштабирования Число токенов

в секунду

Контейнерная платформа Nauta Число токенов в

секунду

% от теоретического максимума

1 1320 1320 0%

2 2640 2400 91%

4 5280 4320 82%

8 10 560 8800 83%

16 21 120 16 960 80%



Решение Deep Learning with Intel при использовании платформы Nauta обеспечило практически

линейное масштабирование, достигая 80% или более от теоретической максимальной

пропускной способности при увеличении числа вычислительных узлов в 16 раз.

Почему это важно

Производительность и масштабируемость представляют особый интерес для специалистов по анализу данных, проводящих подготовку моделей искусственного интеллекта. Более быстрые решения позволяют специалистам по анализу данных проводить тестирование с более крупными наборами данных и экспериментировать с большим количеством сочетаний гиперпараметров. Это помогает создавать более точные модели и ускоряет достижение конвергенции для пригодных к промышленной эксплуатации моделей ИИ.

Тестирование ESG подтвердило, что решение Deep Learning with Intel обеспечивает повышение производительности за счет использования контейнеризации и оркестрации. При использовании платформы Nauta подготовка моделей происходила на 18% быстрее, а решение обрабатывало 16 960 токенов в секунду с 16 вычислительными узлами, на которых параллельно выполнялись контейнерные приложения.

Производительность решения Deep Learning with Intel масштабировалась практически линейно, достигая 80% или более от теоретически возможной максимальной пропускной способности при масштабировании подготовки от одного до 16 вычислительных узлов.



Снижение совокупной стоимости владения для программ ИИ

Специалисты ESG провели оценку совокупной стоимости владения для решения Deep Learning

with Intel. Кроме того, мы оценивали совокупную стоимость владения при выполнении тех же рабочих

нагрузок ИИ с использованием ведущего сервиса ИИ на базе общедоступного облака. Для сравнения

показателей совокупной стоимости владения мы смоделировали два сценария: подготовка модели

глубинного обучения и формирование логических выводов в модели глубинного обучения. Однако

решение Deep Learning with Intel не очень хорошо подходит для формирования логических выводов:

для большинства производственных сред задержка выводов будет неприемлемо большой. Данное

решение можно использовать для тестирования и проверки формирования логических выводов

в модели. Мы также сравнили совокупную стоимость владения для локальных инфраструктур,

в которых использовались либо только ЦП, либо ускорители на базе графических процессоров.

В модели совокупной стоимости владения для решения Deep Learning with Intel использовались

общедоступные розничные цены и смоделированные расходы на оборудование, программное

обеспечение, услуги, управление ИТ, энергоснабжение и охлаждение. Расходы на оборудование

включали в себя затраты на корпуса серверов, стойки, сетевые и прочие кабели и сетевые коммутаторы.

Расходы на программное обеспечение включали в себя годичные лицензионные платежи для всех

установленных лицензированных программ. В решение включены профессиональные услуги, которые

обеспечивают установку и настройку решения на месте. Мы оценивали стоимость управления ИТ,

энергоснабжения и охлаждения в 30% от стоимости серверов и сетевых коммутаторов. Кроме того,

предполагалось, что системы будут работать 24 часа в сутки, семь дней в неделю.

В модели совокупной стоимости владения для выполнения той же рабочей нагрузки

с использованием ведущего сервиса ИИ на базе общедоступного облака использовался прейскурант,

опубликованный в марте 2019 г. Модель включает стоимость времени вычислений, хранения

статических данных, передачи данных в облако и из облака, а также прямого сетевого подключения

к ЦОД общедоступного облака. Для времени вычислений был смоделирован режим работы 12 часов

в день, семь дней в неделю. Хранилище данных моделировалось, исходя из хранения статических

данных объемом 10 Тбайт, а также объемов входящих и исходящих данных, составляющих

по 10 Тбайт в месяц.

Подготовка модели

Сначала мы оценивали совокупную стоимость владения за три года для подготовки модели

глубинного обучения. В модели для решения Deep Learning with Intel была смоделирована

конфигурация, включающая 16 вычислительных узлов.

В сервисе общедоступного облака расходы на выполняющиеся приложения Jupyter Notebook

отделены от расходов на подготовку модели. Мы смоделировали десять экземпляров

Notebook, чтобы поддержать одновременную работу десяти специалистов по анализу данных.

Мы смоделировали 80 экземпляров для подготовки, каждый из которых имел восемь виртуальных

ЦП (примерно эквивалентных ядру физического ЦП), чтобы обеспечить соответствие решению

Deep Learning with Intel, в котором используются 640 ядер ЦП. В Таблица 3 и на Рис. 4 сравнивается

совокупная стоимость владения за три года для подготовки на базе решения Deep Learning with Intel

и при использовании сервиса общедоступного облака.



Таблица 3. Конфигурация и совокупная стоимость владения за три года для подготовки модели глубинного обучения

Deep Learning with Intel Ведущий сервис ИИ на базе

общедоступного облака

Число одновременно работающих специалистов

по анализу данных 20 10

Время работы ЦП 24 часа в сутки

7 дней в неделю 12 часов в сутки 7 дней в неделю

Число ядер ЦП (Dell EMC) Число виртуальных ЦП (сервис

общедоступного облака) 640 640

Память 2592 Гбайт 2560 Гбайт

Хранилище статических данных 100 Тбайт 10 Тбайт

Объем входящих данных в месяц

Неприменимо 10 Тбайт

Объем исходящих данных в месяц


Совокупная стоимость владения за три года

$ 748 893 $ 987 077


Рис. 4. Совокупная стоимость владения за три года для подготовки модели глубинного обучения



При подготовке модели глубинного обучения совокупная стоимость владения за три года для

решения Deep Learning with Intel оказалась на $ 238 000 меньше, чем при выполнении той же

рабочей нагрузки с использованием ведущего сервиса ИИ на базе общедоступного облака.



При подготовке модели глубинного обучения совокупная стоимость владения за три года для

решения Deep Learning with Intel оказалась на 24% меньше, хотя услуги предоставлялись вдвое

большему числу специалистов по анализу данных с удвоенным временем вычислений (24 часа

в сутки против 12), а емкость хранилища была в 10 раз больше (100 Тбайт против 10 Тбайт).

Формирование логических выводов

Затем мы смоделировали совокупную стоимость владения за три года для формирования логических

выводов в условиях, когда специалисты по анализу данных используют модель глубинного обучения

с новыми данными для получения логических выводов. Расчеты совокупной стоимости владения

производились без учета ограничений по задержке и масштабируемости, которые делают

нецелесообразным применение решения Deep Learning with Intel для формирования логических

выводов.

Модель совокупной стоимости владения для решения Deep Learning with Intel моделировала

конфигурацию с четырьмя вычислительными узлами и включала опциональные аппаратные

сопроцессоры, предназначенные для ускорения вычислений, обеспечивающих формирование

логических выводов.

Как и в случае сценария подготовки модели, наша модель совокупной стоимости владения за три

года для сервиса общедоступного облака моделирует десять экземпляров Notebook для поддержки

одновременной работы десяти специалистов по анализу данных. Сервис общедоступного облака

не публикует данные о количестве ядер ЦП для своего сервиса формирования логических выводов,

публикуя вместо этого данные о производительности математических вычислений с плавающей

точкой. Мы смоделировали 80 экземпляров для формирования логических выводов, каждый из

которых имел по 2 Гбайт памяти, чтобы сохранить паритет по вычислительной мощности с решением

Deep Learning with Intel, в котором используются процессоры Intel, имеющие в совокупности 160 ядер.

В Таблица 4 и на Рис. 5 сравнивается совокупная стоимость владения за три года для формирования

логических выводов на базе решения Deep Learning with Intel и при использовании сервиса

общедоступного облака.

Таблица 4. Конфигурация и совокупная стоимость владения за три года для формирования логических выводов в модели глубинного обучения

Deep Learning with Intel Ведущий сервис ИИ на базе

общедоступного облака

Число одновременно работающих специалистов

по анализу данных 20 10


7 дней в неделю 12 часов в сутки 7 дней в неделю

Число ядер ЦП (Dell EMC) Число виртуальных ЦП (сервис

общедоступного облака) 160 Неприменимо



Объем входящих данных в месяц Неприменимо 10 Тбайт

Объем исходящих данных в месяц



$ 414 407 $ 475 308




Рис. 5. Совокупная стоимость владения за три года для формирования логических выводов в модели глубинного обучения



При формировании логических выводов в модели глубинного обучения совокупная стоимость

владения за три года для решения Deep Learning with Intel оказалась на $ 61 000 меньше, чем

при выполнении той же рабочей нагрузки с использованием ведущего сервиса ИИ на базе

общедоступного облака.

При формировании логических выводов в модели глубинного обучения совокупная стоимость

владения за три года для решения Deep Learning with Intel оказалась на 13% меньше, хотя

предоставлялось вдвое большее время вычислений (24 часа в сутки против 12), а емкость

хранилища была в 10 раз больше (100 Тбайт против 10 Тбайт).

Глубинное обучение в локальных средах с использованием графических ускорителей

Наконец, мы сравнили совокупную стоимость владения за три года для решения Deep Learning

with Intel и конфигурации стека, сопоставимого со стеком Deep Learning with Intel, в которой

использовались графические ускорители. Это позволило нам оценить, какое влияние на совокупную

стоимость владения в локальных средах глубинного обучения оказывает замена ЦП графическими

процессорами. Основываясь на информации Intel и эмпирических данных, мы использовали в три

раза большее количество ЦП в сравнении с количеством графических процессоров, чтобы сохранить

паритет по вычислительной мощности между двумя конфигурациями. Мы смоделировали

конфигурацию на базе ЦП с 12 вычислительными узлами и конфигурацию на базе графических

ускорителей с четырьмя вычислительными узлами. В Таблица 5 и на Рис. 6 сравнивается совокупная

стоимость владения за три года для двух конфигураций.



Таблица 5. Конфигурация и совокупная стоимость владения за три года для локальной среды глубинного обучения с графическими ускорителями

Deep Learning with Intel Сопоставимый стек инфраструктуры с

графическими ускорителями

Число одновременно работающих специалистов по

анализу данных 20 20


7 дней в неделю 24 часа в сутки

7 дней в неделю

Число ядер ЦП (Dell EMC) 480 80




$ 567 938 $ 863 470


Рис. 6. Совокупная стоимость владения за три года для локальной среды глубинного обучения с графическими ускорителями



Развертывание графических ускорителей для глубинного обучения требует дополнительных

расходов в размере $ 295 000 (на 34% больше) для достижения сопоставимой

производительности.



4 Источник: результаты инициативного исследования ESG Artificial Intelligence and Machine Learning: Gauging the Value of Infrastructure(Искусственный интеллект и машинное обучение: оценка значения инфраструктуры), март 2019 г.


По данным ESG, среди проблем, связанных с внедрением технологий ИИ и машинного обучения, участвовавшие в исследовании организации чаще всего называли стоимость инфраструктуры.4 Поэтому неудивительно, что сервисы ИИ на базе общедоступных облаков так привлекательны: они требуют небольших первоначальных расходов, а их услуги относятся к категории эксплуатационных затрат.

Исследование ESG подтвердило, что совокупная стоимость владения за три года для локального решения Deep Learning with Intel значительно меньше, чем при использовании сервисов ИИ на базе общедоступного облака. При разработке моделей глубинного обучения решение Deep Learning with Intel позволяет сократить расходы на 24%, или более чем на $ 238 000. Для формирования логических выводов в модели глубинного обучения локальное решение Dell EMC обеспечивает сокращение расходов на 13%, то есть почти на $ 61 000.

Стоимость сервиса ИИ на базе общедоступного облака может варьировать в широких пределах, а ежемесячные платежи могут быть на удивление высокими, когда непреднамеренные ошибки приводят к появлению неконтролируемых процессов. Эти процессы отнимают лишнее дорогостоящее время ЦП и генерируют значительные объемы данных. Для экспериментов специалистов по анализу данных может потребоваться больше времени вычислений, чем первоначально планировалось, что приводит к увеличению расходов и выходу за рамки бюджета. И наоборот, локальное решение Deep Learning with Intel обеспечивает известные и прогнозируемые показатели расходов для руководителей и специалистов по финансовой отчетности.





Повышение удобства использования

Специалисты ESG оценивали, насколько решение Deep Learning with Intel упрощает развертывание стека инфраструктуры ИИ и ускоряет получение результатов для специалистов по анализу данных. Стеки инфраструктуры ИИ имеют сложную структуру и включают в себя аппаратный стек с большим количеством вычислительных ресурсов, ресурсов хранения и сетевых компонентов, а также программный стек, объединяющий в единое целое продукты с открытым исходным кодом и лицензируемое ПО. Чтобы выбрать, интегрировать и настроить подходящие компоненты для создания комплексного решения для ИИ, требуются экспертные знания и опыт как в сфере искусственного интеллекта, так и в области создания и интеграции систем.

Решение Deep Learning with Intel предоставляет все необходимое программное обеспечение, вычислительные ресурсы, ресурсы хранения и сетевые компоненты, а также услуги по установке и настройке на месте специалистами службы Dell EMC Professional Services. Благодаря этому ИТ-

службы и специалисты по анализу данных могут пропустить требующий длительный и сложный этап установки и настройки операционных систем, библиотек искусственного интеллекта, средств оркестрации и программного обеспечения для управления, что позволяет сэкономить недели и даже месяцы рабочего времени.

Решение Deep Learning with Intel поставляется с интегрированной платформой Nauta, которая упрощает начало работы в сфере глубинного обучения для специалистов по анализу данных. Как показано на Рис. 7, при использовании платформы Nauta вместо многоэтапного процесса, применяемого в традиционных инфраструктурах ИИ, специалист по анализу данных выполняет вход в систему, указывает параметры шаблона и отправляет задание по подготовке модели глубинного обучения. Платформа Nauta, использующая ПО Kubernetes для автоматизации и оркестрации, выполняет задание по подготовке, собирает выходные данные и представляет результаты пользователю в графическом интерфейсе Nauta или в приложении TensorBoard. Средства визуализации помогают специалистам по анализу данных интерпретировать выходные данные и совершенствовать модель глубинного обучения.

Рис. 7. Объем работы при использовании традиционной инфраструктуры ИИ и при применении решения Deep Learning with Intel


Стандартной задачей для специалистов по анализу данных является настройка гиперпараметров — выбор набора оптимальных гиперпараметров для алгоритма глубинного обучения. Гиперпараметр — это параметр, значение которого используется для управления процессом обучения. Традиционным методом настройки гиперпараметров является вариация параметров, представляющая собой поиск методом полного перебора, при котором проверяется каждое сочетание параметров и выбирается набор параметров, позволяющий создать лучшую модель. При использовании этой методологии специалисты по анализу данных должны создать сценарий задания для каждого сочетания параметров, отправить задания, собрать результаты и определить лучшую комбинацию.



На платформе Nauta используется ПО Kubernetes для автоматизации и оркестрации трудоемких

процессов настройки гиперпараметров. Специалист по анализу данных просто создает единственный

файл, в котором указаны предпочтительные диапазоны для каждого гиперпараметра, а затем

отправляет задание. Nauta автоматически вычисляет весь набор сочетаний гиперпараметров,

выполняет задания для каждого сочетания, собирает результаты и представляет их в TensorBoard.

Как показано на Рис. 8, это позволяет выполнять настройку гиперпараметров одним нажатием,

благодаря чему специалисты по анализу данных могут сосредоточиться на решении других задач.

Рис. 8. Настройка гиперпараметров в традиционной инфраструктуре ИИ и при использовании решения Deep Learning with Intel


В традиционных инфраструктурах искусственного интеллекта на настройку задания в среднем

уходит пять минут и еще одна минута затрачивается на его отправку. На эксперимент по настройке

гиперпараметров, включающий 300 заданий, специалисту по анализу данных пришлось бы потратить

30 часов рабочего времени.

При использовании платформы Nauta настройка и отправка всех 300 заданий заняла бы

5 минут, высвобождая время специалистов по анализу данных для работы над другими задачами.

В зависимости от требований заданий готовое решение Dell EMC для искусственного интеллекта

и глубинного обучения на базе технологий Intel может одновременно выполнять до 16 заданий,

что потенциально сокращает общее время выполнения и ускоряет развертывание.



Выводы

Современные многоядерные и графические процессоры смогли перенести ИИ из области научной

фантастики в реальность, и любая организация может выйти за рамки демонстрационных испытаний,

чтобы воспользоваться преимуществами реализованных на практике программ искусственного

интеллекта. По данным исследования ESG, 45% организаций ожидают получить практическую

пользу от своих инициатив в сфере ИИ и машинного обучения менее чем за шесть месяцев.5

Однако эти организации сталкиваются со значительными трудностями, начиная со стоимости

и возможностей инфраструктуры ИИ и заканчивая плохими условиями разработки приложений

и отсутствием опытного и квалифицированного персонала.

Deep Learning with Intel — это стандартизированный стек инфраструктуры ИИ, включающий

в себя серверы, сетевые компоненты, ресурсы хранения и программное обеспечение для систем ИИ.

Данное решение включает в себя платформу Nauta, используемую для применения контейнерных

технологий, автоматизации и оркестрации. Это прошедшее валидацию интегрированное программно-

аппаратное решение настроено и оптимизировано для инициатив в сфере ИИ. Оно ускоряет

развертывание, упрощает организацию работы специалистов по анализу данных, повышает

производительность и снижает совокупную стоимость владения.

Специалисты ESG подтвердили, что использование платформы Nauta улучшает производительность

подготовки глубинного обучения в решении Deep Learning with Intel. Контейнерные рабочие нагрузки

подготовки выполнялись на 18% быстрее, чем те же рабочие нагрузки в системе без предустановленного

ПО. Кроме того, это решение обеспечивает практически линейное масштабирование, достигая

80% от теоретической максимальной производительности, когда количество вычислительных узлов

масштабируется от одного до 16.

Системы оркестрации и автоматизации платформы Nauta упростили разработку моделей, значительно

уменьшив количество этапов соответствующего рабочего процесса. Платформа Nauta позволила

автоматизировать настройку гиперпараметров, упростив эту трудоемкую задачу и предоставив

специалистам по анализу данных возможность сосредоточиться на других важных задачах.

5 Там же.


Глубинное обучение является сложным и трудным процессом, а сложность разработки моделей усугубляется нехваткой опытного или подготовленного персонала и сложностью стека инфраструктуры. Специалисты по анализу данных используют обширный набор лицензируемых инструментов и инструментов с открытым исходным кодом, которые значительно усложняют итеративный и циклический процесс, лежащий в основе машинного обучения. Это затрудняет быстрое получение преимуществ для бизнеса. Компаниям требуется решение, которое упрощало бы развертывание инфраструктуры и автоматизировало процесс разработки моделей глубинного обучения.

Валидация ESG показала, что решение Deep Learning with Intel упрощает развертывание, поскольку специалисты Dell EMC Professional Services выполняют первоначальное развертывание и настройку. Платформа Nauta упростила и автоматизировала работу специалистов по анализу данных и предоставила возможность выполнять настройку гиперпараметров в автоматическом режиме. Решение Deep Learning with Intel может сократить время проведения эксперимента по настройке гиперпараметров, включающего 300 заданий, с 30 часов до нескольких минут, что позволяет специалистам по анализу данных сосредоточить усилия на решении других, более важных задач.



Использование решения Deep Learning with Intel оказалось более экономичным, чем

выполнение той же рабочей нагрузки в общедоступной облачной среде. Расходы на решение

с 16 вычислительными узлами за три года оказались на 24% ниже, чем при использовании ведущего

сервиса ИИ на базе общедоступного облака для подготовки модели глубинного обучения. Расходы

на решение с 12 вычислительными узлами оказались на 13% меньше, чем при использовании

ведущего сервиса ИИ на базе общедоступного облака для рабочих нагрузок глубинного обучения,

связанных с формированием логических выводов. Совокупная стоимость владения за три года для

решения Deep Learning with Intel была обусловлена круглосуточной доступностью вычислительных

ресурсов и емкостью хранилища на уровне 100 Тбайт в сравнении с общедоступным облачным

сервисом, вычислительная мощность которого доступна лишь 12 часов в день, а емкость хранилища

составляет всего 10 Тбайт.

Организациям, которые хотят получить простой в использовании и экономичный стек инфраструктуры

искусственного интеллекта и машинного обучения, позволяющий специалистам в области ИИ

и анализа данных быстро и легко реализовывать на практике программы ИИ, следует изучить

возможности решения Deep Learning with Intel по упрощению и ускорению внедрения ИИ.



Приложение

Таблица 6. Конфигурация решения Deep Learning with Intel

Главный узел/узел входа — 1 сервер Dell EMC R740xd

Процессор 2 масштабируемых процессора Intel Xeon Gold 6148 (20 ядер)

Память 12 модулей DDR4 16 Гбайт 2667 МГц (всего 192 Гбайт)

Хранилище 12 дисков емкостью по 12 Тбайт

Сеть Адаптер 10 GbE Intel X710

Вычислительные узлы — 16 серверов Dell EMC C6420 в 4 корпусах C6000

Процессор 2 масштабируемых процессора Intel Xeon Gold 6148 (20 ядер)

Память 12 модулей DDR4 16 Гбайт 2667 МГц (всего 192 Гбайт)

Хранилище Оптимизированный для загрузки твердотельный накопитель

M.2 емкостью 250 Гбайт

Сеть Мезонинный адаптер 10 GbE Intel X710


Все наименования товарных знаков являются собственностью соответствующих компаний. Содержащаяся в этой

публикации информация получена из источников, которые компания Enterprise Strategy Group (ESG) считает

заслуживающими доверия, однако ESG не гарантирует ее достоверность. Данная публикация может содержать мнения

компании ESG, которые могут со временем меняться. Авторские права на данную публикацию принадлежат компании

Enterprise Strategy Group, Inc. Любое воспроизведение или предоставление данного документа или его части в печатном

или электронном виде или другим способом лицам, не имеющим права на его получение, без явного согласия компании

Enterprise Strategy Group, Inc. будет считаться нарушением законодательства США по защите авторских прав и станет

поводом для возбуждения иска о возмещении ущерба и, если применимо, уголовного преследования. При возникновении

любых вопросов обращайтесь в подразделение ESG по работе с заказчиками по телефону +1 (508) 482-0188.

www.esg-global.com [email protected] Тел. (508) 482-0188

Enterprise Strategy Group — это компания, занимающаяся анализом, исследованиями,

валидацией и разработкой стратегий в области ИТ. Она собирает практически значимую

аналитическую информацию на рынке ИТ и предоставляет ее международному ИТ-

сообществу.


Готовые решения Dell EMC для ИИ:Deep Learning with Intel · решения Deep...

Documents

Transcript of Готовые решения Dell EMC для ИИ:Deep Learning with Intel · решения Deep...