26 марта 201 3
-
Upload
candice-bowers -
Category
Documents
-
view
46 -
download
2
description
Transcript of 26 марта 201 3
EC-лизинг
126 марта 2013
А.В. ШМИД Д.т.н., Профессор
Председатель правления ЗАО «ЕС-лизинг»
www.ec-leasing.ru
“В ближайшие 5 лет все компании на рынке разделятся на победителей и побежденных в
зависимости от качества их аналитики”Вирджиния Рометти - IBM CEO 2 марта 2012 года
Big Data: Революция в области философии и технологий принятия корпоративных решений
EC-лизинг
2
1. Стратегические угрозы XXI века в области ИТ: борьба за качество корпоративных решений- компьютеры против людей
2. Интеллектуальность решающего центра: экспертные системы и люди
3. Информированность решающего центра. Амнезия корпораций
4. Состав конструктора платформы IBM BigData и философия сборки из конструктора: что собираем?
5. Современная схема принятия решений и ее отличия от традиционной
6. Заключение: что делать нам?
1. Стратегические угрозы XXI века в области ИТ: борьба за качество корпоративных решений- компьютеры против людей
2. Интеллектуальность решающего центра: экспертные системы и люди
3. Информированность решающего центра. Амнезия корпораций
4. Состав конструктора платформы IBM BigData и философия сборки из конструктора: что собираем?
5. Современная схема принятия решений и ее отличия от традиционной
6. Заключение: что делать нам?
Содержание
EC-лизинг
3
Стратегические угрозы XXI века в области ИТ: борьба за качество корпоративных решений- компьютеры против людей
EC-лизинг
4
Единое информационное пространство (ЕИП)
I
РеальностьПредставление
о реальности
Разведчик(Поисковик) Аналитик Руководитель
Хранение Обработка
1. Инфо-потребность
2. РешениеII
Инфо потребность должна удовлетворяться:
БЫСТРО – информация об изменениях обстановки должна поступать к моменту принятия решения (быстрее, чем у конкурентов)
ПОЛНО – необходимая и достаточная для принятия решений
ДОСТОВЕРНО – исключение фальсификации
Традиционная постановка задачи информационной поддержки принятия решений.
(Удовлетворение информационной потребности Руководителя)
Информируемость и интеллектуальность решающего центра
© 2013 IBM Corporation8
Big Data
Content Analytics
Технологии IBM
Business Analytics
Databases / Data Warehouses
2880 Processing Cores
16 Terabytes Memory (RAM) – 20TB Disk
Системные спецификации
90 IBM P750 Servers
80 Teraflops (80 trillion operations per second)
Workload Optimized Systems
Watson – взгляд изнутри
Cores x 20 + 1 = 57600 + 2880 = 60480 On Oncology Task
Интел
лектуал
ьнос
ть
Инф
ор
ми
руем
ость
EC-лизинг
10
Сколько информации мы теряем?
10
1,800
1,600
1,400
1,200
1,000
0,800
0,600
0,400
0,200
2005 2006 2007 2008 2009 2010 2011
Exa
byt
es
Available Storage
Information Created
Available Storage, 2007
Tape 21%
Disk 56%
Optical22%
Other1%
264 EB
Information Creation and Available Storage
EC-лизинг
11
«Амнезия корпорации» или объем воспринимаемых ИАС первичных данных
Объем данных
Время
Что можно обработать Стандартным подходом
Что можно обработать IBM Big Data
Йоттабайт
Качество ИАС:1. Объем первичных
данных
2. Глубина и скорость анализа (площадь анализа)
3. Кто готовит и кто принимает решение
Стандарт: запомнил – обработал
IBM Big Data: обработал - запомнил
Потоковая обработка IBM Big Data кардинально повышает объем используемых данных для аналитической разведки
Потеря памяти(амнезия)
Все доступные данные
Зеттабайт
Терабайт
Гигабайт
Петабайт
Лимит: скорость обработки
Лимит: Объем базы
EC-лизинг
12
ПОТОКОВАЯ ОБРАБОТКА (streaming): преодоление проклятия размерности
при хранении данных
Идея BigData №1
EC-лизинг
13
1. Любые виды источников1. Любые виды источников
2. Любая скорость потока данных от источника2. Любая скорость потока данных от источника
3. Принятие решения – в потоке (миллисекунды)3. Принятие решения – в потоке (миллисекунды)
IBM получает заказ на разработку технологии:
2002
EC-лизинг
15
Изменение парадигмы при работе с данными
ИТ
Структурирует данные для
ответа на вопрос
ИТ
Обеспечивает платформу для
креативного анализа
Бизнес
Исследует что можно спросить
Бизнес
Определяет что спросить
Месячная отчетностьАнализ прибыльностиАнализ анкет
Отношение к брендуСтратегия продуктовОптимизация ресурсов
Большие данныеИтеративность и исследование
Традиционный подходСтруктурный и повторяемый анализ
Запомнил - обработал Обработал - запомнил
Ограничение: память Ограничение: производительность
EC-лизинг
16
Большие данные – горячая тема, потому что технологии сделали возможным анализ ВСЕХ доступных данных
Эффективно с точки зрения затрат управлять и анализировать все доступные данные,
в их первозданном виде – структурированные,
неструктурированные, потоковые
ERPCRM RFID
Website
Network Switches
Social Media
Billing
EC-лизинг
17
Leverage purpose-built connectors for multiple data sources
Structured
Unstructured
Streaming
Massive volume of structured data movement• 2.38 TB / Hour load to data warehouse• High-volume load to Hadoop file system
Ingest unstructured data into Hadoop file system
Integrate streaming data sources
Connect any type of data through optimized connectors and information integration capabilities
Big Data Platform
Более умная аналитика!!!
ЦБ
ЦБ
Новые направления с 2012г.
IBM Big Data
Интеграция всех типов
данных
Более 95% аналитической инфо
EC-лизинг
19
Фильтрация данных с обратной связью
10011100101001111001000100100010010001000100101
0101100110001110100100100100111000100101001001011001001010011001001010010010101000100100110010010100100101010001001011000100101001001011001001010011001001010010010101000100100110010010100100101010001001001100100101001001010100010010011001001010010010101000100101100010010100100101100100101001100100101001001010100010010011001001010010010101000100100110010010100100101010001001001100100101001001010100010010011001001010010010101000100101100010010100100101100100101001100100101001001010100010010011001001010010010101000100100110010010100100101010001001011000100101001001011001001010
AdativeAnalytics
Model
Now
cast
For
ecas
t
Bootstrap
Enrich
Data Ingest
Opportunity CostStarts Here
EC-лизинг
21
Какие объемы данных нужны для поддержки принятия решений?
Размещение значимых данных предприятия:
Внутренние данные - 33%
Внешние данные - 67%
User Generated Content*
1,234 Exabytes
Enterprise Touch
Content**
1,530 Exabytes
Size of Digital Universe in 2011
1,773 Exabytes
**Transported,Hosted,
Managed or Secured
**Consumersand WorkersCreating,Capturing orReplicatingPersonalInformation
Overlap-1,000
Exabytes
Overlap-1,000
Exabytes
User Creation: Enterprise Worries
EC-лизинг
22
Состав конструктора платформы IBM BigData и философия сборки из конструктора: что собираем?
EC-лизинг
23
Требования к функциям платформы Больших Данных
Подключение источников и анализ данных «в покое»
Традиционные функции работы со структурированными данными
Интеграция всех видов данных для комплексного анализа
Поиск и навигация источников данных в киберпространстве
Подключение источников и анализ данных «в движении»
Автоматизация принятия решений и построение гипотез и прогнозов
Hadoop File System и т.д.
InfoSphere Data Explorer и т.д.
InfoSphere Streams и т.д.
Netezza и т.д.
IBM Information ServerIBM Change Data Capture
IBM CognosIBM SPSS
EC-лизинг
24
population
tt asR ),(
Более умная аналитика!!!
Акселераторы : ускорители разработки прикладных задач
Простой & Комплексный текст
Текст(слушать, глагол), (радио, существительное)
Добыча в микросекундах
Геопространство
Прогнозирование
Фото & Видео
Звук
Комплексные математические модели
Статистика
EC-лизинг
25
StreamsStreams
BigInsBigIns
DEDE NZ NZ
Декларативные языки
Готовые средства
разработки
Инструменты
Языки программирования 3-го поколения: Java, C/C++, Python, Perl
Языки программирования 3-го поколения: Java, C/C++, Python, Perl
Коннекторы
SPSS(Декларат
ивный язык
PMML)
SPSS(Декларат
ивный язык
PMML)
Cognos BICognos BI
Общая схема компонентов платформы Big Data
EC-лизинг
26
Инструменты StreamsОбработка потоковой информации
Декларативный язык: Stream Processing Language (SPL)Декларативный язык: Stream Processing Language (SPL)
Готовые средства разработки
(акселераторы разработки):Анализ текстов
Телекоммуникационные данныеГео-данные
ВидеоИнтеллектуальный анализПредсказательные модели
СтатистикаАнализ машинных журналов (СПО)
Анализ данных из сетей (СПО)
Готовые средства разработки
(акселераторы разработки):Анализ текстов
Телекоммуникационные данныеГео-данные
ВидеоИнтеллектуальный анализПредсказательные модели
СтатистикаАнализ машинных журналов (СПО)
Анализ данных из сетей (СПО)
Инструменты:Standard ToolkitInternet Toolkit
Database ToolkitFinancial Toolkit
Data Mining Toolkit
Big Data toolkitText Toolkit
Инструменты:Standard ToolkitInternet Toolkit
Database ToolkitFinancial Toolkit
Data Mining Toolkit
Big Data toolkitText Toolkit
Языки программирования 3-го поколения: Java, C/C++, Python, Perl, JavaScript, Ruby и т.д.
Языки программирования 3-го поколения: Java, C/C++, Python, Perl, JavaScript, Ruby и т.д.
Streams
Коннекторы:Netezza ConnectorHadoop Connector
Коннекторы:Netezza ConnectorHadoop Connector
EC-лизинг
27
Инструменты BigInsightsАнализ «сырых» данных и сокращение затрат на
хранение
Декларативные языки: Annotation Query Language (AQL), JaQL (Query Language for JSON (JavaScript Object Notation)), Pig Latin, HiveQL, RДекларативные языки: Annotation Query Language (AQL), JaQL (Query Language for JSON (JavaScript Object Notation)), Pig Latin, HiveQL, R
Средства и инструменты обработки:
FlumeHive
LuceneZookeeper
AvroHBase
HCatalogSqoopOozie
Средства и инструменты обработки:
FlumeHive
LuceneZookeeper
AvroHBase
HCatalogSqoopOozie
Языки программирования 3-го поколения: Java, C/C++Языки программирования 3-го поколения: Java, C/C++
BigInsights
Коннекторы:Netezza ConnectorStreams Connector
Коннекторы:Netezza ConnectorStreams Connector
EC-лизинг
29
Современная схема принятия решений и ее отличия от
традиционной
Революция: решения принимают роботы, а не
людиЭволюция: люди пока остаются, но их роли изменяются
EC-лизинг
31
Современная схема принятия решений: Что делают люди?
Подтверждение решения
Принятиерешения
Цифровая реальность
CEO
Область интересов
Обсуждение области интересов
Поиск в области
интересов
Креативная команда
(П1 + П3)
Обучение в области
интересов
Big Data
Детализацияобласти
интересов
Задания интегральной
инфо потребности
EC-лизинг
33
1. Цели: Освоение и демонстрация технологии IBM Big Data
2. Отраслевая кастомизация технологий
3. Оказание услуг по созданию прототипов корпоративных решений
4. Предоставление виртуальных стендов IBM Big Data Big для удаленного использования у заказчика
1. Цели: Освоение и демонстрация технологии IBM Big Data
2. Отраслевая кастомизация технологий
3. Оказание услуг по созданию прототипов корпоративных решений
4. Предоставление виртуальных стендов IBM Big Data Big для удаленного использования у заказчика
Центр компетенции IBM Big Data ЕС-лизинг
В декабре 2012 создан первый полнофункциональный
виртуальный тестовый стенд IBM Big Data для ИПИ РАН
с удаленным доступом к вычислительным ресурсам и
инструментальным средствам
EC-лизинг
34
Сервера (mainframes): 1) IBM System z114 2818-M05 2) IBM System z10 BC model 2098-E10 3) IBM zSeries z9 4) IBM zSeries z800-2066
Операционные системы: 1) z/OS 2) Linux for System z (SuSE, Redhat) 3) ISX 4) z/VM
Сервера:1) IBM Power System BladeServers 7778-23X(JS23)в стойке BladeCenter 7989-BCH
Операционные системы: 1) AIX 2) Linux for System p (SuSE, Redhat)
Сервера: 1) HP BL460cG6 двухпроцессорный
четырехядерных блэйд-сервер (3 сервера)
2) IBM хSeries 460 четырехпроцессорных сервера (2 сервера)
IBM Pure Data “Netezza” 3563-CCO IBM PureData System for Analytics N1001-002 Appliance for System z Appliance
Internet
АРМ управление инфраструктурой
ЛВС и SAN сети вычислительного центра
IBM zSeries
IBM xSeries и HP (Intel)
IBM pSeries
VPN
Внутренний Firewall
SSH, sFTP, HTTPs
Инфраструктура ЦК ЕСЛБазовые кафедры по аналитике(подготовка кадров)
Программное обеспечение : Более 900 продуктов IBM и др.
Intranet
DMZ
Внешний Firewall
IBM Pure Data “Netezza” 3563-CCO IBM PureData System for Analytics N1001-002 Appliance
EC-лизинг
35
Центр компетенции по IBM Big Data
Приглашаем посетить центр
компетенции,
ознакомиться с технологиями IBM
BigData,
принять участие в создании
виртуальных отраслевых стендовwww.ec-leasing.ru
Тел.: (495) 319-58-09 Факс: (495) 319-69-90
e-mail: [email protected]