[Azureビッグデータ関連サービスとHortonworks勉強会]...

Post on 16-Apr-2017

569 views 0 download

Transcript of [Azureビッグデータ関連サービスとHortonworks勉強会]...

Azure

AZURE REGIONS

+

Applications

Management

App Frameworks

Databases & Middleware

Infrastructure

Linux

+

Azure

>85%of Fortune 500 use

Microsoft Cloud

Azure momentum

%

k Million

MillionMillion

Trillion

NEW AZURE CUSTOMER SUBSCRIPTIONS/MONTH

MESSAGES PER WEEKPROCESSED BY AZURE IOT

ORGANIZATIONS USING AZURE ACTIVE DIRECTORY

DEVELOPER REGISTERED WITH VISUAL STUDIO TEAM SERVICES

REVENUE FROM START-UPS AND ISVS

SQL DATABASES IN AZURE

CORE INFRASTRUCTURE

Compute Storage Networking Security

ADVANCED WORKLOADS

Web + Mobile

Internet of Things

Microservices

Data + Analytics

Identity Management

Media Streaming

High Performance Compute

Cognitive Services

TOOLS

Visual Studio + Visual Studio Code + Visual Studio Team Services + Xamarin

価値

医療機器/電子カルテのデータを収集(血圧計、パルスオキシメーター、Microsoft Band など)・ 予測分析から治療計画を調整

DEMO

Cortana Intelligence Suiteユース ケース

MachineLearning

Stream Analytics

SQL DataWarehouse

Event Hub

各種デバイス

Data Factory

Data Lake StoreBlob Storage

Data Lake Analytics

Power BI

HDInsight

Cognitive Services

Data Catalog

Bot Framework

MachineLearning

Stream Analytics

SQL DataWarehouse

Event Hub

各種デバイス

Data Factory

Data Lake StoreBlob Storage

Data Lake Analytics

Power BI

HDInsight

Cognitive Services

Data Catalog

Bot Framework

(Speech APIs)

Pepper による顔認識(Face APIs)

http://www.headwaters.co.jp/news/pepper/SynApps.html

http://www.asahiinryo.co.jp/company/newsrelease/2015/pick_1221_3.html

MachineLearning

Stream Analytics

SQL DataWarehouse

Event Hub

各種デバイス

Data Factory

Data Lake StoreBlob Storage

Data Lake Analytics

Power BI

HDInsight

Cognitive Services

Data Catalog

Bot Framework

具体的な業務シナリオに基づく実装テンプレート

- 自動車テレマティクス分析- 航空機の予防保守- 電力の需要予測https://gallery.cortanaintelligence.com/solutionTemplates

データソース

業務システム

デバイス/センサー

ニア

リアル

タイム

バッチ

データソース

業務システム

デバイス/センサー

バッチ

企業内データを定期的に Azure データストアに

Azure Data Factory

Azure Data Factory

Azure Data Factory で各種データソース間を接続

Azure Data Factory の接続可能なデータソース

Blob Storage, Table StorageSQL Database, SQL Data WarehouseData Lake Store, DocumentDB

Oracle, DB2, MySQL, PostgreSQL, Teradata, SybaseHDFS, OData, ODBC, HTTP (Web)

Azure Data Factory でオンプレミスと接続

Azure Data Factory でオンプレミスと接続

Azure Data Factory の使いどころ

TB, PB データをバッチ処理でクレンジング (前処理)

Azure Data Lake Analytics

Azure Data Lake Analytics

Azure Data Lake Analytics

Azure Data Lake Analytics の使いどころ

Azure Data Factory⇒Azure Data Lake Analytics の流れ

即時スケールアウトが可能なデータウェアハウス

Azure SQL Data Warehouse

即時スケールアウトが可能なデータウェアハウス

Azure Storage Blob 上のファイル

D12D11 D13 D14 D15 D16 D18D17 D19 D20

D22D21 D23 D24 D25 D26 D28D27 D29 D30

D32D31 D33 D34 D35 D36 D38D37 D39 D40

D42D41 D43 D44 D45 D46 D48D47 D49 D50

D52D51 D53 D54 D55 D56 D58D57 D59 D60

D2D1 D3 D4 D5 D6 D8D7 D9 D10

Azure Storage Blob 上のファイル

D2D1 D3 D4 D5 D6 D8D7 D9 D10

D12D11 D13 D14 D15 D16 D18D17 D19 D20

D22D21 D23 D24 D25 D26 D28D27 D29 D30

D32D31 D33 D34 D35 D36 D38D37 D39 D40

D42D41 D43 D44 D45 D46 D48D47 D49 D50

D52D51 D53 D54 D55 D56 D58D57 D59 D60

Azure Storage Blob 上のファイル

D2D1 D3 D4 D5 D6 D8D7 D9 D10

D12D11 D13 D14 D15 D16 D18D17 D19 D20

D22D21 D23 D24 D25 D26 D28D27 D29 D30

D32D31 D33 D34 D35 D36 D38D37 D39 D40

D42D41 D43 D44 D45 D46 D48D47 D49 D50

D52D51 D53 D54 D55 D56 D58D57 D59 D60

Azure Storage Blob 上のファイル

D2D1 D3 D4 D5 D6 D8D7 D9 D10

D12D11 D13 D14 D15 D16 D18D17 D19 D20

D22D21 D23 D24 D25 D26 D28D27 D29 D30

D32D31 D33 D34 D35 D36 D38D37 D39 D40

D42D41 D43 D44 D45 D46 D48D47 D49 D50

D52D51 D53 D54 D55 D56 D58D57 D59 D60

ブラウザで使えるインタラクティブ ダッシュボード

Power BI Service

Power BI - Custom Visuals Gallery

データソース

業務システム

デバイス/センサー

バッチ

データソース

業務システム

デバイス/センサー

ニア

リアル

タイム

スケールアウト可能なイベントストリーミング

Azure Stream Analytics

スケールアウト可能なイベントストリーミング

機械学習処理サービス

Azure Machine Learning

機械学習処理サービスNo. シナリオ種類 具体例

1. 予測 ・翌日の売上予測

・仕入個数予測

2. クラス分類、クラスタリング ・顧客ステージの分類

・自動判別 (フォルダ分け、タグ付け等)

3. レコメンデーション ・併売商品の提案

・顧客属性や履歴に基づくユニキャストDM

4. 異常検知 ・故障時期の推定

・システム(サーバーリソース) 異常の事前検出

・不正検知 (クレジットカードやセキュリティ等)

5. レコメンデーション ・併売商品の提案

・顧客属性や履歴に基づくユニキャストDM

6. その他 ・文字認識、画像認識、最適化

機械学習処理サービス

25 個の標準アルゴリズム

データソース

業務システム

デバイス/センサー

ニア

リアル

タイム

バッチ

Cognitive Services

Bot Framework

Bot Framework で構築した Bot

Bot Connector Bot DirectoryBot Builder SDKs作成した Bot を

各種サービスに接続

- テキスト, SMS- Office 365 メール, Skype- Slack, Twitter など

Node.js, C# による

ダイアログ開発

COMING SOON

世界最大級のBot 公開ディレクトリ

• Bot ダッシュボードでのBot 登録、接続、公開、管理

• メッセージ ルーティング

• 30 を超える言語への自動翻訳

• ユーザーや状態の管理

• Web チャットコントロールへの組み込み

• デバッグ用ツール

• GitHub で OSS として公開

• シンプルなプロンプトやコマンドダイアログから洗練されたフォームまで

• 適切な話し手になるためのライブラリとサンプル

• チャット エミュレーター

• Cognitive Services に含まれる関連サービスとの連携

• Bot 登録の公開ディレクトリと認定

• Web チャットコントロール経由で登録された Bot を利用可能

• Bot の提供チャネルとして構成可能、検索も可能

データソース

業務システム

デバイス/センサー

ニア

リアル

タイム

バッチ