MapR Streams & MapR コンバージド・データ・プラットフォーム

®© 2015 MapR Technologies 1

®

© 2015 MapR Technologies

Anil Gadre – SVP, Product Management Will Ochandarena – Director, Product Management Nick Amato – Director, Technical Marketing Engineering

2015 年 12 月 10 日


本日のトピック •  ビジネスの必須事項: Data-in-Motion と Data-at-Rest の統合

•  MapR Streams の発表 •  ライブデモ: MapR Streams 実際の動作

•  利用例: イベントストリーミングをビジネスに活用する


スピーカー

Steve Wooledge VP, Product Marketing

Anil Gadre SVP, Product Management

Will Ochandarena Director, Product Management Nick Amato

Director, Technical Marketing


データを行動に結びつけるサイクルを加速することで

「即断可能な」ビジネスを実現する

®


主要な業種のトップ企業が採用

金融サービス小売・消費財セキュリティオンラインサービス・ソフトウェア

メディア・エンターテイメント

製造・公益・石油・ガス広告医療通信政府・公共機関

Fortune 10 小売企業

®© 2015 MapR Technologies 6 © 2015 MapR Technologies ®

Data-in-Motion と Data-at-Rest の統合


IoT と Data in Motion の台頭

10 億 60 億

500 億

2000年代: モバイルインターネット

2020年: Internet of People および Internet of Things

1990年代: 固定線インターネット

世界全体の接続デバイス

2020年までに、「価値あるデータ」全体の21% が IoT からもたらされる

- IDC


MapR Streams の発表グローバル Publish/Subscribe イベントストリーミング

Producer 毎秒数十億のメッセージを

トピックに送信

Consumer すべての Consumer に即時に高信頼な配送

グローバル世界全域の地理的に分散したクラスタを結びつける


ビッグデータの成長に伴い新しいアプリを供給することが困難に

データの種類の増加

データソースの増加

バッチからよりリアルタイム

な分析へ

利用アプリケーションの増加

•  複数のテクノロジー •  アプリ開発の難易度の増加 •  いたるところに遅延が発生 •  サイロ化の再来 •  データコピーが急増 •  アプリ保守の難易度も増加 •  運用管理の課題の増加 •  複数のクラスタの費用

ビジネスにおけ

る飛躍的な価

値をどのように

迅速に作り出す

か


30年に一度の変化が進行中レ

ガシ

ー

Data-to-Action アプリケーション

ミドルウェア

高価な専用計算機器・ストレージ

エンタープライズアプリケーション

コモディティハードウェア

RDBMS

バッチ分析

メッセージバスグローバルイベントストリーミング

ビッ

グデ

ータ

時代

単一ネームスペース

オペレーショナル分析

構造化データ

半構造化データ

非構造化データ


処理

デ

ータ

Batch

Streaming

SQL

MapR Converged Data Platform

問題: データサイロのパッチワークが出現ア

プリ

カスタマーエクスペリエンスデータアーキテクチャ最適化

セキュリティ調査・イベント管理

オペレーショナルインテリジェンス

マネージドサービス・カスタムアプリ


処理

デ

ータ

MapR Converged Data Platform ファイルテーブルドキュメントストリーム

設計ゴール: すべてのアプリ向けの共通データサービス

Batch

Streaming

SQL


アプ

リ






処理

デ

ータ

MapR Converged Data Platform ファイルテーブルドキュメントストリーム

設計ゴール: すべてのアプリ向けの共通データサービス

Batch

Streaming

SQL


MapR コンバージド・データ・プラットフォーム Hadoop、Spark、NoSQL データベース、SQL、イベントストリーミング、

Web スケールストレージのパワーを備えた統合プラットフォーム

アプ

リ






MapR コンバージド・データ・プラットフォーム

オープンソースエンジン・ツール商用エンジン・アプリケーション

ユーティリティグレードデータサービス

デー

タ

処理

エンタープライズストレージ MapR-FS MapR-DB MapR Streams

データベースイベントストリーミング

グローバルネームスペース高可用性データ保護自律復旧統合セキュリティリアルタイムマルチテナント

検索・その他

クラウド・マネージドサービス

カスタムアプリ

統合

運用

管理

・監

視


Hadoop + エンタープライズストレージ

Hadoop + エンタープライズストレージ + NoSQL

Hadoop + エンタープライズストレージ + NoSQL + インタラクティブ SQL

Hadoop + エンタープライズストレージ + NoSQL + インタラクティブ SQL + イベントストリーミング

2011

2013

2014

2015

トップランク Hadoop

トップランク NoSQL

トップランク SQL

統合に向けたビジョンの着実な実行


MapR プラットフォームサービス: オープン API アーキテクチャ互換性を保証し、ロックインを避ける

MapR-FS エンタープライズストレージ

MapR-DB NoSQL データベース

MapR Streams グローバルイベントストリーミング

HDFS API

POSIX NFS

SQL, Hbase

API JSON API

Kafka API


MapR Streams により業界初にして唯一の統合データプラットフォームを実現

「流れるデータ」と「保存されたデータ」を統合する高スループットのストリーミング

1

2

3

統合: イベントストリーム、データベース、ファイルベースアプリの統合セキュリティを備えた単一クラスタ継続: 常にオンの信頼性を有する途切れない分析による「Streams of Record」の実現グローバル: 「断続的な」 IoT 接続にも対応するグローバルリアルタイムアプリケーションへの最適化


イベントが一件ずつ発生しビッグデータが生成される

“time” : “6:01.103”, “event” : “RETWEET”, “location” : “lat” : 40.712784, “lon” : -74.005941

“time: “5:04.120”, “severity” : “CRITICAL”, “msg” : “Service down”

“card_num” : 1234, “merchant” : ”Apple”, “amount” : 50


バッチ処理の様々な利用例

●  クリックストリーム分析

●  予知保全 ●  不正検出 ●  クーポン提示 ●  リスクモデル

●  カスタマー 360 ●  センチメント分析


リアルタイム処理は補完的

●  運用管理ダッシュボード ●  障害アラート

●  侵害検知

●  リアルタイム不正検出 ●  リアルタイム価格提示 ●  プッシュ通知

●  トレンドの提示 ●  ニュースフィード


データパイプラインの課題

フィルタリング・集計

アラート加工


ストリームはデータの移動をシンプルにする

フィルタリング・集計

アラート加工

ストリームデータソースと配信先の間をつなぐ高信頼の Publish/Subscribe トランスポート


レガシーシステム: メッセージキュー IBM MQ, TIBCO, RabbitMQ

Orders フロントエンド

注文処理

注文処理

利用形態/要件 ●  システム間の密接でトラン

ザクショナルなやり取り ●  1対1 もしくは少数対少数 ●  低いデータレート ●  ミッションクリティカル配送

アプローチ ●  キュー指向デザイン

● 各メッセージは N 個の出力キューに複製される

● 読み込みによりメッセージが取り出される

●  スケールアップ、マスター/スレーブ

できないこと ●  高いメッセージレート (>10万/秒) ●  Consumer を遅らせること ●  キューの再生/巻き戻し


進化する「ビッグデータ」イベントストリーム: 分散ログ Kafka, Hydra, DistributedLog

利用形態/要件 ●  切り離されたシステムから

転送される高スループットデータ ● 多数→1 ● 1→多数 ● 異なる速度

アプローチ ●  ログ指向デザイン

● ログファイルにメッセージを書き込む

● Consumer はメッセージを個々のベースで引き出す

●  スケールアウト

できないこと ●  グローバルアプリケーション ●  メッセージの永続化 ●  分析の統合

(データの移動が必要)

DB_Changes

ストリーミング処理

検索/ EDW

DB


MapR: イベントストリームプラットフォームの再検討

●  「ビッグデータ」スケール・パフォーマンス ●  グローバルなアプリケーションとデータ収集 ●  マルチテナント・マルチアプリケーション ●  セキュリティ ●  直接分析が可能 (データ移動不要) ●  統合済み: クラスタが立ち並ぶことがない

ストリーミング処理

分析

広告インプレッションアプリケーションログセンサーデータ


MapR Streams 統合、継続、グローバル


MapR Streams: ビッグデータ向けグローバル Pub-Sub イベントストリーミングシステム

Producer は毎秒数十億のメッセージをストリーム内のトピックに送信

すべての Consumer に対する保証された、

即時の配信

世界全域の地理的に分散したクラスタを結びつける

標準リアルタイム API (Kafka) による Spark Streaming、Storm、Apex、Flink と

の連携

分析フレームワークからのダイレクトデー

タアクセス (OJAI API)

Topic

ストリーム

トピック Producer Consumer

リモートのサイトとConsumer

Streaming

バッチ分析


グローバル

提供される機能 ●  数千クラスタ間での任意のトポロジー ●  自動的なループ防止 ●  DNS ベースディスカバリー ●  メッセージオフセットと Consumer カーソル

のグローバルな同期

実現されること ●  グローバルなアプリケーションとデータ収集 ●  Producer・Consumer のフェールオーバー ●  エッジにおける分析/フィルタリング/集計 ●  「不定期の」接続

Producer

Consumer


主な差別化ポイント

MapR Streams

統合グローバル

セキュリティ・マルチテナント

ファイル、テーブル、ストリームのための単一クラスタ

グローバルなフェールオーバー機能を備える IoT スケールの「ファブリック」

テナントによるストリームの所有、トピックとメッセージの論理グループ化

認証、アクセス制御、暗号化に利用される、他のプラットフォームサービスと統合されたポリシー

データ永続化とバッチ処理フレームワークのダイレクトデータアクセス


MapR Streams の動作をご覧ください – デモ Nick Amato


イベントストリーミング・処理の利用例 Will Ochandarena


全業種 Web 2.0 医療通信

• ETL / データウェアハウス最適化

• メインフレーム最適化 • アプリケーション・ネットワーク監視

• セキュリティ情報・イベント管理

• レコメンデーションエンジン・ターゲティング

• カスタマー 360 • クリックストリーム分析 • ソーシャルメディア分析 • 広告最適化

• スマートホスピタル • バイトメトリクス • 患者の生体情報監視 • 不正検出

• アンテナ最適化 • 課金・請求 • 設備監視・予防保全 • スマートメーター分析

主要な業種と利用例

石油・ガス金融サービス小売アドテク

• ポンプ監視・アラート発信 • 地震波トレース識別 • 設備メンテナンス • 安全性・環境 • セキュリティ

• リアルタイム不正/リスク監視 • トランザクションのモバイル通知

• リアルタイムサプライチェーン最適化

• 在庫管理 • リアルタイムクーポン

• 広告ターゲティング・最適化 • グローバルキャンペーンダッシュボード


利用例

ストリーム

アプリケーション/インフラ監視

Logs

Metrics

ビジネス上の成果 ●  障害やセキュリティ侵入

時のリアルタイム検出とアラート送信

●  利用量、稼働状況、性能

に関するグローバルダッシュボード

MapR Streams 採用の理由 ●  アプリ/インフラから ETL・処理

システムに対するリアルタイム

配信 ●  システムの性能低下・障害時の

信頼性の高いデータバッファリ

ング

MapR 採用の理由 ●  統合プラットフォームがすべてのコ

ンポーネントを結びつける ●  グローバルイベントレプリケーショ

ンにより集中監視が可能に ●  セキュアなマルチテナント機能によ

りクラスタの共有が可能に


クレジットカード処理向けデータベース変更キャプチャ

ビジネス上の成果 ●  購入者に対するリアルタイムモバイル通知で顧客満足度が向

上 ●  より多くの不正をリアルタイムで検出 ●  データ探索により社員の生産性が向上

MapR Streams 採用の理由 ●  メインフレーム RDBMS と ETL/処理基盤間の

シームレスでリアルタイムの接続

MapR 採用の理由 ●  ユーティリティグレードの信頼性によりトランザク

ションの損失を防止 ●  統合プラットフォームセキュリティによる認証、アク

セス制御、暗号化の統一

利用例

Transactions

不正検出 Streaming

1


医療・金融向けストリーム System of Record

ビジネス上の成果 ●  データアジリティ - JSON、グラフ、検索の各形式での最新

データの表示 ●  HIPAA、PCI への準拠 ●  国内のデータ法令の遵守

Records

JSON DB (MapR-DB)

グラフ DB (Titan on

MapR-DB)

検索エンジン (Elastic-Search)

書き込み API

読み出し API

MapR Streams 採用の理由 ●  ストリームは変更不可能、巻き戻し可能な監査に適した

データ構造 ●  Pub-Sub により JSON-DB、グラフ DB、ElasticSearch へ

のリアルタイムのレプリケーションが可能に

MapR 採用の理由 ●  統合プラットフォームは流れるデータ、保存されたデータ両

方を単一のクラスタ・セキュリティモデルで対応可能 ●  災害対策のための選択的で信頼性の高いグローバルレプ

リケーション

EU

利用例


アドテクにおけるグローバルな統合分析

… + アジア、欧州

ビジネス上の成果 ●  広告費とパフォーマンスのための新しいリアルタイム

顧客ダッシュボード ●  グローバルな情報取得までの時間を短縮 - 時間から分単位に ●  災害復旧能力の追加

MapR Streams 採用の理由 ●  既存のログ転送方式と比較して、よりシンプルでより信頼

性の高いデータ/ETL パイプライン

MapR 採用の理由 ●  統合プラットフォームは流れるデータ、保存されたデータ

両方を単一のクラスタ・セキュリティモデルで対応可能 ●  収集、分析、災害対策を分散して行うための高信頼グ

ローバルレプリケーション

米国1

広告アプリケーション

本社

米国2

利用例


IoT データ転送と加工利用例

ビジネス上の成果 ●  「モノ」からのデータを収集・加工することで新しい収益

の流れを創出 ●  利用者の近くに収集・加工基盤を配置することで低い

応答時間を実現

MapR Streams 採用の理由 ●  IoT はイベントベースであるため、イベントスト

リーミングアーキテクチャが求められる

MapR 採用の理由 ●  統合プラットフォームは流れるデータ、保存された

データ両方を単一のクラスタ・セキュリティモデルで対応可能

●  収集、分析、災害対策を分散して行うための高信頼グローバルレプリケーショングローバルダッシュボード、アラート、加工

ローカルでの収集、フィルタリング、集計


Q & A

MapR Streams により業界初にして唯一の統合データプラットフォームを実現 1

2

3

統合: イベントストリーム、データベース、ファイルベースアプリの統合セキュリティを備えた単一クラスタ継続: 常にオンの信頼性を有する途切れない分析による「Streams of Record」の実現グローバル: 「断続的な」 IoT 接続にも対応するグローバルリアルタイムアプリケーションへの最適化

詳細は www.mapr.com/streams にて

MapR Streams & MapR コンバージド・データ・プラットフォーム

Data & Analytics

Transcript of MapR Streams & MapR コンバージド・データ・プラットフォーム