[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro...

db tech showcase 2013 Tokyo 2013.11.14

「今」を分析する「今」を分析する「今」を分析する「今」を分析するストリームデータ処理技術とストリームデータ処理技術とその可能性その可能性

株式会社株式会社日立製作所日立製作所

その可能性その可能性

株株製作製作情報・通信システム社情報・通信システム社ＩＴプラットフォーム事業本部ＩＴプラットフォーム事業本部

横山横山高広高広

© Hitachi, Ltd. 2013. All rights reserved.

横山横山高広高広

セッションの要約0-1

ストリームデータ処理って何なの？データベースと何が違うの？デタベスと何が違うの？

どうやって使うの？どんなところで使われてるの？どんなところで使われてるの？

で、実際どうなの？

といった疑問を解決します。

そして今日から、そして今日から、データ処理方式の選択肢のひとつにデータ処理方式の選択肢のひとつに

「ストリームデータ処理」「ストリームデータ処理」を加えてもらいたいを加えてもらいたい


「ストリムデタ処理」「ストリムデタ処理」を加えてもらいたいを加えてもらいたい

2© Hitachi, Ltd. 2013. All rights reserved.

ContentsContentsContents Contents １．ストリームデータ処理が１．ストリームデータ処理が生まれた背景生まれた背景２ストリムデタ処理の原理と特長２ストリムデタ処理の原理と特長２．ストリームデータ処理の原理と特長２．ストリームデータ処理の原理と特長３．ストリームデータ処理の適用事例３．ストリームデータ処理の適用事例４まとめ４まとめ４．まとめ４．まとめ


1-1 ビッグデータ時代がやってきた！

モノの発信電力メーター電力メーター

ＢｉｇＤａｔａ

モノの発信

環境・気象データ環境・気象データ

通話ログ通話ログ

ＢｉｇＤａｔａ

人の発信

環境気象デタ環境気象デタ

設備監視設備監視

物流トレス物流トレス

運行情報運行情報

カーナビカーナビつぶやきつぶやき

コンテンツダウンロドコンテンツダウンロド

ＳＮＳＳＮＳ人の発信

ＧＰＳＧＰＳ

動画・画像・音声動画・画像・音声

物流トレース物流トレース

コンテンツダウンロードコンテンツダウンロード

監視映像監視映像

ＧＰＳＧＰＳ

スマートフォンスマートフォン

データベースデータベース診断画像診断画像

ＩＣカード利用ＩＣカード利用

人の移動人の移動


ネット購入ネット購入診断画像・診断画像・電子カルテ電子カルテ


1-2 ビッグデータ時代におけるデータの変化

■ デタがデジタル化されている

ありとあらゆるところから、データが湧き出てくる

■ データがデジタル化されている■ センサー技術の進展により、今まで分からなかったことが分かる■ ブロードバンドの普及により、どこからでも大量のデータを取得できる

ITシステムから生成されるデータ機械から生成されるデータ

普及り、も大量デタを取得る

設備情報環境情報

携帯電話位置情報

システムログ業務ログ

アクセスログメール

ICカード … SNSログ …


モノやヒトのデータを活用した新たなビジネスが期待されている

6

1-3 ビッグデータ時代におけるデータの活用方法

■ 時々刻々と絶え間なくデタが発生し続ける

1点の値ではなく、時系列な値の変化に意味がある

■ 時々刻々と絶え間なく、データが発生し続ける■ 「今」を高速かつ高度に分析（傾向/相関/軌跡分析など）して、

現場に即座にアクションすることが重要

項目センサーデータ空間データ

デタ種別温度湿度振動圧力 GPS RFID 電子乗車券

現場即座アクする要

データ種別温度、湿度、振動、圧力・・・ GPS、RFID、電子乗車券…

データ型波形位置情報、軌跡

活用例機器診断人流分析物流分析活用例機器診断人流分析、物流分析

150

◎発生波形波形軌跡軌跡50

100【ﾒｯｾーｼ゙

数】

◎予兆

◎発生波形波形軌跡軌跡


011:59 12:00 12:01 12:02 12:03 12:04

【時間軸】

◎復旧

7

1-4 ビッグデータ時代におけるデータの活用例

個客指向マーケティング個客指向マーケティング流通分野流通分野ヒヒ

医療分野医療分野オーダーメイド医療オーダーメイド医療

細細保ビ保ビ

トトのの

金融分野金融分野顧客細分型顧客細分型金融・保険サービス金融・保険サービス

行政分野行政分野世論分析・意思決定支援世論分析・意思決定支援

情情報報

行政分野行政分野世論分析・意思決定支援世論分析・意思決定支援

予防保守・運予防保守・運用サ用サービスービス保守分野保守分野モモ

予防保守運予防保守運用サ用サビスビス保守分野保守分野

電力需給予電力需給予測サ測サービスービス電力分野電力分野

モモノノのの

車流車流分析予分析予測サ測サービスービス交通分野交通分野のの情情報報


通信状況分析サ通信状況分析サービスービス通信分野通信分野報報

8

1-5 ビッグデータ時代のITに求められること

データの利活用サイクルに応じたデータ処理技術が必要

リアルタイムに今が分かる

電力メタ電力メタ自分にあったサービスが得られる

新たな気づきを得るネット購入ネット購入

電力メータ電力メーターー

ＳＮＳＳＮＳ

ブログブログ

自動改札自動改札ネット購入ネット購入

金融取引ログ金融取引ログＩＣカード利用ＩＣカード利用

自動改札自動改札

ビッグデータ処理要件

１１..リアルタイリアルタイム処理ム処理

２２..蓄積・検索蓄積・検索

３３集計分析集計分析


３３..集計・分析集計・分析

9

ビッグデータの利活用を支えるプラットフォーム1-6

ビッグデータの利活用サイクルに応じたミドルウェアをご提供

大量の情報をリアルタイム処理

１１..リアルタイリアルタイム処理ム処理

大量の情報を対象とした分析

３３..集計・分析集計・分析

時間

異常度

異常

警戒正常

故障予兆

リアルタイム処理対象とした分析

診断対象同機種平均

稼動データ

時間

P1P2P3P4

時間

uCosminexus Stream Hadoop

２２蓄積・検索蓄積・検索

C S aData Platform

uCosminexus Grid Processing Serverストリームデータ処理基盤

グリドバチ

大量の情報を高速検索・効率保管

２２..蓄積検索蓄積検索

uCosminexus ElasticA li ti D t t

Hitachi Advanced Data Binderプラットフォム

グリッドバッチ


履歴データApplication Data store Binderプラットフォーム

インメモリ型データグリッド

時系列データストア技術10

ストリームデータ処理の研究の歴史2-1

新しいようで、実は長く研究され続けている技術

■ 米国の有力大学のDBグルプで研究開始（2002 ）■ 米国の有力大学のDBグループで研究開始（2002～）■ 学術成果の学会発表（2003～）■ 日立「uCosminexus Stream Data Platform」リリース（2008～）

U C B k lU C B k l Wi iWi i

」リリ（）■ 2013年現在も主要学会で研究発表継続中

U.C. BerkeleyU.C. BerkeleyTelegraphCQTelegraphCQ

WisconsinWisconsinNiagaraNiagara

StanfordStanford MITMIT他他AASTREAMSTREAM AuroraAurora

日立から日立から研究員派遣研究員派遣


他に、Cornell Univ. New York Univ. AT&T などが研究推進12

2-2 ストリームデータ処理の位置付け

メモリ

適用アプリ: アルゴリズムトレーディング，コンプライアンスチェック，不正監視・検知，…

ストリムデタ処理複雑イト処理

適用アプリ: 銀行トランザクション，チケット予約，通話課金，…

イリスストク型デタ処理技術リストリームデータ処理，複雑イベント処理

サーバ2000年～:

研究開始ｵﾌﾞｼﾞｪｸﾄｷｬｯｼｭ

サーバ

インメモリデータベース

インメモリベースのストック型データ処理技術

分散ｵﾌﾞｼﾞｪｸﾄｷｬｯｼｭ

デー

タ格

ストリームデータベース・超高速イベント処理を実現・クエリインタフェース提供

により開発工数削減CEPIMDB1

1980年代～: 研究開始DB

サーバ 1990年代～: 商用化

格納

位置 1990年代～:

MV差分更新

差分データ処理技術

サーバ MV3

DBDB

サーバストファイルフイル 1960年代～: 構造型DB

関係データベース

ストレージベースのストック型データ処理技術

DBDB

サバ1980年代～: Temporal DB

データ処理での時間の取り扱い技術構造型データベース

データ種別処理モデルストック型

・デタを事前に準備

フロー型・デタ到着時に処理

トレージ

ファイルサーバ

ファイル 1960年代～: 構造型DB

1970年代～: RDB2

DBサーバ 1990年代～: 時系列DB


デタ種別，処理モデル・データを事前に準備・データサイズ有限

・データ到着時に処理・データサイズ無限

凡例: 1 In-Memory DB, 2 Relational DB, 3 Materialized View (実体化ビュー)13

2-3 ストリームデータ処理の動作原理

データ発生時にリアルタイムに処理するフロー型データ処理

ストック型データ処理(従来DBMS)

リアルタイム集計分析

リアルタイム表示

フロー型データ処理(ストリーム)

商品データ売上データ

事業活動

情報

事業活動

情報

DB DB集計・分析表示

ストリームデータ処理

取引情報

データ

操作ログ

RFIDPOSデータ

センサデータデータの

量と質の変化

DB操作で集計・分析

タRFIDPOSデタ

実世界データ

データをDBにストック(蓄積)してから，データを集計・分析する。

一括処理データ保存必要

データが発生する度に，逐次，データを集計・分析する。

リアルタイム処理データ保存不要


括処理デタ保存必要リアルタイム処理デタ保存不要

14

2-4 ストリームデータ処理の要素技術と特長

■ ウィンドウ演算により時系列デタの分析を簡単に実現

「今」を高速かつ高度に分析するための技術

■ ウィンドウ演算により、時系列データの分析を簡単に実現■ インメモリ差分計算により、超高速処理を実現■ 分析シナリオは、SQLを拡張したCQLで記述

時系列データ分析時系列データ分析

分析ナリオ、を拡張し記述

CQLによるシナリオ記述CQLによるシナリオ記述

事前登録ネトク

分析シナリオ分析結果

系分析系分析

稼動情報 ICカード

ネットワーク

入力情報入力情報

集計・分析結果

集計・分析結果

結果ファイル

株a,15

スライディング・ウインドウ株a,1

株b,2株a,4

株b,6株a,9

株b 4株a,5

株a,6稼動情報

通信データ

ICカード

稼動監視

情報情報分析結果分析結果

ダッシュボード(見える化)

ストリームデータ処理基盤

株a,1株b,2

株a 計15株b 計6

株a,3株b,4


uCosminexus Stream Data Platformストリムデタ処理基盤

インメモリ差分計算インメモリ差分計算

15

ウィンドウ演算2-5

■ スライディングウィンドウにより時系列デタの分析範囲を定義

無限に続く時系列データを効率よく処理

■ スライディング・ウィンドウにより、時系列データの分析範囲を定義■ 分析に必要なデータだけを抽出することで、データ処理を効率化■ 分析シナリオに複数種のスライディングウィンドウを提供

時系列デタ 100 99 2 1 0101102

分析ナリオ複数種ラディグウィウを提供

データ 100 99 2 1 0101102

スライディング･ウィンドウで切り取られた処理対象の時系列データタ

■ スライディング・ウィンドウの種類・データの数（ＲＯＷＳ）例：直近の100取引分を対象にする・時間（ＲＡＮＧＥ）例：直近3分間分を対象にする・グループ分け（ＰＡＲＴＩＴＩＯＮ）) 例：各銘柄の最新5取引分を対象にする


分（）) 例各銘柄最新分を象す

16

インメモリ差分計算2-6

■ インメモリデタ処理によりディスクI/Oを排除

圧倒的な超高速処理を実現

■ インメモリデータ処理により、ディスクI/Oを排除■ 中間結果を利用した差分計算により、大量データ処理時の負荷を軽減

株価指数の計算処理の例

減■ 分析対象のデータ数に依存しない、一意の計算量で処理を実現

株価指数の計算処理の例

分析対象データ、中間計算結果はメモリ中に保持スライディング・ウインドウスライディング・ウインドウ

A社，xxx円，xxx株

B社，xxx円，xxx株

C社，xxx円，xxx株

：

株価，株式数 A社，yyy円，yyy株

B社，xxx円，xxx株

C社，xxx円，xxx株

：

変化のあった株価のみを演算

：

xxxxx時価総額

：

yyyyy A社，xxx円，xxx株xxxxx A社，yyy円，yyy株－＋

© Hitachi, Ltd. 2013. All rights reserved. 17

クエリ言語CQL（Continuous Query Language）2-7

■ SQLを拡張した言語であるため習得は容易

幅広い業務に対応可能なクエリ言語を提供

■ SQLを拡張した言語であるため、習得は容易■ ウィンドウ演算により時系列データの分析範囲を定め、関係演算を実行

中間結果入力・出力

行■ アプリケーションの個別開発と比較して、開発効率を大幅に向上

処理モデル

選択、結合集合演算など

ストリーム化演算時系列データ

中間結果入力・出力

リレーションウィンドウ演算

関係演算

CQLの例

集合演算ウィンドウ演算

IStream(Select id, Sum(val) as SFrom str [Rows 3]

…ストリーム化演算

…ウィンドウ演算


[ ]Group by id)

ウィウ演算

18

ストリームデータ処理基盤のプログラム構成2-8

■ シンプルなプログラム構成と簡単な分析シナリオ定義によりシステ

分析シナリオ定義、入出力APのシンプルなプログラム構成

■ シンプルなプログラム構成と簡単な分析シナリオ定義により、システム

開発や分析シナリオの開発や変更を短期間で実施可能

アプリケーション開発時に作成する部分

開発や分析ナリオ開発や変更を短期間実施可能■ uCSDP-AF使用時は定義作成だけでアプリケーション作成不要

入出力ｱﾀﾞﾌﾟﾀｰ定義分析シナリオ定義ダッシュボード定義

入力データ出力結果

デ処ダッシュボード

ファイル

出力AP

イベント

データ抽出処理ダッシュボド

出力処理

入力AP

ストリームデータ処理基盤通信

パケット

トムデタ処理基盤プケシムク

出力AP

ファイル

出力ｱﾀﾞﾌﾟﾀｰストリーム処理

入力AP

入力ｱﾀﾞﾌﾟﾀｰ


ストリームデータ処理基盤ーアプリケーションフレームワーク

CQL： Continuous Query Language 19

2-9 ストリームデータ処理実用化に向けた機能

＃機能名機能詳細効果

1イベント発生時刻モードの選択機能

処理時刻軸を発生源時刻と受付時刻から選択

・対応範囲拡大

2入力データ順序性保証機能

入力データの時刻情報逆転時、順序を補正

・開発工数削減・安定稼働

3 時刻解像度機能すべての入力データを保持せず、単位時間の統計情報を保持

・リソース削減・安定稼働単位時間の統計情報を保持安定稼働

4Eagerｽｹｼﾞｭｰﾙ機能

複数のクエリを1つのクエリ処理として括処理

・ﾚｲﾃﾝｼ向上機能として一括処理

向

5入出力ｱﾀﾞﾌﾟﾀｰ機能

HTTPやファイルなど、標準的な入出力処理を標準提供

・開発工数削減


5機能入出力処理を標準提供

開発工数削減

20

3-1 ストリームデータ処理でできること

syslog Proxylog 認証log

syslog Proxylog 認証logＩＴシステムで発生する各種ログ

データＩＴシステムで発生する各種ログ

今を見える化

タ発生とと同時に

センサーから出力される数値データリアルタイム監視

に瞬時に

DB、ファイル

に分析


クルマやヒトの位置情報価値あるデータに変換

22

3-2 ストリームデータ処理の適用分野

交通状況モニタリングWebサービス監視

株式指数算出配信

ITITから実世界まで幅広い分野に適用から実世界まで幅広い分野に適用

© Hitachi, Ltd. 2013. All rights reserved.設備・環境監視センサーネット管理

23

株価指数算出配信3-3

■ 株価が変動する度に株価指数を算出、ミリ秒レベルでユーザ配信■ 株価指数計算の高速化により、配信サービスのサービスレベルを大幅に向上■ 株価が変動する度に株価指数を算出、ミリ秒レベルでユーザ配信■ 株価指数計算の高速化により、配信サービスのサービスレベルを大幅に向上■ 株価指数計算の柔軟性確保により、システム運用コストも低減■ 株価指数計算の柔軟性確保により、システム運用コストも低減

相場入力AP

指数高速配信システム

ストリムデタ処理基盤出力AP

集計・分析シナリオ

売買システム

相場ユーザ

システム

入力AP

電文受信/フィルタ処理

電文組立/配信処理

uCosminexus Stream Data Platform株価株価指数

ストリームデータ処理基盤出力AP

処理性能従来サービス指数高速配信

指数計算処理

スループット 8,000件/秒以上

レイテンシ10ミリ秒以下（1～10ミリ秒）

配信間隔 1秒毎指数構成銘柄の値段の変化毎


参考：2011年2月22日付弊社ニュースリリース「東京証券取引所の指数高速配信サービスが開始～世界最高水準、TOPIXをミリ秒レベルで配信～」http://www.hitachi.co.jp/New/cnews/month/2011/02/0222.html

24

Webサービスのサービスレベル監視3-4

■ 大量のWebアクセスデータから、「今」を高速かつ高度に分析■ Webサービスのサービスレベル（応答時間やエラー率など）の見える化と監視■ 大量のWebアクセスデータから、「今」を高速かつ高度に分析■ Webサービスのサービスレベル（応答時間やエラー率など）の見える化と監視■ データの傾向から、「いつもと違う」障害の予兆をリアルタイム検知■ データの傾向から、「いつもと違う」障害の予兆をリアルタイム検知

応答時間

現在の値

過去の情報（ベースライン）と比較して

統合システム運用管理JP1/IT Service Level Management

SLOしきい値

いつもと違う傾向を検知（外れ値検知）

ベースライン

正常範囲（ベースラインから

算出）

ホーム画面

時間

しきい値外れ値検知しきい値検知より早く


検知（予兆検知）リアルタイム監視画面予兆の検知が可能 SLO : Service Level Objective

25

交通状況モニタリング3-5

■ 車両位置情報を収集・分析し、交通状況をリアルタイムにモニタリング■ 各車両の速度や進行方向を分析、周辺車両の状況により渋滞や事故を検知■ 車両位置情報を収集・分析し、交通状況をリアルタイムにモニタリング■ 各車両の速度や進行方向を分析、周辺車両の状況により渋滞や事故を検知

分析シナリオ

速度計算渋滞検出

車両ＩＤ（緯度,経度）渋滞情報

事故情報

自動車

走行方向計算

密度計算事故検出データ入力

約2,000件/秒

事故情報

自動車車両位置情報

ストリームデータ処理基盤uCosminexus Stream Data Platform

各車両走行状況渋滞事故検知

赤：低速黄：中速緑：高速

各車両走行状況渋滞・事故検知

この位置で渋滞・事故が発生


緑：高速始点：一つ前の位置

終点：最新の位置

渋滞事故が発生Ⓒ2008 Google

Ⓒ2008 Zenrin

26

データセンター空調制御3-6

■ 無線温度センサーから収集した室温データを、発生と同時に瞬時に分析■ サーバ機器の吸排気温度の傾向・相関分析により、熱溜りを検知し対策■ 無線温度センサーから収集した室温データを、発生と同時に瞬時に分析■ サーバ機器の吸排気温度の傾向・相関分析により、熱溜りを検知し対策

分析シナリオ

吸気温度と気

サーバ室室温情報を表示したいサーバをクリック

データセンターレイアウトの表示

排気温度の相関分析

室温上昇の傾向分析

事前登録サーバ別詳細情報の表示熱溜り

傾向分析

分析1相関/

傾向分析

サバ別詳細情報の表示

サーバ室温状況のモニタリング

熱溜りのイベント

熱溜り

冷気不足による熱の回り込み

判定分析2

熱溜り検知アラム通知

パトライトによるアラーム

熱の回り込み

日立センサーネット情報システ

無線通信によるサーバ室温情報の

逐次収集


熱溜り検知・アラーム通知

コールドアイル：空調機が送り出してサーバが吸収する冷気を集めた空間

サネッ情報シテム

AirSenseⅡストリームデータ処理基

盤ホットアイル：サーバの排熱を集めた空間 27

日立・横浜事業所「快適ecoプロジェクト」3-7

■ 2012年7月、日立・横浜事業所の新社屋オープン■ 太陽光発電、ﾀﾞﾌﾞﾙｽｷﾝｶｰﾃﾝｳｫｰﾙ、ﾗｲﾄｳｪﾙなどの最新のeco設備を導入■ 2012年7月、日立・横浜事業所の新社屋オープン■ 太陽光発電、ﾀﾞﾌﾞﾙｽｷﾝｶｰﾃﾝｳｫｰﾙ、ﾗｲﾄｳｪﾙなどの最新のeco設備を導入■ 新社屋全体がビッグデータとスマートシティの実証実験室■ 新社屋全体がビッグデータとスマートシティの実証実験室

© Hitachi, Ltd. 2013. All rights reserved. 28© Hitachi, Ltd. 2013. All rights reserved.

日立・横浜事業所「快適ecoプロジェクト」3-8

■ 快適とeco、人と設備をビッグデータ処理技術が融合■ ヒトとモノの情報をリアルタイムに収集・分析し、現場に即座にフィードバック■ 快適とeco、人と設備をビッグデータ処理技術が融合■ ヒトとモノの情報をリアルタイムに収集・分析し、現場に即座にフィードバック■ スケジューラや在席管理システムとの連携も計画中■ スケジューラや在席管理システムとの連携も計画中

社員の声

快適快適ecoecoモニターモニター快適快適ecoecoモニターモニター

社員の声アンケート､在席情報…

設備情報室温､湿度､騒音､電力量…

快適とecoの実現


外部情報気象情報、災害情報…

快適と実現設備制御の最適化社員のecoマインド醸成

29

まとめ4-1

■ ビッグデータから「今｣を分析するストリームデータ処理技術をご紹介■ この新しいデータ処理技術が切り拓いていく新しい価値は無限大■ ビッグデータから「今｣を分析するストリームデータ処理技術をご紹介■ この新しいデータ処理技術が切り拓いていく新しい価値は無限大

リアルタイム監視によるリスクネジメント新たな付加価値による新ビジネスの創造

■ これから、データ処理方式の選択肢のひとつに加えてもらいたい■ これから、データ処理方式の選択肢のひとつに加えてもらいたい

リアルタイム監視によるリスクマネジメント

気象環境

新たな付加価値による新ビジネスの創造

自動運転・予防保全によるビジネス機会拡大

気象、環境、エネルギー交通サービス金融・証券携帯電話

サービス

製造・生産システム物理×ＩＴコンプライ

運行監視渋滞予測自動取引取引監視位置情報サービス使用量監視気象解析

ライン稼動監視セキュリティアンスチェック


品質予測製造監視相関分析予兆検知人流分析画像監視不正検出内部統制

31

さいごに（セッションの要約）4-2

ストリームデータ処理って何なの？データベースと何が違うの？デタベスと何が違うの？

どうやって使うの？どんなところで使われてるの？どんなところで使われてるの？

で、実際どうなの？

といった疑問を解決します。

そして今日から、そして今日から、データ処理方式の選択肢のひとつにデータ処理方式の選択肢のひとつに

「ストリームデータ処理」「ストリームデータ処理」を加えてもらいたいを加えてもらいたい


「ストリムデタ処理」「ストリムデタ処理」を加えてもらいたいを加えてもらいたい


他社商品名、商標等の引用に関する表示

• Google Earth は，Google Inc. の登録商標です。

• その他記載の会社名製品名はそれぞれの会社の商標または登録商標です• その他、記載の会社名、製品名は、それぞれの会社の商標または登録商標です。

• 製品の改良により予告なく記載されている仕様が変更になることがあります。

© Hitachi, Ltd. 2013. All rights reserved. 33

[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro...

Documents

Transcript of [C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro...