[C32]...

© Hitachi, Ltd. 2013. All rights reserved.

株式会社日立製作所情報・通信システム社 ITプラットフォーム事業本部ビッグデータソリューション部

2013/11/15

石川太一

配布版

正確でスピーディーな決断を促す、日立の高速データアクセス基盤～性能検証事例と活用効果～

db tech showcase 2013 Tokyo


２. なぜ、データ処理の高速化が必要か

４. データマートレス化が生み出す価値

５. データマートレス化を実現する、高速データアクセス基盤

1

Contents

３. 事例に見る、利活用の阻害要因

１. 本日、皆様と共有したいこと

６. 高速化は手段であり、目的じゃない

© Hitachi, Ltd. 2013. All rights reserved. 2

１. 本日、皆様と共有したいこと


１-１ビッグデータ時代に求められるＩＴ基盤

3

現実世界

消費者報告書センサー

ＳＮＳ

基幹系情報系

事務所

工場

店舗

調達

製造

販売

：ＤＢ

ＤＢ

ＤＢ

ＤＢトランザクション情報

履歴情報

セントラル

ＤＷＨＥＴＬ

経営/業務

マーケティング

収集集計蓄積ＤＢＤＢ

履歴ＤＢ事実データと、トレーサビリティの確保

素早くフィードバックします

バッチ時間を短縮します

非構造データを素早く集計します

効率よく蓄積できます

マートレスでデータを活用

できます

大量データを一次処理できます

加工・収集分析・活用

高速データアクセス基盤

ストリームデータ処理基盤

インメモリデータグリッドかんたんＨａｄｏｏｐ時系列データ処理基盤

可用性を高めます

DataStage

Hitachi Advanced Data Binder プラットフォーム *1

*1: 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」（中心研究者：東大喜連川教授）の成果を利用。

ノンストップＤＢ

取り扱うデータ処理要件に応じて、適材適所のソリューションを選択し、課題を解決したい。

ORACLE RAC on FLASH

基幹バッチ

グリッドバッチ

/ ＯＲＡＣＬＥ

本日のテーマ


ＳＱＬか、ＮｏＳＱＬなのか？

それは取り扱うデータの種類によって決まります。ビジネス判断を行なうためには、非構造データも、最終的にデータを構造化して扱えるようにする必要があります。

１-２ビッグデータ時代に、日立が注目した技術

4

日立は、ビジネス判断に直結するセントラルＤＷＨ、つまりＳＱＬの高速化技術に着目

ＮｏＳＱＬＳＱＬ

非構造構造化

外部内部

ファクトサマリ

速度精度

選択する技術の考え方

出典：日立製作所 http://www.hitachi.co.jp/products/it/bigdata /column/column01.html

情報系調達

製造

販売

：ＤＢ

ＤＢ

ＤＢ

ＤＢ

セントラル

ＤＷＨＥＴＬ

収集集計蓄積

ファイル

履歴ファイル

加工・収集

基幹系

ファイル

マート

センサー

稼働ログ

売上

ＳＮＳ

受発注

契約

Ｈａｄｏｏｐ、インメモリデータグリッド、等の技術が進化

ＲＤＢＭＳの技術が進化

構造化データ

非構造データ

判断

！


２. なぜ、データ処理の高速化が必要か


２-１企業がおかれている環境

7

出典： JEITA/IDC Japan 「IT経営に対する日米企業の相違分析」 (2013年10月)

グローバル化の進展により、市場競争が激化。５割の企業が、１０社以上と競合。

Ｑ．貴社がおかれている競争環境として、最も当てはまるものは？

主要な競合数（n=216）

競争が激しい状況下で、ＩＴに何を期待しますか？

0% 20% 40% 60% 80% 100%

きわめて限定的（数社程度） 5～9社程度 10～49社 50社以上


２-２競争環境において、ＩＴに期待する効果

8

市場変化への迅速な対応、意思決定の迅速化など、新たなＩＴ活用への期待が高まっている。

（n=216、3つを選択）Ｑ．

今後、貴社やあなたの部門が競争していく上で、ＩＴに期待する効果は？

0% 10% 20% 30% 40% 50% 60%

社内業務効率化／労働時間減少

市場環境変化への迅速な対応

意思決定の迅速化

新規顧客の獲得

顧客の嗜好やニーズの把握

製品/サービス提供迅速化/効率化

人件費の削減

新規製品／サービスの開発

既存顧客の維持

社内情報共有の容易化

調達費用のコスト削減

将来の市場動向／トレンド予測

社外情報提供効率化／提供量増大

新たなＩＴの活用。次は何に取り組みますか？

ＩＴに期待する効果

出典： JEITA/IDC Japan 「IT経営に対する日米企業の相違分析」 (2013年10月)


２-４新たな価値を創造するために

10

出典：株式会社野村総合研究所 2012年12月25日ビッグデータの利活用に関するアンケート調査 http://www.nri.co.jp/news/2012/121225.html

約６０％の企業が、ビッグデータ利活用を自社の検討課題と認識。

Ｑ．

貴社ではビッグデータ活用が、組織的な検討課題にあげられていますか？

具体的な事例から見える、利活用の阻害要因とは？

ビッグデータへの取り組み


３. 事例に見る、利活用の阻害要因


３-１なぜ今、データが爆発的に増えるのか？

12

流通業におけるビッグデータへの期待と課題チャンスロスを削減し、お客さまへの気の利いたサービス、情報を提供したい。さらには顧客情報を掛け合わせ、顧客単位のサービスを提供したいのだが・・・。

つぶやき、コメント、情報発信

問い合わせ、会話内容

クレーム

単品販売情報

利用チャネル

Access Log サイト訪問履歴商品参照履歴

単品販売情報

顧客情報 •会員種別 •年代 •性別 •居住エリア •ロイヤリティ •家族、収入など

時系列 •年 •期 •四半期 •月 •週 •日 •曜日 •時間帯

階層 •会社 •店 •ライン •クラス •棚 •単品

単品販売情報（POS売上明細）

× × × × ×

チャンスロス削減気の利いたサービス

One to One マーケティング

Omni-channelアプローチ

顧客接点強化

原因究明未来予測

経営者店舗販売ＣＲＭＥＣ,

ネットスーパーコンタクト

センター活用ＳＮＳ

顧客単位サービスの拡大

データの掛け合わせで、処理データ量が飛躍的に増加。

ＣＲＭ： Customer Relationship Management


３-２データ件数の増加で表面化する課題の典型例

13

日々、さまざまな角度からデータを分析したいが・・・。 □分析軸は多様。軸が増えれば、レポート作成処理も増大。例えば分析軸が３次元になれば、合計１６５種（※１）のレポートを作成する必要がある。 ※１１６５種=時間軸(６)×商品軸(７)×組織軸(４)－３

□分析処理に時間がかかり、タイムリーにレポートできない。１種の分析処理に４０分程度かかるもの（※２）もある。 ※２２６億件の売り上げ明細から得意先を分析するＳＱＬ処理。

□そこで、レポートごとに事前集計（データマートを作成）する夜間バッチ処理を走らせているが、このバッチ処理に１３．５時間かかっている。

顧客ﾃﾞｰﾀ

時間軸

商品軸

組織軸

【課題】

データマートの作成に１３．５時間タイムリーな意思決定ができない。

データマート数

１６５種

データマートを作る方式は一般的なのか？


顧客別の購入商品ＴＯＰ１０は？

３-３ＤＷＨで典型的な、データマートアーキテクチャ

14

目的別にデータを事前集計することで、データ分析者に対する操作性を高める方式。

ＰＯＳシステム

ＣＲＭシステム

調達システム

顧客ﾃﾞｰﾀ

基幹システムセントラル

ＤＷＨ目的別

データマートデータ分析

商品別に売り上げを知りたい。店舗別に売り上げを知りたい。

ある商品の店舗別、月別売上げの推移は？

時系列に蓄積

日々再作成

データ量に比例してマート作成時間が増大

定型的な分析（定点観測）は、素早くできる利点

課題

顧客マスター

商品マスター

地域マスター

店舗マスター

売上明細

データ


３-４データマートアーキテクチャの、もう一つの課題

15

定型分析業務に向くアーキテクチャだが、変化と競争の激しい環境では課題がある。 □組織や商材の変化に対応し難い・データマートの再設計が必要など、維持コストが増加する。 □仮説検証型の非定型分析が苦手・データマートの設計と開発を伴うため、仮説検証に時間もコストもかかる。・バッチ突き抜け問題で、新たなデータマートを追加し難い。・ＳＮＳや操作ログなどの新しいデータ（視点）を取り入れにくい。

顧客ﾃﾞｰﾀ

新たな分析視点を増やすたびにマートの設計と開発を伴うため、仮説検証型の非定型分析が苦手

組織や商材が変化する度に、再設計が必要

組織や業務の変化に追従し難く、新たな価値を生み出し難い

目的別データマート


３-５新しいデータを活用し、新たな価値を創造するには

16

試行錯誤で分析できないと、価値創造は進まない。離反顧客の分析、需要分析、クレーム分析など新しいデータを新しい視点で掛け合わせ、仮説検証を繰り返したいのだが・・・。

データの種類、件数が増大しても、

つぶやき、コメント、情報発信

問い合わせ、会話内容

クレーム

単品販売情報

利用チャネル

Access Log サイト訪問履歴商品参照履歴

単品販売情報

顧客情報 •会員種別 •年代 •性別 •居住エリア •ロイヤリティ •家族、収入など

時系列 •年 •期 •四半期 •月 •週 •日 •曜日 •時間帯

階層 •会社 •店 •ライン •クラス •棚 •単品

単品販売情報（POS売上明細）

× × × × ×

チャンスロス削減気の利いたサービス

One to One マーケティング

Omni-channelアプローチ

顧客接点強化

原因究明未来予測

顧客単位サービスの拡大

データマートを作らずに、非定型的な分析ができないか？


高速データアクセス基盤 Hitachi Advanced Data Binder プラットフォーム

超高速データベースエンジン Hitachi Advanced Data Binder

（ＲＤＢＭＳ） ※3

日立サーバ

日立ストレージ

業界標準ベンチマーク「ＴＰＣ-Ｈ＠１００ＴＢ」で世界初登録※1

日立の高速データアクセス基盤ＨｉｔａｃｈｉＡｄｖａｎｃｅｄＤａｔａＢｉｎｄｅｒプラットフォーム※2

□多種多様なデータ結合処理（ＪＯＩＮ）を高速化 □大量データのローディングを高速化

３-７マートレス化を実現する、高速データアクセス基盤

17

具体的に、どのような価値を生み出す基盤なのか？ ※1 TPC-H - Top Ten Performance Results Version 2 Results（http://www.tpc.org/tpch/results/tpch_perf_results.asp） ※2 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」（中心研究者：喜連川東大教授／国立情報学研究所所長）の成果を利用。 ※3 RDBMS : Relational DataBase Management System ※4 JDBC : Java Database Connectivity ※5 ODBC : Open Database Connectivity ※6 CLI : Call Level Interface ※6 SQL : Structured Query Language

ＢＩツール

業務アプリケーション

センサー

稼働ログ

売上

ＳＮＳ

受発注

契約

データソース

収集

/加

工

ＪＤＢＣ/ＯＤＢＣ/ＣＬＩ（ＳＱＬインタフェース）

※4 ※5 ※6 ※7

多種データ

高速検索

価値を創造

大量データ


４. データマートレス化が生み出す価値


顧客ﾃﾞｰﾀ

セントラルＤＷＨをダイレクトに分析

４-１もし、データマートレス化を実現できたら？

19

セントラルＤＷＨの性能を飛躍的に高め、さらにデータの種類、量が増大しても、その性能を維持できたら？



売上明細

データ

顧客マスター

商品マスター

地域マスター

店舗マスター

調達システム


ＤＷＨ目的別


時系列に蓄積

コンタクトセンタ

ＷＥＢアクセスログ

ＳＮＳコメント

アクセスログ

クレームコメント

□従来までのデータ集計を高速化 □新しいデータの掛け合わせを高速化 □データの量が増えても性能維持

効率化と共に、新商品やサービスなどの新しい価値の創造を促進

クレーム分析から、死に筋商品の原因は？

離反顧客の一覧は？その対策は？ＳＮＳを掛け合わせた需要予測は？


４-２マートレス化で、既存業務を改善－流通業

20

４０分かかっていた分析処理を、２２秒に短縮。

１６５種のデータマートを、６個に削減し、

１３.５時間かかっていたバッチ処理を、７.５分に短縮。 □バッチ突き抜けを解消し、素早くレポートを作成。タイムリーな意思決定が可能に。 □組織や商材の変化にも柔軟に対応できる。 □新しいデータを、新しい視点で掛け合わせ、試行錯誤で仮説検証を繰り返せる。


ＤＷＨ目的別


顧客ﾃﾞｰﾀ



目的別データマートを削減し、

セントラルＤＷＨをダイレクトに分析

※２６億件の売り上げ明細から得意先を分析するＳＱＬ処理

新しい視点での仮説検証で得られた効果とは？


４-３業務改善例－流通業

21

□「日別」集計から「時間帯」別集計へ。品切れや余剰の防止と、食品の作る/見切るタイミングを調整。

□顧客の併売分析の実現(バスケット、買い回り) ターゲット商品を決めて、顧客の併売分析をすることで、セット商品化、プロモーション、店舗改善などに活かす。

9時 10時 20時

単価

在庫

商品Ａ

販売個数 10月 1日

単価

在庫


・・・

0

5

品切れ

項目が見える

9時 10時 20時

単価

在庫

商品Ａ


単価

在庫


・・・

0

5

品切れ

項目が見える

9時 10時 20時

単価

在庫

商品Ａ


単価

在庫


・・・

0

5

品切れ

余剰

項目が見える

時間軸で見える

日別から「時間帯別」集計へ

同一顧客の複数レシートを組み合わせて判断

レシート 123 顧客番号 A03 y社羊羹 …

レシート 059 顧客番号 A03 x社ランドセル …

ランドセルと一緒に購買されているものは？ (祖父・祖母へのお返しもあるのか？)

顧客の併売分析の実現

データマートレス化により、開発、維持コストを削減しつつ、品ぞろえ、対面サービスを改善


４-８データマートレス化で進む、ビッグデータ利活用

22

仮説検証の試行錯誤を容易にし、価値創造を促進。非定型分析を高速化することが、利活用の鍵。

データを集める。データを概観する。加工して使えるようにする。

業務課題の整理と解決方法の仮説立案

データを分析（試行錯誤）する。解決方法を絞り込む。

仮説とデータを突き合わせる

評価データを定点観測し、効果の有無を確認する。

結果を評価し、フィードバックをかける

業務改善を実施する。改善結果の評価データを収集する。

アクション

１

２

３

４

データマートレスでの非定型分析が必要

定型分析の高速化が必要


５. データマートレス化を実現する、高速データアクセス基盤～性能検証事例と、アーキテクチャ～


５-１販売管理モデル -性能検証事例

24

□システム構成・サーバ BladeSymphony BS520 (16コア、メモリ96GB) ・ストレージ Hitachi Unified Storage 130 ・データベース Hitachi Advanced Data Binder V1

□データモデル・販売管理モデル

テーブル名分類データ件数レコードサイズ

売上情報 TRN 66億件 150バイト

商品分類マスタ MST 7件 52バイト

商品マスタ MST 528件 86バイト

担当者マスタ MST 12件 111バイト

店舗マスタ MST 3575件 426バイト

エリアマスタ MST 4件 103バイト

センターマスタ MST 3件 54バイト

ＣＳＶ

ＨｉｔａｃｈｉＡｄｖａｎｃｅｄＤａｔａＢｉｎｄｅｒプラットフォーム

① ②

□性能検証のシナリオ

①データロード時間６６億件（８年分相当）のデータを一括ロードする時間を計測。 ②データ検索時間６６億件（８年分相当/約1ＴＢ）のデータから１００万件（１日分）のデータを検索する時間を計測。

検証協力：株式会社ＤＴＳ

検証環境と、測定シナリオ

投影のみ


５-２性能検証結果－ ①データロード時間

25

ＣＳＶ


① ②

①データロード時間６６億件（８年分相当/約１ＴＢ）のデータを一括ロードする時間。

合計取込処理時間インデックス作成時間

４時間９分48秒 2時間24分20秒 1時間45分28秒

数年分相当の大量データでも、夜間運用で十分処理可能

検証結果

投影のみ

スクリーンをご覧ください。


５-３性能検証結果－ ②データ検索時間

26

ＣＳＶ


① ② ②データ検索時間６６億件（８年分相当/約１ＴＢ）のデータベースに格納された７つの表を、結合(ＪＯＩＮ)、グルーピング（ＧＲＯＵＰＢＹ）、集計（ＳＵＭ）、ソート（ＯＲＤＥＲＢＹ）した結果、１００万件（１日分）のデータを抽出する時間。

平均４.７秒

大量データからの部分抽出、集計処理を高速化し、データマートレス化を実現できます

店舗マスタ

SHOP_ID

AREA_ID

地区マスタ

AREA_ID

RELAY_ID

センターマスタ

CENTER_ID

商品マスタ

GOODS_ID

CLASS_ID

商品区分マスタ

CLASS_ID

担当者マスタ

STAFF_ID 売上データ

SHOP_ID

STAFF_ID

GOODS_ID

検証結果

投影のみ

スクリーンをご覧ください。


５-４どんな技術で高速化したのか？

27

非順序型実行原理※に基づいて設計された、超高速データベースエンジン。従来、決定的な順序性だったデータアクセス処理（ＳＱＬ）を、並列実行単位に自動分割し、非決定的な処理順序で実行。大量の非同期Ｉ/Ｏを発行し、データアクセス処理性能を高める技術。

従来型データベースエンジン

時間

決定的な処理順序

同期入出力発行

超高速データベースエンジン

時間

超大量

非同期入出力発行

非決定的な処理順序

従来のＤＢＭＳ（順序型）非順序型ＤＢＭＳ

※喜連川東大教授／国立情報学研究所所長・合田東大特任准教授が考案した原理。

Ｉ/Ｏ処理完了の待ち時間が、ＣＰＵ実行時間の多くを占める。

Ｉ/Ｏ処理完了を待たずに、次の処理を実行できる。

ＳＱＬの多重実行度を高めやすい


５-５大量の非同期Ｉ/Ｏを発行し、性能を向上

28

ＳＱＬを並列実行単位に自動分割することで、Ｉ/Ｏ発行数を２桁増加させ、自社従来比約１００倍※1のアクセス性能を発揮。

【従来方式】：順序型実行方式【新方式】：非順序型実行原理

検索処理(μs)

同期I/O処理(ms)

検索処理(μs)

同期I/O処理(ms)

サーバ

ストレージ

サーバ

ストレージ

タスク割当検索処理Ｉ/O完了待ちディスクI/O

※1 当社従来製品との比較。解析系データベースに関する標準的なベンチマークを元に作成した、各種のデータ解析要求の実行性能を計測。データ解析要求の種類によって高速化率には差が見られるが、データベースにおいて特定の条件を満たす一定量のデータを絞り込んで解析を行うデータ解析要求を対象とした結果。

多重度を高めるには、パーティショニングやスケールアウトなどのチューニングが必要。

パーティショニング不要。分割キー不要でＳＱＬを高多重に自動分割。

秒あたりのＩ/Ｏ回数数１００回

▽

１５，０００回超

検索実行時間９００秒

▽

９秒(１００倍)


５-６大量なＩ/Ｏを発行－デモンストレーション

29

デモンストレーションでご確認ください。

投影のみ


５-７スケールアップ型だから、シンプルに高速化できる

30

データデータ

スケールアウト型（構成が複雑）

スケールアップ型（シンプル）

新方式

複雑な構成だから、設計も、運用も難しい

従来方式

データ量の増加や性能低下に伴う、パーティショニングやスケールアウトの設計、運用、チューニングが不要。

トータルコストを抑えられる

データはストライプ化論理ボリュームに分散配置し、物理的なデータの偏りはストレージ層で自動再配置して解消する。


５-８ Hitachi Advanced Data Bindeｒプラットフォーム※1

31

モデル名デスクサイドモデルエントリーモデルスタンダードモデル

基本構成

ユーザデータ容量 3.3 TB 9.0 TB 18.0 TB CPUコア 6コア 8コア 20コア

メモリー 96GB 96GB 192GB

ユーザデータ容量の拡張不可可能（オプション）

運用管理機能なしあり（統合システム運用管理JP１を同梱）

価格（サポート別） 1,050万円

（税抜1,000万円）個別見積もり

販売開始：2013年10月30日出荷開始：2013年12月末日(予定)

※2013年10月現在の仕様となります。製品の仕様は予告無く変更される場合がございます。

※1 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評価」（中心研究者：喜連川東大教授／国立情報学研究所所長）の成果を利用。

超高速データベースエンジンと、事前検証済みのサーバ、およびストレージとを組み合わせたベストプラクティスモデル


６. 高速化は手段であり、目的じゃない


６-１ビッグデータ利活用の、落とし穴

33

ビッグデータの利活用は手段のひとつ。業務課題を整理し、仮説を立てない限り活用は進まない。

データを集める。データを概観する。加工して使えるようにする。

業務課題の整理と解決方法の仮説立案

データを分析（試行錯誤）する。解決方法を絞り込む。

仮説とデータを突き合わせる

評価データを定点観測し、効果の有無を確認する。

結果を評価し、フィードバックをかける

業務改善を実施する。改善結果の評価データを収集する。

アクション

１

２

３

４

データマートレスでの非定型分析が必要

定型分析の高速化が必要

でも、どうすれば？


６-２日立のデータアナリスティクスマイスターサービス

34

ビッグデータ利活用の専門家がビジョン構築からシステム要件の定義まで、トータルサポート。

データ・アナリティクス・マイスター

お任せください！

【URL】http://www.hitachi.co.jp/products/it/bigdata/approach/service.html

お客さまの課題を解決できるＩＴシステムを、実現するには？


６-３日立の高速データアクセス基盤をご活用ください。

35

ビッグデータ利活用

高速データアクセス基盤

情報活用がリードするビジネスと社会


業務課題の整理から、課題解決を行なう基盤の提供まで、トータルに支援させていただきます。

データ・アナリティクス・マイスター


END

株式会社日立製作所情報・通信システム社ＩＴプラットフォーム事業本部ビッグデータソリューション部石川太一

正確でスピーディーな決断を促す、日立の高速データアクセス基盤～性能検証事例と活用効果～

2013/11/15


他社所有名称等に関する表示

39

・製品の内容・仕様は、改良のために予告なしに変更する場合があります。・ Hadoop は，Apache Software Foundationの商標です。・ OracleとJavaは，Oracle Corporation 及びその子会社，関連会社の米国及びその他の国における登録商標です。・本資料に記載の会社名，製品名は，それぞれの会社の商標もしくは登録商標です。

[C32]...

Technology

Transcript of [C32]...