Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

Insight Technology, Inc.新久保 浩二

切り開けDBエンジニア

データ分析基盤へインサイトテクノロジーの1つの答えとは！

2

• データはアセット(喜連川さん)

• データの時代(ジェイソン)

• 分析のスピードは大事(もう、当たり前)

• そこで、大量のデータ(アセット)をいかに効率よく分析にするか。が大事

Copyright © 2012 Insight Technology, Inc. All Rights Reserved.

3Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

Vectorwise meets 象

4Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

僕が象と戦った歴史

5Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

象で夢を見ていた時代

• HDFSは無限のスケーラビリティとアベイラビリティがあるじゃないか

• HiveはHDFS上でQueryらしきものが扱える

• 既存のRDBMSで不可能なことが可能になるかもしれない

6Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

こんな感じで検証してました。

今も現役で検証機として使ってますが

7Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

象で現実を知った時代

• HDFSは無限の可能性を秘めているけど。種々の理由でスケールさせるのは至難の業。

• HiveはHDFS上でQueryらしきものが扱えるけれど。普通に使うには遅すぎる。

• 既存のRDBMSを入れ替えるのは非現実的。ますます分析系DBの役割は大きくなっている

8Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

ちなみに当時の衝撃的な検証結果

DBとして見ると期待値を裏切るスケーラビリティのなさ(だった)

当時ベンチマーク対象だったRDBMSに並ぶスピードを出すには100ノードを超えるクラスタにする必要があるとの予測(だった)

9Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

しかし、膨大なデータは存在するわけで…

切り開け データベースエンジニア

10Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

DB屋が見る今の象のイメージ(適材適所)

ERP SCM CRM

Legacy OLTP

ログ、センサーデータ、POSといった、たまり続けるデータでデータの価値は大きいが、参照頻度が低いデータはHDFS上がぴったり

11

Vectorwise Hadoop Connector

Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

Vectorwise Hadoop Connector 3.0

MAP MAP MAP

Reduce Reduce Reduce Reduce Reduce Reduce

Async Parallel Commit

Commit Status

JOB ID & Meta Data

1

2

3

4

5

1Vectorwiseのメタデータを取得すると共に、Map Reduce用のJOBIDを取得

2HDFS上のファイルをMapTaskで取得しKey Value変換

3

各カラムごとにReducerを起動し、VectorwiseのDBブロックイメージ(カラム指向 & 圧縮)に変換

4Reducerは、各プロセスごと非同期で構成したDBファイルをVectorwiseに適用

5Master ReducerはVectorwiseからCommit Statusを取得し、必要であれば、同期Commitを実行

12Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

実行イメージ

13Copyright © 2012 Insight Technology, Inc. All Rights Reserved.

実行イメージ

14Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

今なら仲良く付き合えそうです

15Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

Real Time Analytics on Vectorwise

16Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

まだまだ連携したいデータは沢山ある

ERP SCM CRM

Legacy OLTP

17Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

Attunity Replicate for Vectorwise

Full Load

Change Data Capture

Control & Monitor

18Copyright © 2012 Insight Technology, Inc. All Rights Reserved.

実行イメージ

19Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

実行イメージ

20Copyright © 2012 Insight Technology, Inc. All Rights Reserved.

実行イメージ

21Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

今できる現実

ERP SCM CRM

Legacy OLTP

22Copyright © 2013 Insight Technology, Inc. All Rights Reserved.