A31 切り開けDBエンジニア...

Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

Insight Technology, Inc.新久保浩二

切り開けDBエンジニア

データ分析基盤へインサイトテクノロジーの1つの答えとは！

2

• データはアセット(喜連川さん)

• データの時代(ジェイソン)

• 分析のスピードは大事(もう、当たり前)

• そこで、大量のデータ(アセット)をいかに効率よく分析にするか。が大事


3Copyright © 2013 Insight Technology, Inc. All Rights Reserved.

Vectorwise meets 象


僕が象と戦った歴史


象で夢を見ていた時代

• HDFSは無限のスケーラビリティとアベイラビリティがあるじゃないか

• HiveはHDFS上でQueryらしきものが扱える

• 既存のRDBMSで不可能なことが可能になるかもしれない


こんな感じで検証してました。

今も現役で検証機として使ってますが


象で現実を知った時代

• HDFSは無限の可能性を秘めているけど。種々の理由でスケールさせるのは至難の業。

• HiveはHDFS上でQueryらしきものが扱えるけれど。普通に使うには遅すぎる。

• 既存のRDBMSを入れ替えるのは非現実的。ますます分析系DBの役割は大きくなっている


ちなみに当時の衝撃的な検証結果

DBとして見ると期待値を裏切るスケーラビリティのなさ(だった)

当時ベンチマーク対象だったRDBMSに並ぶスピードを出すには100ノードを超えるクラスタにする必要があるとの予測(だった)


しかし、膨大なデータは存在するわけで…

切り開けデータベースエンジニア


DB屋が見る今の象のイメージ(適材適所)

ERP SCM CRM

Legacy OLTP

ログ、センサーデータ、POSといった、たまり続けるデータでデータの価値は大きいが、参照頻度が低いデータはHDFS上がぴったり

11

Vectorwise Hadoop Connector


Vectorwise Hadoop Connector 3.0

MAP MAP MAP

Reduce Reduce Reduce Reduce Reduce Reduce

Async Parallel Commit

Commit Status

JOB ID & Meta Data

1

2

3

4

5

1Vectorwiseのメタデータを取得すると共に、Map Reduce用のJOBIDを取得

2HDFS上のファイルをMapTaskで取得しKey Value変換

3

各カラムごとにReducerを起動し、VectorwiseのDBブロックイメージ(カラム指向 & 圧縮)に変換

4Reducerは、各プロセスごと非同期で構成したDBファイルをVectorwiseに適用

5Master ReducerはVectorwiseからCommit Statusを取得し、必要であれば、同期Commitを実行


実行イメージ


今なら仲良く付き合えそうです


Real Time Analytics on Vectorwise


まだまだ連携したいデータは沢山ある

ERP SCM CRM

Legacy OLTP


Attunity Replicate for Vectorwise

Full Load

Change Data Capture

Control & Monitor


実行イメージ


今できる現実

ERP SCM CRM

Legacy OLTP

A31 切り開けDBエンジニア...

Technology

Transcript of A31 切り開けDBエンジニア...