Download - 20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築 by 株式会社インサイトテクノロジー森田俊哉

Copyright @2017 Insight Technology, Inc. All Right Reserved

データレプリケーション技術を適用したデータベース移行と分析基盤の構築

株式会社インサイトテクノロジー森田俊哉


Agenda


データレプリケーションテクノロジー

ミニマムダウンタイム移行への適用

OracleからSQLServerへの移行アセスメント

データ移行方式の検討

データ分析基盤への適用

レプリケーションツール”Attunity Replicate”

まとめ


Insight Technologyとは？

コンサルティングサービスソフトウェアハードウェア

システム設計～運用まで

データベース総合ソリューション

データベースの様々な課題を

解決する各種ソフトウェア

高性能・低コスト・高信頼性

データベース専用マシン

データベースに関連するナレッジと技術力を追求し、ソフトウェア、ハードウェア、サービスを最適に組み合わせてお客様に提供する会社です。

高速・低コスト・セキュアなデータベース環境を実現

データベースのアクセス監査ツール（自社開発）

マルチデータベースのリアルタイムレプリケーションツール

データベースのパフォーマンス監視・分析ツール（自社開発）

世界最速のデータベース専用高速マシン（自社開発）

4

バーチャルデータプラットホームツール

Copyright @2017 Insight Technology, Inc. All Right Reserved 5

Sep 5th-7th

Akihabara UDX Conference


2012年 db tech showcase

Oracle

MySQL

PostgreSQL

SQLServer


2016年 db tech showcase

Oracle IBM DB2

mongoDBClouderaIMPALA

Hortonworks

presto

InfoFrameHP

NonStopSQL

MySQL

EDB

MarkLogic riak

PostgreSQL

actian

TERADATA

NETEZZAHiRDB

Amazon

Redshift cassandra

MariaDB

Cloudant

SAP/HANA

Picotal

HAWQ

CouchbaseSymfoware

hadoop VERTICAVOLTDB

cloudera

TREASURE

SQLServer

MAPRSybase

IQPivotal

Greenplum


データも適材適所?! [データベースマッピング]

HiRDB

IBM/DB2

Symfoware

HP NonStop

Oracle

SQL Server

Cloudant

Amazon Redshift

TRESURE DATA

MySQL

PostgreSQL

MariaDB

EDB

Cloudera IMPALA

Presto

HAWQ

MarkLogic

Cassandra Riak

mongoDB Couchbase

MAPR

Cloudera

Hortonworks

Mission Criticalhadoop Leader Challenger

SQL on Hadoop

Cloud NoSQL

Hadoop

TERADATA

SybaseIQ

Pivotal

VERTICA

NETEZZA

Actian

SAP/HANA

BigData


ロジカルレプリケーションテクノロジー

Mainframe

On PremCloud

RDBMS

Hadoop

Data Warehouse

Kafka

Files

On PremCloud

RDBMS

Hadoop

Data Warehouse

Files

異なるOS、バージョン、RDBMS間のデータ連携

データ分散やデータベース統合など複雑な構成でのデータ連携

データ保護、移行/アップグレード、レポーティング、リアルタイムBI、参照処理のオフロード等の用途で使用可能


ロジカルレプリケーションテクノロジーって？


データベースデータ連携(レプリケーション)～１

Source DB Target DB

EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

初期同期(COPY)

11


Source DB Target DB

Change Data

Capture

トランザクションログ

EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

Change DataApply

データベースデータ連携(レプリケーション)～２

INSERTUPDATEDELETE

12

SQL

SQL


レプリケーションテクノロジーのミニマムダウンタイム移行への適用


OracleからSQL Serverへの移行アセスメント

14

Oracle


Oracle Migration Assessment （OMA）

OMAとは

Oracle Migration Assessmentの略で、OracleからSQL Serverに移行を検討しているお客様にマイクロソフト様が提供する移行を評価するサービス移行時の問題点や問題の難易度、移行にかかる時間、移行時のコストを比較し、レポートとして提示

本サービスは、インサイトテクノロジー社他数社より実施・提供されインサイトテクノロジー実績は30社以上

15


OMAレポート構成、オブジェクト、プロシージャ、機能、運用、ライセンスの６つのカテゴリ毎に評価

Oracle Migration Assessment （OMA）


アセスメント結果サマリー（OMA）～１

17


アセスメント結果サマリー（OMA）～２

18


OracleからSQL Serverへデータ移行方式の検討

19


SQL Server Integration Services（SSIS）

コピー&変換

SSISとは

SQL Server Integration Servicesの略で、SQL Server の標準機能として搭載されている。データの「コピー」や「変換」などが行える "データ転送ツール"

20

Oracle


移行によるサービス停止

移行時には、提供サービスを停止する必要がある…

サービス停止は、できる限り短時間にしたいサービス切替時間確認時間は短縮出来ない

データ移行サービス確認

0 2 4 6 8 10 12 14 16

SSISによる移行

サービス停止線表(例)

サービス停止データ移行サービス確認サービス開始

21


初期コピー

レプリケーションを適用したミニマムダウンタイム移行

ArchiveLog

移行

前同

期移

行当

日

22

＝同期状態

トランザクションログから抽出された変更情報を適用

本番

本番

ArchiveLog

ArchiveLog

ArchiveLog

Oracle


データベース移行時間

データ移行

サービス確認

サービス確認

0 2 4 6 8 10 12 14 16

レプリケーションによる移行

SSISによる移行

サービス停止線表（例）

サービス停止データ移行サービス確認サービス開始

データベースレプリケーション技術を移行に適用することで移行当日は、切替後のサービス確認がメインとなりデータベース移行によるサービス停止時間を最小化することが出来る！

23


CaseStudy:某大手小売系発注システム移行

24

移行対象移行元移行先

OS Solaris Windows

データベース Oracle10gR2 SQLServer2016

プログラム言語 Java Java

プロシジャー PL/SQL T-SQL

シェルスクリプト bash Powershell

データローダー SQL Loader SSIS

ユーザ様背景

「Oracleを使用して構築したシステムのハードウェア更改があった。そのタイミングでOracleのアップグレードを検討していたが、アップグレードによるテストが必要であり、テスト時の作業工数が発生してしまう。Oracleのライセンスは会社として大量に購入しているが、毎年のようにライセンスの変更（値上げ）が行われていたためOracleをどうにかしないといけないと考えていた。MSのプログラムでアセスメントを実施」


CaseStudy:某大手小売系発注システム移行

25

SQL Server新規ライセンス

T-SQLへ書換

シェルスクリプト書換

SSISへ書換

Javaソースクエリ書換

アップグレード対応書換

テスト工数

Oracle継続ライセンス

テスト工数

移行工数

Javaソース内のクエリの変換と、SQL Loader＋シェルスクリプトの書き換え工数が発生するものの、PL/SQLが少ないため、移行は容易と判断。Oracle（アップグレード＋テスト工数）とSQL Server（新規購入＋変換工数＋テスト工数）の見積もりを比較したところ、価格的にはほぼ同程度だったため、移行を実行現在は、移行終了しパフォーマンス劣化無く運用開始した

Oracle


レプリケーションテクノロジーのデータ分析基盤への適用


[レプリケーションテクノロジーの適用]データ分析は、バッチ指向からリアルタイムへ

従来型のデータ分析は、主に企業の経営層、マーケティング部門がユーザであり、企業戦略の意思決定プロセス（中長期的戦略）に活用されてきた。

その場合には、前日までのデータが夜間バッチで取り込まれたDWHを使用して分析を行っており分析は週次・月次で行われているケースが未だに多くある。

Sources Data Warehouse

Dashboards

Reports

Analytics

Spreadsheets定期的に抽出

経営者

分析担当者

中長期的企業戦略策定

SCM

ERP

CRM

Oracle


[レプリケーションテクノロジーの適用]データ分析は、バッチ指向からリアルタイムへ

既に海外では、リアルタイム分析を行うことで重要なビジネスイベントに対して迅速にアクションを起こすための意思決定を可能にしている事例が多い

従来型のデータ分析が過去に発生した事象を分析するのに対してリアルタイム分析は今現在発生しているまたは、これから何が起きるのか？を分析することを目的としている

SourcesFiles, DB, SNS

マネージャ行動

JSON

XML

イベント発生

Data Warehouse

日常業務行動策定

Oracle


従来型DWHとリアルタイムDWH

従来型DWH リアルタイムDWH

ユーザ経営層・マーケティング部門現場マネージャ

分析目的中長期的経営戦略策定日常業務における意思決定

分析頻度日次・週次・月次リアルタイム

分析対象データ定期蓄積データ定期蓄積データ＋イベントデータ(IOT)

お役立ち経営戦略マーケット需要予測

レコメンデーション最適化リアルタイム需要予測リアルタイム不正検出電力需要予測・・・・・

SCM ERP CRM


レプリケーションを適用したマルチDB分析基盤運用

3

トランザクションログから抽出された変更情報を適用

↓

＝同期状態

基幹システム情報系システム

Azure SQL DW

ArchiveLog

ArchiveLog

ArchiveLog

REDOLog

Oracle


移行対象レプリケーション元(基幹システム) レプリケーション先(データ分析基盤)

OS Windows / IBM zOS Windows / Linux(Cloud)

データベースSQL Server

IBM/DB2 × 3IBM/IMSDB

SQLServerHadoop(Cloud)

ユーザ様背景

チューリッヒ生命保険では、有効証券請求時にリアルタイムな情報を手に入れることが、プロセス改善に必要とされていました。またプロセス改善には日常的な検索が必要とされ、メインフレームとWintelプラットフォームの双方で構成される5つのポリシー管理システムから機能検索をしていました。（うち4システムはメインフレーム）

問合せ処理システムと基幹システムを分離するために、不変的なアクセスが可能な基幹システムデータベースと問合せ処理用データベースを必要としていました。コピーされたデータベースは、可能な限りリアルタイムに同期する必要がありました。

CaseStudy : チューリッヒ保険会社


BI / Data AnalyticsBI / Data Analyticsマーケティング分析・財務分析・クレーム処理などにデータ分析基盤を活用しています。

Copy Data (Data Replilcate)メタデータを含むトランザクションデータをニアリアルタイムでデータ分析基盤に反映することで現在発生しているイベントに対して遅延なく分析を行うことが出来ます。

Data storageデータ分析基盤としてSQL Serverとクラウド上のHadoop使用しています

structured data unstructured data

Dataソースデータとして社内外の無償・有償の外部データ及び社内の基幹データベースのデータを分析のために適用しています。

IBM DB2 on M/F

IBM IMS DB on M/F

IBM DB2 on iSeries

Microsoft SQL Server

JSON

XML

TEXT

CaseStudy : チューリッヒ保険会社


ロジカルレプリケーションツール


Source DB Target DB

トランザクションログ

EMP

DEPT

SALGRADE

EMP

DEPT

SALGRADE

Attunity Replicateデータベースデータ連携

INSERTUPDATEDELETE

34


LUW(Linux/Unix/Windows)

MainframeDB2IMS/DBVSAM

IBM iSeriesDB2/400

HP NonStopEnscribeSQL/MP

Oracle

SQLSever

MySQL

PostgreSQL

SYBASE

IBM/DB2

hadoop

サポートデータベース

LUW(Linux/Unix/Windows)As same as Replication sources

Large DW PlatformsActian Vector

Oracle ExadataMicrosoft PDW

HP VerticaPivottal Greenplum Database

TeradataIBM Puredata(Netezza)

Amazon Redshift Azure SQL DW

Hadoop(SAP/HANA)

Replication TargetsReplication Sources


DBサーバ側エージェントレスデータベースへのソフトウェアインストール不要

初期同期(FULL LOAD)から差分同期(CDC)までシームレスにデータ連携初期同期から差分同期へ自動切り替え

ブラウザベースのGUIによる簡易設定・監視短期のスキルトレーニングで同期設定と稼働監視が可能

異種データベース間のテーブル高速データ転送・同期(マルチDB対応) オンプレ・クラウドを問わない主要データベース間のデータ同期をサポート

36


On-Premises(VAIO S13)

Processor : 1 coreMemory : 1024MB

DEMO

No TABLE NAME COUNT

1 CUSTOMER 30,000

2 DISTRICT 10

3 HISTORY 30,000

4 ITEM 100,000

5 STOCK 100,000

6 ORDERS 30,000

7 ORDER_LINE 299,617

8 NEW_ORDER 9,000

9 WAREHOUSE 1

175MB 598,628

Service Plan : BasicLocation : Japan WestPerformance Level :

S0(10 DTU)

データベース負荷テストベンチマーキング・ツール

TPC-C

37

Oracle



まとめ

38


データレプリケーションテクノロジーを活用してミニマムダウンタイム移行やデータ分析基盤構築を！

データ処理種別毎に適したデータベースを運用する時代となった

→ 異なるデータベース・ストレージで管理されたデータをオンプレ・クラウド基盤に同期する必要がある。可能であればリアルタイムで・・

→ クラウドを含む異なる環境間でデータ連携は、移行用途としても適用可能

Download - 20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築 by 株式会社インサイトテクノロジー 森田俊哉

Download - 20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築 by 株式会社インサイトテクノロジー森田俊哉