20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築...
-
Upload
insight-technology-inc -
Category
Technology
-
view
36 -
download
3
Transcript of 20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築...
Copyright @2017 Insight Technology, Inc. All Right Reserved
データレプリケーション技術を適用したデータベース移行と分析基盤の構築
株式会社インサイトテクノロジー森田俊哉
Copyright @2017 Insight Technology, Inc. All Right Reserved
Agenda
データレプリケーション技術を適用したデータベース移行と分析基盤の構築
データレプリケーションテクノロジー
ミニマムダウンタイム移行への適用
OracleからSQLServerへの移行アセスメント
データ移行方式の検討
データ分析基盤への適用
レプリケーションツール”Attunity Replicate”
まとめ
Copyright @2017 Insight Technology, Inc. All Right Reserved
Copyright @2017 Insight Technology, Inc. All Right Reserved
Insight Technologyとは?
コンサルティングサービス ソフトウェア ハードウェア
システム設計~運用まで
データベース総合ソリューション
データベースの様々な課題を
解決する各種ソフトウェア
高性能・低コスト・高信頼性
データベース専用マシン
データベースに関連するナレッジと技術力を追求し、ソフトウェア、ハードウェア、サービスを最適に組み合わせてお客様に提供する会社です。
高速・低コスト・セキュア なデータベース環境を実現
データベースのアクセス監査ツール(自社開発)
マルチデータベースのリアルタイムレプリケーションツール
データベースのパフォーマンス監視・分析ツール(自社開発)
世界最速のデータベース専用高速マシン(自社開発)
4
バーチャルデータプラットホームツール
Copyright @2017 Insight Technology, Inc. All Right Reserved 5
Sep 5th-7th
Akihabara UDX Conference
Copyright @2017 Insight Technology, Inc. All Right Reserved
2012年 db tech showcase
Oracle
MySQL
PostgreSQL
SQLServer
Copyright @2017 Insight Technology, Inc. All Right Reserved
2016年 db tech showcase
Oracle IBM DB2
mongoDBClouderaIMPALA
Hortonworks
presto
InfoFrameHP
NonStopSQL
MySQL
EDB
MarkLogic riak
PostgreSQL
actian
TERADATA
NETEZZAHiRDB
Amazon
Redshift cassandra
MariaDB
Cloudant
SAP/HANA
Picotal
HAWQ
CouchbaseSymfoware
hadoop VERTICAVOLTDB
cloudera
TREASURE
SQLServer
MAPRSybase
IQPivotal
Greenplum
Copyright @2017 Insight Technology, Inc. All Right Reserved
データも適材適所?! [データベースマッピング]
HiRDB
IBM/DB2
Symfoware
HP NonStop
Oracle
SQL Server
Cloudant
Amazon Redshift
TRESURE DATA
MySQL
PostgreSQL
MariaDB
EDB
Cloudera IMPALA
Presto
HAWQ
MarkLogic
Cassandra Riak
mongoDB Couchbase
MAPR
Cloudera
Hortonworks
Mission Criticalhadoop Leader Challenger
SQL on Hadoop
Cloud NoSQL
Hadoop
TERADATA
SybaseIQ
Pivotal
VERTICA
NETEZZA
Actian
SAP/HANA
BigData
Copyright @2017 Insight Technology, Inc. All Right Reserved
ロジカルレプリケーションテクノロジー
Mainframe
On PremCloud
RDBMS
Hadoop
Data Warehouse
Kafka
Files
On PremCloud
RDBMS
Hadoop
Data Warehouse
Files
異なるOS、バージョン、RDBMS間のデータ連携
データ分散やデータベース統合など複雑な構成でのデータ連携
データ保護、移行/アップグレード、レポーティング、リアルタイムBI、参照処理のオフロード等の用途で使用可能
Copyright @2017 Insight Technology, Inc. All Right Reserved
ロジカルレプリケーションテクノロジーって?
Copyright @2017 Insight Technology, Inc. All Right Reserved
データベースデータ連携(レプリケーション)~1
Source DB Target DB
EMP
DEPT
SALGRADE
EMP
DEPT
SALGRADE
初期同期(COPY)
11
Copyright @2017 Insight Technology, Inc. All Right Reserved
Source DB Target DB
Change Data
Capture
トランザクションログ
EMP
DEPT
SALGRADE
EMP
DEPT
SALGRADE
Change DataApply
データベースデータ連携(レプリケーション)~2
INSERTUPDATEDELETE
12
SQL
SQL
Copyright @2017 Insight Technology, Inc. All Right Reserved
レプリケーションテクノロジーのミニマムダウンタイム移行への適用
Copyright @2017 Insight Technology, Inc. All Right Reserved
OracleからSQL Serverへの移行アセスメント
14
Oracle
Copyright @2017 Insight Technology, Inc. All Right Reserved
Oracle Migration Assessment (OMA)
OMAとは
Oracle Migration Assessmentの略で、OracleからSQL Serverに移行を検討しているお客様にマイクロソフト様が提供する移行を評価するサービス移行時の問題点や問題の難易度、移行にかかる時間、移行時のコストを比較し、レポートとして提示
本サービスは、インサイトテクノロジー社他数社より実施・提供されインサイトテクノロジー実績は30社以上
15
Copyright @2017 Insight Technology, Inc. All Right Reserved 16
OMAレポート構成、オブジェクト、プロシージャ、機能、運用、ライセンスの6つのカテゴリ毎に評価
Oracle Migration Assessment (OMA)
Copyright @2017 Insight Technology, Inc. All Right Reserved
アセスメント結果サマリー(OMA)~1
17
Copyright @2017 Insight Technology, Inc. All Right Reserved
アセスメント結果サマリー(OMA)~2
18
Copyright @2017 Insight Technology, Inc. All Right Reserved
OracleからSQL Serverへデータ移行方式の検討
19
Copyright @2017 Insight Technology, Inc. All Right Reserved
SQL Server Integration Services(SSIS)
コピー&変換
SSISとは
SQL Server Integration Servicesの略で、SQL Server の標準機能として搭載されている。データの「コピー」や「変換」などが行える "データ転送ツール"
20
Oracle
Copyright @2017 Insight Technology, Inc. All Right Reserved
移行によるサービス停止
移行時には、提供サービスを停止する必要がある…
サービス停止は、できる限り短時間にしたい サービス切替時間確認時間は短縮出来ない
データ移行 サービス確認
0 2 4 6 8 10 12 14 16
SSISによる移行
サービス停止線表(例)
サービス停止 データ移行 サービス確認 サービス開始
21
Copyright @2017 Insight Technology, Inc. All Right Reserved
初期コピー
レプリケーションを適用したミニマムダウンタイム移行
ArchiveLog
移行
前同
期移
行当
日
22
=同期状態
トランザクションログから抽出された変更情報を適用
本番
本番
ArchiveLog
ArchiveLog
ArchiveLog
Oracle
Copyright @2017 Insight Technology, Inc. All Right Reserved
データベース移行時間
データ移行
サービス確認
サービス確認
0 2 4 6 8 10 12 14 16
レプリケーションによる移行
SSISによる移行
サービス停止線表(例)
サービス停止 データ移行 サービス確認 サービス開始
データベースレプリケーション技術を移行に適用することで移行当日は、切替後のサービス確認がメインとなりデータベース移行によるサービス停止時間を最小化することが出来る!
23
Copyright @2017 Insight Technology, Inc. All Right Reserved
CaseStudy:某大手小売系発注システム移行
24
移行対象 移行元 移行先
OS Solaris Windows
データベース Oracle10gR2 SQLServer2016
プログラム言語 Java Java
プロシジャー PL/SQL T-SQL
シェルスクリプト bash Powershell
データローダー SQL Loader SSIS
ユーザ様背景
「Oracleを使用して構築したシステムのハードウェア更改があった。そのタイミングでOracleのアップグレードを検討していたが、アップグレードによるテストが必要であり、テスト時の作業工数が発生してしまう。Oracleのライセンスは会社として大量に購入しているが、毎年のようにライセンスの変更(値上げ)が行われていたためOracleをどうにかしないといけないと考えていた。MSのプログラムでアセスメントを実施」
Copyright @2017 Insight Technology, Inc. All Right Reserved
CaseStudy:某大手小売系発注システム移行
25
SQL Server新規ライセンス
T-SQLへ書換
シェルスクリプト書換
SSISへ書換
Javaソースクエリ書換
アップグレード対応書換
テスト工数
Oracle継続ライセンス
テスト工数
移行工数
Javaソース内のクエリの変換と、SQL Loader+シェルスクリプトの書き換え工数が発生するものの、PL/SQLが少ないため、移行は容易と判断。Oracle(アップグレード+テスト工数)とSQL Server(新規購入+変換工数+テスト工数)の見積もりを比較したところ、価格的にはほぼ同程度だったため、移行を実行現在は、移行終了しパフォーマンス劣化無く運用開始した
Oracle
Copyright @2017 Insight Technology, Inc. All Right Reserved
レプリケーションテクノロジーのデータ分析基盤への適用
Copyright @2017 Insight Technology, Inc. All Right Reserved
[レプリケーションテクノロジーの適用]データ分析は、バッチ指向からリアルタイムへ
従来型のデータ分析は、主に企業の経営層、マーケティング部門がユーザであり、企業戦略の意思決定プロセス(中長期的戦略)に活用されてきた。
その場合には、前日までのデータが夜間バッチで取り込まれたDWHを使用して分析を行っており分析は週次・月次で行われているケースが未だに多くある。
Sources Data Warehouse
Dashboards
Reports
Analytics
Spreadsheets定期的に抽出
経営者
分析担当者
中長期的企業戦略策定
SCM
ERP
CRM
Oracle
Copyright @2017 Insight Technology, Inc. All Right Reserved
[レプリケーションテクノロジーの適用]データ分析は、バッチ指向からリアルタイムへ
既に海外では、リアルタイム分析を行うことで重要なビジネスイベントに対して迅速にアクションを起こすための意思決定を可能にしている事例が多い
従来型のデータ分析が過去に発生した事象を分析するのに対してリアルタイム分析は今現在発生しているまたは、これから何が起きるのか?を分析することを目的としている
SourcesFiles, DB, SNS
マネージャ行動
JSON
XML
イベント発生
Data Warehouse
日常業務行動策定
Oracle
Copyright @2017 Insight Technology, Inc. All Right Reserved
従来型DWHとリアルタイムDWH
従来型DWH リアルタイムDWH
ユーザ 経営層・マーケティング部門 現場マネージャ
分析目的 中長期的経営戦略策定 日常業務における意思決定
分析頻度 日次・週次・月次 リアルタイム
分析対象データ 定期蓄積データ 定期蓄積データ+イベントデータ(IOT)
お役立ち 経営戦略マーケット需要予測
レコメンデーション最適化リアルタイム需要予測リアルタイム不正検出電力需要予測・・・・・
SCM ERP CRM
Copyright @2017 Insight Technology, Inc. All Right Reserved
レプリケーションを適用したマルチDB分析基盤運用
3
トランザクションログから抽出された変更情報を適用
↓
=同期状態
基幹システム 情報系システム
Azure SQL DW
ArchiveLog
ArchiveLog
ArchiveLog
REDOLog
Oracle
Copyright @2017 Insight Technology, Inc. All Right Reserved 31
移行対象 レプリケーション元(基幹システム) レプリケーション先(データ分析基盤)
OS Windows / IBM zOS Windows / Linux(Cloud)
データベースSQL Server
IBM/DB2 × 3IBM/IMSDB
SQLServerHadoop(Cloud)
ユーザ様背景
チューリッヒ生命保険では、有効証券請求時にリアルタイムな情報を手に入れることが、プロセス改善に必要とされていました。またプロセス改善には日常的な検索が必要とされ、メインフレームとWintelプラットフォームの双方で構成される5つのポリシー管理システムから機能検索をしていました。(うち4システムはメインフレーム)
問合せ処理システムと基幹システムを分離するために、不変的なアクセスが可能な基幹システムデータベースと問合せ処理用データベースを必要としていました。コピーされたデータベースは、可能な限りリアルタイムに同期する必要がありました。
CaseStudy : チューリッヒ保険会社
Copyright @2017 Insight Technology, Inc. All Right Reserved
BI / Data AnalyticsBI / Data Analyticsマーケティング分析・財務分析・クレーム処理などにデータ分析基盤を活用しています。
Copy Data (Data Replilcate)メタデータを含むトランザクションデータをニアリアルタイムでデータ分析基盤に反映することで現在発生しているイベントに対して遅延なく分析を行うことが出来ます。
Data storageデータ分析基盤としてSQL Serverとクラウド上のHadoop使用しています
structured data unstructured data
Dataソースデータとして社内外の無償・有償の外部データ及び社内の基幹データベースのデータを分析のために適用しています。
IBM DB2 on M/F
IBM IMS DB on M/F
IBM DB2 on iSeries
Microsoft SQL Server
JSON
XML
TEXT
CaseStudy : チューリッヒ保険会社
Copyright @2017 Insight Technology, Inc. All Right Reserved
ロジカルレプリケーションツール
Copyright @2017 Insight Technology, Inc. All Right Reserved
Source DB Target DB
トランザクションログ
EMP
DEPT
SALGRADE
EMP
DEPT
SALGRADE
Attunity Replicateデータベースデータ連携
INSERTUPDATEDELETE
34
Copyright @2017 Insight Technology, Inc. All Right Reserved
LUW(Linux/Unix/Windows)
MainframeDB2IMS/DBVSAM
IBM iSeriesDB2/400
HP NonStopEnscribeSQL/MP
Oracle
SQLSever
MySQL
PostgreSQL
SYBASE
IBM/DB2
hadoop
サポートデータベース
LUW(Linux/Unix/Windows)As same as Replication sources
Large DW PlatformsActian Vector
Oracle ExadataMicrosoft PDW
HP VerticaPivottal Greenplum Database
TeradataIBM Puredata(Netezza)
Amazon Redshift Azure SQL DW
Hadoop(SAP/HANA)
Replication TargetsReplication Sources
Copyright @2017 Insight Technology, Inc. All Right Reserved
DBサーバ側エージェントレス データベースへのソフトウェアインストール不要
初期同期(FULL LOAD)から差分同期(CDC)までシームレスにデータ連携 初期同期から差分同期へ自動切り替え
ブラウザベースのGUIによる簡易設定・監視 短期のスキルトレーニングで同期設定と稼働監視が可能
異種データベース間のテーブル高速データ転送・同期(マルチDB対応) オンプレ・クラウドを問わない主要データベース間のデータ同期をサポート
36
Copyright @2017 Insight Technology, Inc. All Right Reserved
On-Premises(VAIO S13)
Processor : 1 coreMemory : 1024MB
DEMO
No TABLE NAME COUNT
1 CUSTOMER 30,000
2 DISTRICT 10
3 HISTORY 30,000
4 ITEM 100,000
5 STOCK 100,000
6 ORDERS 30,000
7 ORDER_LINE 299,617
8 NEW_ORDER 9,000
9 WAREHOUSE 1
175MB 598,628
Service Plan : BasicLocation : Japan WestPerformance Level :
S0(10 DTU)
データベース負荷テストベンチ マーキング ・ ツール
TPC-C
37
Oracle
Copyright @2017 Insight Technology, Inc. All Right Reserved
データレプリケーション技術を適用したデータベース移行と分析基盤の構築
まとめ
38
Copyright @2017 Insight Technology, Inc. All Right Reserved
データレプリケーションテクノロジーを活用してミニマムダウンタイム移行やデータ分析基盤構築を!
データ処理種別毎に適したデータベースを運用する時代となった
→ 異なるデータベース・ストレージで管理されたデータをオンプレ・クラウド基盤に同期する必要がある。可能であればリアルタイムで・・
→ クラウドを含む異なる環境間でデータ連携は、移行用途としても適用可能