第一回Soft layer勉強会グローバル分散アーキテクチャ

© 2014 IBM Corporation

SoftLayer による多地域分散型システムの構築例2014/07/04

日本アイ・ビー・エム株式会社クラウド事業統括　新規事業開発高良真穂 Twitter @MahoTakara

© 2014 IBM Corporation2

自己紹介

髙良真穂 ( たから　まほ )

日本アイ・ビー・エム株式会社　クラウド事業統括新規事業開発エキスパート・テクノロジー・アーキテクト担当部長

技術情報提供ブログ　ソフトレイヤー探検隊隊長 http://goo.gl/Au2lUS Twitter @MahoTakara

中途入社以来、金融、航空、海運、物流、自動車業界などの SI プロジェクトにおいて、技術リーダーを担当してきました。近年 3 年程前から、クラウド・コンピューティングを利用したシステム構築を担当しており、現在は、 SoftLayer を活用した、新規ビジネス開拓を担当しています。

ソフトレイヤー探検隊検索検索クリック


目次

本事例の背景要件に対する従来型システム構築の課題クラウドによって解決できたビジネス課題クラウド活用上の考慮点取り組み

• セキュリティ• 可用性＆継続性• アプリ設計＆開発• システム運用（監視、バックアップ）• 連続的開発 (DevOps & Continuous Delivery )

まとめ


本事例の背景　多地域分散型システムが求められた背景

IMO （国際海事機関）の定めた国際条約が強制化（２０１６年新規建造契約分から）

• 船舶の衝突事故や海難事故による、人命の保護、汚染物質流出による環境破壊防止を目的とした、目的指向型 (Goal Based Standards) 設計基準に基づく、船体構造の強化、および、設計の透明性

• 第三者機関の運営のもとで、船舶建造図書（ Ship Construction File ）の保管が義務化

船舶建造図書 (SCF) を陸上で保管（アーカイブ）して、船上に提供するシステムの構築が求められた。

• 大型の外航船は、世界の海を航行し、寄港地で、検査、保守、改造などが行われ、就航から２０年から３０年利用され、その期間、船舶建造図書のアーカイブを維持する必要がある。

画像出展：日本海事協会ホームページ、 Wikipedia


要件に対する従来型システム構築の課題俊敏性　　世界４大船級の中で、先行してシステムを構築し、業界デファクトスタンダードを目指す。サービス早期開始と継続的改良が必須である。

事業継続性　　地震多発地帯の日本において、世界に向けて図面アーカイブサービスを提供するために、災害対策は、国際的信頼を得るための必須条件である。

利便性　　多地域（中東、欧州、南米等）に、船体図面（大きなサイズのファイル）のダウンロードサービスを提供するため、距離遅延の少ない高速ダウンロードが必須である。

従来型システム基盤では、経済性や運用性などの障壁が多く簡単に実現できない。


要件に対する従来型システム構築の課題　（利便性距離遅延）

距離往復時間 1GファイルのKm ミリ秒 (Hr)転送時間

日本（大手町） 5 16 0.2ニューヨーク 10850 198 11.3

ロンドン 16420 276 15.7　　 G https基点東京都内、１ファイルは、を用いた場合の実測に基づく計算値

サーバ場所

実測値＆計算値

距離遅延の課題　　パケットの伝送距離に比例して遅延が発生する。　これにより、ファイル転送時間も長く

なる。　特に大きなサイズのファイルは、利用者の近くに、サーバーを配置する必要がある。

200msec

280msec

10850Km 5570Km

都市間距離計算　 http://gakusyu.ne.jp/linksyu/earth.htm

パケット往復時間と距離の関係


クラウドによって解決したビジネス課題

早期立上げ市場リード、競争の激化と伴に機能追加• 迅速な基盤構築が可能となった。• 開発環境や本番環境の増設は、テンプレートから複製するだけで対応可能• エラスティック（伸縮自在）な資源割当と相応のコスト発生が可能となった。

サービスの継続性、利便性• 海外にもサーバーを配置して災害対策が可能になった。• 欧州、北米に配置することで、距離遅延対策が可能になった。

2013 年4月現在

世界の地震発生状況をモニターするサイト

　サークルの大きさが地震に規模を表し、色が過去からの時間を表している。日本は、世界の中でも最も地震の多い地帯に位置しており、海外に向けてサービスを提供する上で災害対策が必要であることがわかる。

http://www.iris.edu/dms/seismon.htm


クラウド活用上の考慮点

セキュリティの懸念

可用性の懸念

クラウドに適合したアプリケーション設計＆開発

システム運用（監視＆バックアップ）

拡張と進化 (DevOps & Continues Delivery)


SoftLayer のアーキテクチャを生かす

セキュリティ設計


SoftLayer SoftLayer のネットワーク・アキテクチャーのネットワーク・アキテクチャーPublicとPrivateのVLANを標準で提供。グローバル・プライベート・ネットワークでDC間接続

プライベート VLAN

パブリック VLAN

iSCSI

ロードバランサFirewall

SoftLayerDNSサーバ

インターネット

凡例

サーバ

パブリック VLAN

プライベート VLAN

ロードバランサファイアウォール

SoftLayer ・セグメント

ストレージ

SSL VPN

SSL VPN

オブジェクトストレージ　

仮想専有サーバー　

仮想サーバー

物理専有サーバー　

NAS 　

eVault　

SoftLayer NTPサーバ

ユーザー　

管理者　　

CDN

GlobalLB

Portal/API

SoftLayer WAN

SoftLayer WAN 　

データセンターデータセンター


多段ファイアウォールに加え多層防御へクラウドの利点を損なわない多層防御設計

Hardware Firewall

TCP 80 port

TCP 443 port OS Firewall

価値の高いデータ

Crackers live on the Internet

1st

2nd

3rd

4th

クラウド基盤レベルファイアウォール

サーバーレベルＯＳファイアウォール

アプリレベルアクセス制御

データレベル暗号化保存

Download AreaUpload Area

ＡＰサーバ

DBサーバ

従来型ＦＷ80,443 5001

ＡＰサーバー

ＤＢサーバー

プライベート・ネットワーク

5th


SoftLayer の特長　ネットワーク・セキュリティー

Linux,　Windows の OS アップデート、　アンチウィルスのパターン更新は、プライベート・ネットワークのリポジトリ・サーバーから実行できます。

すべでのデータセンターは下図のように、パブリック、プライベート、管理用のアクセスルートが分離・独立しています。お客様は、各キャリア経由の VPN接続（ SSL 、 PPTP 、 IPSec ）で、サーバにアクセスできます。 SoftLayer は、安心して使えるお客様

環境を構築するためにセキュリティサービスを提供しています。これらのサービスに含まれるものは :脆弱性スキャンアンチウィルスとアンチスパイウエアホスト環境による不正侵入検出ファイアウォールとネットワークからの脅威に対する防御　 (IPS,　DDoS)仮想プライベートネットワーク　 (VPN)　(IPSec,　SSL,　PPTP)SoftLayer カスタマーポータルに対する二段階認証配送されるデータの信頼性を保つ SSL証明書プライベート・ネットワークからアクセス可能な Windows 、 Redhat 用の更新サーバーMaAfee　Virus　Scan と Host　Intrusion　ServerRescueLayer®　リソースのリカバリー・ツールNetwork　IDS　ProtectionNessus®　脆弱性アセスメントとレポートKnowledgeLayer®　ベスト・プラクティス

■安心できる環境構築のために

赤：パブリック・ネットワーク青：プライベート・ネットワーク緑：管理用ネットワーク


SoftLayer の特長　業界標準と規定の遵守お客様に安心してご利用いただくため、業界標準と規定に則った標準に対する遵守を進めております。 SoftLayer のすべてのデータセンターは SSAE16 （データセンターサービスでの内部統制の有効性を評価する保証基準）に準じ、その報告書は SOC1,　SOC2 として認証済みです。その他、以下の業界標準の規定に対して取得しております

Service Organization Control (SOC) 2 SoftLayer は、 SOC　2　Type　II レポートをすべてのデータセンターで取得しています。セキュリティオーディット、稼働率、プロセスインテグリティ、プライバシー、信頼性につい

てのレポートです。レポートは、 NDA を結んだお客様に提供可能です。

Safe Harbor この認証は、 SoftLayer が指針の元、適切なプライバシー保護を提供していることを示してい

るものです。Payment Card Industry Data Security Standard (PCI-DSS)

SoftLayer は、 PCI で統制されたデータの取り扱いについて、 PCI　Level　3 の認可業者になっています。

この認証は、お客様のワークロードについて適用可能ではありません。Federal Information Security Management Act (FISMA)

SoftLayer は、いくつかのデータセンターで、 FISMA コンプライアンスを取得済みです。Health Insurance Portability and Accountability Act (HIPAA)

Cloud Security Alliance (CSA) SoftLayer は、 CSA　Security,　Trust　and　Assurance　Registry　(STAR) に則って、セルフア

セスメントを公表しております。SoftLayer は、 CSA-STAR　Certification　and　Attestation の有資格者であると認識されてお

ります。これは、サードパーティから SOC　2　Type　II　のアセスメントを取得しているためです。

CSA-STAR　Continuous　の認証は、 CSA の元で開発されています

参照：　 https://www.softlayer.com/compliance


クラウドを生かした可用性設計


クラウドの可用性対策設計

クラウドの同一共有資源上で、仮想サーバ（インスタンス）２重化構成では、可用性は向上しない。仮想サーバ（インスタンス）を異なる共有資源上から取得できれば有意性があるかもしれないが、１サイトの可用性を超える期待はできない。他サイトとの間で２重化構成ができれば、災害対策と合せて一石二鳥である。

ＤＣ設備（自家発電・空調・セキュリティ）

クラウド共有資源(LAN,SAN,CPU, ストレージ）

仮想サーバ

仮想サーバ

2重化構成 !?

クラウド共有資源(LAN,SAN,CPU, ストレージ）

仮想サーバ

仮想サーバ

2重化構成 !?


グローバル高速ネットワーク・バックボーングローバル高速ネットワーク・バックボーングローバル・ユーザー展開の高速無料のプライベート・ネットワークを提供します。冗長化された Tier1 キャリアによる 10Gbps 以上の複数の高速回線で接続。

14 データセンター、 19　ネットワーク接続拠点 ( さらに 15カ国で 40 拠点拡充予定 )　　*　上記は予定図

パブリック、プライベート、 10Gbps帯域で接続　複数の Tier1 キャリアを冗長化接続し、高可用性接続を実現

プライベート接続は無料利用。 ( パブリック・アウトバウンド : 標準 5TB/月まで無料 )

2014 年に設立香港 (6月開設）日本中国インドオーストラリア

現在のデータセンター

ダラスワシントンサンノゼシアトルシンガポールアムステルダム

2014 年に設立ロンドントロントドイツパリメキシコブラジル


クラウドの可用性対策設計と災害対策

SoftLayer は、１契約内で世界中の何処のデータセンターを利用しても良い。複数 DC と併用することで、災害対策として、データセンタ設備や周辺環境を含めた冗長化構成を、低コストかつ迅速に構築することができる。・利用者の近くに配置される事で、データ転送時間を短縮できる。・グローバルロードバランサーで自動振り分けも OK

プライベートネットワーク


クライアントシンガポールワシントン DC


クラウドに適合するアプリケーションアーキテクチャ


クラウドを生かすデータ連携アーキテクチャ

局地的緊密な通信（セル内）と遠隔地の疎遠な通信（セル間）で使い分ける。ローカルバスとは、セル内通信であり、相手が応答しないと処理が成立しない同期型通信である。グローバルバスとは、セル間通信であり、相手が停止していて応答しなくても、自己の処理に影響を受けない非同期通信である。

バス（ BUS ）とは、ハードウェアモジュール間で、データや制御信号などをやり取りするための専用の通信路を示す。　構成ノード間の通信について、この比喩的表現を用いて、グローバルバスとローカルバスと名付けて、使い分けの概念を決定した。

ローカルバス

グローバルバス

ローカルバスローカルバス

DBノード

ＡＰノード

ＬＤＡＰノード

ファイルノード

DBノード

ＡＰノード



DBノード

ＡＰノード



MQ ノードrsync など




ローカルバスとグローバルバスの実装

グローバルバスは、遠隔地との疎遠な通信を対象とし、相手の応答を前提としない。ローカルバスは、局地的緊密な通信を対象として、相手の応答を前提とする。

グローバルバス（セル間）

メッセージ転送 MQ （業務処理＆データ連携）SMTP （監視通知）

ファイル連携＆共有 rsync （ディスクの遠隔同期）ディレクトリ（利用者情報） LDAP （ LDAPサーバ間複製）

ローカルバス（セル内）

メッセージ転送 RMI-IIOP 　　　（業務処理＆データ連携）SI-BUS （ WAS内包の JMS転送層）JDBC 　　　（ RPC 型 SQL プロトコル）MQ クライアント接続

ファイル連携＆共有 NFS, Samba （ネットワーク・ドライブ）ディレクトリ（利用者情報） LDAP 　　　（ディレクトリ・プロトコル）


クラウドを生かしたツール＆バックアップ


グローバルシステム運用監視における課題

運用監視の大半の仕組みでは、各サーバーにデプロイされたエージェントが、運用管理サーバと連携して、運用管理サーバ内に稼動情報やメッセージを蓄積する。この方式では、運用管理サーバが設置された地域が、被災した場合、他地域のサーバの運用監視が出来なくなる。先進国の中で、唯一、地震多発地帯に位置する日本固有の問題であり、クラウドを活用する点で、考慮が必要な分野である。

Server

日本データセンタ北米データセンタ

TraditionalSystemOperation Center

Agent

Server

Agent

Server

Agent

欧州データセンタ

MonitoringServer

DisasterStrike


クラウドモデルでの運用監視の理想像

クラウド環境における仮想サーバーの監視の理想は、自律的自己監視、相互監視、日本と日本以外に存在するシステム管理者へのイベント通知である。　そして、仮想サーバのテンプレートに内包されることである。この方式では、業務量や展開範囲が拡大した場合でも、仮想サーバのテンプレートに包含される監視ツール群が、ディプロイ後に、インスタンスの稼動とともに、監視が開始される。

アジア

北米

SoftLayer プライベート

オペレーション・センター

システム・オペレータ

チェック機能

チェック機能

チェック機能

欧州


各地のサーバー一覧を見て問い合わせが可能


高速プライベート N/W を生かすデータバックアップ

バックアップデータは、 rsync を用いて、遠隔地サーバで保管する。rsync は、差分符号化技術により転送量を最小化しつつ、遠隔地間の同期を実現する。

DBサーバ

ＡＰサーバ

Direct

nfs cifs

Win バッチサーバ

/scfac1

/fstore1.0

/vhost0345

/data_backup/log_archive/config_saving

/backup1

DBサーバ

ＡＰサーバ

Direct

nfs cifs

Win バッチサーバ

/vhost0267

/db2inst1/ldapX/logs

/scfac1

/fstore1.0

/vhost0345

/data_backup/log_archive/config_saving

/backup1

rsync

rsync

北米へバックアップ

アジアへバックアップ

相互同期

rsync

ブロック・ストレージブロック・ストレージ

詳細詳細

/vhost0267

/db2inst1/ldapX/logs

SoftLayer の高速プライベートネットワークを利用


システムの拡張と進化DevOps & Continues

Delivery


Dev ＆ Ops 取り組みへの考慮

ＤｅｖＯｐｓとは、• 開発と運用を密に連携させるための手法や概念などを総称したもの。例えば、ソフト

ウェアの新機能や改修などの開発からリリースまでの期間を大幅に短縮し、サイクルを早く回すことで、ソフトウェア品質を向上させる、あるいは、エンドユーザーに対するサービスを強化するといった効果がある。

市場リードのため早期リリースと継続的改良 ( 開発と運用の並行）• クラウドのミドルウェア従量課金対象外の製品が課題• Dev&Ops の課題として、ソフトウェア・ライセンス費の制約がある。

制約を回避する策• DB2,WAS,IBM LDAP,MQ は、ひとつのＯＳ上で複数のインスタンス作成可能• 環境番号の概念を取り入れ、１仮想サーバ上に、複数のインスタンスを識別し

て構成できるコンフィグレーションの概念を導入


Dev ＆ Ops を支援する　仮想環境 on 仮想ホスト１サーバーに複数インスタンスが共存できるため、環境の統廃合が容易となる。


DC ファイアウォール

DC ファイアウォール

シンガポール

ワシントン DC

本番環境APサーバ

HTTPS

HTTPS

本番環境DBサーバ

本番環境バッチサーバ

テスト・開発環境APサーバ

テスト・開発環境DBサーバ

テスト・開発環境バッチ

業務用インスタンス

訓練用インスタンス



テスト用インスタンス

開発用インスタンス



本番環境APサーバ

本番環境DBサーバ

本番環境バッチサーバ

テスト・開発環境APサーバ

テスト・開発環境DBサーバ

テスト・開発環境バッチサーバ









データ同期データ同期










まとめ


まとめクラウドで、多地域分散の設計を行うことで、事業継続性の向上、高い可用性、利便性の向上（ダウンロード時間の短縮）を達成することがきた。

SoftLayer は、基本契約範囲内で、各国のデータセンタ上に、仮想サーバー（インスタンス）を稼動させることができるため、従来式の基盤構築では障壁が高く実現できなかった設計が可能となった。

セキュリティでは、オンプレミスと同等以上のセキュアなシステムとすることができた。

地震多発国にある日本にとって、ＩＴサービスを提供する上で、クラウドおよび、多地域分散の設計は、強力な手法となる。

今後、クラウド業界の標準化が進むため、クラウド上の多地域分散アーキテクチャー設計は、ますます重要となる。


+

ソフトレイヤー探検隊検索検索クリック

第一回Soft layer勉強会グローバル分散アーキテクチャ

Software

Transcript of 第一回Soft layer勉強会グローバル分散アーキテクチャ

第一回Soft layer勉強会 グローバル分散アーキテクチャ

Software

Transcript of 第一回Soft layer勉強会 グローバル分散アーキテクチャ

第一回Soft layer勉強会グローバル分散アーキテクチャ

Transcript of 第一回Soft layer勉強会グローバル分散アーキテクチャ