Hundreds of Thousands of Customers in 190...
Transcript of Hundreds of Thousands of Customers in 190...
![Page 1: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/1.jpg)
ハイブリッド構成を支えるAWSテクノロジー 荒木靖宏 プリンシパルソリューションアーキテクト 玉川憲 技術統括本部 本部長
![Page 2: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/2.jpg)
Wifiは全セッション会場 展示会場にて、ご利用いただけます。
SSID: awssummit #awssummit
![Page 3: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/3.jpg)
自己紹介 • 名前
– 荒木 靖宏 • 所属
– アマゾンデータサービスジャパン株式会社 プリンシパルソリューションアーキテクト
• ID – Twitter: ar1
• 好きなAWSサービス – Amazon Virtual Private Cloud – AWS Direct Connect
![Page 4: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/4.jpg)
なぜハイブリッド環境なのか?
既存のアセットを最大限に活かす
AWSのメリットを享受する
![Page 5: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/5.jpg)
ハイブリッド構成
![Page 6: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/6.jpg)
開発での利用パターン
バーチャルマシン
開発 ステージング
環境の持ち運び
再現性 本番
![Page 7: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/7.jpg)
DRでの利用パターン
DR
誘導・切替 Internet
本番
データ同期
データベース同期
![Page 8: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/8.jpg)
複数のシステムがハイブリッドでやりとり
業務B 業務A
移行:システム移行、データ移行、切替
VPN
監視・制御
システム間連携
![Page 9: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/9.jpg)
1つのシステムがハイブリッド
バースト対応 レイテンシ
帯域 バッチ
![Page 10: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/10.jpg)
ハイブリッド構成例
運用LAN
社内LAN
本番 本番
ステージング
開発
AZ:B AZ:A
AD DNS
VMware
Storage Gateway
Manage ment
Console
Operation Terminal
アクセス チェック
Hybrid 監視
Internet
データセンター
Public Segment Private Segment
Private Segment Public Segment
Private Segment Public Segment
VM VM
ボリュームコピー VM移行
監視
Router
運用機能の一元化
拠点間広域接続網
データ
Internet
![Page 11: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/11.jpg)
ハイブリッドシステムへの移行に考えること
• リージョン設計 • 対象アプリ決定 • VPC設計 • インターネット
VPN • 専用線
• ブロックデバイス • ファイル • VM • DB
• ユーザ管理 • 機器変更管理 • 監視 • ログ • ステージング環境テスト
• ユーザ誘導
インフラ データ:移行とバックアップ 運用
![Page 12: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/12.jpg)
VPC内のシステム構築のために
• ネットワーク分割のベストプラクティス – ログインする必要のないELB,RDS, Elasticache用のサブネット
• 目的別には分けずに、/22や/24など、わかりやすく大きめのネットワークを指定する。
– ログインする必要のあるEC2は目的別に。
• AWSのAPI使用にはインターネット接続が必要 – EIPを使用 – NATインスタンスを使用 – オンプレ側インターネット線の使用
• AWSのリソースは原則ホスト名を使ってアクセス
![Page 13: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/13.jpg)
AWS Direct Connect • AWSとデータセンター、オフィス、コロケーション環境間を専用線で接続
• 特徴 • ネットワークのコスト削減 • スループット向上 • インターネットベースの接続より帯域が安定
お客様
AWS Cloud EC2, S3などの Public サービス
Amazon VPC
専用線サービス
コロケへの専用線引き込みと違ってサーバ設置場所を限定しない。 相互接続ポイントはサーバの置かれた建屋とは独立した場所
![Page 14: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/14.jpg)
CloudHubのHubとしてのVPC
Virtual Private Cloud
本社
Virtual Gateway
VPN Connection
AWS Direct Connect
Router
![Page 15: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/15.jpg)
ファイルコピー
S3へ
ファイル転送高速化のために • バケットのリージョンを確認 • 数十MBを超えるならばマルチパート化 • 並列転送 • 数十TPSを超えるならばキー名を分散化 • 無駄なオペレーションは使わない
インスタンスへ
任意のプロトコル、 任意のアプリケーションを利用可 転送高速化プログラムも • Tsunami-UDP • Aspera • Skeed
![Page 16: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/16.jpg)
ブロックデバイスコピー
S3へ
AWS Storage Gateway 分割構成が必要な場合 – キャッシュ型:32TB/ボリューム – 保管型:1TB/ボリューム
インスタンスへ
DRBD DRBD Proxy • 高遅延、低速度の場合
![Page 17: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/17.jpg)
VM
Storage Gatewayを使ったボリュームコピー
Storage
Management Console /API端末
vCenter&OS Operation Terminal
VMware
VM Storage Gateway
Upload Buffer Volume
SAN接続
i-SCSI
Internet
差分抽出
差分snapshot
差分 snapshot
EBS作成 (全分)
Attach&Mount
Storage Gateway
![Page 18: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/18.jpg)
VM Import/Exportを使ったシステムコピー
Storage
Management Console /API端末
vCenter&OS Operation Terminal
VMware
VM
VMDK Volume
SAN接続
Internet
VM Import API実行
Launch
Attach&Mount
VMDK
Vcenterから export/import
![Page 19: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/19.jpg)
データベースの同期 • ファイル、ブロック、バーチャルマシンのコピーでは対応できないアプリケーション
– レイテンシやセキュリティが問題になることも
MySQL Slave
MySQL Master
Internet
![Page 20: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/20.jpg)
http://awsofa.info
西海岸 東海岸
転送最適化サービスを使った例
• データ圧縮 • 重複排除 • TCP最適化 • 伝送路暗号化
• OFAではCloudOptを利用 • Market Place でAMIも
– CloudOpt (時間課金有り) – Silver Peak (BYOL)
![Page 21: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/21.jpg)
CloudOptの動作イメージ(MySQLのサンプル)
AWS Cloud
Region Region
MySQL Slave
MySQL Master
Internet
![Page 22: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/22.jpg)
AWSの提供する運用支援サービス
• AWS Identity and Access Magement
• AWS OpsWorks • AWS Trusted
Advisor • AWS
Management Console
• 各種言語用SDK
• Amazon Cloudwatch
• Amazon SNS
• AWS Data Pipeline
マネージメント 監視と通知 ログ
![Page 23: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/23.jpg)
IAMによるユーザ権限管理 APIやマネジメントコンソールからの アクセスに対して、権限をチェック
全操作可能
S3はすべて操作可能
S3参照だけ
![Page 24: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/24.jpg)
IAM security token service (STS) • 一時期的(60分〜)なユーザ権限を与える
ADやLDAP情報と
連携
![Page 25: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/25.jpg)
サードパーティー(APN ISV)の提供する運用支援サービス
• Puppet Labs (puppet) • Opscode (chef)
• AppDynamics • new relic • AppNeta
• splunk • sumologic • loggly • treasure data
マネージメント 監視 ログ
![Page 26: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/26.jpg)
VPCによるステージング環境テスト
• EIP以外の設定は本番と同様にできる – IPアドレス – インスタンスタイプ
• CloudFormation – AWS::CloudFormation::Stack をつかった分割も有効 – Outputsにテスト目的情報を出力
![Page 27: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/27.jpg)
Route53の重み付け切り替え
新システム
現行システム
重み付け配分
![Page 28: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/28.jpg)
ハイブリッド構成例
運用LAN
社内LAN
本番 本番
ステージング
開発
AZ:B AZ:A
AD DNS
VMware
Storage Gateway
Manage ment
Console
Operation Terminal
アクセス チェック
Hybrid 監視
Internet
データセンター
Public Segment Private Segment
Public Segment Private Segment
Public Segment Private Segment
VM VM
Private AS
差分バックアップ
VM移行
監視
Back Bone Router
運用機能の一元化
拠点間広域接続網
データ
Internet
![Page 29: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/29.jpg)
AWSクラウドはハイブリッド構成への近道
地理的に分散したインフラストラクチャ
分散システムを支えるビルディングブロック
Availability Zones
AWS Regions
EC2
ロードバランサー
複数DCで冗長化されたストレージとDBのサービス
S3
RDS
DynamoDB
疎結合なサービスとプロセス間連携機能
の提供
SWF
SNS
SQS
![Page 30: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/30.jpg)
Internet
AWSにおける可用性向上の考え方
AP (Act)
AP (Act)
DB (Act)
Availability Zone
Availability Zone
Region
Amazon S3
EBS
ELB (Act)
ELB (Act)
Backup
• ネットワークレイヤー – フルマネージド
• Front Endレイヤー – マネージドLB – 冗長化、即座なリソースの切替
え
• Back Endレイヤー – 即座なリソース切換え、SWと
組み合わせたHA化
• Storageレイヤー – インスタンス間のDiskの
付け替え
• Backupレイヤー – マネージドサービスとして
の提供
• データセンター – データセンタレベルでの可
用性
![Page 31: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/31.jpg)
SDKによるサービスカスタマイズと省力化
• 各種言語用のSDKあり – http://aws.amazon.com/sdkforjava/ – http://aws.amazon.com/php/ – http://aws.amazon.com/ruby/ – http://aws.amazon.com/net/ – http://aws.amazon.com/jp/sdkfornodejs/
• サードパーティを含めれば主要言語はほぼ網羅
![Page 32: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/32.jpg)
既存環境からAWSとのハイブリッド
新規システム 既存システム
データ転送・ネットワーク
移行方法・利用ツール 移行コスト スケジュール 運用コスト システム連携
移行コスト スケジュール 運用コスト 切替方法
Amazon Redshift
Amazon EMR
AWS Direct Connect VPN Connection
Route 53 Amazon RDS Amazon S3 Amazon Glacier
AWS CloudFormation
IAM AWS Data Pipeline
![Page 33: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/33.jpg)
ハイブリッド構成はすでに現実
• AWSを使えばハイブリッド構成の構築をあらゆるユーザが – もっと簡単に – もっと安全に
• AWSをつかったハイブリッド構成ならば – 今あるシステムに加えて使用 – 現実的な時間 – 現実的なコスト
![Page 34: Hundreds of Thousands of Customers in 190 Countriesd36cz9buwru1tt.cloudfront.net/jp/summit2013/... · LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting對](https://reader034.fdocuments.net/reader034/viewer/2022042101/5e7db15e260f301edf2d22e6/html5/thumbnails/34.jpg)
Thank You ハイブリッド構成を支えるAWSテクノロジー 荒木靖宏 プリンシパルソリューションアーキテクト
玉川憲 技術統括本部 本部長