ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ...
Transcript of ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ...
![Page 1: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/1.jpg)
ECSを活⽤したシステム移⾏ 「乗換NAVITIME」での移⾏事例
株式会社ナビタイムジャパン 萱島 克英
![Page 2: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/2.jpg)
アジェンダ
• NAVITIMEサービスのご紹介
• AWS移⾏に⾄った経緯
• インフラ構築⼿順のCode化
• Amazon ECS、Auroraの活⽤事例
• 検証/切り替え
• クラウド移⾏とコンテナ化がもたらした効果
• 今後の展望
![Page 3: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/3.jpg)
NAVITIMEサービスのご紹介
![Page 4: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/4.jpg)
NAVITIME サービス紹介
有料会員数 約450万UU⽉間ユーザ数 約3500万UU(2016年9⽉末時点)
(2016年9⽉末時点)
![Page 5: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/5.jpg)
NAVITIME サービス紹介
![Page 6: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/6.jpg)
NAVITIME サービス紹介
サーバー台数 約3500台
ほぼ全サービスのバックエンドシステムをオンプレミスで運⽤
(VM含む)
![Page 7: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/7.jpg)
サービス紹介
公共交通機関での移動に特化したナビゲーションアプリ
‣ 乗換案内、時刻表、鉄道運⾏情報
‣ 乗換に最適な乗⾞位置の案内
‣ 混雑を避けたルートも選べる!
乗換NAVITIME
![Page 8: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/8.jpg)
サービス紹介
乗換NAVITIME
‣ 2012年にサービス提供開始
‣ サービス開始〜2017年3⽉まではオンプレでサービスを提供
‣ 現状はAWSとオンプレのハイブリッド構成(割合は9:1)
![Page 9: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/9.jpg)
AWS移⾏に⾄った経緯
![Page 10: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/10.jpg)
⼀般的なWEB 3階層+αでOSSをベースにした構成
NAVITIMEのインフラ
インターネット Applicationサーバー APIサーバー 経路探索エンジンサーバー
全⽂検索エンジンサーバー
DB
データセンター
サービス共有DB
![Page 11: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/11.jpg)
• 乗換NAVITIMEサービスは⾮常に多くのお客様にご利⽤いただいているサービス
• 繁忙期のアクセス数を予測しながらのサーバー調達・運⽤はインフラエンジニアの⼈的コストを増加
AWS移⾏に⾄った背景 - ①乗換NAVITIMEの利⽤者数増加
2012/1 2013/1 2014/1 2015/1 2016/1 2017/1
)(
![Page 12: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/12.jpg)
課題
• アクセス数の増加時に⾃動でスケールできていない。
• インフラ構築作業のCode化が進んでいない(部分的なCode化のみ)
AWS移⾏に⾄った背景 - ②インフラの課題
![Page 13: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/13.jpg)
オンプレにおけるインフラ構築/運⽤フロー
2
3
インフラエンジニアがデータセンターにてサーバーをラックに格納
インフラエンジニアがOS、ミドルウェアをインストール
4 サービス開発担当がサーバーにアプリケーションをDeploy
5 インフラエンジニアがサーバーを死活監視、障害発⽣時にサーバー追加、再起動作業を実施
1 インフラエンジニアがベンターとの調整/契約
![Page 14: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/14.jpg)
• 2014年〜2016年当時、⼀部のシステムでAWSを利⽤
• 徐々にAWSの活⽤メリットが⾒えてきた
• AWSのマネージドサービスを利⽤することによる開発効率の向上
• オンデマンドによるリードタイムの短縮といった効果が⾒えてきた。
AWS移⾏に⾄った背景 - ③部分的に利⽤していたAWS活⽤事例から効果が⾒えてきた
![Page 15: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/15.jpg)
交通コンサルティング (2014年〜)
AWS移⾏に⾄った背景 - ③社内に部分的なAWS活⽤事例があった
ログ転送
ログ加⼯
• ログの転送、加⼯、可視化をAWS上で実施
可視化
![Page 16: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/16.jpg)
交通コンサルティング (2014年〜) 可視化の例
AWS移⾏に⾄った背景 - ③社内に部分的なAWS活⽤事例があった
詳細は http://consulting.navitime.biz/インバウンド旅⾏者流動分析
交差点分析
![Page 17: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/17.jpg)
〜18ヶ国, 30以上の都市に対応している乗換検索アプリ・サイト〜
AWS移⾏に⾄った背景 - ③社内に部分的なAWS活⽤事例があった
▸ 2016/02 :EC2 中⼼の構成から ECS, Cloudformation を利⽤した構成へ移⾏
Amazon ECS
ELB
WEB Frontend
Amazon ECS
Amazon ECS
ELB
WEB API
Amazon ECS
Amazon EC2
ELB
Route Search Engine
Amazon EC2
CloudFront S3
RDS RDSS3Access Log
![Page 18: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/18.jpg)
• AWSを活⽤する事によるメリットが⾒えてきた
• AWSのマネージドサービスを利⽤することによる開発効率の向上
• オンデマンドによるリードタイムの短縮といった効果が⾒えてきた。
AWS移⾏に⾄った背景 - ③部分的に利⽤していたAWS活⽤事例から効果が⾒えてきた
AWSに乗換NAVITIMEのバックエンドシステムを移⾏する事を決断
![Page 19: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/19.jpg)
2つの移⾏案
• 案1:VM Import/Exportを使った移⾏案
• 案2:アプリケーションをコンテナ化し、ECSで運⽤する案
AWSへの移⾏⽅針検討
![Page 20: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/20.jpg)
社内で検討した移⾏の流れ
• 案1:VM Import/Exportを使った移⾏案
• 案2:アプリケーションをコンテナ化し、ECSで運⽤する案
AWSへの移⾏⽅針検討
![Page 21: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/21.jpg)
案1:VM Import/Exportを使った移⾏案
AWSへの移⾏⽅針検討
データセンター
VM Export & Import
![Page 22: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/22.jpg)
社内で検討した移⾏の流れ
• 案1:VM Import/Exportを使った移⾏案
• 案2:アプリケーションをコンテナ化し、ECSで運⽤する案
AWSへの移⾏⽅針検討
![Page 23: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/23.jpg)
案2:アプリケーションをコンテナ化し、ECSで運⽤
AWSへの移⾏⽅針検討
Dockerfile
タスク定義Amazon ECR
Dockerイメージdocker build docker push
Amazon ECS
アプリケーション実⾏環境のインストー
ル⼿順を記述
コンテナの実⾏環境を定義するファイル
docker pull
![Page 24: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/24.jpg)
どっちがよいか?
AWSへの移⾏⽅針検討
運⽤⽅式 メリット デメリット
案1:VM Import・Exportを使ってAMIで運⽤
‣ AWSへの移⾏コストが低い
‣ 運⽤に関する課題が残ったままになる。
‣ 運⽤コストは⾼い(ECS利⽤⽅式と⽐較)
案2:コンテナ化しECSで運⽤
‣ アプリケーション環境構築がCode化される。
‣ ECSがインフラエンジニアの作業を代替してくれる
‣ アプリケーションのポータビリティが上がる
‣ 他サービスのAWS移⾏でも流⽤が可能
‣ 初期環境構築に少し時間がかかる。(AMI利⽤⽅式と⽐較)
![Page 25: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/25.jpg)
どっちがよいか?
AWSへの移⾏⽅針検討
運⽤⽅式 メリット デメリット
案1:VM Import・Exportを使ってAMIで運⽤
‣ AWSへの移⾏コストが低い
‣ 運⽤に関する課題が残ったままになる。
‣ 運⽤コストは⾼い(ECS利⽤⽅式と⽐較)
案2:コンテナ化しECSで運⽤
‣ アプリケーション環境構築がCode化される。
‣ ECSがインフラエンジニアの作業を代替してくれる
‣ アプリケーションのポータビリティが上がる
‣ 他サービスのAWS移⾏でも流⽤が可能
‣ 初期環境構築に少し時間がかかる。(AMI利⽤⽅式と⽐較)
採⽤
![Page 26: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/26.jpg)
移⾏するにあたり実現したかった事
APサーバーの オートスケーリング
インフラエンジニアの運⽤コスト削減 リードタイムの短縮
と の有効活⽤で実現させたい!
![Page 27: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/27.jpg)
移⾏するにあたり実現したかった事
Amazon ECSAuto Scaling alarm
APサーバーの オートスケーリング
インフラエンジニアの運⽤コスト削減 リードタイムの短縮
![Page 28: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/28.jpg)
移⾏するにあたり実現したかった事
alarmAmazon ECS AWS
CloudFormation
APサーバーの オートスケーリング
インフラエンジニアの運⽤コスト削減 リードタイムの短縮
成果物⽣成、インフラ構築フローをCode化、コンテナマネジメントシステムの活⽤
![Page 29: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/29.jpg)
• そもそもECSコンテナ上で乗換NAVITIMEのバックエンドシステムは動くのか?
• ECS上で経路探索エンジンサーバーを稼働させた場合、スループットが下がらないか?
移⾏前の懸念
![Page 30: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/30.jpg)
インフラ構築⼿順のCode化
![Page 31: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/31.jpg)
インフラ構築⼿順のCode化
• APサーバーのコンテナ化
• CloudFormationを使ったAWS環境構築⼿順のCode化
![Page 32: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/32.jpg)
APサーバーのコンテナ化
• ⼀部のオンプレ環境でansibleを試験的に利⽤していた為、ansible-containerを使ってDockerコンテナを作成
• コンテナの構成チェックはServerspecを利⽤
![Page 33: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/33.jpg)
CloudFormationを使ったAWS環境構築⼿順のCode化
• Cloud Formationとは?
• AWSの環境構築⼿順をファイルに定義することができる。
• 定義ファイルを元にAWS環境を作成・更新・削除する事ができる。
![Page 34: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/34.jpg)
乗換NAVIITMEのAWS概要構成図 - AWS環境構築⼿順のCode化
alarm
alarm
インターネット ECSタスク(コンテナ)のオートスケール
EC2のオートスケール
Auto Scaling
Amazon ECS
ECS Optimized AMIlaunch user data
ECSサービスのメトリクス
ECSクラスタインスタンスのメトリクス
Amazon Route 53
Application Load Balancer
AmazonRDS
![Page 35: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/35.jpg)
Cloudformationの利⽤範囲 - AWS環境構築⼿順のCode化
alarm
alarm
インターネット ECSタスク(コンテナ)のオートスケール
EC2のオートスケール
Auto Scaling
Amazon ECS
ECS Optimized AMIlaunch user data
ECSサービスのメトリクス
ECSクラスタインスタンスのメトリクス
Amazon Route 53
Application Load Balancer
AmazonRDS
Cloudformationで作成
![Page 36: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/36.jpg)
Cloudformationの良かった点
• AWS環境⼿順がCode化され、環境の作成/更新/削除が簡単にできる
• 例1)環境構築後にインスタンスタイプを変更したい
• 例2)性能⽐較を⾏う為、EBSボリュームの種類が違う2つのECSクラスターを⽣成したい
![Page 37: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/37.jpg)
Cloudformationの良かった点 - 台湾プランニングでの流⽤事例
• NAVITIMEトラベルで提供している台湾プランニングのバックエンドシステム作成時に乗換NAVITIME向けに作成していたCloudFormationを流⽤
2週間AWS環境構築、検証、サービスリリースまでを で対応
![Page 38: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/38.jpg)
AWS移⾏しなかった部分
インターネット Applicationサーバー APIサーバー 経路探索エンジンサーバー
全⽂検索エンジンサーバー
DB
データセンター
サービス共有DB
![Page 39: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/39.jpg)
移⾏しない機能はRest API化し、AWS環境からHTTPアクセスさせる⽅針に
AWS移⾏しなかった部分
インターネット サービス共有API
データセンター
サービス共有DB
![Page 40: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/40.jpg)
Amazon ECS、Auroraの活⽤事例
![Page 41: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/41.jpg)
Amazon ECSの活⽤事例
Amazon ECS
ALB
Auto Scaling
Availability zone A Availability zone B
alarm
alarmEC2のオートスケール
ECSタスク(コンテナ)のオートスケールコンテナ コンテナ
![Page 42: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/42.jpg)
ECSを利⽤したオートスケールの流れ
Amazon ECS
ALB
Auto Scaling
Availability zone A Availability zone B
コンテナ コンテナ
サーバー負荷上昇をCloudWatchが検知
alarm
alarm
![Page 43: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/43.jpg)
ECSを利⽤したオートスケールの流れ
Amazon ECS
ALB
Auto Scaling
alarm
コンテナ コンテナalarm
ECSに対してタスク(コンテナ)のスケールアウト命令を送信
EC2のAutoscalingグループにEC2のスケールアウト命令を送信
![Page 44: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/44.jpg)
ECSを利⽤したオートスケールの流れ
Amazon ECS
ALB
Auto Scaling
Availability zone A Availability zone B
コンテナ コンテナコンテナ コンテナ
新しいEC2、コンテナが起動し、ALBのバランシング先に追加
![Page 45: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/45.jpg)
コンテナの死活監視
Amazon ECS
ALB
Auto Scaling
Availability zone A
コンテナ コンテナコンテナ コンテナあるコンテナプロセスが落ちた場合
![Page 46: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/46.jpg)
コンテナの死活監視
Amazon ECS
ALB
Auto Scaling
Availability zone A
コンテナ コンテナコンテナ コンテナ
落ちたコンテナをALBのバランシング先から外し、 新規にコンテナを起動してくれる
![Page 47: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/47.jpg)
便利!
• Deploy⽅法が柔軟
• RollingUpdate
• Blue&GreenUpdate
• コンテナの死活監視、再起動はECSがやってくれる
• CloudWatch Alermと連動したECS Task(コンテナ)のScaleOut
コンテナの管理はECSまかせ
Amazon ECS
![Page 48: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/48.jpg)
スポットデータの更新仕様
• 1⽇数回、スポット情報データの全件更新を実施
• ⼤量な検索クエリを捌く必要がある為、データ更新処理はBlue/Green⽅式で実⾏
Amazon Auroraの活⽤事例
![Page 49: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/49.jpg)
Auroraを採⽤した理由
• reader endpointとRoute53を組み合わせたBlue/Green切り替えが容易
• リードレプリカの機能が便利
• ロードバランシング機能
• ⾃動修復機能
Amazon Auroraの活⽤事例
![Page 50: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/50.jpg)
Auroraを採⽤した理由
• reader endpointとRoute53を組み合わせたBlue/Green切り替えが容易
• リードレプリカの機能が便利
• ロードバランシング機能
• ⾃動修復機能
• 運⽤が楽
Amazon Auroraの活⽤事例
![Page 51: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/51.jpg)
Amazon Auroraの活⽤事例
Master
AmazonRoute 53Amazon ECS
Route 53のCnameレコードを更新することで、参照先のread endpointの切り替えを実施
reader endpoints 2
Master
reader endpoint 1
Cname reader endpoints1
![Page 52: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/52.jpg)
Amazon Auroraの活⽤事例
Master
AmazonRoute 53Amazon ECS
Route 53のCnameレコードを更新することで、参照先のread endpointの切り替えを実施
reader endpoint2
Master
reader endpoint 1
Cname reader endpoints2
![Page 53: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/53.jpg)
Auroraを採⽤した理由
• reader endpointとRoute53を組み合わせたBlue/Green切り替えが容易
• リードレプリカの機能が便利
• ロードバランシング機能
• ⾃動修復機能
Amazon Auroraの活⽤事例
![Page 54: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/54.jpg)
便利な点:リードレプリカのロードバランシング機能
Amazon Auroraの活⽤事例
Amazon ECS
リードレプリカにロードバランシング機能がある為 Haproxy、MyDNS等のツールをDBの前段に構築する⼿間が省ける
Aurora リードレプリカ
Master
![Page 55: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/55.jpg)
便利な点:リードレプリカの⾃動復旧機能
Amazon Auroraの活⽤事例
Amazon ECS
リードレプリカに⾃動復旧機能がある為、切り離し、再起動、再投⼊を⾃動でやってくれる
Aurora リードレプリカ
Master
![Page 56: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/56.jpg)
便利な点:リードレプリカの⾃動復旧機能
Amazon Auroraの活⽤事例
Amazon ECS
Master
切り離し
再起動、再投⼊
Aurora リードレプリカ
リードレプリカに⾃動復旧機能がある為、切り離し、再起動、再投⼊を⾃動でやってくれる
クラスタエンドポイントはそのまま
![Page 57: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/57.jpg)
検証/切り替え
![Page 58: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/58.jpg)
パフォーマンスに関する懸念
オートスケール
Amazon ECS AWSCloudFormation
⽇次検証でチェック
インフラエンジニアの運⽤コスト削減 リードタイム短縮 経路探索の
パフォーマンス/品質
![Page 59: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/59.jpg)
⾏った検証内容
• 各APIが返却するレスポンスBodyをオンプレとAWSで⽐較し、差分がない事を確認する運⽤を⽇次で実施
• JMeterクラスターを使ったロングラン負荷試験
![Page 60: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/60.jpg)
レスポンス⽐較
内製ツールを使い、オンプレとAWSでAPIのレスポンスに差分がでていない事を確認
![Page 61: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/61.jpg)
AutoscalingグループでJMeterクラスターを構築
• 数週間テストリクエストを送信
• 並列度はAutoscalingGroupで指定
• 予期しないエラーを検知
JMeterクラスターを使ったロングランテスト
ECS上で稼働させた経路探索サーバーの品質・パフォーマンスに問題がない事を確認!
![Page 62: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/62.jpg)
データセンターからAWSへの切り替え
データセンター
Amazon Route 53
インターネット
100%
移⾏前•事前にドメイン管理をAWS Route53に委譲
•Weighted Routing機能を使って100%データセンターにバランシング
![Page 63: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/63.jpg)
データセンターからAWSへの切り替え
データセンター
Amazon Route 53
インターネット
50% 50%
移⾏⽇•Weighted Routing機能を使ってデータセンターとAWSに対して半々でリクエストがバランシングされるように設定
![Page 64: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/64.jpg)
データセンターからAWSへの切り替え
データセンター
Amazon Route 53
インターネット
100%
完全 切替え
•AWS環境にて問題が発⽣していない事を確認
•100%をAWS環境にバランシング
![Page 65: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/65.jpg)
クラウド移⾏とコンテナ化が もたらした効果
![Page 66: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/66.jpg)
インフラ構築⼿順をCodeした結果
• 環境構築にかかる時間が⼤幅に短縮
• Docker化によりアプリケーションのポータビリティが上がった
![Page 67: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/67.jpg)
環境構築にかかる時間が短縮 - 新規サーバー構築依頼〜サービスインまでのリードタイム
依頼受理〜実施⽇調整 (タスクの待ち⾏列があるので着⼿までのリードタイム)
仮想/ベアリソースの割り当て
OSインストール、環境設定
ミドルウェアのインストール、設定
AP開発者がアプリケーションをDeployして 動作を確認
サービスIN(バランサー、クラスターに追加)
ALB、ECSクラスターの⽣成
CloudFormation⽤の設定ファイルとECSタスク定義の作成
プルリク承認後にCloudformationのcreate stackを実⾏
内製ツールを使ったAPサーバーのデグレ試験
サービスIN(バランサー、クラスターに追加)
移⾏後
リードタイムが最⼤2週間 リードタイムが数時間に短縮
移⾏前
![Page 68: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/68.jpg)
Docker化によりアプリケーションのポータビリティが上がった
Amazon ECR 他のクラウドサービス
開発者のローカルPC
オンプレ環境
docker pull
![Page 69: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/69.jpg)
AWS移⾏で得られた効果
• アクセス数に応じたオートスケール
• インフラエンジニアの⼈的な運⽤負担の減少
![Page 70: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/70.jpg)
• CPU使⽤率によりコンテナがオートスケール
• GW期間のピーク時間帯(5/2の⼣⽅)でも問題が発⽣していないので安⼼!
アクセス数に応じたオートスケール
5/2 ピークの時間帯
![Page 71: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/71.jpg)
インフラエンジニアの⼈的な運⽤負担が減った
• AWS移⾏〜1ヶ⽉は障害調査/対応があった為、運⽤負担は減らなかった。
• 4⽉〜は安定稼働しており、4⽉〜5⽉のインフラエンジニアの運⽤負担はほぼゼロ
• 繁忙期に備えたインフラ構築
• 障害発⽣時のスケールアウト/再起動作業
• 脆弱性対応の為のミドルウェアアップデート作業
![Page 72: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/72.jpg)
今後やりたいこと
![Page 73: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/73.jpg)
EC2インスタンスコストの最適化
• 現状
• 移⾏実施後に数回障害が発⽣している為、少し多めにサーバーを起動させている。その為、インフラ費⽤が当初の⾒込みより⾼い状態に。
• 今後
• 必要な台数だけ起動する運⽤にシフト
• リザーブドインスタンスだけでなく、スポットフリートインスタンスの並⾏利⽤を検討
![Page 74: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/74.jpg)
• コンテナ化できていない部分をコンテナ化
さらなるコンテナ化
100%!めざせ
![Page 75: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/75.jpg)
他サービスのコンテナ化とクラウド移⾏
今後、他のNAVITIMEサービスのクラウド移⾏を推進します。
![Page 76: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/76.jpg)
1
第3回テーマ ⽣産性(プロダクティビティ)
Docker、Vagrant、継続的なデプロイにご興味がある⽅は、是⾮connpassからご登録ください!
https://minami-aoyama-night.connpass.com/event/58102/
![Page 77: ナビタイムサービスにおける、Amazon ECS を活用 … Auto Scaling alarm コンテナ コンテナ alarm ECSに対してタスク(コンテナ)のスケールアウト命令を送信](https://reader034.fdocuments.net/reader034/viewer/2022051205/5ac185a37f8b9a213f8d2c29/html5/thumbnails/77.jpg)
ご清聴ありがとうございました