ニフティクラウドを使った安定運用のススメ

Copyright © NIFTY Corporation All Rights Reserved. Confidential 1

ニフティクラウドを使った安定運用のススメ

2013.09 ニフティ株式会社

クラウドインフラ部寶田吉文


自己紹介

名前

寶田吉文(HODA Yoshifumi、ほうだよしふみ) / @h0da

所属

ニフティ株式会社クラウド事業部クラウドインフラ部

仕事ニフティクラウドなんでも屋、インフラエンジニア、ベンチマークも大好き

インフラ運用を自動化したり、運用作業をラクにする開発が大好き

数万行のスクリプト作成自動化、●●台同時構築、一括変更などなど

ユーザブログでベンチマークネタを書きました（CPU, MEM, ネットワーク編）


本日お話する内容

ニフティクラウドサーバを監視/運用するコツ教えます

スモールスタートを体験してみよう！

まずは手軽に出来るところから始めてみよう

本日のゴール！ ① ニフティクラウドのサーバを監視するコツを知る ② ニフティクラウドのサーバを運用するコツを知る ③ スモールスタートを体験してみるみなさまのビジネスのタネになれば幸いです


アジェンダ

① ニフティクラウド上のサーバを監視するコツ

② ニフティクラウド上のサーバを運用するコツ

③ スモールスタートで初めてビジネスを加速させよう

最小限の投資で、必要なリソースを必要なだけ確保する


進め方

質疑応答は適時（自由にどうぞ）

ご不明な点や詳しく聞きたい点等ありましたら、その場でご質問ください。

Copyright © NIFTY Corporation All Rights Reserved. Confidential

安定運用を目指すために

ヒントになれば幸いです


① ニフティクラウド上のサーバを監視するコツ


こんな話で困ったことありませんか？

Webサーバが落ちてしまったが…

どのリソースが足りてないのか具体的に調べる方法が分からない

システムパフォーマンスを最大限引き出したい

システム監視をラクにしたい

サーバ監視術で解決！

⇒ ① 各VMを監視するサーバを構築

② ニフティクラウドの基本監視機能

③ 弊社パートナー様のソリューションに頼る


ニフティクラウドのサーバを監視するオススメ方法

① 自前/自社で監視サーバを構築する

コスト: ？難易度: ？

② 環境構築、運用/監視のプロに頼る、アウトソースする

コスト: ★～★★★ 難易度: ★

③ 監視SaaSサービスを使う

コスト: ★～★★★ 難易度: ★～★★

④ ニフティクラウドの基本監視機能を使う

コスト: 0円難易度: ★


はてな人気エントリー（9/11）にサーバ監視記事がありました


リソース監視にはmunin！

http://nanapi.co.jp/blog/2013/09/11/monitor_nanapi_servers/ ※ 上記URLより記事を抜粋

http://nanapi.co.jp/blog/2013/09/11/monitor_nanapi_servers/

http://nanapi.co.jp/blog/2013/09/11/monitor_nanapi_servers/


みなさま監視サーバに

興味津々のようですね！



① 自前、自社で監視する！

コスト: ？難易度: ？


コスト: ★～★★★ 難易度: ★


コスト: ★～★★★ 難易度: ★～★★



まず、ここの方法をオススメ方法ご紹介します ⇒ ずばり、Muninで監視しましょう！


ニフティクラウド本をご紹介

実は… P140~150に作り方が書いてあります

ちなみにニフティ社内でも数百VM管理で使ってます！

社内でもmunin大好きユーザ多数。


Muninサーバ構築 ⇒ 新人に課題を出してみた

P140~150に作り方書いてあるよ！ホウダ「とりあえず作ってみようか？」⇒ 新人「はい！（元気良い）」

↓ 入社1年目の方に ⇒ 2時間後に作成できた！と報告受けました ↓ 実は..構築が“とても簡単”です！

入社1年目談「すごい簡単でした…」「こんな監視してくれるなんてすごいですね」


Xlarge32 medium×4台クラウドAPIで

1時間ごとにスペック変更 small～wlarge

ベンチマークが1時間ごとに実行

負荷分散構成も監視してみた


負荷分散構成

Xlarge32 medium×4台クラウドAPIで 1時間ごとにスペック変更


それではこの中身を見てみたいと

思います！


それでは実際に稼働しているMuninをご覧ください


Munin監視サーバを開く


Muninで問題切り分けもできる

small8 Large32

Muninを導入＝サイジングツールになる例: 同一の負荷をかけたときの違いもわかる small8では、リソースを使い切ってしまう事例一方、large32では、40%程度の負荷となった ⇒ 構築が簡単、問題切り分けもできる！


Muninでサーバリソースを

丸裸にできる！




コスト: ★ 難易度: ★

⇒ なんだ簡単じゃないか！

と思ってくれると嬉しい限りです


無料の基本監視機能を試す






コスト: ★～★★★ 難易度: ★


コスト: ★～★★★ 難易度: ★～★★



無料の基本監視機能も活用しよう


ニフティクラウド基本監視機能

基本監視機能＝SNMP＋メール通知機能です。 [基本監視（補助）]＋[監視サーバ（詳細）] と切り分けて使うのがオススメ構成監視サーバコストをかけたくない場合は、無料の“基本監視のみ“で運用されているお客様も多数いらっしゃいます

P117～140に設定方法が紹介されています

+






コスト: ★～★★★ 難易度: ★


コスト: ★～★★★ 難易度: ★～★★




パートナーとともにお手伝いします

豊富な運用実績とともにパートナーとともにお客様のビジネスをご支援をいたします

⇒ 専用の電話窓口もございます


サーバ監視するコツまとめ

STEP1:

基本監視機能を設定しよう ※ サーバごとに設定が必要です

STEP2: 監視サーバを構築しよう

STEP3: ニフティクラウドパートナーに監視をアウトソースしよう


② ニフティクラウド上のサーバを運用するコツ


ニフティクラウドのサーバを運用するコツ

① サーバのログは大事にする

② 万が一困ったときは、コンソール機能に頼ろう

③ OSのチューニングを実施する

④ HA機能（自動ファイルオーバー）を理解しよう


サーバーのログは大事にする

万が一の調査方法を知る


何か困ったらログを調査する

/var/log の配下にたくさんある

各アプリケーションのログも格納されている

例 /var/log/httpd/error.log

/var/log/messageをまず見てみる

OSに起動失敗した場合は、dmesgを見てみる

コントロールパネルの操作ログを見てみる

⇒ 次頁で実サンプルをお見せします

⇒ ニフクラ本 p140にも簡単なご紹介もあります


OS内部ログのサンプル

Sep 12 06:58:17 localhost dhclient[1426]: DHCPREQUEST on eth1 to 10.100.48.11 port 67 (xid=0x16aeb16c)

Sep 12 06:58:17 localhost dhclient[1426]: DHCPACK from 10.100.X.X (xid=0x16aeb16c)

Sep 12 06:58:18 localhost dhclient[1426]: bound to 10.100.X.X -- renewal in 20808 seconds.

[Wed Aug 14 16:19:02 2013] [error] server reached MaxClients setting, consider raising the MaxClients setting

Webサーバの接続上限まで負荷が来てしまっている例 /var/log/httpd/error.log

DHCPサーバから正常にIPアドレスを取得できている例 /var/log/messages


コントロールパネルのログ

接続元 IP アドレス


サーバがハングアップしたときは、

コンソール機能に頼る


コンソール機能を使おう

↑ここを押すとコンソールが立ち上げられる！

※ 要 Vmware-pluginインストール


再起動画面例


コンソール機能はこんな感じです

2. CD/DVDが入れられる

1.強制再起動/強制停止

3. 画面を見ながらキーボード操作ができる


どうしよもないときは、再起動…

アレ？再起動もうまくいかない？

⇒ 強制再起動を試そう


クラウドで操作できる便利な操作

サーバ運用のなかで…

電源ボタン長押しで強制停止！

電源ボタンリセットで強制再起動！

⇒ コントロールパネルで実現可能

コンソール機能で、画面を見ながら操作キーボード、マウス、CDトレイを操作できる！

≒ IDCへの出張いらず！

現地IDCにいかないとできなかったこと

（強制停止/強制再起動/画面操作） ↓

クラウドならすべて Webブラウザ上で

操作可能！

社内の先輩談: サーバを○百台強制再起動しにいくためにiDCいったよ..


強制停止と強制再起動は計画的に

通常停止/強制停止再起動/強制再起動


マルチリージョン・ゾーン対応

すべてコントロールパネルから操作可能 NIFTY Cloud

東日本リージョン西日本リージョン

その他リージョン

東日本１東日本2

東日本3

西日本１西日本２

その他１

提供予定 2013.6 提供

2012.9 提供


OSのチューニング例ニフティクラウドのパフォーマンスを最大限引き出す


10Gbpsのドライバチューニング例

（ご参考）公式FAQ: ネットワークパケットがドロップしてしまいます http://cloud.nifty.com/cs/catalog/cloud_faq/catalog_120920000938_1.htm

ネットワークドライバチューニングを実施例 VMXNET3 ドライバの下記パラメータを変更 TSO有効、x Ring #1 Size, Rx Ring #2 Size, Tx Ring Size, Large Rx Buffersをすべて4096に設定 ⇒ ニフティクラウドのWindowsサーバ間で負荷実験

4Gbpsを超える通信を確認


Xlarge32 medium×4台クラウドAPIで

1時間ごとにスペック変更 small～wlarge


こちらの内容ですが…


チューニング詳細

Webサーバの設定

MaxClinet → 1024

ServerLimint → 1024

VirtualServers設定 keepalive → No

add_cluster_ip → No

Memory Limits → 204800（デフォルト値：65536）

Stingray Pools設定 keepalive → No

Monitor → PING

LoadBalancing → Round Robin

max_connect_time → 8 seconds(デフォルト値：4)

Basic Settings → delay 6 sec, timeout 12sec,failures 4

後日ユーザブログにてご紹介予定乞うご期待


ユーザブログのご紹介

ニフティクラウドをご利用いただいている企業の方々やニフティ社員が、ユーザー視点でニフティクラウドにまつわるTipsやノウハウをご紹介します。

＜過去記事の一例＞・CapistranoとChefでサーバー管理を自動化・JMeterによる性能試験で「もう負荷も恐くない」・徹底比較: ニフティクラウド VS Amazon Web Services

※ライターは、基本的に個人として執筆いたしております。

◆ ニフティクラウドユーザーブログ


自動フェイルオーバ機能を知り、

サービスを設計する


自動フェイルオーバー（HA機能）

ニフティクラウドを提供する当社のシステムにおいて、物理ホスト障害が発生した場合、当該物理ホスト上に展開されていたお客様のサーバーは、自動で別の物理ホスト上に移動します（サーバーが自動で再起動します）

⇒ VMware vSphere HA機能

※ VMware社の製品仕様より抜粋


従来システム

無停止対応 0.5H以内の復旧 24H以内の復旧 3H以内の復旧

無停止対応 0.5H以内の復旧 24H以内の復旧 3H以内の復旧

HA復旧目安 3分以内

ニフティクラウド

サーバ再起動後はお客様のサーバ処理次第

低コスト高コスト超高コスト

mini～wlarge64で標準搭載、一律コスト

運用のコツ＝HA後の動作を設計する

突然再起動命令

HA機能なしだと… 物理障害 ⇒ 突然停止

物理サーバを修理するまで3～4時間


続きはWebで….


③ スモールスタートを体験してみよう

小規模サービスから大規模サービスへ成長するイメージをつかむ


たとえば

1台からはじめて、その後、100台のサーバを管理しろといきなり言われとき、どのように運用したら良い方法がないか探している

サービスリリース後、幸い大ヒット。そして、テレビ放映を予定しているが、アクセス数の予想が難しくなってきた

経営からサービスを止めないで運用したいと言われてしまった

⇒ ニフティクラウド L4ロードバランサを強く推奨

⇒ スモールスタートでスタートでき、大規模サービス成長後もそのままご利用できるメニューをご用意


ロードバランサを分かりやすい絵でたとえると…

- 54 -

☓

負荷大

☓ ☓ ☓

負荷大負荷大負荷大

たった“30秒”で

新宿駅クラスへ

いわゆる帯域制限装置＝小さな駅改札口が…

10Mbps

2Gbps

負荷大

伸縮自在


耐障害性、メンテナンス性が向上

- 55 -

☓

なんかおかしい

たった30秒でメンテナンス

取り外し、取り付けは自由自在

1台おかしな改札が…

でも動いてる

☓

修理

1. すぐ取り外せる

2. すぐ取り付けれる

修理完了!


スモールスタート

スモールスタートで開始

WEB mini

DBバッチ large

グローバルLAN

プライベートLAN

×2台

DB mid4

バックアップ small

LB

徐々に世間に知れ渡り…

WEB large

DBバッチ large

グローバルLAN


×10台 ※規模に応じて増やす

DB mid4

DB mid4

DB mid4


LB 10Mbps 200Mbps


サービス最盛期

×200 台

人気爆発

WEB ｗlarge

DBバッチ large

グローバルLAN


APL DB DB バックアップ small

LB 2Gbps

サービス立ち上げ

開発開始

サーバ構築

人気爆発

アプリ設計再見直し

徐々に世間に知れ渡り…

WEB large

DBバッチ large

グローバルLAN


×10台 ※規模に応じて増やす

DB mid4

DB mid4

DB mid4


LB 200Mbps

アプリ設計見直し


パートナーとともにお手伝いします

豊富な運用実績とともにお客様のビジネスをご支援をいたします

⇒ 専用の電話窓口もございます


最後に

ニフティクラウドにおけるサーバ監視、運用のコツをご紹介しました

簡単ではございますが、スモールスタート事例をご紹介しました

本日の内容が、少しでも皆様のビジネスのヒントにお役に立てれば幸いです

ニフティクラウドを使った安定運用のススメ

Documents

Transcript of ニフティクラウドを使った安定運用のススメ