AHVでみるCVM Autopathの仕組み

© 2016 IIJ Global Solutions Inc. 1

株式会社 IIJ グローバルソリューションズ

フランちゃんウフフなシステムエンジニアおおかわ　かずひと

AHV でみる CVM Autopath の仕組み

Nutanix Community Meetup #11


本日の内容

1.自己紹介 / 会社紹介

2.はじめに

3.検証環境の構成について (Nutanix CE Nested on

ESXi)

4.Autopath の仕組み

5.まとめ

※ 時間がなかったので軽めです、スミマセン… 営業が…


1. 自己紹介


おおかわ　かずひと　 0x21 歳• Twitter@SatchanP ( 意識低い系 )

• IIJ グローバルソリューションズアカウント SE

• プリ & ポストセールス設計構築運用障害対応 ( なんでも屋 )

• 元ウェブ系インフラエンジニア

• 得意言語 : C Perl Python

• 苦手言語 : Java Ruby

• 二次属性 : アイマス ( やよい真美 ) : 東方 ( フランちゃん咲夜さん ) : 艦これ (Верный 響 )

• 趣味 : 自動車ラリー (Driver/Co-Driver) : 自転車 : ダム巡りダムカード集め

• 実は NPP 受験してません！

自己紹介


自己紹介


Nutanix CE にも使える自作サーバ Tips についてはコチラ

• 自作サーバー同窓会 #6 kauli 自作サーバの歴史と稼働率向上施策@SatchanP

https://www.youtube.com/watch?v=291qvUwKNsg


自己紹介


• 株式会社 IIJ グローバルソリューションズ

• インターネットイニシアティブ 100% 持ち株子会社

• もともと IBM の NW 部門

• 法人向けネットワークインテグレーションが強み

• 新たな事業の柱として基盤まるごとやることに

• 手を動かせるサーバ得意なエンジニアがまだ数名

• 最近会社のイベントがあるときは高確率で出張なことが多い( タダ酒飲みたい… )

軽く会社紹介


2. はじめに


まず最初に CVM Autopath とは

Hyper VisorNode A

CVM ANDFS

Storage

NFS

Hyper VisorNode B

CVM B

NFS

CVM 障害時にハイパーバイザまで巻き込まれない冗長化機能

NDFSStorage

NFS


• セミナーで講師をしていたちょっと綺麗なお姉さん ( たぶん年下 ) から、 CVM は Autopath があるから落ちても「大・丈・夫☆」とだけ説明してもらう

• その場では質問までいたらず

• 「誰かに聞かれたときにやっぱ説明できないとまずいよね」と思い調査

• 冗長化の仕組みとか説明できないと SEtosite ださい！

• 動作確認自体は以前に自宅 Nutanix CE クラスタで確認ずみ

• 要望もあり社内用の検証環境を作るついでに、改めて動作確認と説明用の資料集め

CVM Autopath に疑問を持ったわけ


3. 検証環境の構成についてNutanix CE Nested on ESXi


• ネストした構造の動かし方 (HV on HV…)

• ハードウェアエミュレーションのためスペックが厳しい CVM を割と楽に並べてクラスタが組める※具多的なスペックは後述

• ただしパフォーマンスはお察し

• cluster コマンドがないって焦ったら AHV だったという笑い話も

Nutanix CE on Nested ESXi とは

ESXi

KVM

Nested


コア数は論理拡張前提、そこそこのスペックがあれば動作可能

参考 : 平均約 1.6GHz / 1CVM3台クラスタなら 2GHz 4Core もあれば十分

Nutanix CE Nested on ESXi ハードウェアスペック目安 (CPU)


気になるメモリ使用量

参考 : 平均約 13G Byte / 1CVMメモリのオーバーコミット ( シェアード , 圧縮 ) を考慮するとざっくり最低 32GByte 　※ RF2

Nutanix CE Nested on ESXi ハードウェアスペック目安 (メモリ )


• CPU : Core i5 / i7

• メモリ : 32GByte

• HDD : 500G くらい ( シンプロピジョニング )

• SSD : なくても動く

• NIC : 1口 (ESXi に対応してるもの )

• ESXi が評価版でいいならパソコンを使えば 10万かからない

※当然これで動かなくても保証できません、挑戦者もとむ！

Nutanix CE Nested on ESXi クラスタ最低 (?) ハードウェア構成


• 基本はネットに落ちている通り

• バーチャルポートグループの無差別 (promiscuous)モードを有効にしないと、 CVM が外と通信することができない

Nutanix CE Nested on ESXi 構築時注意すること

ESXi

vDS, vSS

KVM

CVM00:00:00:00:00:aa

AHV00:00:00:00:00:bb

VPort1

00:00:00:00:00:bbしか通過できない

Bridge


• IIJ GIO/VW 上に構築 (従量な Nutanix On Demand が嫌という時は是非ｗ )

• VMware ESXi 5.5

• Nutanix CE 3VM

• HDD : iSCSI 500GB

• SSD : なし

• NIC : GIO サービスに準じる (NW サービス 2口 )

検証環境の HW 構成について


検証環境構成図

ESXi(GIO VW)

AHV

NFS

iSCSI

vDS

KVMCVM

A

AHV

KVMCVM

B

AHV

KVMCVM

C

vPort-Group-LAN1


4. Autopath の仕組み


• 知れば納得、超シンプル

1) Zookeeper がノード障害を検知

2) 障害検知後、 CVM 障害を起こした HV の設定を変更する (Zeus?)

3) CVM宛の通信経路を NW的に生きてるノードに曲げる

4) Autopath フェイルオーバー成功

Autopath の仕組みについて


CVM Autopath を図にすると

Hyper VisorNode A

CVM ANDFS

Storage

NFS

Hyper VisorNode B

CVM B

NFS

NDFSStorage

NFS192.168.5.2

192.168.5.2

192.168.5.1


192.168.5.0/24 のダイレクトコネクトで経路をあてている

Autopath の仕組みについて (Before)


/32 のロンゲストマッチで 192.168.5.0/24 より優先してファイルオーバーホストの 192.168.5.102 に向けている？

Autopath の仕組みについて (After)


Zookeeper が CVM 障害を検知

10:50:58,604 - 10.5.1.101(CVM A) Timeout

Autopath の仕組みについて (Zookeeper のログ )


Autopath の仕組みについて (Zookeeper のログ )

Zookeeper が CVM A を無慈悲に切り離し

10:51:00,700 - 10.5.1.101(CVM A) グッバイフォーエバー


5. まとめ


• 期待していたほど難しいことはなにもしてなかった( 思ってたほど大物のネタにならなかった… )

• ソフトウェアで冗長性を確保する Nutanix らしいいい例

• HWばっかにお金かける I○M とか少しは見習ってほしい

• 手抜きでゴメンナサイ…

CVM Autopath まとめ


ご清聴ありがとうございました

お問い合わせ先　株式会社 IIJ グローバルソリューションズTEL： 03-6777-5700 [email protected]://www.iijglobal.co.jp/

AHVでみるCVM Autopathの仕組み

Engineering

Transcript of AHVでみるCVM Autopathの仕組み