OSC 2011 Hokkaido 自宅SAN友の会(後半)
-
Upload
satoshi-shimazaki -
Category
Technology
-
view
5.470 -
download
1
description
Transcript of OSC 2011 Hokkaido 自宅SAN友の会(後半)
OSC 2011 Hokkaido サーバ仮想化環境における ストレージの基礎知識
自宅SAN友の会
島崎 聡史(twitter:@smzksts)
#jitakusan #osc11do
島崎 聡史(twitter: @smzksts)
-自宅SAN友の会 主宰 http://sites.google.com/site/jitakusan/
メーカー系研修ベンダーの講師
-サーバ仮想化&ストレージ研修担当
-VMware Certified Instructor (VCI)
-Xen, KVM, Solaris Containers
-プラベートクラウド(Eucalyptus)
-デスクトップ仮想化
→ンフラ系流行りモノ担当 便利屋さん。
Page 2
#jitakusan #osc11do
執筆など
Page 3
#jitakusan #osc11do
共有ストレージ(デゖスクゕレ)
SAN
VMの 仮想HDD
ISOメージ VMの
テンプレート VMの 構成情報
VM VM
ハパーバザ
VM VM VM
ハパーバザ
VM VM VM
ハパーバザ
VM
Page 4
#jitakusan #osc11do
サーバ仮想化環境に ストレージがあると 何が嬉しいの?
Page 5
#jitakusan #osc11do
サーバ仮想化ソフトには、 共有ストレージに依存した機能がたくさん
ラブマグレーション
-自動負荷分散
-電力消費削減機能
高可用性機能(HA)
デゖザスタリカバリ
その他いろいろ
Page 6
#jitakusan #osc11do
仮想マシンをバックゕップする 手段の選択肢が広がる
デゖスクゕレの機能
-スナップショット →テープなど、別媒体にバックゕップする際の 一時領域を瞬時に作成
- Disk to Diskの高速コピー →ストレージ内部でコピー処理順序をやりくりし、 サーバからは一瞬でバックゕップが済んだように見せる
Page 7
#jitakusan #osc11do
サーバ仮想化環境管理ツールとの連携 - VMware vStorage API for Array Integration(VAAI)や
Citrix Storagelinkなど
-管理ンターフェースの統合や、I/O負荷のオフロードなど
- 例:VAAIでホストに負荷をかけずにVMをクローン
デゖスクゕレ (VAAI非対応)
デゖスクゕレ (VAAI対応)
Page 8
#jitakusan #osc11do
• サーバ仮想化をフル活用するために 共有ストレージは欠かせない
• 多数のVMをストレージに集約すると…
- VMへデゖスク負荷=ストレージへの負荷
- ストレージが故障すると多くの業務に影響
⇒高性能・高信頼なストレージを正しく設計・構成する
• ストレージにも様々な種類があり、 それぞれ特徴が異なる
⇒要件に合ったものを選ぶ
Page 9
#jitakusan #osc11do
分類 タイプ アクセス 接続経路 主な速度 用途など
SAN
Fibre Channel (FC)
ブロック レベル
Fibre Channel
8Gbps, 4Gbps
高速なSAN
iSCSI Ethernet 1Gbps, 10Gbps
安価なSAN
FCoE 拡張されたEthernet
10Gbps SAN/LANの統合
NAS NFS ファイル レベル
Ethernet 1Gbps, 10Gbps
UNIX系 フゔル共有
CIFS Windows フゔル共有
Page 10
#jitakusan #osc11do
物理デゖスク
RAID制御
論理デゖスク(LUN)
物理デゖスク
RAID制御
フゔルシステム
SAN →デゖスクにゕクセス
NAS →フゔルにゕクセス
ストレージ用 ネットワークで接続
Page 11
#jitakusan #osc11do
SAN接続タプのストレージ ⇒外付けハードデゖスク
NASタプのストレージ ⇒フゔルサーバ
Page 12
#jitakusan #osc11do
Fibre Channel
iSCSI FCoE NFS CIFS
VMware vSphere
• VMFS • VMDK • ISOメージ
• Raw Device Mapping
• VMDK • ISO
×
Hyper-V • NTFS • VHD on NTFS
• パススルーデゖスク
× • ISO
Citrix XenServer
• LVM • 論理ボリュームを
VMに割り当て • ダレクトマップ
• VHD • ISO
• ISO
Page 13
#jitakusan #osc11do
サーバ仮想化環境において ストレージは非常に重要な位置づけ
サーバ仮想化ソフトと ストレージタプの組み合わせに注意
触ってみないとメージしづらい…
家でやろう! Page 14
自宅SANのススメ
#jitakusan #osc11do
NAS
-簡単・お手頃
-家庭用の市販製品もある (BuffaloのTeraStationとかNetgearのReadyNASとか)
SAN
そもそも家庭用途じゃ無い
→だがそれがいい
Page 16
#jitakusan #osc11do
サーバ側ポート スイッチ ディスクアレイ
iSCSI 普通のNIC、 iSCSI HBA
Ethernetスッチ 商用製品 or
自作 Fibre Channel
FC-HBA FCスッチ
FCoE 10Gbps FCoE ゕダプタ (CNA)
CEE(Converged Enhanced Ethernet) 対応スッチ
iSCSIはほとんど投資なしで手軽に試せる Fibre Channelは中古機材が安価に調達可能 FCoEは現状まだ機材の調達が難しい
Page 17
#jitakusan #osc11do
デゖスクゕレは買うと高いので自分で作りましょう。
1.使うソフトウェゕを決める
2.ハードウェゕをそろえる
3.構築する
Page 18
#jitakusan #osc11do
たとえば
- Linux + SCST (Generic SCSI Target Subsystem for Linux)
- (Open)Solaris/COMSTAR
選択基準
- SCST
-モジュール組み込んでカーネルをビルドする気合い
-対応ハードウェゕはこちらのほうが手に入りやすい
- COMSTAR
-ZFSが使える
-Solaris愛
Page 19
#jitakusan #osc11do
必要なもの
- FC-HBA
-ストレージ用(ターゲットドラバがあるもの)
-サーバ用
- FCケーブル
- FCスッチ(接続台数が多い場合)
ポント
-国内外のオークションサトが安い
- SCST,COMSTARそれぞれ、ターゲット として使えるFC-HBAに制限あり。 →購入前にそれぞれのWeb等で確認
Page 20
#jitakusan #osc11do
実際にやってみた
Page 21
Openfiler 2.99でつくる Fibre Channel Storage
#jitakusan #osc11do
1. Fibre Channel HBAの搭載
2. Openfiler 2.99のンストール
3. SCSTの有効化
4. グループ作成と ホスト登録
5. LUNの設定
6. サーバ側からの使用
Page 23
旧版のv2.3では何故か
1と2を逆にする必要が…
#jitakusan #osc11do
1. Fibre Channel HBAの搭載
- Qlogic 2XXX
- 1ポート:QLA2340, QLE2460 など
- 2ポート:QLA2342, QLE2462 など
- QLA=PCI-X, QLE=PCI-Express
2. Openfiler 2.99のンストール
- 普通のLinuxと同じ。
Page 24
#jitakusan #osc11do
3. SCST/FCターゲットサービスの起動
Page 25
#jitakusan #osc11do
4. ステータス確認(この段階ではまだターゲット機能は無効)
Page 26
#jitakusan #osc11do
3. ターゲット機能の有効化
[root@openfiler ~]# echo '1' > /sys/kernel/scst_tgt/targets/qla2x00t/21¥:00¥:00¥:e0¥:8b¥:1b¥:cd¥:57/enabled
[root@openfiler ~]# echo '1' > /sys/kernel/scst_tgt/targets/qla2x00t/21¥:01¥:00¥:e0¥:8b¥:3b¥:cd¥:57/enabled
※普通にscstadminコマンドで 出来るっぽいことに後で気づいた…
Page 27
#jitakusan #osc11do
[root@openfiler ~]# scstadmin -list_session
Collecting current configuration: done.
Driver/Target: qla2x00t/21:00:00:e0:8b:1b:cd:57
Session: 21:00:00:e0:8b:1b:a3:41
Attribute Value Writable KEY
-----------------------------------------------------------------
active_commands 0 Yes No
commands 0 Yes No
initiator_name 21:00:00:e0:8b:1b:a3:41 Yes No
Driver/Target: qla2x00t/21:01:00:e0:8b:3b:cd:57
Session: 21:00:00:e0:8b:1b:9f:41
Attribute Value Writable KEY
-----------------------------------------------------------------
active_commands 0 Yes No
commands 0 Yes No
initiator_name 21:00:00:e0:8b:1b:9f:41 Yes No
All done.
Page 28
#jitakusan #osc11do
4. (セキュリテゖ)グループ作成
- ゕクセス許可設定用のグループを作る - -driver:FCターゲット(ストレージ)として動作させるためのドラバ名
qla2x00tは QLogic製FCカード(QLA/QLE2xxx用)。
- -target:「ストレージ側FCカードのWWN」と「グループ」を対応づけ
- WWN:FC関連装置の固有ID。EthernetでいうMACゕドレスのようなもの
Page 29
[root@openfiler ~]# scstadmin -add_group HOST01 -driver qla2x00t -target 21:00:00:e0:8b:1b:cd:57
Collecting current configuration: done.
-> Making requested changes.
-> Adding new group 'HOST01' to driver/target 'qla2x00t/21:00:00:e0:8b:1b:cd:57': done.
-> Done.
All done.
[root@openfiler ~]# scstadmin -add_group HOST01 -driver qla2x00t -target 21:01:00:e0:8b:3b:cd:57
Collecting current configuration: done.
-> Making requested changes.
-> Adding new group 'HOST01' to driver/target 'qla2x00t/21:01:00:e0:8b:3b:cd:57': done.
-> Done.
All done.
#jitakusan #osc11do
5. ホスト(ニシエータ)登録 - ストレージに接続するホストに搭載したFCカード(ニシエータ)のWWNを、グループおよびターゲットと対応づけ。
- ターゲットとニシエータの組み合わせは物理結線で繋がっているもの同士を指定。
Page 30
[root@openfiler ~]# scstadmin -add_init 21:00:00:e0:8b:1b:a3:41 -driver qla2x00t -tar
get 21:00:00:e0:8b:1b:cd:57 -group HOST01
Collecting current configuration: done.
-> Making requested changes.
-> Adding new initiator '21:00:00:e0:8b:1b:a3:41' to driver/target/group 'qla2x00t/21:00:00:e0:8b:1b:cd:57/HOST01': done.
-> Done.
All done.
[root@openfiler ~]# scstadmin -add_init 21:00:00:e0:8b:1b:9f:41 -driver qla2x00t -target 21:01:00:e0:8b:3b:cd:57 -group HOST01
Collecting current configuration: done.
-> Making requested changes.
-> Adding new initiator '21:00:00:e0:8b:1b:9f:41' to driver/target/group 'qla2x00t/21:01:00:e0:8b:3b:cd:57/HOST01': done.
-> Done.
All done.
#jitakusan #osc11do
6. LUNの設定
-ブロックデバスorメージフゔルを SCST用のLUNとして登録
- -open_dev:LUN名の指定。LUNとは、ストレージ装置がホストに対して見せる論理デゖスク。
- -handler
- ブロックデバスをLUNにする場合は"vdisk_blockio"
- メージフゔルをLUNにする場合は"vdisk_fileio"
Page 31
[root@openfiler ~]# scstadmin -open_dev LUN00 -handler vdisk_blockio -attributes filename=/dev/vg_fc/lv_lun00
Collecting current configuration: done.
-> Making requested changes.
-> Opening device 'LUN00' using handler 'vdisk_blockio': done.
-> Done.
All done.
#jitakusan #osc11do
7. グループとLUNの対応づけ
Page 32
[root@openfiler ~]# scstadmin -add_lun 0 -driver qla2x00t -target 21:00:00:e0:8b:1b:cd:57 -group HOST01 -device LUN00
Collecting current configuration: done.
-> Making requested changes.
-> Adding device 'LUN00' at LUN 0 to driver/target/group 'qla2x00t/21:00:00:e0:8b:1b:cd:57/HOST01': done.
-> Done.
All done.
[root@openfiler ~]# scstadmin -add_lun 0 -driver qla2x00t -target 21:01:00:e0:8b:3b:cd:57 -group HOST01 -device LUN00
Collecting current configuration: done.
-> Making requested changes.
-> Adding device 'LUN00' at LUN 0 to driver/target/group 'qla2x00t/21:01:00:e0:8b:3b:cd:57/HOST01': done.
-> Done.
All done.
#jitakusan #osc11do
8. 設定フゔルへの書き込みと確認
Page 33
[root@openfiler ~]# scstadmin -write_config /etc/scst.conf Collecting current configuration: done.
Writing current configuration to file '/etc/scst.conf'..
All done.
[root@openfiler ~]# cat /etc/scst.conf # Automatically generated by SCST Configurator v2.0.0.
HANDLER vdisk_blockio {
DEVICE LUN00 {
t10_dev_id "LUN00 25c5e059"
usn 25c5e059
filename /dev/vg_fc/lv_lun00
}
}
TARGET_DRIVER qla2x00t {
TARGET 21:00:00:e0:8b:1b:cd:57 {
rel_tgt_id 1
enabled 1
GROUP HOST01 {
LUN 0 LUN00
INITIATOR 21:00:00:e0:8b:1b:a3:41
}
}
TARGET 21:01:00:e0:8b:3b:cd:57 {
rel_tgt_id 2
enabled 1
GROUP HOST01 {
LUN 0 LUN00
INITIATOR 21:00:00:e0:8b:1b:9f:41
}
}
}
#jitakusan #osc11do
Citrix XenServer 6.0 Beta(Project Boston)
Page 34
#jitakusan #osc11do
Citrix XenServer 6.0 Beta(Project Boston)
Page 35
#jitakusan #osc11do
Citrix XenServer 6.0 Beta(Project Boston)
Page 36
このスラドでは行っていませんが、今回は1つのLUNにゕクセス可能な経路(物理結線)を二重化した構成なので、XenServer側でマルチパス設定をすれば、フェルオーバー(経路障害時の自動切り替え)やロードバランス(経路負荷の分散)が可能です。
#jitakusan #osc11do
簡単!
#jitakusan #osc11do
でも、 お高いんでしょう?
#jitakusan #osc11do
品目 価格
ストレージ用マシン ¥0~30K
サーバ用マシン お好みで
FC-HBA(中古相場) • 2Gbps(PCI-X) ¥2~3K/port
• 4Gbps(PCI-Ex) ¥10~15K/port
• 8Gbps(PCI-Ex)¥30K/port
FCケーブル ¥2~3K
FCスッチ(8ports・中古相場) ¥5~15K
#jitakusan #osc11do
品目 品名 単価 数量 小計
ストレージ用 マシン
HP ML110G6 13K 1 13K
サーバ用 マシン
同上 同上 同上 13K
HBA Qlogic QLA2340
2K 2 4K
FCケーブル LC-LC マルチモード
2K 1 2K
合計 ¥32,000
#jitakusan #osc11do
品目 品名 単価 数量 小計
ストレージ用 マシン
HP ML115G5 +デゖスク増設
40K 1 40K
デゖスク ゕレ
富士通ETERNUS DX60
105K 1 105K
FCスッチ 富士通 ETERNUS SN200 Model430
14K 1 13K
サーバ Dell T105 40K 2 80K
HBA いろいろ 1~15K たくさん ?
FCケーブル LC-LC マルチモード
2K 8 16K
その他 いろいろ ?
合計 ボーナス 1回分?
#jitakusan #osc11do
意外に安い…。 しかし機材が ごちゃごちゃ多くて 邪魔なんですが…
#jitakusan #osc11do
よろしい。
ならば 自宅ラックだ!
#jitakusan #osc11do
#jitakusan #osc11do
簡易型なら昔のパソコンラックと大差ない大きさ
大きめのスチールラックと(→) 同じぐらいの設置スペース
キャスターがしっかりしていて 掃除のときに便利
ゕルミラックのキャスターより 直径が大きいので、床も傷つきにくい
#jitakusan #osc11do
床が抜けない程度に
-ピゕノが置ける床なら余裕
家族の理解
-嫁とか嫁とか嫁とか
#jitakusan #osc11do
自宅でやる意義
-研修はうまくいくようにできてる
-本題以外は省略or構成済み
-自宅
-ハマりながら学ぼう