インフラエンジニアなら知っておきたいストレージのはなし＠OSC 2012 Nagoya

#jitakusan #oscnagoya

プロフィール

島崎聡史（twitter: @smzksts）

- 自宅SAN友の会主宰

- Citrix Systems Japan K.KでSEをしています

-デスクトップ仮想化：XenDesktop

-サーバ仮想化：XenServer

-クラウド構築・管理：CloudStack

- 元メーカー系研修ベンダー講師：仮想化＆ストレージ講師

- VMware Certified Instructor, Xen, KVM,

Solaris Containers, Eucalyptus, Fujitsu ETERNUS, etc...


コミュニティ紹介

2010年4月23日発足

- ML参加者 100名以上

自宅にSAN（Storage Area Network）の検証環境を

作りたい人のためのコミュニティ

コンセプト

-ストレージ技術を中心に、

自宅に無さそうなものを

自宅でやっちゃいましょう。


本日のテーマ

ストレージの基礎

自宅SANの始めかた


ストレージの基礎（を仮想化と絡めて）


ストレージとストレージシステム

「ストレージ」

-補助記憶装置あるいは媒体そのもの

（HDD、SSD、ディスクアレイなど）

「ストレージシステム」

-コンピュータに大容量・高性能・高信頼性・高運用性な補助記憶装置を提供する仕組み

-ディスクアレイ＋接続装置＋管理ツールなど


サーバ仮想化とストレージシステム

共有ストレージ

Network

VMの

仮想HDD ISOイメージ

VMの

テンプレート

VMの

構成情報

VM VM

ハイパーバイザ

VM VM VM


VM VM VM


VM


共有ストレージのメリットその1

ライブマイグレーション

Network


仮想HDD

VM VM


VM VM


- VMを稼働させたまま

別ホストへ移動

- メモリデータの移動

- ハイパーバイザ間で

LANを使用した通信

- 自動化により負荷分散にも応用

- 移動先のホストからも

同一の仮想HDDを

参照する必要がある

LAN



高可用性機能

Network


仮想HDD

VM VM

ハイパーバイザハイパーバイザ

- ホストの障害に巻き込まれてダウンしたVMを別ホストで自動的に再起動

- ライブマイグレーションではない

- 移動先のホストからも

同一のVMの構成情報と

仮想HDDを

参照する必要がある VMの

構成情報

VM VM

LAN

死活監視



サーバ仮想化管理ツールとの連携・統合 - 管理インターフェースの統合や、I/O負荷のオフロードなど

- 例：ホストに負荷をかけずにVMをクローン

ディスクアレイ

（連携なし）


（連携に対応）


サーバ仮想化にはストレージ

システムが欠かせない存在

↓

ストレージシステムの

基本を押さえよう！


ストレージシステムの構成要素


（共有ストレージ）

さまざまな接続方式

管理ツール


ディスクアレイ（Disk Array）

ハードディスクなどの

記憶媒体を複数搭載して

RAIDを構成することで、

容量・性能・信頼性を高めた

外部記憶装置


ディスクアレイの例

ディスクがたくさん

※画像はウィキメディアから


RAIDグループとLUN

HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD

RAID

グループ

RAID

グループ

RAID

グループ

LUN

LUN

LUN サーバからアクセス


ディスクアレイのポイント①

ディスクの集約度と拡張性

- 2Uあたり 3.5インチ×12本、2.5インチ×24本など

※弾数は負荷を分散するためにはとても重要

-ディスクシェルフ（エンクロージャ）の増設

- Q：多数の仮想マシンを格納する場合、どちらが良い？

- 12本(RAID 1+0)で構成したRAIDグループ1つ

- 4本(RAID 1+0)で構成したRAIDグループ3つ


解答例：性能を重視した場合

A:4本(RAID 1+0)で構成したRAIDグループ3つ

考え方のポイント

多数のVMによる負荷＝多重負荷

＝各VMが時分割でI/Oを行う

＆HDD上での格納位置はバラバラ

＝ランダムアクセス

RAIDのストライプ本数が増えてもサイズの小さいI/Oは高速化しない


解答例：容量効率を重視した場合

12本(RAID 1+0)で構成したRAIDグループ1つ

1つのベースイメージから多数のVMを展開

（VMの差分コピー機能）

RAIDグループ（LUN）が別だと、

それぞれにベースイメージが必要

※ディスク容量単価の低下に比べて

性能に対する価格は下がりづらいため、

個人的には性能を重視した設計を勧めます。


ディスクアレイのポイント②

冗長化と耐障害性

- マザーボード、CPU、RAIDコントローラなどは、一般的なサーバでは冗長化されない部分も冗長化

- 突然の電源断の際にもメモリ＋バッテリや

フラッシュメモリ＋コンデンサによりデータを保護

- 障害予兆検知により、RAIDグループを故障前にリビルド

- ハードウェアレベルでの破損ブロック検知と自動修復


ディスクアレイのポイント③

管理ツールの充実

- リッチなGUI

- 日本語対応か否か

運用の柔軟性

- RAIDグループの構成変更（RAIDレベル、アレイ本数）

※負荷がかかるため安易な利用は勧めない

- LUNのサイズ変更


ディスクアレイの接続方式

DAS(Direct Attached Storage)

- サーバと直付け

NAS(Network Attached Storage)

- ファイルサーバ

SAN(Storage Area Network)

- ストレージ用のネットワークによる接続


接続方式による分類：SANとNAS

物理ディスク

RAID制御

論理ディスク（LUN）

物理ディスク

RAID制御

ファイルシステム

SAN →ディスクにアクセス

NAS →ファイルにアクセス

ストレージ用

ネットワークで接続


要するに…

SAN接続タイプのストレージ

⇒外付けハードディスク

NASタイプのストレージ

⇒ファイルサーバ


ストレージのさまざまな接続方式

分類タイプアクセス接続経路主な速度用途など

SAN

Fibre

Channel

（FC）

ブロック

レベル

Fibre Channel 8Gbps,

4Gbps

高速なSAN

iSCSI Ethernet 1Gbps,

10Gbps

安価なSAN

FCoE 拡張されたEthernet

10Gbps SAN/LANの統合

NAS NFS ファイル

レベル

Ethernet 1Gbps,

10Gbps

UNIX系

ファイル共有

CIFS Windows

ファイル共有


仮想化ソフトごとに使える接続方式は異なる

Fibre Channel iSCSI FCoE NFS CIFS

VMware

vSphere

• VMFS

• VMDK

• ISOイメージ

• Raw Device Mapping

• VMDK

• ISO

×

Hyper-V • NTFS

• VHD on NTFS

• パススルーディスク

× • ISO

Citrix

XenServer

• LVM

• 論理ボリュームを

VMに割り当て

• StorageLink

• LUNをVMに割り当て

• VHD

• ISO

• ISO


共有ストレージの注意点

コスト

性能 - 多数のVMの負荷が集中

- ディスクアレイの性能

- 接続経路の性能

耐障害性 - ストレージの障害は多数のVMに影響

- ディスクアレイの障害

- 接続経路の障害

設計・構築・管理の容易性


ここまでのまとめ

サーバ仮想化環境において

ストレージは非常に重要な位置づけ

サーバ仮想化ソフトと

ストレージタイプの組み合わせに注意

触ってみないとイメージしづらい…

家でやろう！


家でやろう～Fibre Channel 編～

ディスクアレイは買うと高いので自分で作りましょう。

1. 使うソフトウェアを決める

2. ハードウェアをそろえる

3. 構築する


1.使うソフトウェアを決める

今のところ2択（ほかにもあるらしい？）

- Linux + SCST(Generic SCSI Target Subsystem for Linux)

-モジュール組み込んでLinuxカーネルをビルドする気合い

-対応ハードウェアはこちらのほうが手に入りやすい

- Solaris/COMSTAR

- SoalrisなのでZFSが使える

-高機能


２.ハードウェアをそろえる

必要なもの

- FC-HBA

- ストレージ用（ターゲット）

- サーバ用

- FCケーブル

- FCスイッチ（接続台数が多い場合）

ポイント

- 国内外のオークションサイトが安い

- SCST,COMSTARそれぞれ、ターゲットとして使えるFC-HBAに制限あり。→購入前にそれぞれのWeb等で確認


3.構築する

自宅SAN友の会 Webサイトを参照

http://sites.google.com/site/jitakusan/

https://sites.google.com/site/jitakusan/




費用の目安（FC機材はすべて中古）

品目価格

ストレージ用マシン ¥0～30K

サーバ用マシンお好みで

FC-HBA 2Gbps（PCI-X） ¥2～3K/port

4Gbps（PCI-Ex）¥12～18K/port

8Gbps（PCI-Ex）¥40K/port

FCケーブル ¥2～3K

FCスイッチ（8ports） ¥8～15K


費用例（最少構成）

品目品名単価数量小計

ストレージ用

マシン

HP ML110G6 13K 1 13K

サーバ用

マシン

同上同上同上 13K

HBA Qlogic

QLA2340

2K 2 4K

FCケーブル LC-LC

マルチモード

2K 1 2K

合計 ¥32,000


費用例（自宅）

品目品名単価数量小計

ストレージ用

マシン

HP ML115G5

+ディスク増設

40K 1 40K

ディスク

アレイ

富士通ETERNUS

DX60

105K 1 105K

FCスイッチ富士通

ETERNUS SN200

Model430

14K 1 13K

サーバ Dell T105 40K 2 80K

HBA いろいろ 30K 6 30K

FCケーブル LC-LC

マルチモード

2K 8 16K

その他 ?

合計軽自動車未満


具体例（自宅）

19インチラックは簡易タイプのものが便利。

家族には「パソコンラック」と説明しましょう。

上の写真はサンワサプライのRAC-SV18U

商用の2Uサイズのストレージ。下手に普通の棚に置くより、19インチラックのほうがスッキリ収納でき、家族のクレームが出にくいかも。


まとめ

サーバ仮想化するならストレージはいいモノを。

勉強用と割り切れば、型落ちの機材は安く手に入る

メタルラックは捨てて 19インチラックでスッキリ片付けよう！（自宅なら簡易タイプで十分）


ご清聴ありがとうございました！

自宅SAN友の会島崎聡史(Twitter:@smzksts)

インフラエンジニアなら知っておきたいストレージのはなし＠OSC 2012 Nagoya

Documents

Transcript of インフラエンジニアなら知っておきたいストレージのはなし＠OSC 2012 Nagoya