DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author...
Transcript of DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author...
![Page 1: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/1.jpg)
Copyright © KLab Inc. All rights reserved.
2007年6月22日
KLab 株式会社Kラボラトリーひろせ まさあき
DSASのあそこ~ストレージサーバ編~
第2回 KLab 勉強会
http://dsas.blog.klab.org
![Page 2: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/2.jpg)
1Copyright © KLab Inc. All rights reserved.
自己紹介
![Page 3: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/3.jpg)
2Copyright © KLab Inc. All rights reserved.
自己紹介
名前:ひろせ まさあき
はてなID:id:hirose31
KLab株式会社
Kラボラトリーに所属
![Page 4: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/4.jpg)
3Copyright © KLab Inc. All rights reserved.
http://d.hatena.ne.jp/hirose31/
amount of curry I drank
![Page 5: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/5.jpg)
4Copyright © KLab Inc. All rights reserved.
今日のアジェンダアジェンダ
ストレージサーバの作り方
要件の整理データの保全
可用性の確保
実装方法の検討とまらないストレージサーバ
ストレージへのアクセス方法
構築
落とし穴DRBDNFS
![Page 6: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/6.jpg)
5Copyright © KLab Inc. All rights reserved.
今日のアジェンダアジェンダ
要件の整理データの保全
可用性の確保
実装方法の検討とまらないストレージサーバ
ストレージへのアクセス方法
構築
落とし穴DRBDNFS
![Page 7: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/7.jpg)
6Copyright © KLab Inc. All rights reserved.
こんなストレージサーバが欲しい (1)
こんなファイルを保存することを考えます
サイズそこそこでかい
数MB~数十MB
数とてもたくさん
具体的には画像、音、動画、着メロデータなど
![Page 8: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/8.jpg)
7Copyright © KLab Inc. All rights reserved.
こんなストレージサーバが欲しい (2)
ストレージサービスの要件
データがなくならない
サービスがとまらない
![Page 9: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/9.jpg)
8Copyright © KLab Inc. All rights reserved.
データがなくならない
ディスク故障からデータを守る方法を考える
RAIDはどうか?☺有益だが、万能ではない
ディスクが同時に2台壊れるとデータ破損 (RAID1,5)バックアップはどうか?
フルバックアップ領域が大きいと時間がかかる
差分バックアップファイル数が多いと差分判定に時間がかかる
バックアップ中は負荷がかかる定期バックアップは時間が経つと本データと乖離する
![Page 10: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/10.jpg)
9Copyright © KLab Inc. All rights reserved.
サービスがとまらない
RAIDはどうか?
☺ ディスク故障
RAIDコントローラが壊れたら?
RAIDと関係ない部分が壊れたら?
電源
メモリ
バックアップはどうか?
リストアに時間がかかる復旧に時間がかかる
リカバリできないかもしれない障害時データとバックアップデータの乖離
![Page 11: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/11.jpg)
10Copyright © KLab Inc. All rights reserved.
なんかいいのないの?
なんかいいほうほうないの?
![Page 12: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/12.jpg)
11Copyright © KLab Inc. All rights reserved.
DRBD
DRBDてのがあるよ!!
![Page 13: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/13.jpg)
12Copyright © KLab Inc. All rights reserved.
今日のアジェンダアジェンダ
要件の整理データの保全
可用性の確保
実装方法の検討とまらないストレージ
ストレージへのアクセス方法
構築
落とし穴DRBDNFS
![Page 14: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/14.jpg)
13Copyright © KLab Inc. All rights reserved.
DRBDとは?
DRBD - Distributed Replicated Block Devicehttp://www.drbd.orgkernel moduel + drbdadm コマンド
しくみDRBDサーバ対サーバの ネットワーク越しの ミラーリング
RAID 1ディスク対ディスクの ローカルバス越しの ミラーリング
![Page 15: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/15.jpg)
14Copyright © KLab Inc. All rights reserved.
DRBDのしくみ
![Page 16: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/16.jpg)
15Copyright © KLab Inc. All rights reserved.
DRBDの特徴
OSからはブロックデバイス
にみえる
![Page 17: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/17.jpg)
16Copyright © KLab Inc. All rights reserved.
DRBDの特徴
mkfsしてmountして使う
![Page 18: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/18.jpg)
17Copyright © KLab Inc. All rights reserved.
DRBDの特徴
writeはプライマリ
に対してのみ
![Page 19: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/19.jpg)
18Copyright © KLab Inc. All rights reserved.
DRBDの特徴
writeはプライマリ
に対してのみ
readもプライマリ
に対してのみ
![Page 20: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/20.jpg)
19Copyright © KLab Inc. All rights reserved.
DRBDの特徴
writeはプライマリ
に対してのみ
readもプライマリ
に対してのみ
DRBD 8.x+OCFS2 or GFSならばプライマリ/プライマリな構成が可能
(らしい)
![Page 21: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/21.jpg)
20Copyright © KLab Inc. All rights reserved.
解決したい問題の再確認
データがなくならない
サービスがとまらない
![Page 22: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/22.jpg)
21Copyright © KLab Inc. All rights reserved.
DRBDで解決できる問題 (1)
データがなくならない
リアルタイムに別サーバにミラーリング
![Page 23: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/23.jpg)
22Copyright © KLab Inc. All rights reserved.
DRBDで解決できる問題 (2)
サービスがとまらない
プライマリが故障した場合はセカンダリを昇格すればおk (フェイルオーバ)
ダウンタイムを短くできる
![Page 24: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/24.jpg)
23Copyright © KLab Inc. All rights reserved.
フェイルオーバ(F/O)はどう実装するか?
DRBD自体には自動F/Oの機構がない
いくつかの管理コマンドを実行する必要がある
死活監視+管理コマンド実行が必要
F/O時にIPアドレスが変わらないようにしたい
F/Oをクライアントに意識させない
浮動する仮想IPアドレスをプライマリに付与すれ
ばいい
![Page 25: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/25.jpg)
24Copyright © KLab Inc. All rights reserved.
死活監視とか浮動IPアドレスとか
めんどいぉ…
![Page 26: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/26.jpg)
25Copyright © KLab Inc. All rights reserved.
keepalivedでいいんでない?
![Page 27: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/27.jpg)
26Copyright © KLab Inc. All rights reserved.
keepalivedでできるよ
keepalivedの2つの機能
1) IPVSによるロードバランスとリアルサーバの死
活監視
2) VRRPによるアクティブ/バックアップ構成の冗
長化 ←今日はこっち
![Page 28: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/28.jpg)
27Copyright © KLab Inc. All rights reserved.
VRRPって?
VRRP - Virtual Router Redundancy ProtocolRFC 3768
VRRPの概要2台以上のルータでグループを構成する
1台のマスタルータと1台以上のバックアップルータ
マスタルータは、浮動する仮想ルータアドレスを保持する
マスタルータが停止すると、バックアップルータのいずれかがマスタに昇格する
VRRPの死活監視マスタルータが定期的にマルチキャストする
VRRP Advertisement Message
![Page 29: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/29.jpg)
28Copyright © KLab Inc. All rights reserved.
VRRPって?
2台以上のルータで
グループを構成する
192.168.0.101
192.168.0.102
192.168.0.103
![Page 30: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/30.jpg)
29Copyright © KLab Inc. All rights reserved.
VRRPって?
2台以上のルータで
グループを構成する
1台のマスタルータと
バックアップルータたち
192.168.0.101
192.168.0.102
192.168.0.103
![Page 31: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/31.jpg)
30Copyright © KLab Inc. All rights reserved.
VRRPって?
2台以上のルータで
グループを構成する
1台のマスタルータと
バックアップルータたち
マスタが、浮動する仮想ルータアドレスを保持する
192.168.0.1
192.168.0.101
192.168.0.102
192.168.0.103
![Page 32: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/32.jpg)
31Copyright © KLab Inc. All rights reserved.
VRRPって?
192.168.0.1
192.168.0.101
192.168.0.102
192.168.0.103おらが
マスタだすー
マスタが定期的にマルチキャストする
VRRP Advertisement Message
おらがマスタだすー
あいつ元気だな…
![Page 33: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/33.jpg)
32Copyright © KLab Inc. All rights reserved.
VRRPって?
192.168.0.102
192.168.0.103
マスタがダウンすると…
あれ…静かになったな…
。。。
![Page 34: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/34.jpg)
33Copyright © KLab Inc. All rights reserved.
VRRPって?
192.168.0.1
192.168.0.102
192.168.0.103
バックアップルータのどれかがマスタに昇格する
おら、マスタになるわ!
![Page 35: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/35.jpg)
34Copyright © KLab Inc. All rights reserved.
VRRPはルータじゃないと使えないの?
ルータじゃなくても使えます!!複数のノードでグループを構成し、その中の1つのノードがマスタになりなにかしらのサービスを提供する
VRRPを使う利点マスタに付与される仮想IPアドレスの管理を任せられるネットワーク的な疎通監視を任せられる
+keepalivedの利点keepalivedの場合は、VRRPの状態変化をフックして任意のプログラムを実行できる
ここでDRBDのF/Oの処理を実行すればいい
![Page 36: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/36.jpg)
35Copyright © KLab Inc. All rights reserved.
VRRPによるフェイルオーバ
と死活監視
ここまでのまとめ
primary/dev/drbd0
keepalived
secondary/dev/drbd0
keepalived
マスタのVIP
DRBDによる
リアルタイムミラー
![Page 37: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/37.jpg)
36Copyright © KLab Inc. All rights reserved.
今日のアジェンダアジェンダ
要件の整理データの保全
可用性の確保
実装方法の検討とまらないストレージ
ストレージへのアクセス方法
構築
落とし穴DRBDNFS
![Page 38: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/38.jpg)
37Copyright © KLab Inc. All rights reserved.
ストレージサーバへのアクセス – write
NFSv3少数のアップロードサーバ(NFSクライアント)がストレージサーバ(NFSサーバ)に書き込む
![Page 39: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/39.jpg)
38Copyright © KLab Inc. All rights reserved.
ストレージサーバへのアクセス – write
DRBDP
DRBDS
NFS mount
Uploadwriter
Uploadwriter
otherserver
otherserver
otherserver
![Page 40: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/40.jpg)
39Copyright © KLab Inc. All rights reserved.
ストレージサーバへのアクセス – read (1)
NFSv3でもいいけど、NFSはサーバ間の結合が強いので
できれば避けたいのが本音
Webサービスの場合、readするHTTPサーバがた
くさんいるのでなおさらイヤ
![Page 41: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/41.jpg)
40Copyright © KLab Inc. All rights reserved.
ストレージサーバへのアクセス – read (1)
DRBDP
DRBDS
NFS mount
Uploadwriter
Uploadwriter reader reader reader
![Page 42: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/42.jpg)
41Copyright © KLab Inc. All rights reserved.
ストレージサーバへのアクセス – read (1)
DRBDP
DRBDS
DRBDP
DRBDS
reader reader reader reader reader
reader
reader
reader
reader
![Page 43: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/43.jpg)
42Copyright © KLab Inc. All rights reserved.
ストレージサーバへのアクセス – read (1)
DRBDP
DRBDS
DRBDP
DRBDS
readerreader
readerreader
reader
reader
reader
reader
reader
reader reader
reader readerreader reader
reader
DRBDP
DRBDS
もうむりぽ!゜д゜)ノ
![Page 44: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/44.jpg)
43Copyright © KLab Inc. All rights reserved.
ストレージサーバへのアクセス – read (2)
HTTPreadならHTTPでもいいんでないかと
内部のロードバランサ経由でアクセス
☺分散
☺高可用性
![Page 45: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/45.jpg)
44Copyright © KLab Inc. All rights reserved.
ストレージサーバへのアクセス – read (2)
DRBDP
DRBDS
NFSClient
NFSClient
NFS mount
thttpd thttpd thttpd
LVS
Uploadwriter
Uploadwriter reader reader reader
![Page 46: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/46.jpg)
45Copyright © KLab Inc. All rights reserved.
NFSのフェイルオーバ時の注意点
/var/lib/nfs接続中のNFSクライアントの情報を保持している場所
F/O時にこの情報が失われてしまう
昇格したNFSサーバは見知らぬNFSクライアントからのアク
セスにみえるため拒否してしまう!
解決方法(1) DRBDで/var/lib/nfsもミラーリングしちゃう
(2) mount –t nfsd nfsd /proc/fs/nfs ←オススメkernel 2.6以降
![Page 47: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/47.jpg)
46Copyright © KLab Inc. All rights reserved.
今日のアジェンダアジェンダ
要件の整理データの保全
可用性の確保
実装方法の検討とまらないストレージ
ストレージへのアクセス方法
構築
落とし穴DRBDNFS
![Page 48: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/48.jpg)
47Copyright © KLab Inc. All rights reserved.
で、実際の構築方法の説明は。。。
6/2x発売のWEB+DB PRESS Vol.39を見てく
ださい><
![Page 49: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/49.jpg)
48Copyright © KLab Inc. All rights reserved.
それだけではなんなので。。。
過去にハマった落とし穴情報をいくつか…
![Page 50: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/50.jpg)
49Copyright © KLab Inc. All rights reserved.
今日のアジェンダアジェンダ
要件の整理データの保全
可用性の確保
実装方法の検討とまらないストレージ
ストレージへのアクセス方法
構築
落とし穴DRBDNFS
![Page 51: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/51.jpg)
50Copyright © KLab Inc. All rights reserved.
落とし穴 (1)– DRBDとXFS
ちょっと前(kernel 2.6.11か2.6.12ぐらい)のお話
DRBDをXFSで使うと、ある日突然サーバが何もいわ
ずに落ちる問題が発生再現性あり:bonnie++で負荷をかけ続けると3日目ぐらい
で落ちる
kernelのスタックサイズを4KBから8KBに変更すればOK
Kernel hacking → Use 4Kb for kernel stacks instead of 8Kbのチェックを外す
最近のバージョンでは直ってる情報もアリ
![Page 52: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/52.jpg)
51Copyright © KLab Inc. All rights reserved.
落とし穴 (2)– drbd.confのon-io-error
on-io-error :ディスクでIOエラーが発生した
場合の挙動の指定pass_on上位レイヤ(ファイルシステム)にスロー
panic当該ノードでkernel panicを起こし停止させる
detach ←こいつがクセモノ
物理デバイスを切り離す
と同時に相方サーバをkernel panicさせる
プライマリもセカンダリもダウン><
![Page 53: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/53.jpg)
52Copyright © KLab Inc. All rights reserved.
落とし穴 (3)– メモリ系のデバイスとDRBD
tmpfsデバイスに見えないのでDRBDで使えない
tmpfs+loop back deviceフリーズする
ramdisk使えるが、1つのramdiskの最大サイズは512MB
ramdisk+LVMpvcreateできなかった
ramdisk+md(raid0)領域を超えるサイズのファイルを作るとOSが落ちる
現在の最新バージョンでは異なる可能性があります
![Page 54: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/54.jpg)
53Copyright © KLab Inc. All rights reserved.
今日はここまで
![Page 55: DSASのあそこlog.blog.klab.org/support/20070622/DSAS-ASOKO.pdfTitle DSASのあそこ Author ひろせ まさあき Subject ストレージサーバ編 Created Date 6/25/2007 11:46:55](https://reader030.fdocuments.net/reader030/viewer/2022040820/5e691791c785414b51160678/html5/thumbnails/55.jpg)
54Copyright © KLab Inc. All rights reserved.
ご清聴、ありがとうございました~
><