OpenStorage研究会 2013年度活動報告 - ocdet.org › document ›...

Copyright (c) OCDET All Rights Reserved.

OpenStorage研究会2013年度活動報告

2014年3月13日

OpenStorage研究会


課題: 参加者の稼働確保

営業時間内の作業は無理

土日もイベント関係や本業(休日出勤)で身動きが取れない

3


2013年度活動予定(予定)

【Phase1】 Swiftの大規模実証実験と他プロダクトの大規模実証実験の準備

【Phase2】他研究会と連携した大規模実証実験

Phase1 Phase2

4月 5月 6月 7月 8月 9月 10月 11月 12月 1月 2月 3月

Swift大規模実証実験(StarBED)

アウトプット

★MTG ★MTG ★MTG ★MTG ★MTG ★MTG ★MTG ★MTG ★MTG ★MTG ★MTG★MTG

★中間報告

スクリプト等性能試験結果

報告書

大規模実証実験(StarBED)

機材・人材確保

撤去(IIJ環境)

GlusterFS＋

CloudStack連携テスト

NFS試験

振り返り・結果考察


2013年度活動予定(実態)

【Phase1】 Swiftの大規模実証実験と他プロダクトの大規模実証実験の準備

【Phase2】他研究会と連携した大規模実証実験

Phase1 Phase2

4月 5月 6月 7月 8月 9月 10月 11月 12月 1月 2月 3月

Swift大規模実証実験(StarBED)

★MTG ★MTG ★MTG ★MTG ★MTG ★MTG ★MTG ★MTG ★MTG ★MTG ★MTG★MTG

★中間報告


撤去(IIJ環境)

GlusterFS＋

CloudStack連携テスト

NFS試験ブロックデバイス調査


2013年度活動実績(WG別/個別)

6

項目 2012/3(pre) 2012/4-6 (1Q) 2012/7-9 (2Q) 2012/10-12 (3Q) 2013/1-3 (4Q)

研究会全体

ブロックデバイス(案なし → Ceph)

オブジェクトストレージ(Swift)

ファイルシステム(GlusterFS)

他研究会との連携


上期活動方針案確定

下期活動方針案確定

方針フィードバック

★Phase1 ★Phase2

大規模環境での検証


OCDETCAMP2013

IaaS基盤連携

IaaSからの利用

IIJ環境撤去

Ceph/Gluster調査

検証内容検討・実施

結果考察・仮説検証


2013年度活動実績(WG別/個別)

7

項目 2012/3(pre) 2012/4-6 (1Q) 2012/7-9 (2Q) 2012/10-12 (3Q) 2013/1-3 (4Q)

研究会全体

ブロックデバイス(案なし → Ceph)

オブジェクトストレージ(Swift)

ファイルシステム(GlusterFS)

他研究会との連携


上期活動方針案確定

下期活動方針案確定


★Phase1 ★Phase2

大規模環境での検証


OCDETCAMP2013

IaaS基盤連携

IaaSからの利用

IIJ環境撤去

Ceph調査

検証内容検討・実施

結果考察・仮説検証

DRBD調査


取り扱い技術

8

• オブジェクトストレージ：Swift

• StarBEDでの大規模ベンチマーク– OCDET CAMP

• ファイルシステム：GlusterFS・NFS

• GlusterFSのIaaS連携– CloudStackのPrimaryStorageとしての利用

• NFS– 目新しい技術ではないが、現行の選択肢・比較対象として有用

• ブロックストレージ：Ceph• Ceph

– OSSラボ船井さんが調べており、OCDETに参加

• DRBD– NFSを冗長化させるために使用


Swiftベンチマーク

9

及び

StarBED利用報告


Swiftベンチマークスクリプト概念図

サーバ側パラメータパターン

ワーカー数・・・

・・・

レプリカ数 1 2 3 ・・・

クライアント側パラメータパターン

Objectサイズ 1K 100K 1MB ・・・

GETS回数 1M 100K 10K ・・・

並列数 10 100

・・・・

# ocdet-swift-bench

パラメータの組み合わせを文字列に(スクリプトの引数に)

パラメータから環境構築・ベンチマークを実行

A-B-C-D-E-F-G-H…

結果のログ収集


OCDET CAMP 2013

11

概要：北陸合宿を開催し、StarBEDを用いてOpenStack Swiftの大規模ベンチマーク試験を実施。

期間：5/7-5/10

DDTもした

DDT


OCDET Camp 報告

12

–参加者

• 松井、中島さん、武川さん

–目的

• Swiftにおける、構成ごとの傾向の分析

–スケジュール

• 5/07-5/10 CAMP(北陸での作業)

• 5/11-6/21 リモートでのベンチマーク実施


OCDET Camp 予定と実績

13

予定実績

5/7 StarBEDの利用方法確認大まかなタスク作成ひな形OSインストール(1台)SpringOSでのインストールテスト(1台)

StarBEDの利用方法確認大まかなタスク作成ひな形OSインストール(未完了)

5/8 SpringOSでのインストール(140台) ひな形OSインストール(1台)SpringOSでのインストールテスト(1台)

5/9ベンチマークスクリプトの調整

SpringOSでのインストール(140台)ベンチマークスクリプトの調整

5/10 ベンチマークスクリプトの調整ベンチマークスクリプトの調整(未完了)

5/11～

ベンチマークを実行(数週間) ベンチマークスクリプトの調整(継続)

概ね1日圧し。ベンチマークスクリプトの調整についてはその後更に継続


OCDET Camp 予定と実績

14

予定実績

5/7 StarBEDの利用方法確認大まかなタスク作成ひな形OSインストール(1台)SpringOSでのインストールテスト(1台)

StarBEDの利用方法確認大まかなタスク作成ひな形OSインストール(未完了)

5/8 SpringOSでのインストール(140台) ひな形OSインストール(1台)SpringOSでのインストールテスト(1台)

5/9ベンチマークスクリプトの調整

SpringOSでのインストール(140台)ベンチマークスクリプトの調整

5/10 ベンチマークスクリプトの調整ベンチマークスクリプトの調整(未完了)

5/11～

ベンチマークを実行(数週間) ベンチマークスクリプトの調整(継続)

概ね1日圧し。ベンチマークスクリプトの調整についてはその後更に継続


StarBED利用報告～合宿後～

• 5/11～8/31まで活動

• 予定：～6/21 → ～8/31

• ベンチマークスクリプト修正

• 構築失敗に備えてチェック機構を導入

• スクリプト内でのテストだと妥当性に不安がある

• 外部に仕組みをもたせられるようServerSpecを導入。

• テスト機構は実装途中ながら、返却期間が迫ったためデータのみ取得

• データ解析は未着のまま

15


OCDET CAMP報告

食事も楽しみました

16


CloudStack

17

＋

GlusterFS


CloudStack + GlusterFS

18

VM Computing Node

・・・VM VM

管理・ストレージ用NW

サービス用NW

GlusterFS・ノード間でデータを冗長化・ノードを追加して容量拡張

CloudStack

管理サーバ

The Internet

• CloudStackのPrimary StorageにGlusterFSを採用

• HA用の仮想IP不要/手軽な拡張性・可用性

• DH社内用に構築

※書き込み性能が低く、用途が限られるためNFS+DRBDの構成で再構築


CloudStack + NFS(+DRBD)

19

VM Computing Node

・・・VM VM


サービス用NW

CloudStack

管理サーバ

The Internet

• GlusterFSの置き換えとして構築

• NFSサーバのNICには10Gを採用

• NFSがSPOFにならぬよう、DRBDで冗長化

Standby NFSActive NFS10G NIC

VIP

10G NIC


CloudStack + NFS(+DRBD)

20

VM Computing Node

・・・VM VM


サービス用NW

CloudStack

管理サーバ

The Internet

• M-Cloud(仮)として社内で運用開始！

Standby NFSActive NFS10G NIC

VIP

10G NIC


活動内容報告 –活動の進め方-

21

• 作業者間の連絡

• ML ：MTGや報告会等の連絡等に使用。

• Skype：インタラクティブに連絡が取れるため、利用率が高い– CloudStack部屋、OpenStack部屋、DebuStuck部屋などなど…

• 作業者MTG

• 「飲み会やるため」でいいので隔週で集まる方針に変更– 交流もOCDETの趣旨

• 定期開催してます


• 研究会全体

• Storage研はIaaS研に統合

• 活動は今まで通り

• オブジェクトストレージ

• Swiftベンチマークの結果解析

• RiakCS

• ファイルシステム

• OpenStack Cinder

• 比較用にNFS(+DRBD)のチューニング

• ブロックストレージ

• Ceph

• DRBD


最終成果物

ベンチマークスクリプト主担当：松井、中島さん、武川さん概要：パラメータを変えながら性能試験を行なう仕組みを設計。

今期は構築した環境が意図通りのものかのチェックを強化。

Swiftベンチマーク結果主担当：松井、中島さん、武川さん概要： StarBEDで行なったベンチマークの結果(のログ)

ディスクアクセス簡易ベンチマーク結果

主担当：松井概要：仮想マシン上からのディスク書き込みの速度をまとめた

NFSベンチマーク結果(比較用) 主担当：松井概要：上記との比較のため、NFSでの書き込み速度をまとめた

LinuxConでの発表主担当：伊藤さん概要： CloudStack+GlusterFSの構成についてLinuxConで発表http://www.slideshare.net/thatsdone/ocdet-activity-and-glusterfs

DRBD構築手順主担当：松井

DRBDベンチマーク結果主担当：松井

http://www.slideshare.net/thatsdone/ocdet-activity-and-glusterfs

OpenStorage研究会 2013年度活動報告 - ocdet.org › document ›...

Documents

Transcript of OpenStorage研究会 2013年度活動報告 - ocdet.org › document ›...