第2回RouterBOARD勉強会 第4回ベンチマーク勉強会

ベンチマーク班まとめ

16th Nov 2013

∗ 以下の2機種間での性能比較 ∗ Mikrotik – CCR（CCR1036-8G-2S+） ∗ YAMAHA – RTX（RTX3000）

∗ ルーティング時における単純帯域測定

ルーティング性能の基礎能力を測る

∗ ルーティング時におけるCIFSの性能測定 企業での拠点間でファイルサーバを利用したユースケースを想定したCIFSのパフォーマンスを測る

ベンチマーク班のミッション

ベンチマーク班作業概要

∗ ベンチマーク班の環境、構成は以下のとおり ∗ ルーティング時における性能測定（帯域）

∗ ルーターを挟まない状態で測定した数値を基準値として、CCR同士、RTX同士でルーティング時における性能を同条件で比較する。また10G NICを利用し、CCRの10Gポートによる測定も実施する。 ※なお、CCR、RTXで、それぞれ転送中のCPU負荷等も見ておく

観測ポイント 対向機

観測ポイント 対向機

観測ポイント 対向機

観測ポイント 対向機

優先実施 項目

時間の余裕 があれば

10G NIC 10G NIC CCR

192.168.50/24 CCR 192.168.60/24

172.16.50/24

RTX1200 192.168.50/24

RTX1200 192.168.60/24

172.16.50/24

CCR 192.168.52/24

RTX1200 192.168.51/24

172.16.50/24

ベンチマーク班作業概要

∗ ベンチマーク班の環境、構成は以下のとおり ∗ CIFS接続のファイル転送時における性能測定

∗ ルーターを挟まない状態でCIFSのファイル転送における性能値を基準として、CCR同士、RTX同士でCIFSの性能を比較する。また10G NICを利用し、CCRの10Gポートによる測定も実施する。 ※なお、CCR、RTXそれぞれ転送中のCPU負荷等も見ておく

CCR 192.168.50/24

CCR 192.168.60/24 観測ポイント

CrystalDiskMark NAS

観測ポイント CrystalDiskMark

NAS

観測ポイント CrystalDiskMark

NAS

観測ポイント CrystalDiskMark

NAS

優先実施 項目

時間の余裕 があれば

172.16.50/24

RTX1200 192.168.50/24

RTX1200 192.168.60/24

172.16.50/24

CCR 192.168.52/24

RTX1200 192.168.51/24

172.16.50/24

10G NIC 10G NIC

∗ ルーティング時における帯域測定 ∗ 今回、CIFSの測定を考慮し、測定用のマシンをWindowsにしたため、ネットワーク帯域測定ツールをUnix、LinuxでメジャーなiperfやnetperfではなくNTttcpを選択（加えて、ベンチマークツールの掘り起こしという側面もある。 ）。

∗ NTttcp Version 5.28 http://gallery.technet.microsoft.com/NTttcp-Version-528-Now-f8b12769

NTttcpは、Windowsネイティブ、64ビットで動作可能なネットワークパフォーマンスの測定ツールで、iperfやnetperfと機能的には近しいツールだが、試行回数、利用スレッド数、メッセージサイズ数等の細かいパラメーターが指定ができる

採用ベンチマークツール-1

∗ ルーティング時におけるCIFSの性能測定 ∗ CrystalDiskMark http://crystalmark.info/ ほぼ説明不要の誰でも知っているCrystalDiskMark（今回利用したのはShizuku Edition）で、今回はシーケンシャルのみ、50MB、1000MBで3回づつ測定。

∗ DiskMarkStream http://sourceforge.net/p/diskmarkstream/home/Japanese/ 測定を自動化するために「CrystalDiskMark」を自動実行するためのツール。パラメータシートを読み込み実行され、実行回数、サイズの指定などができる。ただし要.NET Framework 4.0。

採用ベンチマークツール-2

ルーティング時における帯域測定(RTX3000) ##### Totals: ##### Bytes(MEG) realtime(s) Avg Frame Size Throughput(MB/s) ================ =========== ============== ================ 3318.187500 35.814 1456.306 92.651 Throughput(Buffers/s) Cycles/Byte Buffers ===================== =========== ============= 1482.409 12.626 53091.000 DPCs(count/s) Pkts(num/DPC) Intr(count/s) Pkts(num/intr) ============= ============= =============== ============== 8794.941 1.697 10114.145 1.476 Packets Sent Packets Received Retransmits Errors Avg. CPU % ============ ================ =========== ====== ========== 2389177 534645 1 0 11.529

ベンチマーク結果（帯域-1） NTttcp

ルーティング時における帯域測定(CCR1036-8G-2S+) ##### Totals: ##### Bytes(MEG) realtime(s) Avg Frame Size Throughput(MB/s) ================ =========== ============== ================ 3453.562500 31.053 1456.329 111.215 Throughput(Buffers/s) Cycles/Byte Buffers ===================== =========== ============= 1779.442 7.919 55257.000 DPCs(count/s) Pkts(num/DPC) Intr(count/s) Pkts(num/intr) ============= ============= =============== ============== 7778.250 1.227 9800.116 0.974 Packets Sent Packets Received Retransmits Errors Avg. CPU % ============ ================ =========== ====== ========== 2486611 296312 0 0 8.680

ベンチマーク結果（帯域-2） NTttcp

L2TP/IPsec時における帯域測定(CCR1036-8G-2S+) ##### Totals: ##### Bytes(MEG) realtime(s) Avg Frame Size Throughput(MB/s) ================ =========== ============== ================ 3075.562500 27.894 1456.356 110.259 Throughput(Buffers/s) Cycles/Byte Buffers ===================== =========== ============= 1764.143 8.532 49209.000 DPCs(count/s) Pkts(num/DPC) Intr(count/s) Pkts(num/intr) ============= ============= =============== ============== 7242.669 1.774 9981.107 1.288 Packets Sent Packets Received Retransmits Errors Avg. CPU % ============ ================ =========== ====== ========== 2214404 358486 1 0 9.271

ベンチマーク結果（帯域-参考） NTttcp

測定内容 ツール 機種 結果 単位/備考

帯域 NTttcp RTX3000 92.651 MB/sec 帯域 NTttcp CCR1036-8G-2S+ 111.215 MB/sec 帯域-IPsec NTttcp CCR1036-8G-2S+ 110.259 ルーティングなし参考値

性能比較結果1 （ルーティング時における帯域測定結果比較）

ファールサーバのローカル環境におけるCIFS性能測定

∗ 50MB（試行回数：3） Sequential Read : 237.196 MB/s Sequential Write : 193.744 MB/s

∗ 1000MB（試行回数：3）

Sequential Read : 238.204 MB/s Sequential Write : 201.960 MB/s

ベンチマーク結果（CIFS基礎値） CDM

ルーティング時におけるCIFS性能測定(RTX3000)

∗ 50MB（試行回数：3） Sequential Read : 63.358 MB/s Sequential Write : 60.332 MB/s

∗ 1000MB（試行回数：3） Sequential Read : 66.691 MB/s Sequential Write : 61.245 MB/s

ベンチマーク結果（CIFS-1） CDM

ルーティング時におけるCIFS性能測定(CCR1036-8G-2S+)

∗ 50MB（試行回数：3） Sequential Read : 76.563 MB/s Sequential Write : 70.123 MB/s

∗ 1000MB（試行回数：3） Sequential Read : 77.011 MB/s Sequential Write : 71.668 MB/s

ベンチマーク結果（CIFS-2） CDM

L2TP/IPsec時におけるCIFS性能測定(CCR1036-8G-2S+)

∗ 50MB（試行回数：3） Sequential Read : 74.460 MB/s Sequential Write : 59.232 MB/s

∗ 1000MB（試行回数：3）

Sequential Read : 72.828 MB/s Sequential Write : 59.416 MB/s

ベンチマーク結果（CIFS-参考） CDM

測定内容 ツール 機種 結果 単位/備考

CIFS CDM RTX3000 63.358 MB/sec

CIFS CDM CCR1036-8G-2S+ 76.563 MB/sec

CIFS-IPsec CDM CCR1036-8G-2S+ 74.460 ルーティングなし参考値

性能比較結果-2 （ルーティング時におけるCIFS性能測定結果比較）

∗ 50MB（ Sequential Read）

∗ 50MB（Sequential Write） 測定内容 ツール 機種 結果 単位/備考

CIFS CDM RTX3000 60.332 MB/sec

CIFS CDM CCR1036-8G-2S+ 70.123 MB/sec

CIFS-IPsec CDM CCR1036-8G-2S+ 59.232 ルーティングなし参考値

測定内容 ツール 機種 結果 単位/備考

帯域 CDM RTX3000 66.691 MB/sec 帯域 CDM CCR1036-8G-2S+ 77.011 MB/sec 帯域-IPsec CDM CCR1036-8G-2S+ 72.828 ルーティングなし参考値

性能比較結果-3 （ルーティング時におけるCIFS性能測定結果比較）

∗ 1000MB（ Sequential Read）

∗ 1000MB（Sequential Write） 測定内容 ツール 機種 結果 単位/備考

帯域 CDM RTX3000 61.245 MB/sec 帯域 CDM CCR1036-8G-2S+ 71.668 MB/sec 帯域-IPsec CDM CCR1036-8G-2S+ 59.416 ルーティングなし参考値

∗ 各測定結果について、RTX3000とCCR1036-8G-2S+における結果の優位機種とその性能差を以下に示す。

比較結果のまとめ

測定内容 測定結果優位機種 性能差（MB/sec） 性能差（Mbps）

帯域 CCR1036-8G-2S+ 18.564 148.512

CIFS-50MB-Read CCR1036-8G-2S+ 13.205 105.640

CIFS-50MB-Read CCR1036-8G-2S+ 9.791 78.328

CIFS-1000MB-Write CCR1036-8G-2S+ 10.320 82.560

CIFS-1000MB-Write CCR1036-8G-2S+ 10.423 83.384

CCR1036-8G-2S+とRTX3000の基本スペック

項目 CCR1036-8G-2S+ RTX3000 発売日 2013年10月 2006年1月

CPU Tilera Tile-Gx36(36Cores/1.2GHz) PowerPC 833MHz メモリ 4096MB 256MB WANポート 任意のポート割り当て 任意のポート割り当て

リンク 1000BASE-T ※10G SFP+もあり 1000BASE-T

∗ 測定結果を読み解くに当たっての参考として、 CCR1036-8G-2S+とRTX3000の基本スペックを以下に示す。

今回の測定結果についてのまとめを以下に示す。 ∗ 今回のルーティング性能の測定については、CCR1036-8G-2S+が優位との結果が得られた。

∗ ただし、前ページのCCR1036-8G-2S+とRTX3000の基本スペックにもあるとおり、今回、比較対象としたRTX3000が7年以上前の製品であり、ハードウェアを構成する各パーツ等に幾分性能差が生じていたことは否めない。

今回の比較結果における性能差の要因について ∗ 近年のルーティング処理は、基本的に専用チップ等を利用せず、ソフトウェアでCPUパワーに依存した処理で行われる傾向があるため、やはりその差が今回の結果のひとつの要因になったのだろうか？

まとめ

以下、実質的にチラシの裏 今回の作業における課題

∗ 2台のルーターの下にそれぞれWindows PCを配置し、2台のルーター同士をルーティングするだけの設定に手間取り、測定内容及び試行回数が非常に少ない結果になった。普段触り慣れないネットワーク機器の設定は、サーバ等の設定より難易度が高く、やはり事前にConfigの作り込みまでを行い、当日は測定だけが望ましい。

超私的な所感

∗ 本資料を纏めるに当たって、スペックを調査したところ、CCR1036-8G-2S+は、RTX3000がターゲットとする適用範囲における競合機種となり得るが、性能比較の対象としては少々古い（ただし、未だ現役で稼動している場所も多く、価格差も約5倍）こと、加えて、今回は試行回数も少ないため、あくまで参考値として留めておくのが良いかもしれない。

∗ あと、OSPF班すげー（今回の第2回RouterBORAD勉強会 殊勲賞）

その他

∗ RouterBOARD勉強会 Vol.2の実施に当たって、協力を頂きました皆様方にこの場を借りて御礼申し上げます。 ∗ 株式会社シーアイオープラス様

∗ 多数のCloudCoreRouterやRouterBOARD機材をご提供いただいたほか、勉強会実施に当たってのテクニカルアドバイス等をいただきました。

∗ 当日ドリンク差し入れもいただきました！ありがとうございます！

∗ 国際産業技術株式会社様

∗ 当日の会場やインターネット環境、NAS用のサーバ、多数のケーブル、モニター、電源等をご提供いただきました。

∗ 主催、当日スタッフ及び参加者の皆様

∗ RouterBOARD勉強会 Vol.2に向けての事前検証、各種調整、不足分機器の持ちこみ、周知・宣伝、ネタ出しや参考資料のご呈示、参加者の誘導や会場設営と現状復帰等をいただきました。

謝辞

Thank You And

See You!