Cloudera Manager 5 (hadoop運用) #cwt2013
-
Upload
cloudera-japan -
Category
Business
-
view
3.373 -
download
0
description
Transcript of Cloudera Manager 5 (hadoop運用) #cwt2013
![Page 1: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/1.jpg)
1
Cloudera Manager 2013/11/07 Cloudera株式会社 嶋内 翔
![Page 2: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/2.jpg)
2
自己紹介
• 嶋内 翔(しまうち しょう) • 2011年4月にClouderaの最初の日本人社員として入社
• テクニカルサポート業務をメインに、日本における技術に関係する業務全般を担当
• email: [email protected] • twi@er: @shiumachi
![Page 3: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/3.jpg)
3
Hadoop オペレーションの日本語訳が発売予定です
• 11月下旬発売
• 通称「パカ」本 (?)• Cloudera の Eric Sammer 著• 翻訳は安心の玉川竜司さん
• レビューを手伝ってました
• 日本語版のみの付録も執筆!
![Page 4: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/4.jpg)
4
Cloudera Impala の⽇日本語フリーブック
• オライリーの「インパラ本」、日本語PDF版が無償公開される予定です!
• Cloudera の John Russell 著• Hadoop、HBase、Hadoopオペレーション、
プログラミングHiveなどを翻訳された玉川竜司さんが翻訳!
「これまでClouderaの皆さんにご尽力いただいた翻訳レビューへの感謝の気持ちとして、Cloudera World Tokyo開催のお祝いに翻訳寄贈します!」
![Page 5: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/5.jpg)
5
本日のアジェンダ
• Cloudera Manager の背景 • Cloudera Manager の基本
• Hadoop クラスタを構築する • インストールと設定
• Hadoop クラスタを運用する • 起動・停止、監視、バックアップ・リカバリなど
• Hadoop クラスタの障害解析 • ログ検索やチャート
![Page 6: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/6.jpg)
6
Cloudera Manager の背景
![Page 7: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/7.jpg)
7
Hadoop クラスタの問題 (1) 構築が大変
• インストール手順が複雑 • SSHの設定 • ネットワークの設定 • Hadoop自体の設定
• xmlファイルの編集
• RDBMSの設定 • Javaのインストール
• サーバの数がとにかく多い • 100ノードの構築は手作業では無理
![Page 8: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/8.jpg)
8
Hadoop クラスタの問題(2) 運用が大変
• 起動・停止の順序 • HBase → MapReduce → HDFS の順に停止 • 他のコンポーネントがあるとさらに複雑に
• 設定ファイルの管理 • あるノードだけ変更し忘れ • 複数のハードウェアスペックがあると非常に大変
• 監視 • 監視項目をきちんと網羅できるか?
![Page 9: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/9.jpg)
9
Hadoop クラスタの問題(3) 障害解析が大変
• 全部のログを調査はできない • スレーブ: 1ノードあたりGB単位のログ • マスター: 1000ノード級になると、1分間にGB単位のログ
• ハードウェア障害は特定が容易、しかし遅延の特定は極めて困難
![Page 10: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/10.jpg)
10
Cloudera Manager なら…
• 簡単に構築ができます • 100ノードへのインストールもたった1時間
• 簡単に運用できます • 設定のバージョン管理が可能 • Hadoopサービスの監視や、ジョブ監視が可能
• 簡単に障害解析ができます • 管理画面から何百ノードのログファイルを検索可能 • 障害ノードをグラフィカルに表示
![Page 11: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/11.jpg)
11
Cloudera Managerは2種類
• Cloudera Standard • 無償利用可能 • サービス管理 • サービス監視
• Cloudera Enterprise • サブスクリプションご購入者向け • ローリングリスタート・アップデート • LDAP連携 • 設定の履歴管理とロールバック • バックアップ・ディザスタリカバリ機能(アドオン) • アクセス監査(アドオン) • サポートシステム連携
![Page 12: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/12.jpg)
12
Cloudera Managerの 基本用語
デプロイメント
クラスタ “Prod (CDH4)”
ラック “/r1”
ホスト “a001”
ラック “/r2”
ホスト “b001”
サービス “HDFS”
ロール設定 グループ
“datanodes”
ロール
ロール設定 グループ
“namenodes”
ロール
デプロイメント: CMサーバーと全管理対象ホストの設定
クラスタ: 同じバージョンのソフトを動作させるホストのグループ。
HDFSは同一クラスタ内に一つまで
ホスト: CMエージェントを稼働させるマシン(通常は物理サーバ)
ラック: 通常は同じスイッチによって管理される、同一ラック内のマシ
ン群
サービス: クラスタ上のシステム。分散するもの(例:HDFS)もあれば、
分散しないものもある(例:Oozie)
ロール: 特定のホストにひもづけられた、システムの参加者(例:特定のデータノード)
ロール設定: ロールの集合(全て同一タイプ)。これらは同一の設定
を用いる
設定: 特スコープに関連する、キーと値のペア
![Page 13: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/13.jpg)
13
Cloudera Manager 5 での新機能
• リソース管理機能 • サービス単位だけでなく、ロール単位でのリソース配分が
可能になった
• YARN対応(監視含む) • HDFS / HBase スナップショットの管理 • チャート機能の強化 • サポート対象CDH
• CDH5 / CDH4 • CDH3 はサポート対象外
CM5 / CDH5
![Page 14: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/14.jpg)
14
Hadoopクラスタを構築する(1) インストール
![Page 15: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/15.jpg)
15
Cloudera Manager によるクラスタ構築
• ネットワーク内のノードを識別し、必要なパッケージをインストール
• 必要なサーバ設定は2つだけ • OSのインストール • SSHの設定
デモビデオ (CM4) h@ps://www.youtube.com/watch?v=DuBYXhB_IyA
![Page 16: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/16.jpg)
16
パーセル (Parcel)
• CM4.5から導入された新しいパッケージングシステム
• root権限は不要 • rpmでなくtar.gzで管理 • ダウングレードも可能 • パッケージの単位は「パーセル」
• 「◯◯のrpmパッケージ」と同じように、「◯◯のパーセル」と表現する
パーセルが リポジトリにある
パーセルが CMサーバにある
パーセルが ホストに配布済み
パーセルが アクティベート済み
デアクティベート アクティベート
ダウンロード
配布 削除
完全削除
![Page 17: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/17.jpg)
17
パーセルの設定画面
![Page 18: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/18.jpg)
18
Hadoopクラスタを構築する(2) 設定
![Page 19: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/19.jpg)
19
設定管理画面
• 設定に問題がある場合は警告する • 下の図では2箇所に警告が出ている
• NNと2NNのヒープサイズが異なる • NNのヒープサイズが50MBを下回っている
![Page 20: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/20.jpg)
20
設定はバージョン管理できる Enterprise
![Page 21: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/21.jpg)
21
設定変更後は再起動を促す
![Page 22: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/22.jpg)
22
マルチクラスタサポート
• サービスはクラスタとしてグループ化される • サービス設定と監視はクラスタ別に可能 • クラスタ単位での起動・停止 • 異なるバージョンのクラスタを管理可能
![Page 23: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/23.jpg)
23
2クラスタ管理時
CDH5クラスタ
CDH4クラスタ
管理サービス
![Page 24: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/24.jpg)
24
クライアント設定管理
• クライアント設定とサービス設定は別に管理されている
• クライアント = サービスを利用するためにアクセスするノード
• クライアント上のユーザは環境変数等の設定なしでクラスタにアクセス可能
• そのサービスのロールを持つ全ホストからアクセス可能
![Page 25: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/25.jpg)
25
クライアント設定の配布とダウンロード
CM5では「View Client Configuraeon URLs」からダウンロードする
![Page 26: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/26.jpg)
26
Hadoop クラスタを運用する(1) 起動・停止
![Page 27: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/27.jpg)
27
ホーム画面
![Page 28: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/28.jpg)
28
コマンドメニュー
• 再起動なども簡単 • クラスタ単位の再起動が可能
• 停止順序などもきちんと考慮
• Enterprise版ならローリングリスタートが可能
![Page 29: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/29.jpg)
29
Hadoop クラスタを運用する(2) 監視
![Page 30: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/30.jpg)
30
サービスモニタ
• サービスの状態をグラフィカルに監視する機能 • 表示できる情報はサービスによって異なる
• HDFS: IO, 壊れたレプリカ数, etc
• アラートなどもリンクつきでモニタに表示 • クリックすると詳細ページに飛ぶ
![Page 31: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/31.jpg)
31
サービスモニタ(HDFS)
ホスト名
![Page 32: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/32.jpg)
32
サービスモニタ(YARN) CM5 / CDH5
![Page 33: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/33.jpg)
33
ヘルスチェック
• サービスの状態を細かくチェック
• 問題がある場合アラートを上げる
![Page 34: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/34.jpg)
34
問題発生時
ホスト名
![Page 35: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/35.jpg)
35
ホストモニタ
• ホストに関する情報を管理・監視できる • IPアドレス、ホスト名、ラックID • CPUコア数、メモリ量などのハードウェア情報 • ロードアベレージ
• ホストインスペクタにより、ホストレベルでのヘルスチェックが可能
• 障害の原因として頻出のホスト名設定ミスなど
![Page 36: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/36.jpg)
36
ホストモニタ(ホスト全体画面)
ホスト名 IP アドレス
![Page 37: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/37.jpg)
37
ホストモニタ(ホスト画面)
ホストID IPアドレス
ホスト名
![Page 38: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/38.jpg)
38
ホストインスペクタ
ホストのヘルスチェックを能動的に行うことも可能
インストールされているパッケージのバージョンチェックなども行う
ホスト名
![Page 39: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/39.jpg)
39
アクティビティモニタ
• 実行した(している)ジョブを監視可能 • 対応サービス
• MapReduce1 • MapReduce2
• Hive • Pig • Oozie
• Impala
CM5 / CDH5
![Page 40: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/40.jpg)
40
アクティビティモニタ
![Page 41: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/41.jpg)
41
Hadoop クラスタを運用する(3) リソース管理
![Page 42: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/42.jpg)
42
リソース管理
• ロールベースでのリソース管理機能が追加 • IT部門: 20%、マーケティング部門: 30%
• サービスベースのリソース管理もUIが大幅に強化 • 当然YARNもリソース管理対象 • Impalaのリソース管理にYARNが使えるようになった • スケジューラもGUIで設定可能
CM5 / CDH5
![Page 43: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/43.jpg)
43
リソース管理 CM5 / CDH5
![Page 44: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/44.jpg)
44
Hadoop クラスタを運用する(4) バックアップ・リカバリ
![Page 45: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/45.jpg)
45
Backup and Disaster Recovery (BDR)
• Cloudera Enterprise のアドオン機能の一つ • クラスタ間でデータ転送を行い、バックアップ機能を提供する
• 機能 • レプリケーション • スナップショット
Enterprise
CM5 / CDH5
![Page 46: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/46.jpg)
46
レプリケーション
• クラスタ間でデータをバックアップする
• Hiveメタストアもバックアップ対象
• 主要機能 • スケジューリング • 監視とアラート • dry-‐run
• 実行前にバックアップにかかる時間を見積もり可能
Enterprise
![Page 47: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/47.jpg)
47
スナップショット
HDFSやHBaseをあらゆるバージョンに復元可能
Enterprise
CM5 / CDH5
![Page 48: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/48.jpg)
48
スナップショット
スナップショットもスケジューリング可能
Enterprise
CM5 / CDH5
![Page 49: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/49.jpg)
49
Hadoop クラスタを運用する(5) 監査
![Page 50: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/50.jpg)
50
Cloudera Navigator
• コンテンツ管理用のCloudera Manager アドオン • 現在は監査ログの取得ができる • 実装予定の機能
• data linage (データの出力元や変換処理の内容などを追跡調査できるようにする機能)
• ライフサイクルマネジメント
Enterprise
![Page 51: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/51.jpg)
51
Cloudera Navigator の監査ログ Enterprise
![Page 52: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/52.jpg)
52
Hadoop クラスタの障害解析(1) ログ検索
![Page 53: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/53.jpg)
53
ログ検索
• クラスタ全体のログを高速に検索可能 • 以下のようなクエリで検索できる
• 「7月6日 20:00から21:00の間に」 • 「ホストa,b,c,dにおいて」 • 「サービスmapreduce1で発生した」 • 「WARN以上のログ」
![Page 54: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/54.jpg)
54
ログ検索
![Page 55: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/55.jpg)
55
イベント
• ヘルスチェックにおいて、イベントのしきい値を柔軟に設定可能
• 重要、致命的の2段階
• CDH標準のログには出力されない情報をイベントとしてログ化
• ログと同様検索が可能
![Page 56: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/56.jpg)
56
イベント設定(HDFS)
![Page 57: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/57.jpg)
57
イベント検索
![Page 58: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/58.jpg)
58
Hadoop クラスタの障害解析(2) 問題箇所のグラフィカルな表示
![Page 59: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/59.jpg)
60
チャート機能
メトリクスをグラフ化して表示 ほぼ全てのメトリクスが対象 CM4.5で導入、CM5で大幅に機能強化
![Page 60: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/60.jpg)
61
新しいチャート機能
• グラフの種類が大幅に追加 • ヒートマップ • ヒストグラム • 折れ線グラフ • 面グラフ • 棒グラフ • 散布図
• 指数・対数表示に対応
CM5 / CDH5
![Page 61: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/61.jpg)
62
全サーバの全ディスクの IOPSヒートマップ
CM5 / CDH5
![Page 62: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/62.jpg)
63
TSQuery
• チャート生成専用のクエリ言語 • 工夫次第であらゆるチャートが生成可能 • YARNも対応済み
メトリクスの一覧はここで閲覧できる (たくさんある)
CM5 / CDH5
![Page 63: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/63.jpg)
64
まとめ
![Page 64: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/64.jpg)
65
Cloudera Manager
• 構築・運用が大変なHadoopの管理を楽にします • 100ノードのクラスタを1時間で構築可能 • Enterprise Edieon なら監視やアラートなども搭載
Hadoopを使うなら Cloudera Manager 5 を選びましょう
ダウンロードはこちら
h@ps://ccp.cloudera.com/display/SUPPORT/Downloads
![Page 65: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/65.jpg)
66
CDHコミュニティ・MLの紹介
CDH ユーザ メーリングリスト(日本語) cdh-‐user-‐[email protected] CDH の質問についてはこちら Cloudera ニュースレター h@p://www.cloudera.co.jp/newsle@er Cloudera に関するニュースをお届けします CDH/CMの最新情報・使い方なども紹介します
66
![Page 66: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/66.jpg)
We are Hiring!
• Clouderaは貴方を求めています!! • ソリューションアーキテクト
• Hadoopを使ったコンサルティングやモデリング • カスタマーオペレーションエンジニア(サポート)
• 世界中のお客様のHadoopを守る! • インストラクター • システムエンジニア(技術営業) • セールス
興味のある方は info-‐[email protected] まで ご連絡下さい!
67
![Page 67: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/67.jpg)
We are Hiring!
68
![Page 68: Cloudera Manager 5 (hadoop運用) #cwt2013](https://reader036.fdocuments.net/reader036/viewer/2022081720/5565fb86d8b42a20158b54bf/html5/thumbnails/68.jpg)
69