Apache Ambari Overview -- Hadoop for Everyone

© Hortonworks Inc. 2011 – 2015. All Rights Reserved

Apache Ambari Hadoop全てのユーザーのために

March 10, 2015

Hadoopのことなら、Hortonworksに

左居有作 (Yusaku Sako) Hortonworks


アジェンダ

概要オープンソース活動

クラスタ運用機能

拡張性

今後の計画と展望

Q＆A


Apache Ambariとは？

Hadoopクラスタの運用・使用を簡単にする、

１００％オープンソースのプラットフォーム


Apache Ambariのミッション

大スケールでの運用を簡単に大スケールでクラスタのインストール、管理、監視

コミュニティーによる拡張を簡単に

コミュニティーによるイノベーションを推進既存Enterprise So,wareとの統合新しい機能の導入と提供の加速

Hadoop全ての一元アクセス

クラスタ管理だけでなく、

全てのHadoopのユーザのアクセスポイト使いやすさの徹底追及


１００％オープンソース == 速いイノベーションオープンソースコミュニティ @Apache Software Foundation

•  貢献者 100人以上 / コッミター 50人以上

•  Ambari ユーザーグループのメンバー 280人以上

Ambari 1.6.0 May 2014

321 課題解決

Ambari 1.5.1 Apr 2014

252 課題解決

Ambari 1.5.0 Apr 2014

968 課題解決

Ambari 1.6.1 Jul 2014

586 課題解決

Ambari 1.7.0 Dec 2014

1620 課題解決

Ambari 2.0.0 Mar 2015 (予定) 1700+ 課題解決

現在の最新バージョン


Core Features クラスタ運用機能


インストール・ウィザード


クラスタ・ダッシュボード


サービス・ダッシュボード


サービス管理　(例：HDFS）


ホスト管理


設定変更


設定バージョンの比較


監視・通知

Email

SNMP

通知方法


Ambari Extensibility Stacks | Views | Blueprints Ambariの拡張性スタック｜ビュー｜ブループリント


拡張機能

スタック Stacks

ブループリント Blueprints

ビュー Views

プラガブルな拡張 •  Ambariのコードを変えることなく、新しい機能の追加や統合を可能にする •  コミュニティーからの貢献が簡単に


Ambari スタック

主な目的：まだAmbariで提供されていない新サービスの管理機能の追加

既存サービスの新機能の導入

AMBARI {REST}

<ambari-web>

Stacks

HDFS YARN MR2

Hive

Pig

Oozie HBase

Storm Falcon

Stack Advisor

Ka@a Knox ＋ Ranger

Spark Slider


スタックの構成

スタックはサービスとレポを定義 •  スタックは何のサービスで構成されているか、パッケージのダウンロード元はどこか（レポ）

各サービスの定義 • サービスはどんなコンポーネントで構成されているか、これらをどうやって管理するのか

•  start, stop, status, install, configureなどのコマンドはコマンドスクリプトで定義

設定の推奨・警告 •  静的・動的制約や依存性のチェック

AMBARI SERVER

スタック

コマンドスクリプトサービス定義

AMBARI AGENT/S AMBARI AGENT/S AMBARI

AGENTS

pythonxml

レポ定義


スタックのInheritance(継承)サポート

HDP 2.0 スタック


HDFS,YARN, MR2, ZOOKEEPER, HBASE, HIVE, OOZIE, PIG, FLUME, SQOOP


STORM, FALCON, TEZを追加

KAFKA, SPARK, KNOX, SLIDER, RANGERを追加

目的：再利用でスタックの定義の「てま」を最小限に


Ambari ビュー

目的: •  Ambari Web UI内で様々なビュー（アプリ）を提供

•  ビューはクラスタ管理者／開発者／データアナリスト用などと多目的

•  ビューの開発は普通のWebアプリを開発する感覚 •  開発するにあったてAmbariのコアコードの理解や変更を必要としないのでコミュニティーにとって貢献がしやすい


ビューの例（管理者向け）

Capacity Scheduler　 Queue Manager


ビューの例（一般ユーザー向け）

HDFS File Browser


ビューの例（開発者向け）

Tezのジョブのトラブルシューティング HiveクエリをTezで走らせた場合のトラブルシューティング　


ビューの例（データアナリスト向け）

Hiveクエリの作成・編集・実行 Pig スクリプトの作成・編集・実行


クラスタがAmbariの管理上にない場合でもOK

•  Ambariの管理上にない既存クラスタに対してもビューの使用は可能 •  複数のクラスタに対してのビューの使用も可能

Ambari Server

Ambariでインストールされたクラスタ

Ambari Server 「スタンドアローン・モード」

または「ビュー・オンリー・モード」

Ambariでインストールされてないクラスタ

クラスタ管理

ビューの使用

ビューの使用

ビューの使用


Blueprints ブループリント


Ambari ブループリント

目的： •  クラスタ・インストールを自動化（特にクラウド環境で役に立つ）

•  実例：Microsoft Azureポータル内でのHDPクラスタインストール

•  クラスタのスケールアップ／ダウンを簡素化


ブループリントとブループリントAPI

ブループリントとはクラスタの設定状態をJSONで表したものブループリントAPIに入力してクラスタをインストール

Blueprint ブループリント

Ambari Server Blueprint API ブループリントAPI

IMPORT インポート CLUSTER

クラスタ

INSTANTIATE 作成


例：100台クラスタのインストール

{ "configurations" : [ { ”hdfs-site" : {

"dfs.datanode.data.dir" : ”/hadoop/1,/hadoop/2,/hadoop/3" } } ], "host_groups" : [ { "name" : ”master-host", "components" : [ { "name" : "NAMENODE” }, { "name" : "RESOURCEMANAGER” }, … ], "cardinality" : "1" }, { "name" : ”worker-host", "components" : [ { "name" : ”DATANODE” }, { "name" : ”NODEMANAGER” }, … ], "cardinality" : "1+" }, ], "Blueprints" : { "blueprint_name" : ”multi-node-hdfs-yarn", "stack_name" : "HDP", "stack_version" : "2.0" }}

{ "blueprint" : ”multi-node-hdfs-yarn", "host_groups" :[ { "name" : ”master-host", "hosts" : [ { "fqdn" : ”master001.ambari.apache.org”

} ] }, { "name" : ”worker-host", "hosts" : [ { "fqdn" : ”worker001.ambari.apache.org”

}, { "fqdn" : ”worker002.ambari.apache.org”

}, … { "fqdn" : ”worker099.ambari.apache.org”

} ] } ]}

1. POST /blueprints/my-blueprint 2. POST /clusters/MyCluster


実行中のクラスタの復元

実行中のクラスタからブループリントをエクスポートが可能設定が同じまたはほぼ同じクラスタの復元に役立つ

CLUSTER クラスタ

EXPORT エクスポート

Blueprint ブループリント

GET /api/v1/clusters/mycluster?format=blueprint


Supported Platforms プラットフォーム・サポート


OS/JDKサポート(Ambari 1.7時点）

OS: •  RedHat, CentOS, Oracle Linux 5 / 6

•  SUSE / SLES 11

•  Ubuntu 12

JDK:

•  Oracle/Open JDK 6 / 7


Databaseサポート

Ambari Database Oozie Hive Metastore

MySQL 5

Oracle 11g

PostgreSQL 8, 9

Default MySQL PostgreSQL Derby


ユーザー認証サポート

LDAP Server／Active Directoryとの統合　(オプション）デフォルトはAmbari Database

LDAP Server Active Directory

Ambari Database

Ambari Server ユーザー認証


Futures 今後の計画と展望


Ambari 2.0.0の主な新機能

コア機能 +自動アップグレード（ダウンタイムゼロ） +Ambari Alerts 新監視／通知システム +Ambari Metrics 新メトリックスシステム +Kerberosの統合自動化 (セキュリティ）


Ambari 2.1.0の主な新機能（予定）

コア機能使いやすさに焦点

+サービスの設定をより簡単・直感的に

+ダッシュボードのフルカスタマイズ

プラットフォーム +OS・JDK・Databaseサポートの拡張

•  RedHat / CentOS / Oracle Linux 7

•  Debian 7

•  Windows (ベータ)

•  JDK 8

•  Oracle 12c


Hadoopの「顔」としてのビジョン

今までのHadoopはエキスパート用これからはHadoopの管理者だけでなく、Hadoopの全てのユーザーがAmbariのビューを使ってクラスタを使用する

•  Hadoopを全てのユーザーにとって身近なものに

•  コミュニティーよってのイノベーションが鍵を握っている


お試しください

Quick Start Guideでどうぞラップトップで３台クラスタが簡単に立ち上げられますhttps://cwiki.apache.org/confluence/display/AMBARI/Quick+Start+Guide


Ambariについての情報はこちらで Resource Location

Apache Ambari プロジェクトサイト http://ambari.apache.org

Ambari Project Wiki https://cwiki.apache.org/confluence/display/AMBARI

Ambari Project JIRA https://issues.apache.org/jira/browse/AMBARI

Ambari ユーザーメーリングリスト [email protected]　（登録は[email protected]）

Ambari 開発者メーリングリスト

[email protected]　（登録は[email protected]）


拡張ポイントの詳しくはこちらで Capability Link

Stacks スタック

https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=38571133 https://github.com/apache/ambari/tree/trunk/ambari-server/src/main/resources/stacks/HDP/

Blueprints ブループリント

https://cwiki.apache.org/confluence/display/AMBARI/Blueprints

Views ビュー

https://cwiki.apache.org/confluence/display/AMBARI/Views https://github.com/apache/ambari/blob/trunk/ambari-views/docs/index.md https://github.com/apache/ambari/tree/trunk/ambari-views/examples https://github.com/apache/ambari/tree/trunk/contrib/views

Apache Ambari Overview -- Hadoop for Everyone

Technology

Transcript of Apache Ambari Overview -- Hadoop for Everyone