1 Copyright © 2013 CAC Corporation. All rights reserved.
株式会社シーエーシー
生産技術部
AZAREA-Cluster
デモ画面イメージ
2013年1月31日
2 Copyright © 2013 CAC Corporation. All rights reserved.
概要
本資料は、Hadoop Conference Japan 2013 Winterで行ったAZAREA-Clusterのデモ(の一部)の画面イメージをまとめたものです。 ◦ 若干追加しています。
講演資料本体はこちらです。 ◦ http://www.slideshare.net/AzareaCluster/hcj2013-
w
3 Copyright © 2013 CAC Corporation. All rights reserved.
デモアプリケーション仕様
デモで作成するHadoopアプリケーションの仕様 ◦ 売上と顧客を顧客IDで結合し、地域別に集計する
結合
売上 ・商品コード ・顧客ID ・金額
顧客 ・顧客ID (PK) ・地域
地域別売上 ・地域 (PK) ・件数 ・金額
グループ化
顧客IDで結合
地域でグループ化
4 Copyright © 2013 CAC Corporation. All rights reserved.
デモの流れ
エンティティクラスの作成
エンティティフローの作成
エンティティフローのテスト
その他の機能
5 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティクラスの生成
Excelファイルでエンティティクラスを定義する ◦ 売上、顧客、地域別売上の3エンティティ
1エンティティ1シートに対応
◦ エンティティ毎に項目を定義する
6 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティクラスの作成
Eclipseプラグインでメニューを選択するだけで、Excelファイルからエンティティクラスが自動生成される
7 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティクラスの作成
Eclipseプラグインの画面で編集・作成することも可能
8 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローの作成
Eclipseプラグインからエンティティフロー編集画面を開く
9 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローの作成
ドラッグ&ドロップによりエンティティや処理を配置
10 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローの作成
矢印アイコンをドラッグしてエンティティと処理を接続
11 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローの作成
詳細画面を開いて結合条件や出力エンティティを設定
12 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローの作成
同様にしてフローを完成させる
13 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローの作成
エンティティフローからソースが自動生成される
14 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローの作成
必要に応じて処理の詳細をコーディングする
15 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローの作成
コーディング後も再びフロー図を開くことができる ◦ 修正し、再度ソースを生成することが可能
コーディング箇所も維持される
16 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローのテスト
テストデータを用意する ◦ テキストファイル
◦ Excelファイル
17 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローのテスト
ダイアログによりテストクラスを自動生成 ◦ テストクラス名とテストデータのパスを設定するだけ
後はデフォルトでよい
18 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローのテスト
Eclipseのメニューから実行するだけ ◦ コンソールに結果が出力される
◦ ファイルにも結果が出力される
19 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローのテスト
Eclipse上でデバッグも可能
20 Copyright © 2013 CAC Corporation. All rights reserved.
エンティティフローのテスト
結果の検証機能 ◦ 想定結果を用意しておく
テキストファイル
Excelファイル
◦ テスト終了後、実行結果と想定結果を比較することができる 自動回帰テストが容易に作成できる
21 Copyright © 2013 CAC Corporation. All rights reserved.
その他の機能
SVG出力機能 ◦ フロー図をSVGファイルとして出力できる
印刷
HTMLへの貼り付け
22 Copyright © 2013 CAC Corporation. All rights reserved.
その他の機能
MapReduceジョブ表示機能 ◦ 実際にHadoop上で実行される際のジョブの単位を表示する
◦ デバッグやパフォーマンスの分析に利用できる
フロー上では3つの処理 だが、Hadoop上では 2ジョブに最適化される
23 Copyright © 2013 CAC Corporation. All rights reserved.
その他の機能
JAR作成機能 ◦ Hadoop上で実行可能なJARファイルを作成する
コピーしてhadoop jarコマンドを実行するだけ
24 Copyright © 2013 CAC Corporation. All rights reserved.
AZAREA-Clusterに関する情報
ホームページ ◦ http://www.cac.co.jp/product/azarea-
cluster/index.html
評価版ダウンロード ◦ http://www.cac.co.jp/product/azarea-
cluster/download/index.html
お問合せ先 ◦ 株式会社シーエーシー AZAREA-Clusterサポートチーム
Top Related