トレジャーデータサービスのご紹介 - Treasure...
Transcript of トレジャーデータサービスのご紹介 - Treasure...
Copyright ©2014 Treasure Data. All Rights Reserved.
トレジャーデータサービスのご紹介
Treasure Data K.K. 2014/1/22
Copyright ©2014 Treasure Data. All Rights Reserved.
会社概要
2015/01/22 2
Copyright ©2014 Treasure Data. All Rights Reserved.
トレジャーデータ会社概要
芳川裕誠 – CEO Open source business veteran
太田一樹 – CTO Founder of world’s largest Hadoop Group
主要投資家概要
Bill Tai Charles River Ventures, Twitterなどに投資 まつもとゆきひろ Ruby言語開発者
James Lindenbaum Heroku創業者
Sierra Ventures – (Tim Guleri) 企業向けソフト・データベース領域での有力VC
2011年12月、米Mountain Viewにて創業 • 従業員約50名(著名データベース技術者が多数所属)、
東京丸の内に日本支社 • Yahoo! Inc.創業者Jerry Yang氏を含む有力投資家・VCより約800
万米ドルを資金調達済 • 2012年後半に商用サービス提供開始
Big Dataの収集・保存・分析を一手に行う、業界
初のクラウドデータサービスを提供 • すぐ利用可能なクラウドサービスとしての提供を行う • シンプルな機能セット、手厚いサポート • 日米大手企業中心に、現在百数十社の企業顧客(メディア・広告、
ゲーム、自動車、小売等幅広い利用事例)
大手調査企業、メディアも注目 • “Cool Vendors in Big Data” 2014
(米最大手IT調査会社Gartnerが選定する世界4社中1社*)
• “Trend Setting Products” (Database Trends and Applications)
• “5 Hot Big Data Startups”(Enterprise Apps Today)
*出典:ガートナー 「Cool Vendors in Big Data, 2014」 堀内秀明 他共著、2014年4月28日ガートナーは、ガートナー・リサーチの発行物に掲載された特定のベンダー、製品またはサービスを推奨するものではありません。また、
最高の評価を得たベンダーのみを選択するようテクノロジの利用者に助言するものではありません。ガートナー・リサーチの発行物は、ガートナー・リサーチの見解を表したものであり、事実を表現したものではありません。ガートナーは、明示または黙示を問わず、本リサーチの商品性や特定目的への適合性を含め、一切の保証を行うものではありません。
創業者
Jerry Yang Yahoo! Inc. 創業者
古橋貞之 – Software Engineer MessagePack, Fluentd開発者
Copyright ©2014 Treasure Data. All Rights Reserved.
米ガートナー社の “Cool Vendor in Big Data” に選出
2015/01/22
“Why Cool: トレジャーデータは、データの取得、保存、分析に対応するクラウド型ビッグデータソリューションをエンドツーエンドのマネージドサービスとして提供しています。 トレジャーデータのユニークな特徴の一つはデータ収集ソリューションです。” “Who should care: 大量のデータを管理するリソースやスキルが十分確保できない企業
はこのベンダーからの提案を検討するとよいでしょう。”
ガートナーは、ガートナー・リサーチの発行物に掲載された特定のベンダー、製品またはサービスを推奨するものではありません。また、最高の評価を得たベンダーのみを選択するよう テクノロジの利用者に助言するものではありません。ガートナー・リサーチの発行物は、ガートナー・リサーチの見解を表したものであり、事実を表現したものではありません。ガートナーは、明示または黙示を問わず、本リサーチの商品性や特定目的への適合性を含め、一切の保証を行うものではありません。
Copyright ©2014 Treasure Data. All Rights Reserved.
ヤフー株式会社と法人向けビッグデータ領域で業務提携
2015/01/22
クラウド型 データマネジメントサービス
日本のデータセンター(IDC フロンティア)でのビッグデータマネジメントが可能に
マーケティングソーリューション 事業による知見
5
Copyright ©2014 Treasure Data. All Rights Reserved.
主なユーザー
2015/01/22 6
Copyright ©2014 Treasure Data. All Rights Reserved.
製品詳細
2015/01/22 7
Copyright ©2014 Treasure Data. All Rights Reserved.
最新のクラウド型データマネジメントサービス
「クラウド + マネジメント」で従来のDWHの課題を解決
• 分析開始まで半年〜1年 • 最小構成でも数千万円〜 • 保守・運用が必要 • システム拡張時は長期停止
• 分析開始までわずか数日 • 初期費用無しの月額課金 • 面倒な保守・運用は不要 • 無停止でスケールアウト
従来のDWH Treasure Data Service
データ収集〜保存〜分析までワンストップでサポート
×
運用不要
8
Copyright ©2014 Treasure Data. All Rights Reserved.
様々なニーズをすぐに実現できる豊富な機能
2015/01/22 9
Result Output クエリ結果自動書込
データ収集 データ分析 データ保管
ストレージ Flexible, Scalable, Columnar Storage
Webログ
Appログ
センサー
CRM
ERP
RDBMS
Treasure Agent(Server) SDK(JS, Android, iOS, Unity)
ストリーミングログ コレクター
バッチ型 分析
アドホック型 分析
KPI
KPIダッシュボード
分析ツール連携
他製品連携
RDBMS, Google Docs, AWS S3, FTP Server, etc.
Metric Insights
Tableau, Motion Board(予定) etc.
POS
分析エンジン
データ抽出I/F REST API
ODBC / JDBC (SQL, Pig)
(Treasure Data Serviceの機能概要図)
バルクアップローダー TD Toolbelt
SQL-based query
@AWS or @IDCフロンティア
Copyright ©2014 Treasure Data. All Rights Reserved.
Web画面で容易にデータ管理・分析可能
2015/01/22 10
Copyright ©2014 Treasure Data. All Rights Reserved.
【保管】 収集したデータはWeb上で確認
2015/01/22 11
-‐-‐ アップロード済みデータ表示例 (Web UI上で閲覧した場合) -‐-‐
• スキーマ設計不要で、多様なフォーマットのデータを投入可能(スキーマレスDB) • データ発生から5分程度で閲覧・分析可能
(Treasure Data Serviceでのデータ管理)
Copyright ©2014 Treasure Data. All Rights Reserved.
【分析】 SQLライクな分析クエリ
2015/01/22 12
(Web UI 上での分析クエリ実行例)
Cron書式で スケジュール 設定可能
他システムへ 結果の自動書込 設定可能
Copyright ©2014 Treasure Data. All Rights Reserved.
【分析】 分析結果は社内で共有
2015/01/22 13
(ブラウザで動作するKPIダッシュボード設定イメージ)
Copyright ©2014 Treasure Data. All Rights Reserved.
【その他】 安心なサポート・セキュリティ機能
• 24時間 × 365日の運用体制 • エンジニアによる迅速なサポート • ユーザー毎にアクセスコントロール / IP制限 • データコレクタによるデータ転送はSSL利用でセキュア • 管理者画面でデータ量・使用状況・ユーザ管理が可能 • データの所有権はお客様
2015/01/22 14
-‐-‐ データへのACL例 -‐-‐
Copyright ©2014 Treasure Data. All Rights Reserved.
Treasure Data Service の特長
2015/01/22 15
Copyright ©2014 Treasure Data. All Rights Reserved.
①大量のデータを経済的に分析可能
2015/01/22 16
データ量が多い程、 クラウドのコストメリットは増加
非センシティブなデータ程、 データ量が多い傾向
出典:米bootstrap RESEARCH社『BIG DATA TECHNOLOGY TCO BENCHMARK』のデータを引用
(2種類のデータとその特徴) (3年運用時のオンプレミス製品とTreasure Dataのコスト比較)
TCO(ドル)
データ サイズ
センシティブ
オープン
(デ
ータ
の機
密度
)
(データ量) 少量 大量
・個人情報 ・財務/会計情報
・センサーデータ ・デバイスデータ ・Web / App ログ ・オープンデータ ・POSデータ ・履歴データ 等
クラウド向きデータ
オンプレ向きデータ
Copyright ©2014 Treasure Data. All Rights Reserved.
②散在するデータをすぐに集約可能
2015/01/22
17
多様なデータソースに対応した、 豊富なデータコレクターを提供
スキーマレスDB採用により、 データ投入・変更前のスキーマ設計が不要
小さい CSV/TSV
CRM
ERP
RDBMS
POS
センサー
Webログ Appログ
スマフォ Appログ
Treasure Agent
iOS / Android SDK
TD Toolbelt
Web Browser
Streaming
Mobile
Legacy
Trial
データソース 対応データコレクター
item unit tax
雑誌A 540
石鹸B 100 8
item unit
雑誌A 540
自動でスキーマ設定
自動でカラム追加
{ “item” : ”石鹸B”, “unit” : ”100”, “tax” : ”43” }
{ “item” : ”雑誌A”, “unit” : ”540” }
(データ投入前のスキーマ設計が不要)
(データ変更前のスキーマ設計が不要)
Copyright ©2014 Treasure Data. All Rights Reserved. 2015/01/22
③データ増大時も高速アクセス可能
18
(一般的なHadoopとのデータロードアーキテクチャー比較)
一般的なHadoop Treasure Data ServiceのHadoop
Zme uid item unit_price quanZty total
1403075280 1 石鹸 100 3 300
1403075285 2 牛肉 250 2 500
1403075328 9 生ハム 480 1 480
1403075417 4 おむつ 360 1 360
1403075951 7 ビール 230 2 460
Zme uid item unit_price quanZty total
1403075280 1 石鹸 100 3 300
1403075285 2 牛肉 250 2 500
1403075328 9 生ハム 480 1 480
1403075417 4 おむつ 360 1 360
1403075951 7 ビール 230 2 460
独自の「カラムナ × タイムインデックス」により、 必要なファイルのみを読み出すため速度低下しにくい
巨大なファイルの全データを読み出すため 速度低下しやすい
無駄の少ないデータロードアーキテクチャーを採用
スケールアウト型で柔軟に専有CPUコアの追加可能
追加 追加
・・・ ・・・ (スケールアウト型アーキテクチャー)
Copyright ©2014 Treasure Data. All Rights Reserved.
④サービス停止せずに無制限にスケール可能
2015/01/22 19
Treasure Data Service
従来のDWH, データベース
サービスタイプ クラウド型
オンプレミス型、 クラウド型
スケール方法 スケールアウト スケールアップ または
スケールアウト
データ量対コスト 経済的 高い
スケール時の ユーザー作業
不要 必要
スケール時の サービス停止
なし あり
スケール制限 なし あり
(従来のDWHやデータベースとのスケール方法比較)
※製品による
Copyright ©2014 Treasure Data. All Rights Reserved.
⑤分析のPDCAを実施可能
2015/01/22 20
(分析のPDCAに必要な2つの分析エンジンを両方とも提供)
Check (効果測定)
Plan (施策設計)
Do (施策実行)
Act (原因探索)
バッチ型分析
+
KPIダッシュボード
・チューニング済Hadoop ・大量データが得意
KPI
・定義済指標の最新データ表示 ・メンバー全員で共有
アドホック型分析
+
BIツール / 統計ツール
・Treasure Query Accelerator ・非常に高速
・任意の軸でアドホックに分析 ・原因の可視化
1
2
Copyright ©2014 Treasure Data. All Rights Reserved.
⑥多様な分析ニーズに対して容易に対応可能
2015/01/22 21
(柔軟なI/Fによる、多様なアーキテクチャーパターン例)
小さい CSV/TSV
CRM
ERP
RDBMS
POS
センサー
Webログ Appログ
スマフォ Appログ
Inside DB
Direct
Data mart
CSV / TSV
Raw SQL
KPI
BIツール等
BIツール等
統計ツール等
SQL
ブラウザ
データマート
CSV / TSV
Metric Insights etc
Tableau, MoZonBoard(予定), etc
SAS, SPSS, R etc
全件データ
データマート
バッチ
バッチ
アドホック
アドホック
JDBC/ODBC REST API
JDBC/ODBC REST API
バッチ
バッチ
Treasure Agent
iOS / Android SDK
TD Toolbelt
Web Browser
Streaming
Mobile
Legacy
Trial
Power BI, Excel, QlikView etc
データ収集 データ分析 データ保管
Copyright ©2014 Treasure Data. All Rights Reserved. 2015/01/22 22