トレジャーデータサービスのご紹介 - Treasure...

22
Copyright ©2014 Treasure Data. All Rights Reserved. トレジャーデータサービスのご紹介 Treasure Data K.K. 2014/1/22

Transcript of トレジャーデータサービスのご紹介 - Treasure...

Page 1: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

トレジャーデータサービスのご紹介

Treasure Data K.K. 2014/1/22

Page 2: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

会社概要

2015/01/22   2  

Page 3: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

トレジャーデータ会社概要

芳川裕誠 – CEO Open source business veteran

太田一樹 – CTO Founder of world’s largest Hadoop Group

主要投資家概要

Bill Tai Charles River Ventures, Twitterなどに投資 まつもとゆきひろ Ruby言語開発者

James Lindenbaum Heroku創業者

Sierra Ventures – (Tim Guleri) 企業向けソフト・データベース領域での有力VC

2011年12月、米Mountain Viewにて創業 •  従業員約50名(著名データベース技術者が多数所属)、

東京丸の内に日本支社 •  Yahoo! Inc.創業者Jerry Yang氏を含む有力投資家・VCより約800

万米ドルを資金調達済 •  2012年後半に商用サービス提供開始

Big Dataの収集・保存・分析を一手に行う、業界

初のクラウドデータサービスを提供 •  すぐ利用可能なクラウドサービスとしての提供を行う •  シンプルな機能セット、手厚いサポート •  日米大手企業中心に、現在百数十社の企業顧客(メディア・広告、

ゲーム、自動車、小売等幅広い利用事例)

大手調査企業、メディアも注目 •  “Cool Vendors in Big Data” 2014

(米最大手IT調査会社Gartnerが選定する世界4社中1社*)

•  “Trend Setting Products” (Database Trends and Applications)

•  “5 Hot Big Data Startups”(Enterprise Apps Today)

*出典:ガートナー 「Cool Vendors in Big Data, 2014」 堀内秀明 他共著、2014年4月28日ガートナーは、ガートナー・リサーチの発行物に掲載された特定のベンダー、製品またはサービスを推奨するものではありません。また、

最高の評価を得たベンダーのみを選択するようテクノロジの利用者に助言するものではありません。ガートナー・リサーチの発行物は、ガートナー・リサーチの見解を表したものであり、事実を表現したものではありません。ガートナーは、明示または黙示を問わず、本リサーチの商品性や特定目的への適合性を含め、一切の保証を行うものではありません。

創業者

Jerry Yang Yahoo! Inc. 創業者

古橋貞之 – Software Engineer MessagePack, Fluentd開発者

Page 4: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

米ガートナー社の “Cool Vendor in Big Data” に選出

2015/01/22  

“Why Cool: トレジャーデータは、データの取得、保存、分析に対応するクラウド型ビッグデータソリューションをエンドツーエンドのマネージドサービスとして提供しています。 トレジャーデータのユニークな特徴の一つはデータ収集ソリューションです。”   “Who should care: 大量のデータを管理するリソースやスキルが十分確保できない企業

はこのベンダーからの提案を検討するとよいでしょう。”

ガートナーは、ガートナー・リサーチの発行物に掲載された特定のベンダー、製品またはサービスを推奨するものではありません。また、最高の評価を得たベンダーのみを選択するよう テクノロジの利用者に助言するものではありません。ガートナー・リサーチの発行物は、ガートナー・リサーチの見解を表したものであり、事実を表現したものではありません。ガートナーは、明示または黙示を問わず、本リサーチの商品性や特定目的への適合性を含め、一切の保証を行うものではありません。  

Page 5: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

ヤフー株式会社と法人向けビッグデータ領域で業務提携

2015/01/22  

クラウド型  データマネジメントサービス  

日本のデータセンター(IDC  フロンティア)でのビッグデータマネジメントが可能に  

マーケティングソーリューション  事業による知見  

5  

Page 6: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

主なユーザー

2015/01/22   6  

Page 7: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

製品詳細

2015/01/22   7  

Page 8: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

最新のクラウド型データマネジメントサービス

「クラウド  +  マネジメント」で従来のDWHの課題を解決  

•  分析開始まで半年〜1年  •  最小構成でも数千万円〜  •  保守・運用が必要  •  システム拡張時は長期停止  

•  分析開始までわずか数日  •  初期費用無しの月額課金  •  面倒な保守・運用は不要  •  無停止でスケールアウト  

従来のDWH   Treasure  Data  Service  

データ収集〜保存〜分析までワンストップでサポート  

×  

運用不要  

8  

Page 9: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

様々なニーズをすぐに実現できる豊富な機能

2015/01/22   9  

Result Output クエリ結果自動書込

データ収集 データ分析 データ保管

ストレージ Flexible, Scalable, Columnar Storage

Webログ

Appログ

センサー

CRM

ERP

RDBMS

Treasure Agent(Server) SDK(JS, Android, iOS, Unity)

ストリーミングログ         コレクター

バッチ型 分析

アドホック型 分析

KPI  

KPIダッシュボード

分析ツール連携

他製品連携

RDBMS, Google Docs, AWS S3, FTP Server, etc.

Metric Insights

Tableau, Motion Board(予定) etc.

POS

分析エンジン

データ抽出I/F REST API

ODBC / JDBC (SQL, Pig)

(Treasure  Data  Serviceの機能概要図)  

バルクアップローダー TD Toolbelt

SQL-based query

@AWS or @IDCフロンティア

Page 10: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

Web画面で容易にデータ管理・分析可能

2015/01/22   10  

Page 11: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

【保管】 収集したデータはWeb上で確認

2015/01/22   11  

-­‐-­‐  アップロード済みデータ表示例 (Web  UI上で閲覧した場合)  -­‐-­‐  

•  スキーマ設計不要で、多様なフォーマットのデータを投入可能(スキーマレスDB)  •  データ発生から5分程度で閲覧・分析可能  

(Treasure  Data  Serviceでのデータ管理)  

Page 12: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

【分析】 SQLライクな分析クエリ

2015/01/22   12  

(Web  UI  上での分析クエリ実行例)  

Cron書式で  スケジュール  設定可能  

他システムへ  結果の自動書込  設定可能  

Page 13: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

【分析】 分析結果は社内で共有

2015/01/22   13  

(ブラウザで動作するKPIダッシュボード設定イメージ)  

Page 14: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

【その他】 安心なサポート・セキュリティ機能

•  24時間 × 365日の運用体制 •  エンジニアによる迅速なサポート •  ユーザー毎にアクセスコントロール / IP制限 •  データコレクタによるデータ転送はSSL利用でセキュア •  管理者画面でデータ量・使用状況・ユーザ管理が可能 •  データの所有権はお客様

2015/01/22   14  

-­‐-­‐  データへのACL例  -­‐-­‐  

Page 15: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

Treasure Data Service の特長

2015/01/22   15  

Page 16: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

①大量のデータを経済的に分析可能

2015/01/22   16  

データ量が多い程、  クラウドのコストメリットは増加  

非センシティブなデータ程、  データ量が多い傾向  

出典:米bootstrap  RESEARCH社『BIG  DATA  TECHNOLOGY  TCO  BENCHMARK』のデータを引用  

(2種類のデータとその特徴)  (3年運用時のオンプレミス製品とTreasure  Dataのコスト比較)  

TCO(ドル)  

データ  サイズ  

センシティブ  

オープン  

(デ

ータ

の機

密度

)  

(データ量)  少量   大量  

・個人情報  ・財務/会計情報  

・センサーデータ  ・デバイスデータ  ・Web  /  App  ログ  ・オープンデータ  ・POSデータ  ・履歴データ  等  

クラウド向きデータ  

オンプレ向きデータ  

Page 17: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

②散在するデータをすぐに集約可能

2015/01/22  

17  

多様なデータソースに対応した、  豊富なデータコレクターを提供  

スキーマレスDB採用により、  データ投入・変更前のスキーマ設計が不要  

小さい CSV/TSV

CRM

ERP

RDBMS

POS

センサー

Webログ Appログ

スマフォ Appログ

Treasure  Agent  

iOS  /  Android  SDK  

TD  Toolbelt  

Web  Browser  

Streaming  

Mobile  

Legacy  

Trial  

データソース   対応データコレクター  

item   unit   tax  

雑誌A   540  

石鹸B   100   8  

item   unit  

雑誌A   540  

自動でスキーマ設定  

自動でカラム追加  

{ “item” : ”石鹸B”, “unit” : ”100”, “tax” : ”43” }

{ “item” : ”雑誌A”, “unit” : ”540” }

(データ投入前のスキーマ設計が不要)  

(データ変更前のスキーマ設計が不要)  

Page 18: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.   2015/01/22  

③データ増大時も高速アクセス可能

18  

(一般的なHadoopとのデータロードアーキテクチャー比較)  

一般的なHadoop  Treasure  Data  ServiceのHadoop  

Zme   uid   item   unit_price   quanZty   total  

1403075280   1   石鹸   100   3   300  

1403075285   2   牛肉   250   2   500  

1403075328   9   生ハム   480   1   480  

1403075417   4   おむつ   360   1   360  

1403075951   7   ビール   230   2   460  

Zme   uid   item   unit_price   quanZty   total  

1403075280   1   石鹸   100   3   300  

1403075285   2   牛肉   250   2   500  

1403075328   9   生ハム   480   1   480  

1403075417   4   おむつ   360   1   360  

1403075951   7   ビール   230   2   460  

独自の「カラムナ  ×  タイムインデックス」により、  必要なファイルのみを読み出すため速度低下しにくい  

巨大なファイルの全データを読み出すため  速度低下しやすい  

無駄の少ないデータロードアーキテクチャーを採用  

スケールアウト型で柔軟に専有CPUコアの追加可能  

追加  追加  

・・・  ・・・  (スケールアウト型アーキテクチャー)  

Page 19: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

④サービス停止せずに無制限にスケール可能

2015/01/22   19  

   

Treasure  Data  Service    

従来のDWH,  データベース  

サービスタイプ   クラウド型

オンプレミス型、 クラウド型

スケール方法   スケールアウト スケールアップ または

スケールアウト

データ量対コスト   経済的 高い

スケール時の  ユーザー作業  

不要 必要

スケール時の  サービス停止  

なし あり

スケール制限   なし あり

(従来のDWHやデータベースとのスケール方法比較)  

※製品による  

Page 20: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

⑤分析のPDCAを実施可能

2015/01/22   20  

(分析のPDCAに必要な2つの分析エンジンを両方とも提供)  

Check  (効果測定)  

Plan  (施策設計)  

Do  (施策実行)  

Act  (原因探索)  

バッチ型分析  

+  

KPIダッシュボード  

・チューニング済Hadoop  ・大量データが得意  

KPI  

・定義済指標の最新データ表示  ・メンバー全員で共有  

アドホック型分析  

+  

BIツール  /  統計ツール  

・Treasure  Query  Accelerator  ・非常に高速  

・任意の軸でアドホックに分析  ・原因の可視化  

1  

2  

Page 21: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  

⑥多様な分析ニーズに対して容易に対応可能

2015/01/22   21  

(柔軟なI/Fによる、多様なアーキテクチャーパターン例)  

小さい CSV/TSV

CRM

ERP

RDBMS

POS

センサー

Webログ Appログ

スマフォ Appログ

Inside    DB  

Direct  

Data  mart  

CSV  /  TSV  

Raw  SQL  

KPI  

BIツール等  

BIツール等  

統計ツール等  

SQL  

ブラウザ  

データマート  

CSV  /  TSV  

Metric  Insights    etc  

Tableau,  MoZonBoard(予定),  etc  

SAS,  SPSS,  R  etc  

全件データ  

データマート  

バッチ  

バッチ  

アドホック  

アドホック  

JDBC/ODBC  REST  API  

JDBC/ODBC  REST  API  

バッチ  

バッチ  

Treasure  Agent  

iOS  /  Android  SDK  

TD  Toolbelt  

Web  Browser  

Streaming  

Mobile  

Legacy  

Trial  

Power  BI,  Excel,  QlikView  etc  

データ収集 データ分析 データ保管

Page 22: トレジャーデータサービスのご紹介 - Treasure Dataget.treasuredata.com/rs/treasuredata/images/[JP]TD... · 2020-02-25 · SDK(JS, Android, iOS, Unity) ストリーミングログ

Copyright  ©2014  Treasure  Data.    All  Rights  Reserved.  2015/01/22   22