Presto in Yahoo! JAPAN #yjdsnight

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .

2017年3月15日

岡田幸大

Presto in Y!J


自己紹介

• 岡田幸大, #新卒2009

• github: @yuokada

• Like: #golang #python

• よく使うY!のサービス: #ヤフオク


自己紹介

• 2009/07~2013/03コメント機能 BE開発

• 2013/04~2016/09Web ビーコン運用・開発

• 2016/10~Presto Cluster 構築・運用


アジェンダ

• Yahoo! Japanのマルチビッグデータ

• Prestoとは? - 事例紹介


Y!J is Multi Big Data Company

サービス数は100以上

メディア、コマース、金融・決済など、幅広くサービスを展開



データのバラエティも100以上

検索キーワード、ビュー/クリック、コンテンツ、購買情報、など、多様なデータを活用可能



8

月間674億PV / 1日9,000万UB

PC + その他

281億 PV

Smart Phone

393億 PVFY16-3Q事業指標 http://ir.yahoo.co.jp/jp/archives/present/2016q3/index.html



NoSQLHadoop RDB

7,000 nodes

150 PB

800DBs

2,000nodes

Object

Storage

1,500nodes



様々なPFにあるデータをインタラクティブに分析する必要がある

これらのマルチビッグデータを活かすには?



そこで選んだのは、


What is Presto?

• Facebook製OSS

• 分散クエリエンジン

• インタラクティブなクエリに最適化されたアーキテクチャ


What is Presto?

Presto Users

• Facebook

• Netflix

• Amazon

• etchttps://github.com/prestodb/presto/wiki/Presto-Users


What is Presto?

source: https://prestodb.io/overview.html


What is Presto?

✅ Pros• コネクターを追加することで多種多様なデータPFと接続出来る

• データをメモリ上で処理するためクエリの実行が高速

• ANSI SQL サポート• UDF(ユーザー定義関数) サポート

https://prestodb.io/docs/current/connector.html


What is Presto?

• データがメモリから溢れた場合、クエリの実行に失敗

• ノードの障害時もクエリが失敗• 失敗時、自動での再実行無し

❌ Cons


Prestoクラスターの導入例

• Object Storage上のログの分析• 障害発生時の調査を目的

• ログの形式はjson+gz



このクラスターを構築/運用したことでPrestoの課題が見えてきた



• 原因1. クエリ実行の度にファイルを取得2. jsonフォーマットの場合、

ファイル全体を取得

課題: ネットワーク帯域の圧迫



もちろん、コミュニティと協力して!

さらに、Pull-Requestで！

この課題をどう解決するのか？


まとめ

• インタラクティブなクエリはPresto

• クラスター運用するための課題はまだまだ沢山

• 課題を解決するためにヤフーは積極的にOSSへコントリビュート

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .

EOP

Presto in Yahoo! JAPAN #yjdsnight

Technology

Transcript of Presto in Yahoo! JAPAN #yjdsnight