Google Dremel

Google Dremel

maruyama097

丸山不二夫

Dremel が利用されている領域クロールされた Web ドキュメントの解析 Android マーケットで、インスロールされたアプリ

の追跡 Google 製品のクラッシュ報告 Google Books の OCR の結果 . スパムの解析 Google Map の map タイルのデバッグ Bigtable インスタンスの Tablet マイグレーション

の管理 Google の分散ビルドシステム上での実行テスト結果数十万のディスクの Disk I/O 統計 Google データセンターで実行されているジョブの、

リソース・モニタリング Google のコードベースの、シンボルと従属性

Dremel のアイデア第一。分散検索エンジンで利用されている、木構造

のアーキテクチャー。 Web 検索と同様に、検索は、木構造をたどって行われ、それを書き換える。検索結果は、下位の木構造から得られる答えを集約することで行われる。

第二。 Dremel は、 SQL-like な検索言語をサポートする。それは、 Hive や Pig とはことなり、 Map-Reduce には変換されずに、ネーティブに検索を実行する。

第三。 Dremel は、カラム単位で分割されたデータ構造を利用する。カラム型のストレージは、読み込むデータを少なくして、圧縮が簡単に出来るので、CPU のコストを削減する。カラム型のデータ・ストアは、リレーショナルなデータの解析には採用されてきたが、我々の知る限り、ネストしたデータ構造へのその拡張は、行われてこなかった。

Google Dremel

この論文が明らかにすることネストしたデータの為の、カラム型ストレージの

フォーマット。ネストしたデータのカラム型への変換、逆に、カラム型からもとのデータの復元のアルゴリズムを与える。

Dremel の検索言語とその実行の概要。カラム型のネスト・データ上で効率的に実行され、ネストされたデータの再構成を必要としない。

Web 検索システムの実行木が、データベース処理にも利用出来ることを示す。集約検索が効率的に行われることを示して、そのメリットを明らかにする。

1000~4000 ノードで稼働する、一兆個のレコード、数テラバイトのデータセット上での実験の報告。

Dremel の背景インタラクティブな検索処理が、広い範囲のデータ管理システ

ム環境に、適合することを、まず示そう。シナリオ

Map Reduce ->billions of records Dremel 　 SQL 　

DEFINE TABLE t AS /path/to/data/*SELECT TOP(signal1, 100), COUNT(*) FROM t

Dashboard 、 Catalog

検索処理とデータ管理ツールの相互運用性共通ストレージ層　 GFS 高パフォーマンスストレージ層共有データフォーマット

message Document { required int64 DocId; optional group Links { repeated int64 Backward; 　　 repeated int64 Forward; } repeated group Name { repeated group Language { required string Code; 　　　 optional string Country; } optional string Url; }}

Document

DocID Links? Name*

Backward* Forward* Language* Url?

Code Country?サンプルのスキーマ

Protocol Buffer

Code

DocID Links? Names*


Country?

Document

Code

DocID

Document

Links? Names* 1

Backward* 1 Forward* 1 Language* 2 Url?

Country?

Repetition Level

Code

DocID

Document

Links? 1 Names* 1

Backward* 2 Forward* 2 Language* 2 Url? 2

Country? 3

Definition Level

2

０

Code

DocID

Document

Links? 1 Names* 1 1

Backward* 1

2Forward* 1

2Language* 2

2Url? 2

Country? 3

Repetetion Level

Definition Level

2

０

DocId: 10 　　　　　　　　　　Links Forward: 20 Forward: 40 Forward: 60Name Language Code: 'en-us‘ Country: 'us' Language Code: 'en' Url: 'http://A'Name Url: 'http://B'Name Language Code: 'en-gb' Country: 'gb'

DocId: 20Links Backward: 10 Backward: 30 Forward: 80Name Url: 'http://C‘

DocId: 10 　　　　0,0 　　　　　Links Forward: 20 Forward: 40 Forward: 60Name Language Code: 'en-us‘ Country: 'us' Language Code: 'en' Url: 'http://A'Name Url: 'http://B'Name Language Code: 'en-gb' Country: 'gb'


DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 Forward: 40 Forward: 60Name Language Code: 'en-us‘ Country: 'us' Language Code: 'en' Url: 'http://A'Name Url: 'http://B'Name Language Code: 'en-gb' Country: 'gb'


DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 0,2 Forward: 40 Forward: 60Name Language Code: 'en-us‘ Country: 'us' Language Code: 'en' Url: 'http://A'Name Url: 'http://B'Name Language Code: 'en-gb' Country: 'gb'


DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 0,2 Forward: 40 1,2 Forward: 60Name Language Code: 'en-us‘ Country: 'us' Language Code: 'en' Url: 'http://A'Name Url: 'http://B'Name Language Code: 'en-gb' Country: 'gb'


DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 0,2 Forward: 40 1,2 Forward: 60 1,2Name Language Code: 'en-us‘ Country: 'us' Language Code: 'en' Url: 'http://A'Name Url: 'http://B'Name Language Code: 'en-gb' Country: 'gb'


DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 0,2 Forward: 40 1,2 Forward: 60 1,2Name Language Code: 'en-us‘ 0,2 Country: 'us' Language Code: 'en' Url: 'http://A'Name Url: 'http://B'Name Language Code: 'en-gb' Country: 'gb'


DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 0,2 Forward: 40 1,2 Forward: 60 1,2Name Language Code: 'en-us‘ 0,2 Country: 'us’ 0,3 Language Code: 'en' Url: 'http://A'Name Url: 'http://B'Name Language Code: 'en-gb' Country: 'gb'


DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 0,2 Forward: 40 1,2 Forward: 60 1,2Name Language Code: 'en-us‘ 0,2 Country: 'us’ 0,3 Language Code: 'en’ 2,2 Url: 'http://A'Name Url: 'http://B'Name Language Code: 'en-gb' Country: 'gb'


DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 0,2 Forward: 40 1,2 Forward: 60 1,2Name Language Code: 'en-us‘ 0,2 Country: 'us’ 0,3 Language Code: 'en’ 2,2 Country:NULL 2,2 Url: 'http://A'Name Url: 'http://B'Name Language Code: 'en-gb' Country: 'gb'


DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 0,2 Forward: 40 1,2 Forward: 60 1,2Name Language Code: 'en-us‘ 0,2 Country: 'us’ 0,3 Language Code: 'en’ 2,2 Country:NULL 2,2 Url: 'http://A’ 0,2Name Url: 'http://B'Name Language Code: 'en-gb' Country: 'gb'


DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 0,2 Forward: 40 1,2 Forward: 60 1,2Name Language Code: 'en-us‘ 0,2 Country: 'us’ 0,3 Language Code: 'en’ 2,2 Country:NULL 2,2 Url: 'http://A’ 0,2Name Language Url: 'http://B'

Name Language Code: 'en-gb' Country: 'gb’


DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 0,2 Forward: 40 1,2 Forward: 60 1,2Name Language Code: 'en-us‘ 0,2 Country: 'us’ 0,3 Language Code: 'en’ 2,2 Country:NULL 2,2 Url: 'http://A’ 0,2Name Language Code: NULL 1,1 Url: 'http://B'



DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 0,2 Forward: 40 1,2 Forward: 60 1,2Name Language Code: 'en-us‘ 0,2 Country: 'us’ 0,3 Language Code: 'en’ 2,2 Country:NULL 2,2 Url: 'http://A’ 0,2Name Language Code: NULL 1,1 Country:NULL 1,1 Url: 'http://B'



DocId: 10 　　　　０ ,0 　　　　Links Backward:NULL 0,1 Forward: 20 0,2 Forward: 40 1,2 Forward: 60 1,2Name Language Code: 'en-us‘ 0,2 Country: 'us’ 0,3 Language Code: 'en’ 2,2 Country:NULL 2,2 Url: 'http://A’ 0,2Name Language Code: NULL 1,1 Country:NULL 1,1 Url: 'http://B’ 1,2




Name Language Code: 'en-gb’ 1,2 Country: 'gb’



Name Language Code: 'en-gb’ Country: 'gb’



Name Language Code: 'en-gb’ 1,2 Country: 'gb’



Name Language Code: 'en-gb’ 1,2 Country: 'gb’ 1,3



Name Language Code: 'en-gb’ 1,2 Country: 'gb’ 1,3 URI:NULL 1,1




DocId: 20 0,0Links Backward: 10 Backward: 30 Forward: 80Name Url: 'http://C‘


DocId: 20 0,0Links Backward: 10 0,2 Backward: 30 Forward: 80Name Url: 'http://C‘


DocId: 20 0,0Links Backward: 10 0,2 Backward: 30 1,2 Forward: 80Name Url: 'http://C‘


DocId: 20 0,0Links Backward: 10 0,2 Backward: 30 1,2 Forward: 80 0,2Name Url: 'http://C‘


DocId: 20 0,0Links Backward: 10 0,2 Backward: 30 1,2 Forward: 80 0,2Name Language Url: 'http://C‘


DocId: 20 0,0Links Backward: 10 0,2 Backward: 30 1,2 Forward: 80 0,2Name Language Code: NULL 0,1 Url: 'http://C‘


DocId: 20 0,0Links Backward: 10 0,2 Backward: 30 1,2 Forward: 80 0,2Name Language Code: NULL 0,1 Country: NULL 0,1 Url: 'http://C‘


DocId: 20 0,0Links Backward: 10 0,2 Backward: 30 1,2 Forward: 80 0,2Name Language Code: NULL 0,1 Country: NULL 0,1 Url: 'http://C‘ 0,2

DocId: 10Links Forward: 20 Forward: 40 Forward: 60Name Language Code: 'en-us‘ Country: 'us' Language Code: 'en' Url: 'http://A'Name Url: 'http://B'Name Language Code: 'en-gb' Country: 'gb'


Code

DocID

Document

Links? Names*


Country?

Level 0

Code

DocID

Document

Links? Names* 1

Backward* 1 Forward* 1 Language* Url?

Country?

Level 1

Code

DocID

Document

Links? Names* 1

Backward* 1 Forward* 1 Language* Url?

Country?

Level 0 Level 1

Code

DocID

Document

Links? Names*

Backward* Forward* Language* 2 Url?

Country?

Level 2

Code

DocID

Document

Links? Names* 1

Backward* 1 Forward* 1 Language* 2 Url?

Country?

Level 0 Level 1 Level 2

Code

DocID

Document

Links? Names*


Country?

Code

DocID

Document

Links? Names*


Country?

Level 0

Code

DocID

Document

Links? Names*


Country?

Level 0Level 1Level 2

Finite State Machine CONSTRUCTION ALGORITHM

Finite State Machine CONSTRUCTION ALGORITHM このアルゴリズムは、入力として、スキーマ中に現

れる順番でレコード中に展開されているフィールドをとる。

このアルゴリズムは、「共通繰り返しレベル」というコンセプトを用いている。それは、共通のもっとも近い先祖の繰り返しレベルのことである。例えば、Links.Backward と Links.Forward の「共通繰り返しレベル」は、１になる。

第二のコンセプトは、「バリア」である。それは、現在のフィールドの、順番では次のフィールドのことである。

直感的には、バリアにあたって、以前にみたフィールドにジャンプが必要となるまで、それぞれのフィールドを一つづつ処理するということである。

1. procedure ConstructFSM(Field[] fields):2. フィールズ上のそれぞれのフィールドに対

して3. 　 maxLevel を、フィールドの最大繰り返

し　レベルに設定する。

4. 　 barrier を、フィールドの次のフィールドか、　そうでなければ、 FSM の最終状態に設定す　る。

5. 　 barrierLevel を、フィールドと barrierの　共通繰り返しレベルとする。

ステップ１ (Lines 6-10) では、「共通繰り返しレベル」を後ろ向きに走査する。これらは、増大しないことが保証されている。我々が出会う、それぞれの繰り返しレベルで、列のもっとも左のフィールドを選ぶ。 FieldReader で繰り返しレベルが返された時、我々が遷移すべきなのは、このフィールドである。

6. フィールドの前の全ての preField について、次の処理を繰り返す。ここで、

7. preField の繰り返しレベルは、 barrierLevelより大きいものを選ぶ。

8. 　 backLevel を、 preField とフィールドの　共通繰り返しレベルとする

9. 　次のように遷移を設定する。 (field, backLevel) -> preField

10.繰り返し終わり。

ステップ 2 では、ギャップを埋める (Lines 11-14) 。このギャップは、全ての繰り返しレベルが、Line8 で計算された共通繰り返しレベルに現れていないことから生まれる。

11. [barrierLevel+1..maxLevel] の全てのレベルの

12.フィールドからの遷移を欠いているものについて、次の処理を繰り返す。

13.　　 level-1 の遷移の終端をコピーする14.繰り返し、終わり。

ステップ 3(Lines 15-17) では、 barrierLevel 以下の全てのレベルについて、 barrier フィールドへのジャンプをセットする。もしも、 FieldReader が、このようなレベルを生み出すなら、ネストされたレコードの構成を続ける必要がある。 barrier に、戻る必要はない。

15.[0..barrierLevel] の全てのレベルについて

16.　　遷移を次のようにセットする　　 (field, level) -> barrier

17.繰り返し終わり

COLUMN 　 STRIPINGALGORITHM

プロシージャ DissectRecord は、 RecordDecoderのインスタンスに渡される。 RecordDecoder は、バイナリーにエンコードされたレコードの解析に利用される。

FieldWriters は、入力スキーマの階層構造と同形の木階層構造を構成している。

ルートの FieldWriter は、それぞれの新しいレコード毎に、繰り返しレベルを０にセットして、このアルゴリズムに渡される。

DissectRecord プロシージャの最初の仕事は、現在の繰り返しレベルを維持することである。

現在の定義レベルは、現在の writer のツリー上の位置によって、フィールド・パスのオプショナルとリピート・フィールドの数の和として、一意に決定される。

このアルゴリズムの While ループ (Line 5) は、与えられたレコードに含まれる、全てのアトミックとレコード値を持つフィールド上を繰り返し処理する。

seenFields の集合は、レコード中で、そのフィールドが処理されたか否かを追跡する。それは、どのフィールドが、もっとも最近繰り返されたかを決定するのに利用される。

子供の繰り返しレベル chRepetitionLevel は、もっとも最近繰り返されたレベルか、あるいは、その親のレベルのデフォールト値がセットされる (Lines 9-13) 。

このプロシージャは、ネストしたレコードに対して、リカーシブに呼び出される (Line 18) 。

Section 4.2 で、 FieldWriters がどのようにレベルを蓄積して、低レベルの writer に、必要に応じてそれらを伝播していくのかを見てきた。これらは、次のように行われる。

それぞれの non-leaf writer は、 ( 繰り返しレベル、定義レベル ) の列を保持している。それぞれのwriter は、それに関連した「バージョン」数を持っている。単純にいえば、 writer のバージョンはレベルが加えられる時には必ず一つづつ増加される。子供にとっては、最後に同期した親のバージョンを知っていれば十分である。

もし子供の writer が（ non-null）の値を獲得していれば、それは新しいレベルを取得して親と状態を同期する。そして、その時だけ新しいデータを追加する。

入力データは、数千のフィールド、数百万のレコードを持つことがあり得るので、全てのレベルをメモリーに置くというのはありそうもない。いくつかのレベルは、ディスク上のファイルに置かれるだろう。

空の（サブ）レコードの損失のないエンコードの為に、 (図 2 の Name.Language のような )non-atomic フィールドは、自分自身のカラム・ストライプを持つ必要があるかもしれない。それは、レベルを持つだけで、 non-NULL な値を持つことはない。

1. procedure DissectRecord(　 RecordDecoder decoder,　 FieldWriter writer, int 繰り返しレベル ):

2. 現在の繰り返しレベルと定義レベルを writerに追加する。

3. seenFields = {} // 整数の空集合4. decoder がフィールドの値を持つ間、繰り返

す5. 　 FieldWriter chWriter =

　　 decoder によって読まれるフィールドの　　子writer

6. 　 int 子の繰り返しレベル = 繰り返しレベル

7. 　 if seenFields が子writer の ID を含んで　　　いれば、　　子の繰り返しレベル = 子writer の深さ

8. 　 else9. 　　子writer の ID を seenFields に追加す

る10.　 end if

11.　 if 子Writer が atomic field に対応すれば12.　　子の繰り返しレベルの子writer を使っ

て、　　現在のフィールドの値を書き出す

13.　 else14.　　 DissectRecord( ネストしたレコードの

為の　　　新しい RecordDecoder,　　子writer, 子の繰り返しレベル）

15.　 end if16.end while17.end procedure

RECORD ASSEMBLY ALGORITHM

In their on-the-wire representation, records are laid out as pairs of a field identifier followed by a field value. Nested records can be thought of as having an ‘opening tag’ and a ‘closing tag’, similar to XML (actual binary encoding may differ, see [21] for details).

In the following, writing opening tags is referred to as ‘starting’ the record, and writing closing tags is called ’ending’ it.

AssembleRecord procedure takes as input a set of FieldReaders and (implicitly) the FSM with state transitions between the readers.

Variable reader holds the current FieldReader in the main routine (Line 4). Variable lastReader holds the last reader whose value we appended to the record and is available to all three procedures shown in Figure 17. The main while-loop is at Line 5.

We fetch the next value from the current reader. If the value is not NULL, which is determined by looking at its definition level, we synchronize the record being assembled to the record structure of the current reader in the method MoveToLevel, and append the field value to the record.

Otherwise, we merely adjust the record structure without appending any value—which needs to be done if empty records are present.

On Line 12, we use a ‘full definition level’. Recall that the definition level factors out required fields (only repeated and optional fields are counted). Full definition level takes all fields into account.

Procedure MoveToLevel transitions the record from the state of the lastReader to that of the nextReader (see Line 22).

For example, suppose the lastReader corresponds to Links.Backward in Figure 2 and nextReader is Name.Language.Code. The method ends the nested record Links and starts new records Name and Language, in that order. Procedure ReturnsToLevel (Line 30) is a counterpart of MoveToLevel that only ends current records without starting any new ones.

SELECT PROJECT AGGREGATEEVALUATION ALGORITHM

The algorithm addresses a general case when a query may reference repeated fields; a simpler optimized version is used for flat-relational queries, i.e., those referencing only required and optional fields. The algorithm has two implicit inputs: a set of FieldReaders, one for each field appearing in the query, and a set of scalar expressions, including aggregate expressions, present in the query. The repetition level of a scalar expression (used in Line 8) is determined as the maximum repetition level of the fields used in that expression.

In essence, the algorithm advances the readers in lockstep to the next set of values, and, if the selection conditions are met, emits the projected values. Selection and projection are controlled by two variables, fetchLevel and selectLevel. During execution, only readers whose next repetition level is no less than fetchLevel are advanced (see Fetch method at Line 19). In a similar vein, only expressions whose current repetition level is no less than selectLevel are emitted (Lines 7-10).

The algorithm ensures that expressions at a higher-level of nesting, i.e., those having a smaller repetition 　 level, get evaluated and emitted only once for each deeper nested 　expression.

Google Dremel

Document

DocID Links? Name*


Code Country?

10 0 020 0 0

http://A 0 2http://B 1 2NULL 1 1http://C 0 2

20 0 240 1 260 1 280 0 2

NULL 0 110 0 230 1 2

en-us 0 2en 2 2NULL 1 1en-gb 1 2NULL 0 1

us 0 3NULL 2 2NULL 1 1gb 1 3NULL 0 1

サンプルの格納状態

Dremel の検索言語

SELECT DocId AS Id, COUNT(Name.Language.Code) WITHIN Name AS Cnt, Name.Url + ',' + Name.Language.Code AS StrFROM tWHERE REGEXP(Name.Url, '^http') AND DocId < 20;

Id: 10Name Cnt: 2 Language Str: 'http://A,en-us' Str: 'http://A,en'Name Cnt: 0

message QueryResult { required int64 Id; repeated group Name { optional uint64 Cnt; repeated group Language { optional string Str; }}}

出力結果出力のスキーマ

検索の木構造

SELECT A, COUNT(B) FROM T GROUP BY A

SELECT A, SUM(c) FROM (R11 UNION ALL ...R1n) GROUP BY A

R1i = SELECT A, COUNT(B) AS c FROM T1i GROUP BY A

T1i は、レベル 1 のサーバー i で処理される、テーブルT のTablet の分割

実験で使われたデータセット

カラム型とレコード型のパフォーマンスの比較

フィールドの数

MapReduce と Dremel

3000 nodes, 85 billion records

numRecs: table sum of int;numWords: table sum of int;emit numRecs <- 1;emit numWords <- CountWords(input.txtField);

Q1: SELECT SUM(CountWords(txtField)) 　　　　 / COUNT(*) FROM T1

木構造の深さとパフォーマンス

テーブル T2 24billion レコード 13TB 530 フィールドでの検索

Q2: SELECT country, SUM(item.amount) FROM T2GROUP BY country Q3: SELECT domain, SUM(item.amount) FROM T2

WHERE domain CONTAINS ’.net’GROUP BY domain

システムのノード数とスケーリング

リーフサーバーの数Q5: SELECT TOP(aid, 20), COUNT(*) FROM T4WHERE bid = {value1} AND cid = {value2}

T4 の一兆個のレコード

毎月の処理の処理時間の分布

結論スキャンベースの検索は、一兆個以上のディスク上

のデータセットに対して、インタラクティブなスピードで実行出来る。

数千ノードを含むシステムで、カラムとサーバーの数に関して、ほとんどリニアーなスケーラビリティーを達成出来る。

DBMS とまったく同様に、 MapReduce は、カラム型のストレージの恩恵を受ける。

レコードの収集とパージングは、コストがかかる。ソフトウェアの層は（検索実行の層を超えて）、直接カラム指向のデータを利用出来るようになる必要がある。

結論 MapReduce と検索処理は、一方の層の出力が、他方の層の入力を与えるというように、相互補完的なやり方で、利用出来る。

マルチ・ユーザーの環境では、大規模システムは、より良いユーザー・エキスペアレンスの質を提供しながら、規模の経済のメリットを享受出来る。

もしも、正確さよりも、スピードの方が受け入れやすいなら、検索は、もっと早くすませることが出来るし、それにもかかわらず、もっと多くのデータを見ることが出来る。

Web スケールの大量のデータセットは、高速にスキャン出来る。厳しい時間の制限の中で、最後の数パーセントのデータを得るのは難しい。

COLUMN STRIPINGAlgorithm

The algorithm for decomposing a record into columns

DissectRecord1. procedure DissectRecord(

RecordDecoder decoder, FieldWriter writer, int repetitionLevel):

RecordDecoder, which is used to traverse binary-encoded records.

FieldWriters form a tree hierarchy isomorphic to that of the input schema.

Primary Job The root FieldWriter is passed to the algorithm

for each new record, with repetitionLevel set to 0.

The primary job of the DissectRecord procedure is to maintain the current repetitionLevel.

The current definitionLevel is uniquely determined by the tree position of the current writer, as the sum of the number of optional and repeated fields in the field’s path.

Google Dremel

Technology

Transcript of Google Dremel