とあるシステム/開発者の混沌 分散Xxへの道

Post on 12-Jun-2015

1.267 views 5 download

description

とりあえず、突然このあたりに、ほうりこまれた身内に説明する時に使った資料にちょっと、手を入れた物です。 正確さよりも、ざっくりとした雰囲気と、おおざっぱな流れ重視で。。 多分、みても、やくにたたない。。 (´・ω・`)

Transcript of とあるシステム/開発者の混沌 分散Xxへの道

1

2

World Map!

3

Map!

3!

4

Map!

4!

5

(´・ω・`)!!

わけがわからない!be mired in confusion!

6

Hadoop !Local Map!

7

8

9

10

(;´Д`)!!多い!

be mired in confusion!

11

Map!

11!

http://marblejenka.blogspot.jp/2013/01/hadoop.html より

12

(>_<)!!

どうして!be mired in confusion!

13

History!

14

温故知新!!

Taking a lesson !from the past!

15

Google Gives Paper!(2003 ~ 2005)!

BigTable!MapReduce!

2003!

2004!

Sawzall!2005!

Google Gives Layer !

Operating System!

Local File System!

cluster-level FileSystem!

Cluster-level StructuredStorage!

Data Processing!

Operating System!

Local File System!

Operating System!

Local File System!

domain-specific programming language! programming language!

Google (Maybe..) !

Operating System!

Local File System!

Google File System!

BigTable !

MapReduce !

Operating System!

Local File System!

Operating System!

Local File System!

Sewzall! Python,Java,C,…..!

19

効率性

秘訣

、途方

値段

性能

購入

、必然的

故障率

見越

創意工夫

動作

。!

創世記

ーー

収納

発想

発展

。!!

20

Kindle版 4章 No.4749より

21

落ちたらやり直す!!

Take it easy driving.!

Google Map (Maybe..) !

Operating System!

Local File System!

Google File System!

BigTable !

MapReduce !

Operating System!

Local File System!

Operating System!

Local File System!

Sewzall! Python,Java,C,…..!

ゲマワットとディーンはマップリ

デュースに関する論文を発表し、他の

コンピュータ科学者たちはそこに書

かれたコンセプトを元にアパッチハ

ドゥープというマップリデュースの

オープンソース版を作成した。!

このプログラムを通じてグーグルのアイデアは全世界に広まっていき、クラウド

コンピューティングを実現しやすくすることに貢献した。この戦略は競合相手を

利する結果となったかもしれないが、マウンテンビューの本社でもこれを批判す

る声は起きなかった。誰もがクラウドコンピューティングを取り入れるようにな

れば。もはや彼らとグーグルのサービスーそしてグーグルの広告ーを隔てる物は

ワンクリックしかない。!

!

23

Kindle版 4章 No.5203より

Hadoop!

Operating System!

Local File System!

HDFS!

HBase!

MapReduce !

Operating System!

Local File System!

Operating System!

Local File System!

Pig,HIVE! Python,Java,Ruby!

25

Google + Amazon Gives Paper!(2003 ~ 2005)!

BigTable!MapReduce!

2003!

2004!

Sawzall!2005!

Dynamo!2007!

Amzon Gives Paper!(2007)!

28

Dynamo!

BigTable,Dynamo!

Operating System!

Local File System!

HDFS!

HBase!

Operating System!

Local File System!

Operating System!

Local File System!

Pig,HIVE!

domain-specific programming language!!

OR!programming language!

Cassandra!

MapReduce

Riak!

MapReduce MapReduce

30

Google next step!

Google Gives Paper!(2003 ~ 2012)!

BigTable!MapReduce!

2003!

2004!

Sawzall!2005!

Dremel!Spanner!

2010!

2012!

Google (Maybe..) !

Operating System!

Local File System!

Google File System!

BigTable !

MapReduce !

Operating System!

Local File System!

Operating System!

Local File System!

Sewzall! Python,Java,C,…..!

Spanner !

Clossus!

Dremel!

SQL!

Google (Maybe..) !

Operating System!

Local File System!

Operating System!

Local File System!

Operating System!

Local File System!

Spanner !

Clossus!

Dremel!

SQL!

Google File System!

BigTable !

MapReduce !

Sewzall! Python,Java,C,…..!

Google (Maybe..) !

Operating System!

Local File System!

Operating System!

Local File System!

Operating System!

Local File System!

Spanner !

Clossus!

Dremel!

SQL!

Google File System!

BigTable !

MapReduce !

Sewzall! Python,Java,C,…..!

35

36

References!

37

Web!•  http://www.infoq.com/jp/articles/State-of-NoSQL!•  http://www.infoq.com/jp/articles/cap-twelve-years-later-

how-the-rules-have-changed!•  http://4.bp.blogspot.com/-91UqcnaHF3w/UOWH31zYEVI/

AAAAAAAAAC4/n7aqF-cF2ok/s1600/%E3%82%B9%E3%83%A9%E3%82%A4%E3%83%88%E3%82%991.png!

•  http://blogs.the451group.com/information_management/2012/11/02/updated-database-landscape-graphic/http://blogs.the451group.com/information_management/2012/11/02/updated-database-landscape-graphic/!

End!