とあるシステム/開発者の混沌 分散xxへの道
DESCRIPTION
とりあえず、突然このあたりに、ほうりこまれた身内に説明する時に使った資料にちょっと、手を入れた物です。 正確さよりも、ざっくりとした雰囲気と、おおざっぱな流れ重視で。。 多分、みても、やくにたたない。。 (´・ω・`)TRANSCRIPT
![Page 1: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/1.jpg)
1
![Page 2: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/2.jpg)
2
World Map!
![Page 3: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/3.jpg)
3
Map!
3!
![Page 4: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/4.jpg)
4
Map!
4!
![Page 5: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/5.jpg)
5
(´・ω・`)!!
わけがわからない!be mired in confusion!
![Page 6: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/6.jpg)
6
Hadoop !Local Map!
![Page 7: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/7.jpg)
7
![Page 8: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/8.jpg)
8
![Page 9: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/9.jpg)
9
![Page 10: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/10.jpg)
10
(;´Д`)!!多い!
be mired in confusion!
![Page 11: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/11.jpg)
11
Map!
11!
http://marblejenka.blogspot.jp/2013/01/hadoop.html より
![Page 12: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/12.jpg)
12
(>_<)!!
どうして!be mired in confusion!
![Page 13: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/13.jpg)
13
History!
![Page 14: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/14.jpg)
14
温故知新!!
Taking a lesson !from the past!
![Page 15: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/15.jpg)
15
![Page 16: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/16.jpg)
Google Gives Paper!(2003 ~ 2005)!
BigTable!MapReduce!
2003!
2004!
Sawzall!2005!
![Page 17: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/17.jpg)
Google Gives Layer !
Operating System!
Local File System!
cluster-level FileSystem!
Cluster-level StructuredStorage!
Data Processing!
Operating System!
Local File System!
Operating System!
Local File System!
domain-specific programming language! programming language!
![Page 18: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/18.jpg)
Google (Maybe..) !
Operating System!
Local File System!
Google File System!
BigTable !
MapReduce !
Operating System!
Local File System!
Operating System!
Local File System!
Sewzall! Python,Java,C,…..!
![Page 19: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/19.jpg)
19
![Page 20: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/20.jpg)
ー
効率性
秘訣
、途方
無
安
値段
性能
低
ー
購入
、必然的
高
故障率
見越
創意工夫
動作
続
れ
ー
。!
れ
、
ー
創世記
組
立
ーー
収納
発想
発展
。!!
20
Kindle版 4章 No.4749より
![Page 21: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/21.jpg)
21
落ちたらやり直す!!
Take it easy driving.!
![Page 22: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/22.jpg)
Google Map (Maybe..) !
Operating System!
Local File System!
Google File System!
BigTable !
MapReduce !
Operating System!
Local File System!
Operating System!
Local File System!
Sewzall! Python,Java,C,…..!
![Page 23: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/23.jpg)
ゲマワットとディーンはマップリ
デュースに関する論文を発表し、他の
コンピュータ科学者たちはそこに書
かれたコンセプトを元にアパッチハ
ドゥープというマップリデュースの
オープンソース版を作成した。!
このプログラムを通じてグーグルのアイデアは全世界に広まっていき、クラウド
コンピューティングを実現しやすくすることに貢献した。この戦略は競合相手を
利する結果となったかもしれないが、マウンテンビューの本社でもこれを批判す
る声は起きなかった。誰もがクラウドコンピューティングを取り入れるようにな
れば。もはや彼らとグーグルのサービスーそしてグーグルの広告ーを隔てる物は
ワンクリックしかない。!
!
23
Kindle版 4章 No.5203より
![Page 24: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/24.jpg)
Hadoop!
Operating System!
Local File System!
HDFS!
HBase!
MapReduce !
Operating System!
Local File System!
Operating System!
Local File System!
Pig,HIVE! Python,Java,Ruby!
![Page 25: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/25.jpg)
25
![Page 26: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/26.jpg)
Google + Amazon Gives Paper!(2003 ~ 2005)!
BigTable!MapReduce!
2003!
2004!
Sawzall!2005!
Dynamo!2007!
![Page 27: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/27.jpg)
Amzon Gives Paper!(2007)!
![Page 28: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/28.jpg)
28
Dynamo!
![Page 29: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/29.jpg)
BigTable,Dynamo!
Operating System!
Local File System!
HDFS!
HBase!
Operating System!
Local File System!
Operating System!
Local File System!
Pig,HIVE!
domain-specific programming language!!
OR!programming language!
Cassandra!
MapReduce
Riak!
MapReduce MapReduce
![Page 30: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/30.jpg)
30
Google next step!
![Page 31: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/31.jpg)
Google Gives Paper!(2003 ~ 2012)!
BigTable!MapReduce!
2003!
2004!
Sawzall!2005!
Dremel!Spanner!
2010!
2012!
![Page 32: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/32.jpg)
Google (Maybe..) !
Operating System!
Local File System!
Google File System!
BigTable !
MapReduce !
Operating System!
Local File System!
Operating System!
Local File System!
Sewzall! Python,Java,C,…..!
Spanner !
Clossus!
Dremel!
SQL!
![Page 33: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/33.jpg)
Google (Maybe..) !
Operating System!
Local File System!
Operating System!
Local File System!
Operating System!
Local File System!
Spanner !
Clossus!
Dremel!
SQL!
Google File System!
BigTable !
MapReduce !
Sewzall! Python,Java,C,…..!
![Page 34: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/34.jpg)
Google (Maybe..) !
Operating System!
Local File System!
Operating System!
Local File System!
Operating System!
Local File System!
Spanner !
Clossus!
Dremel!
SQL!
Google File System!
BigTable !
MapReduce !
Sewzall! Python,Java,C,…..!
![Page 35: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/35.jpg)
35
![Page 36: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/36.jpg)
36
References!
![Page 37: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/37.jpg)
37
Web!• http://www.infoq.com/jp/articles/State-of-NoSQL!• http://www.infoq.com/jp/articles/cap-twelve-years-later-
how-the-rules-have-changed!• http://4.bp.blogspot.com/-91UqcnaHF3w/UOWH31zYEVI/
AAAAAAAAAC4/n7aqF-cF2ok/s1600/%E3%82%B9%E3%83%A9%E3%82%A4%E3%83%88%E3%82%991.png!
• http://blogs.the451group.com/information_management/2012/11/02/updated-database-landscape-graphic/http://blogs.the451group.com/information_management/2012/11/02/updated-database-landscape-graphic/!
![Page 38: とあるシステム/開発者の混沌 分散Xxへの道](https://reader034.vdocuments.mx/reader034/viewer/2022052223/557ad529d8b42a0b188b531a/html5/thumbnails/38.jpg)
End!