インフラ勉強会 20090711

動的な構成管理ソフトウェアWakame の話

株式会社あくしゅやまざき

山崎泰宏の自己紹介

Virtual Reality

５年間 大手 SI 会社に就職

２００６年起業

株式会社あくしゅ

なので僕はインフラエンジニアではありません

ごめんなさい

そんな僕がインフラエンジニアに期待すること

日々安定させて

提案もして

もっとアプリケーション側に、ぐいぐい出てきて欲しい

プログラマ インフラエンジニア

プログラマ インフラエンジニア

ブログを作るならこんなインフラが良い

写真共有サイトを作るならこんなインフラが良い

アプリケーションが持つ特性を理解しなければインフラは作れない

そして必ず議論される問題…

Scalability

実際のところ大規模サイトを運営した経験があるエンジニアは

数少ない

やってみたらいいじゃない！

それ、 Amazon EC2 で

データセンタ

コンピューティング

リソースシステム管理者

設置

利用

従来のハウジングデータセンタ

データセンタ

コンピューティング

リソース従業員システム管理者

確保

利用

依頼

従来のホスティングデータセンタ

これからのホスティングデータセンタ

データセンタ

コンピューティング

リソース従業員システム管理者

確保

利用

設置

自律可能なホスティングデータセンタ

データセンタ

コンピューティング

リソース従業員システム管理者

確保

利用

設置

Web API

Amazon Web Services

「システム管理者のように振る舞うプログラムがあれば…」

# gem install wakame

Wakame

2009/4/22 Ver. 0.3 First Release

2009/6/26 Ver. 0.4 Release

６月に特集していただきました

偶然知り合いが隣でした

http://gihyo.jp/dev/feature/01/wakame

おかげさまでWakame で 1 位

これを越えるのが目標でした

Wakame はシステム管理者としてどのような振る舞いをするのか

Storage

Machine Image

File

Master

Agent

Server + XenOther

s(Web+DB+etc.)

Server + XenServer + Xen

Resource Manager

Amazon S3

Amazon Machine Image

Amazon EC2

Amazon Management Console / Elasticfox

全体像の概要

Storage

Machine Image

File

Wakame の原理 (1/7)

Master

Agent

Server + XenOther

s(Web+DB+etc.)

Server + XenServer + Xen

Resource Managerマシン起動

Wakame

Storage

Machine Image

File

Wakame の原理 (2/7)

Master

Agent

Server + XenOther

s(Web+DB+etc.)

Server + XenServer + Xen

Resource Manager

Machine Image

File

Master

Agent

Others

(Web+DB+etc.)

インスタンスの起動

Storage

Machine Image

File

Wakame の原理 (3/7)

Master

Agent

Server + XenOther

s(Web+DB+etc.)

Server + XenServer + Xen

Resource Manager

Machine Image

File

Master

Agent

Others

(Web+DB+etc.)

サービス起動指示

サービス起動

Storage

Machine Image

File

Wakame の原理 (4/7)

Master

Agent

Server + XenOther

s(Web+DB+etc.)

Server + XenServer + Xen

Resource Manager

Machine Image

File

Master

Agent

Others

(Web+DB+etc.)

スケールアウト計画の指示

Web API

Amazon Web Services

Refrain:

Storage

Machine Image

File

Wakame の原理 (5/7)

Master

Agent

Server + XenOther

s(Web+DB+etc.)

Server + XenServer + Xen

Resource Manager

Machine Image

File

Master

Agent

Others

(Web+DB+etc.)

マシン起動

Storage

Machine Image

File

Wakame の原理 (6/7)

Master

Agent

Server + XenOther

s(Web+DB+etc.)

Server + XenServer + Xen

Resource Manager

Machine Image

File

Master

Agent

Others

(Web+DB+etc.)

Machine Image

File

Master

Agent

Others

(Web+DB+etc.)

インスタンスの起動

Storage

Machine Image

File

Wakame の原理 (7/7)

Master

Agent

Server + XenOther

s(Web+DB+etc.)

Server + XenServer + Xen

Resource Manager

Machine Image

File

Master

Agent

Others

(Web+DB+etc.)

Machine Image

File

Master

Agent

Others

(Web+DB+etc.)

サービス起動指示

サービス起動

勝手に増えた！

勝手に増えるって、いいよね！

だがしかし

「いつ増やすべきか」その予言はできない

明日、 100 万人のユーザが来る

よ！

スケールアウトは計画的に

１日単位のパターン２２時

５時

１週間単位のパターン

土曜日日曜日

週ナカ

コンシューマ向けサービスのアクセス負荷例

キャンペーンだっていつ実施するかは計画されている

「３日後にキャンペーンやりたいんだけれども…」

「わかりました！サーバ１０倍に増やしておきますね！」

ここから妄想の世界

パズルジャパンというサイト ( 株式会社ニコリ等が運営 ) が、Yahoo! ニュースに紹介されてアクセスできなくなっちゃった！って言う話

http://www.timedia.co.jp/news/event/2359636686

参考

いつもの２０倍

本当に

計画することが

できないのか？

例えば

と、時期を教えてくれたらどうだろう？

もしもし今からリンクします

と、流量も教えてくれたらどうだろう？

そん時、めっちゃトラフィック流れます

そんな急に

言われても！

ここで私を思い出してください

計画できないのではない

準備に間に合わないだけなんだ

Wakame のようなプロダクトが当たり前になればできる

RightScaleVertebra

ScalrChef

いつかこんなプロトコルも作りたい。

Big Site

Small Site

どこからいつ

どんだけ

ダウンしないインフラへ

Photo Copyrights

http://www.flickr.com/photos/34964284@N04/3390107277/http://www.flickr.com/photos/comphacker/3161056434/http://www.flickr.com/photos/can10kon10/2922177742/http://www.flickr.com/photos/gideon/180383030/in/set-72157594185297672/http://www.flickr.com/photos/jonnyhunter/3564992962/http://www.flickr.com/photos/abbot45/187640227/http://www.flickr.com/photos/tylerdurden/308374340/http://www.flickr.com/photos/jamescridland/2324902509/http://www.flickr.com/photos/silas216/2363450210/http://www.flickr.com/photos/foxypar4/3010273136/http://www.flickr.com/photos/foxypar4/3011634865/http://www.flickr.com/photos/foxypar4/3013893044/

http://www.flickr.com/photos/stevendepolo/3020452429/http://www.flickr.com/photos/tudor/255272612/http://www.flickr.com/photos/mcgraths/3248483447/http://www.flickr.com/photos/loura/580306501/

分散テクノロジグループ山崎泰宏 (y-yamazaki@axsh.net)藤原勝弘 (m-fujiwara@axsh.net)吉田将士 (masahito@axsh.net)三上悟　 (s-mikami@axsh.net)