mysql データ分割入門

MySQL データ分割入門

mysql-casual#1 (2010-12-10)@xaicron

2010年12月13日月曜日

自己紹介

• @xaicron (さいくろん)

• works at DeNA

• blog http://blog.livedoor.jp/xaicron/


http://blog.livedoor.jp/xaicron/

http://blog.livedoor.jp/xaicron/

普段は Perl とか書いてます


JPerl Advent Calenderやってるので


よかったら参加してください！


http://perl-users.jp/articles/advent-calendar/help.html




宣伝終わり


僕の MySQL レベル


★☆☆☆☆☆☆☆☆☆☆


未満


超初心者なのに


なぜか呼ばれました


主催のmyfinderさんの目の前に座ってるから

ですね


お手柔らかにお願いします


でcv. 伊藤かな恵


Agenda

• Sharding について

• Partitioning について


Sharding


Sharding とは

• Shared Nothing アーキテクチャー

• 複数の DB にデータを分割すること


例えばuser_id で分割


Sharding の利点


物理サーバーレベルでDBが分かれるので

処理速度の向上が見込める


例えば

• ２分割であれば、アクセス自体が半減

• Disk や IO に余裕ができる

•メモリに乗り切らなかったデータが乗るようになる


Sharding の注意点


• ノードが違うので当然 JOIN できない

•シーケンスを外だしする必要がある

• プログラムが冗長になりがち

• そもそも物理サーバーが必要 orz


シーケンスの外だしする必要がある


user_id などは、auto_increment で発番したいところだけど、

物理的に別の DB にあるので出来ない


別の DB にシーケンス発行用のテーブルを作る必要が

ある


まとめ


• メモリに乗り切らなかったデータも乗るようになる（かも）ので超うれしい

• ただし、いろいろと制約があるので、構造上できないこともある

• そもそも物理サーバーが買えないとダメです＞＜

• プログラムも若干面倒


Partitioning


Partitioning

• 特定の条件で、テーブルのデータ自体を分割して管理することができる

• 刈り込みで SELECT 性能が良くなったり、Partition 単位で drop したり

• 5.1 系で --with-partition したら使える


例えば日付で分割


Partitioning の利点


• 物理的にテーブルを分割するので、複数のディスクに保存することが可能（ディスクサイズを超えるデータの保持）

• 不要になった Partition を超高速に（ほぼ一瞬）で削除できる

• Partition の刈り込みで SELECT 性能が向上

• SUM() や COUNT() が並列実行されるため高速になる

• 書き込み性能があがる


秘技


ALTER TABLEtable_name

DROP PARTITIONS!!


効果指定した Partition が虚空の

彼方に消える


不要になったデータを一瞬で消すことが出来るので

超便利です


刈り込みとは


SELECT 時に特定のPartition が選択されるよう

にすること


例えばCREATE TABLE `tweet` ( `id` bigint(20) NOT NULL, `tweet` varchar(140) NOT NULL, `created_on` timestamp NOT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8PARTITION BY RANGE ( UNIX_TIMESTAMP(created_on) ) ( PARTITION p20101210 VALUE LESS THAN (1291906800), PARTITION p20101211 VALUE LESS THAN (1291993200), PARTITION p20101212 VALUE LESS THAN (1292079600), PARTITION p20101213 VALUE LESS THAN (1292166000), PARTITION p20101214 VALUE LESS THAN (1292252400)


のように日付で分割されていて、かつ 20101210 しか

欲しくない場合


SELECT * FROM tweet WHERE created_on > ‘20101210’ AND tweet = ‘mysqlcasual’;


とすると、p20101210 が選択され、ほかの partition を無視するので高速になる


EXPLAIN PARTITION SELECT ... するとどの partition が選択されている

かわかります


Partitioning の注意点


• PARTITION の KEY (さっきの例だと created_on) は Primary Key 相当になる

• UNIQ や外部キー制約が出来ない

• 刈り込みの効かない SELECT は遅くなる可能性がある

• UNIX_TIMESTAMP() で切りたい場合は v5.1.43 以上が必要（時間単位で切れるようになる!!）


まとめ


• 不要になったデータを簡単に消せるので、メモリにのせられる！

• 新しめの MySQL じゃないとダメ＞＜

• 運用がめんどくさくなる(日付で切ったりとかだと、追加と削除を cron でまわしたり)

• でも用途にマッチすれば熱い!!


でcv. 伊藤かな恵


Sharding と Partitioning

は併用できます！！


なので、うまくデータを分割して、処理性能をあげましょう！！


適切にデータを分割すれば


全部メモリにのせることも夢じゃない！


ご清聴ありがとうございました


mysql データ分割入門

Lifestyle