Download - KOBE IT FESTIVAL 2012
![Page 1: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/1.jpg)
ビッグデータ時代だからこそ、N SQL で M SQL!NoSQL で MySQL!
神戸ITフェスティバル 2012神戸ITフェスティバル 2012
株式会社リンク
ディベロッパーサポート部
文屋 宏
![Page 2: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/2.jpg)
講演の趣旨
「ビッグデ タ」「ビッグデータ」
⇒ NoSQL,Hadoop ⇒ 解析
な話はもう聞き飽きた・・・┌┤´д`├┘
NoSQL と RDBMS の合わせ技に挑戦!
![Page 3: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/3.jpg)
講演内容
・自己紹介&会社紹介自己紹介 会社紹介
・ビッグデータとは
・ okuyama とは
・ okuyama 活用事例- at+link の活用事例- at+link の活用事例
- 神戸デジタル・ラボの活用事例
・ NoSQL で MySQL!
![Page 4: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/4.jpg)
自己紹介
○氏名○氏名
文屋 宏(ぶんや ひろし)Twitter:bun_hiroshi_
○所属
株式会社リンク デ ベロ パ サポ ト部株式会社リンク ディベロッパーサポート部Twitter:@appliplatform(ハッシュタグ:#appliplatform)
担 業務○担当業務
プロジェクトマネジメント,広報活動,営業活動,ユーザサポート 他社との協業 たまに現地作業ユ ザサポ ト,他社との協業,たまに現地作業,面白いネタ探し
![Page 5: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/5.jpg)
at+link とはat+link とは
![Page 6: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/6.jpg)
at+link は3社の共同サービス
株式会社リンク営業 契約窓 株式会社エーティーワークス[ 営業・契約窓口 ] 株式会社エ ティ ワ クス
[ 技術サポート・ハードウェア構築 ]
ハードウェア製造・ソフトウェア開発のほか、サーバ運用に関する技術サポートを提供しています。
お問い合わせやお申し込みの受付窓口、営業担当による訪問、広報・宣伝などを担当しています。を担当 ます。
株式会社ネットフォース[ オンサイト保守 ]
データセンターに常駐し、ネットワ ク管理とオンサイト保守をワーク管理とオンサイト保守を
行っています。
![Page 7: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/7.jpg)
at+link は3社の共同サービス
株式会社リンク営業 契約窓 株式会社エーティーワークス[ 営業・契約窓口 ] 株式会社エ ティ ワ クス
[ 技術サポート・ハードウェア構築 ]
ハードウェア製造・ソフトウェア開発のほか、サーバ運用に関する技術サポートを提供しています。
お問い合わせやお申し込みの受付窓口、営業担当による訪問、広報・宣伝などを担当しています。を担当 ます。
株式会社ネットフォース[ オンサイト保守 ]
データセンターに常駐し、ネットワ ク管理とオンサイト保守を
サーバーのワーク管理とオンサイト保守を
行っています。 ホスティングやってます
![Page 8: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/8.jpg)
at+link のデータセンター
富山データセンター
堂島データセンター
有明データセンター
![Page 9: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/9.jpg)
ノベルティ
「エーティーリンク」 と読みます「あっとりんく」ではありません(笑)
「検証用」と「障害対応用」「障害対応用」があります
![Page 10: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/10.jpg)
担当サービス
![Page 11: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/11.jpg)
担当サービス
![Page 12: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/12.jpg)
担当サービス
![Page 13: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/13.jpg)
ビッグデ タとはビッグデータとは
![Page 14: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/14.jpg)
ビッグデータ
ビッグデータ(英語: Big data)は、情報技術分野の用語としては、通常のデータベース管理ツールなどで取り扱う事が困難なほど巨大な大きさのデータの集まりのこと巨大な大きさのデータの集まりのこと。
通常は、構造化データおよび非構造化データが含まれ、その多様性とサイズのため、格納、検索、共有、分析、可視化などには困難さを伴う。
(ウィキペディアより)
![Page 15: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/15.jpg)
なにが「大」なのか
・ データ量が「大」 (Volume)⇒ TB から PB の時代へ
・ 更新頻度が「大」 (Velocity)更新頻度が「大」 (Velocity)⇒ リアルタイムに大量の処理
多様性が「大」 (Variety)・ 多様性が「大」 (Variety)⇒ ログ,動画,音声,SNS,センサー
<参考図書>
3つの “V” が「大」
<参考図書>
城田 真琴 (著) ビッグデータの衝撃――巨大なデータが戦略を決める東洋経済新報社東洋経済新報社
![Page 16: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/16.jpg)
「ビッグデータ」の事例
・ レコメンド系 ⇒ Amazon,楽天,・・・
・ ポイントカード系 ⇒ 大手家電量販店 ・・・ポイントカ ド系 ⇒ 大手家電量販店,
・ クーポン系 ⇒ ケータイ,スマホ
・ 監視系 ⇒ 建設,運送,・・・
・予測系 ⇒ 渋滞予測 ・・・予測系 ⇒ 渋滞予測,
・ ゲーム系 ⇒ ソーシャル,オンライン
![Page 17: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/17.jpg)
NoSQL の必要性
・ データ量が「大」 (Volume)デ タ量が 大」 (Volume)
・ 更新頻度が「大」 (Velocity)
・ 多様性が「大」 (Variety)
3つの ”V” に対応するためにN SQL が必要!NoSQL が必要!
![Page 18: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/18.jpg)
NoSQL の存在
RDBMS NOSQL
・Oracle・MySQL
・カラム指向型・ドキュメント指向型y
・PostgreSQLetc.
・キー・バリュー型etc.
一貫性重視 パフォーマンス重視貫性重視スケールアップ
ォ ン 重視スケールアウト
KVS は NOSQL の一種NOSQL = Not Only SQLNOSQL = Not Only SQL
RDBMS と NOSQL は互いに補完し合う存在どちらが優れている ということはないどちらが優れている、ということはない
![Page 19: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/19.jpg)
okuyama とはokuyama とは
![Page 20: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/20.jpg)
okuyama とは
神戸発
が
神戸発!
○ KDL 岩瀬氏が Java で開発
○ NoSQL の1つ(分散 KVS)○ NoSQL の1つ(分散 KVS)
○ オープンソース版 2010年1月リリース商用版 2011年9月リリ ス商用版 2011年9月リリース
○ 最新バージョン 0.9.3○ 最新 ジョン 0.9.3
![Page 21: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/21.jpg)
詳しい説明は今日は省略します・・・詳しい説明は今日は省略します・・・
![Page 22: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/22.jpg)
今日の話題に関係ある okuyama の特徴
・ 分散してデータを保存できる分散してデ タを保存できる⇒ 物理的に I/O,ネットワークを分散できる
デ タの保存先として メモリ デ スク・ データの保存先として、メモリ or ディスクの選択が可能⇒ 用途に応じて使い分けができる⇒ 用途に応じて使い分けができる
・ 動作が速い後 ど デ と性能評価結果⇒ 後ほど、デモと性能評価結果で
・ 岩瀬氏の開発意欲がハンパない岩瀬氏の開発意欲がハンパない⇒ 一緒にやってて楽しい
![Page 23: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/23.jpg)
参考文献
ブ グ○ 岩瀬氏ブログhttp://d.hatena.ne.jp/okuyamaoo/
○ 岩瀬氏 Slidesharehttp://sliwww.slideshare.net/okuyamaoo
○ Think IT 連載記事http://thinkit.co.jp/story/2011/02/03/1990(全4回)http://thinkit.co.jp/story/2011/02/03/1990(全4回)http://thinkit.co.jp/story/2011/10/12/2303(全3回)
○ WEB+DB PRESS V l 65 V l 67(全3回)○ WEB+DB PRESS Vol.65 ~Vol.67(全3回)
![Page 24: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/24.jpg)
コミュニティ
○ 公式サイトhttp://okuyama-project.com/
○ 公式サイトhttp://www.kdl.co.jp/service/okuyama/
○ SourceForgehttp://sourceforge.jp/projects/okuyama/
○ facebook アカウント Okuyama-日本語http://www.facebook.com/#!/okuyama.jp
![Page 25: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/25.jpg)
okuyama 活用事例編~at+link 編~
![Page 26: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/26.jpg)
okuyama キャッシュサーバy
データ量「小」アクセス頻度「大」 ⇒ Velocity
![Page 27: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/27.jpg)
誰のためのサービスか
・ DB の負荷が高くキャッシュを有効活用したい人
・ メモリが欲しいだけなのに、専用のサーバを用意するのは嫌だという人
・ memcached ・TokyoTyrant を使っているけど障害が不安な人
・ memcached・TokyoTyrant を使っているけど分散させたい人
・ キャッシュの拡張性が欲しい人
![Page 28: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/28.jpg)
okuyama キャッシュの構成
データノード
クライアントは、VIP とクライアント毎に割り振られたポート番号へアクセス
データノード
マスターノードLVS
メイン
VIP
クライアントアクセス
データノード データノードマスタ ノ ドLVSVIP
マスタ ノ ドLVS
デ タノ ド デ タノ ド
デ タノ ド デ タノ ド
スタンバイ
マスターノードLVS データノード データノード
マスターノードはロードバランシング高負荷時はスケールアウト
データノード データノード
データノードで分散多重保存容量不足・高負荷時はスケールアウト
![Page 29: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/29.jpg)
okuyama キャッシュの構成イメージ
データノード
クライアントは、VIP とクライアント毎に割り振られたポート番号へアクセス
データノード
マスターノードLVS
メイン
VIP
クライアントアクセス
データノード データノード
障害!
マスタ ノ ドLVSVIP
マスタ ノ ドLVS
デ タノ ド デ タノ ド
デ タノ ド デ タノ ド
スタンバイ
マスターノードLVS データノード データノード
マスターノードはロードバランシング高負荷時はスケールアウト
データノード データノード
データノードで分散多重保存容量不足・高負荷時はスケールアウト
![Page 30: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/30.jpg)
okuyama キャッシュの構成イメージ
データノード
クライアントは、VIP とクライアント毎に割り振られたポート番号へアクセス
データノード
マスターノードLVS
障害対応
データノード データノードマスタ ノ ドLVS
VIP マスタ ノ ドLVS
クライアントアクセス
デ タノ ド デ タノ ド
デ タノ ド デ タノ ド
メイン
VIP マスターノードLVS データノード データノード
マスターノードはロードバランシング高負荷時はスケールアウト
データノード データノード
データノードで分散多重保存容量不足・高負荷時はスケールアウト
障害が起きたことすら気付かない!
![Page 31: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/31.jpg)
okuyama キャッシュの事例
・ ソーシャルゲームピ ク時秒間1 000 3 000アクセスのアプリ複数ピーク時秒間1,000~3,000アクセスのアプリ複数
ピーク時トータル秒間約10 000アクセスピ ク時ト タル秒間約10,000アクセス
アクセス頻度「大」アクセス頻度「大」
![Page 32: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/32.jpg)
okuyama 画像ストレージy
データ量「中」 ⇒ Volumeアクセス頻度「大」 ⇒ Velocity
![Page 33: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/33.jpg)
こんなニーズに
・ 消せない画像がどんどん増えて困っている
ディスク容量が欲しいだけなのに わざわざ・ ディスク容量が欲しいだけなのに、わざわざサーバを借りるのは嫌だ
・ サービスと画像データのネットワークを分けたい
![Page 34: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/34.jpg)
画像ストレージの構成
メイン Web アプリ Web アプリ Web アプリ
ラックA ラックB
メインマスターノード
Web アプリマスターノード ・・・
Web アプリマスターノード
Web アプリマスターノード ・・・
L2 スイッチ L2 スイッチ
データノード データノード ・・・ データノード データノード ・・・
データノード
デ タノ ド
データノード
デ タノ ド
・・・
・・・
データノード
デ タノ ド
データノード
デ タノ ド
・・・
・・・データノード データノード ・・・ データノード データノード ・・・
データノード3重化 データノード3重化
ラックも冗長化!
![Page 35: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/35.jpg)
デモンストレ ションデモンストレーション
![Page 36: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/36.jpg)
okuyama 画像ストレージのデモ①
ブラウザで体感!okuyama v.s. Apache
![Page 37: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/37.jpg)
デモ環境
アプリプラットフォーム
okuyamaokuyama v.s. Apache!http://demo.at-link.ad.jp
demo at link ad jp
p jp
demo.at-link.ad.jp
okuyama 画像ストレージApache サ バ
Apache
Apache サーバそれぞれから画像を300枚読み込む(ファイルサイズ:60KB弱)(ファイルサイズ:60KB弱)
![Page 38: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/38.jpg)
okuyama 画像ストレージのデモ②
画像ストレージを操作してみよう画像ストレ ジを操作してみよう
![Page 39: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/39.jpg)
愛犬の画像をアップしてみる
ねむい 昨日ねむい、昨日5時寝・・・
名前 クォ ク名前:クォーク年齢:もうすぐ2歳性別:メス性格:やんちゃ特技:破壊
![Page 40: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/40.jpg)
デモの流れ
画像ストレ ジに①画像をアップ
okuyama 画像ストレージ
画像ストレージにアクセス O.K. なサーバー
⑤画像はこちらから
②サーバーにアクセス
③応答③応答
自宅サーバ ④画像ストレージを参照
index.html の記述<img src="http://apitest.at-link.ad.jp/images/dog-lovers.jpg"
![Page 41: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/41.jpg)
デモの結果
こんな風に画像が表示されたら成功!
![Page 42: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/42.jpg)
オンラインストレージ
データ量「大」 ⇒ Volumeアクセス頻度「中」 ⇒ Velocity
![Page 43: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/43.jpg)
COMING SOON !!
目指せ年内リリース・・・
![Page 44: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/44.jpg)
okuyama 活用事例編~KDL編~
![Page 45: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/45.jpg)
MashUpFactory
![Page 46: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/46.jpg)
MashUpFactory
![Page 47: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/47.jpg)
MashUpFactory
![Page 48: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/48.jpg)
MashUpFactory
![Page 49: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/49.jpg)
MashUpFactory
![Page 50: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/50.jpg)
コンセプトは・・・コンセプトは
![Page 51: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/51.jpg)
MashUpFactoryのコンセプト
企業の情報を API 化する企業の情報を API 化する
(KDL若尾 佳右氏 談)
![Page 52: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/52.jpg)
okuyamaFSokuyamaFS
![Page 53: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/53.jpg)
もう一度、RDBMS と NoSQL の関係
RDBMS NOSQL
・Oracle・MySQL
・カラム指向型・ドキュメント指向型y
・PostgreSQLetc.
・キー・バリュー型etc.
一貫性重視 パフォーマンス重視貫性重視スケールアップ
ォ ン 重視スケールアウト
KVS は NOSQL の一種NOSQL = Not Only SQLNOSQL = Not Only SQL
RDBMS と NOSQL は互いに補完し合う存在どちらが優れている ということはないどちらが優れている、ということはない
![Page 54: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/54.jpg)
これだけでホントにオッケー?これだけでホントにオッケ ?
![Page 55: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/55.jpg)
リレーショナルデータベースはリレ ショナルデ タ スはビッグデータ時代に対応しなくても
大丈夫??大丈夫??
![Page 56: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/56.jpg)
膨大な顧客データは?
膨大な売上データは?
検索したいデ タは?検索したいデータは?
ソートしたいデータは?ソ トしたいデ タは?
![Page 57: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/57.jpg)
さっきの RDBMS と NoSQL の関係
発想を 度 転さ う発想を90度回転させてみよう!
![Page 58: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/58.jpg)
NoSQL 上で MySQL!
okuyamaFS(NoSQL の技術)をokuyamaFS(NoSQL の技術)をMySQL のデータ領域で使う!
MySQL
NoSQLNoSQLokuyamaFS
![Page 59: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/59.jpg)
アーキテクチャ
k FS
libfuse
okuyamaFS
ls –l /tmp/fuse FUSE を利用してデータ格納先を okuyama へ
glibcglibcUserspace
FUSE= Filesystem in Userspace
格納先を okuyama へ
FUSEKernel
NFSVFS
(Virtual FileSystem)Ext3
・・・
(Virtual FileSystem)<参考文献>KDL 岩瀬氏 SlideSharehttp://www.slideshare.net/okuyamaoo/20120913-nosqlhikarieokuyama-fuse//20120913 nosqlhikarieokuyama fuse/
![Page 60: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/60.jpg)
こんなイメージ
ここが okuyamaFS
![Page 61: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/61.jpg)
何が嬉しいか
・ 拡張性が大⇒ スモールスタート,大容量にも対応タ ,大容量 も対応
・ データ保全性大⇒ バックアップや障害時の悩みが少ない⇒ バックアップや障害時の悩みが少ない
![Page 62: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/62.jpg)
じゃあ、性能は??じゃあ、性能は??
![Page 63: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/63.jpg)
評価してみよう!評価してみよう!
![Page 64: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/64.jpg)
性能評価の方法
[Sysbench で評価]
/usr/local/bin/sysbench --test=oltp --oltp-table-size=10000000 p--num-threads=“100" --max-requests=0 --max-time=300 --oltp-test-mode=complex --mysql-user=root
mysql host=* * * * run--mysql-host= . . . run
[MySQL の設定][ y ]
innodb_flush_method=O_DIRECT
![Page 65: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/65.jpg)
HDD・ioDrive と勝負!!
HDD(SAS・SATA) ioDrive( )
okuyamaFS
![Page 66: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/66.jpg)
検証環境
okuyamaFUSE
okuyamaFS
高スペックマシン(マシンA)でマウント
低スペックマシン(マシンB)×10台
高スペックマシン(マシンA) 搭載のioDrive・HDD と比較
(マシンB)×10台
![Page 67: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/67.jpg)
マシンスペック
<マシンA><マシンA>
CPU : Xeon X5650(2.66GHz×6コア)MEM : 24GB(DDR3 RDIMM 4GB×6)ioDrive : 160 GB(SLC)ioDrive : 160 GB(SLC)HDD :146GB SAS 15krpm ×2(RAID 1)
+ 300GB SAS 10krpm ×1
<マシンB>
CPU : Xeon L3426(1.86GHz×4コア)MEM : 4GB (DDR3 RDIMM 2GB×2)HDD :500GB SATA
![Page 68: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/68.jpg)
性能評価結果
数/
秒ク
ショ
ン数
トラ
ンザ
ク
スレッド数
![Page 69: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/69.jpg)
性能評価結果
マシン依存?MySQL 依存?
数/
秒MySQL 依存?
クシ
ョン
数
okuyama の性能限界測定不能?
トラ
ンザ
ク
スレッド数
![Page 70: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/70.jpg)
考察
・ SATA には圧勝SATA には圧勝
・ SAS にも勝ってる
i D i とは勝負 かず・ ioDrive とは勝負つかず
・ マシンや MySQL の限界?
・ Sysbench の限界?
・ 別の方法で性能評価できないか別の方法で性能評価できないか大量に I/O を発生させながら、とかMySQL じゃなく、I/O だけの性能評価をしてみる とか評価をしてみる、とか
![Page 71: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/71.jpg)
okuyamaFSの今後
大容量ストレ ジ・ 大容量ストレージ
⇒ COMING SOON …
・ 高速 RDBMS 提供
⇒ 構想中⇒ 構想中
・ リアルタイム処理との連携
⇒ 夢
![Page 72: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/72.jpg)
ということで!ということで!
![Page 73: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/73.jpg)
今日のポイント
・ 「at+link」 は「エーティーリンク」と読みますat link」 は ティ リンク」と読みます
・ 「ビッグデータ時代」 おそるべし
・ 神戸発!NoSQL 「okuyama」
・ 画像ストレージのデモ画像ストレ ジのデモ
・ okuyamaFS いいね!
どれか1つだけでも!
![Page 74: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/74.jpg)
思いっきり宣伝タイム!思いっきり宣伝タイム!
![Page 75: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/75.jpg)
ブース出してます!
ATL クラウドのデモやってます!
![Page 76: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/76.jpg)
アプリプラットフォーム キャンペーン
半額キャンペーン!
神戸ITフェス限定!
![Page 77: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/77.jpg)
Software Design 2012年11月号
前佛が執筆!
![Page 78: KOBE IT FESTIVAL 2012](https://reader033.vdocuments.mx/reader033/viewer/2022060111/5565fc02d8b42a2a4d8b4b28/html5/thumbnails/78.jpg)
ご清聴ありがとうございました!