2014/10/18€¦ · 参考:mysql casual talks vol.4 「mysql-5.6で始める全文検索 〜innodb...
TRANSCRIPT
![Page 1: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/1.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
いろいろ考えると日本語の全文検索もMySQLがいいね!
須藤功平 日本MySQLユーザ会
OSC2014 Tokyo/Fall2014/10/18
![Page 2: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/2.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
目標
日本語対応の全文検索機能を
(そこそこ仕組みをわかった上で)
実装できる
![Page 3: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/3.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
前提
MySQLを使っている
まあまあかそこそこのデータ量ビッグデータ云々じゃない(そういう人はHadoopの枠に行っているよね?)
日本語テキストを検索したい
でも、全文検索をよく知らない
![Page 4: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/4.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索について
全文検索とは…
![Page 5: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/5.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
とりあえず動かそう
データベース作成
テーブル作成
データ投入
全文検索!
![Page 6: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/6.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
データベース作成
CREATE DATABASE full_text_search;USE full_text_search;
![Page 7: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/7.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
テーブル作成
CREATE TABLE memos ( content TEXT) DEFAULT CHARSET=utf8mb4;
![Page 8: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/8.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
データ投入
INSERT INTO memos VALUES ("Hello world!"), ("Good-bye world!"), ("Hello MySQL!");
![Page 9: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/9.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索!
SELECT * FROM memos WHERE content LIKE "%Hello%";-- +--------------+-- | content |-- +--------------+-- | Hello world! |-- | Hello MySQL! |-- +--------------+
![Page 10: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/10.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索! - もっと
AND
OR
大文字小文字無視
日本語
![Page 11: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/11.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索! - AND
SELECT * FROM memos WHERE content LIKE "%Hello%" AND content LIKE "%world%";-- +--------------+-- | content |-- +--------------+-- | Hello world! |-- +--------------+
![Page 12: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/12.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索! - OR
SELECT * FROM memos WHERE content LIKE "%Good%" OR content LIKE "%MySQL%";-- +-----------------+-- | content |-- +-----------------+-- | Good-bye world! |-- | Hello MySQL! |-- +-----------------+
![Page 13: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/13.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
大文字小文字無視
SELECT * FROM memos WHERE content LIKE "%mysql%";-- +--------------+-- | content |-- +--------------+-- | Hello MySQL! |-- +--------------+
![Page 14: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/14.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
大文字小文字無視 - 理由
SHOW TABLE STATUS LIKE "memos"\G-- ...-- Collation: utf8mb4_general_ci-- ...
![Page 15: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/15.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
Collation
照合順序(って言われてわかる?)
文字の比較ルール「a」と「b」はどっちが大きい?
「a」と「A」は等しい?
utf8mb4_general_ci同じようなアルファベットは同一視(直感的だけど雑な説明)
![Page 16: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/16.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
日本語 - データ投入
INSERT INTO memos VALUES ("こんにちは"), ("こんばんは");
![Page 17: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/17.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
日本語 - 全文検索!
SELECT * FROM memos WHERE content LIKE "%こんにち%";-- +-----------------+-- | content |-- +-----------------+-- | こんにちは |-- +-----------------+
![Page 18: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/18.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索の実装方法まとめ
DEFAULT CHARSET=utf8mb4
INSERT
LIKE "%キーワード%"ANDもORも日本語も可
大文字小文字無視も可
![Page 19: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/19.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
日本語をもっと!
いわゆる全角アルファベット対応
![Page 20: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/20.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全角アルファベット
SELECT * FROM memos WHERE content LIKE "%Hello%";-- +-----------------+-- | content |-- +-----------------+-- +-----------------+
![Page 21: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/21.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
Collation変更
ALTER TABLE memos MODIFY COLUMN content TEXT COLLATE utf8mb4_unicode_ci;
![Page 22: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/22.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
utf8mb4_unicode_ci
Unicode的に同じ文字を同一視(直感的だけど雑な説明)
例:全角文字半角文字を同一視参考:MySQL 5.5 の unicode collation で同一視される文字http://tmtms.hatenablog.com/entry/20110416/mysql_unicode_collation
utf8mb4_general_ciより遅い
![Page 23: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/23.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全角アルファベット
SELECT * FROM memos WHERE content LIKE "%Hello%";-- +--------------+-- | content |-- +--------------+-- | Hello world! |-- | Hello MySQL! |-- +--------------+
![Page 24: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/24.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
採用を検討
機能は十分?やりたいことと相談
性能は十分?データ量・リソースと相談
実データが望ましい!!!
Webの情報は参考程度で実際に計測
![Page 25: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/25.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
性能検討例
データ:livedoorグルメhttps://github.com/livedoor/datasets
件数:約20万口コミ
CPU:Core i7 2.80GHz
![Page 26: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/26.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
文字数の傾向
SELECT AVG(CHAR_LENGTH(comment)) AS average, MIN(CHAR_LENGTH(comment)) as min, MAX(CHAR_LENGTH(comment)) as max FROM ratings_all;-- average: 380.2013-- min: 2-- max: 6243
![Page 27: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/27.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
%ラーメン%
SELECT COUNT(*) AS count FROM ratings_all WHERE comment LIKE "%ラーメン%";-- count: 31428-- 0.898sec
![Page 28: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/28.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
%ラーメン%の傾向
実行時間は総件数に比例
総件数 時間(秒)1000 0.015000 0.0310000 0.05100000 0.50205832 0.89
![Page 29: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/29.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
AND
SELECT COUNT(*) AS count FROM ratings_all WHERE comment LIKE "%ラーメン%" AND comment LIKE "%焼き肉%";-- count: 69-- 1.01sec
![Page 30: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/30.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
ANDの傾向
条件数1の場合とあまり変わらない
総件数 時間(秒) 条件数11000 0.01 0.015000 0.03 0.0310000 0.06 0.05100000 0.57 0.50205832 1.01 0.89
![Page 31: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/31.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
OR
SELECT COUNT(*) AS count FROM ratings_all WHERE comment LIKE "%ラーメン%" OR comment LIKE "%焼き肉%";-- count: 31994-- 1.37sec
![Page 32: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/32.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
ORの傾向
2倍いかないくらいには増える
総件数 時間(秒) 条件数11000 0.02 0.015000 0.05 0.0310000 0.09 0.05100000 0.77 0.50205832 1.37 0.89
![Page 33: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/33.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
考察
自分たちのデータ量は?各レコードのテキストサイズ
総件数
どのくらい性能が必要?1リクエストのレスポンスタイム
単位時間あたりの処理数
![Page 34: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/34.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
考察例
自分たちのデータ量は?各テキストサイズ:400文字くらい(データセットと同じくらい)
総件数:2,3万くらい
どのくらい性能が必要?s/req: 0.5秒以内
queries/s: 10
![Page 35: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/35.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
実行時間
0.2秒以内には終わりそう
総件数 時間(秒)10000 0.05100000 0.50
![Page 36: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/36.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
スループット
1クエリー0.2秒
1秒で5クエリー
CPUコア2つで10qpsいけそう(実際は他の条件も加わる→もっと時間がかかるはず)
![Page 37: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/37.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
考察結果は?
LIKEで十分?機能面と性能面を検討
MySQLでLIKEで日本語全文検索!(全文検索エンジンが必要ないなら使わなくてよい)
LIKEだと不十分?機能面?性能面?
別の選択肢を検討
![Page 38: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/38.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
別の選択肢
MySQLベースの全文検索機能
全文検索サーバーと連携
![Page 39: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/39.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索機能のスキーマ
CREATE TABLE ratings_all_index ( comment TEXT, FULLTEXT INDEX (comment) -- ↑を追加するだけ) DEFAULT CHARSET=utf8mb4;
![Page 40: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/40.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索機能の検索方法
SELECT COUNT(*) AS count FROM ratings_all_index WHERE MATCH (comment) AGAINST ("+ラーメン +焼き肉" IN BOOLEAN MODE);
![Page 41: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/41.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索機能のよいところ
簡単!
高速な検索!インデックスを使った検索(LIKEは逐次検索)
MySQLとよく統合されているデータ登録→インデックス自動更新
トランザクションにも対応
![Page 42: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/42.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索機能の悪いところ
日本語未対応
更新が遅い
![Page 43: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/43.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
日本語未対応
対策アプリケーション側で前処理参考:MySQL Casual Talks Vol.4「MySQL-5.6て始゙める全文検索 〜InnoDB FTS編〜」http://www.slideshare.net/y-ken/my-sql-56innodb-fts
トレードオフインフラの管理コストとアプリのメンテコスト(簡単に使えるというメリットは減る)
![Page 44: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/44.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
更新が遅い
ベンチマーク結果前述のスライドを参照
対策速いディスクを使う
あまり更新しない
検討ポイントどのくらい更新があるか
![Page 45: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/45.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索機能のまとめ
データは安全トランザクションを使える
レプリケーションもできる
検索は速い・更新は遅い
日本語対応にはひと手間必要
![Page 46: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/46.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索機能を使う?
そこそこのデータ量がある
アプリ側のひと手間を許せるならアリ
更新が少ないならアリ
![Page 47: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/47.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
突然の質問
MySQLの特徴と言えば?
(期待する答えがでるまで聞きます)
![Page 48: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/48.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
プラグイン機能
一部の機能を追加できるストレージエンジン・UDF・…
全文検索機能も追加できる
![Page 49: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/49.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索プラグイン
Mroonga
![Page 50: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/50.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
Mroongaのスキーマ
CREATE TABLE ratings_all_index ( comment TEXT, FULLTEXT INDEX (comment) -- ↑と↓を追加するだけ) ENGINE=Mroonga DEFAULT CHARSET=utf8mb4;
![Page 51: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/51.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
Mroongaの検索方法
-- MySQL標準の方法と同じSELECT COUNT(*) AS count FROM ratings_all_index WHERE MATCH (comment) AGAINST ("+ラーメン +焼き肉" IN BOOLEAN MODE);
![Page 52: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/52.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
Mroongaのよいところ
簡単!
高速な検索と更新!
日本語対応!(開発者が日本人)
MySQLとそれなりに統合データ登録→インデックス自動更新
![Page 53: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/53.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
Mroongaの悪いところ
トランザクション非対応
NULL非対応
別途インストールが必要
![Page 54: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/54.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
トランザクション非対応
対策レプリケーションをして、マスターをInnoDB、スレーブをMroongaにする
参考多くの全文検索システムはトランザクション非対応
![Page 55: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/55.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
NULL非対応
対策NULLを使わない
![Page 56: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/56.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
別途インストールが必要
対策:パッケージを使う
パッケージCentOS 6, 7
Fedora(公式)
Debian/Ubuntu 安定版リリース
Windows
OS X(Homebrew/MacPorts)
![Page 57: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/57.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
Mroongaのまとめ
日本語対応
検索も更新も速い
インストール作業が必要
使うときは簡単
![Page 58: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/58.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
Mroongaを使う?
そこそこのデータ量がある
更新が多い
トランザクションとNULLがなくてもよいならアリ
開発者を信頼できるならアリ
![Page 59: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/59.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
ここまでの話のポイント
全文検索方法の詳細を
知らなくても使える
![Page 60: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/60.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
別の選択肢
MySQLベースの全文検索機能
全文検索サーバーと連携
![Page 61: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/61.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索サーバー
Solr
Elasticsearch
Groonga
Sphinx(http://sphinxsearch.com/)
Amazon CloudSearch
![Page 62: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/62.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
違い
機能面全文検索初心者が使う分にはどれも不足なし
性能面まあまあかそこそこのデータ量(1台のサーバーでさばける量)
ならどれも十分な性能
![Page 63: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/63.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
機能面:補足1
全文検索対応の進め方1いきなりカンペキを目指さない
まず動かして実際に試す
改良したいという箇所に気づく
1つずつ改良しながら仕組みを学んでいく
![Page 64: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/64.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
機能面:補足2
全文検索対応の進め方2詳しい人に相談
MySQLユーザ会のブースへ!
![Page 65: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/65.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
連携
![Page 66: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/66.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
アプリの動作:更新
➀
➁➂
![Page 67: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/67.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
アプリの動作:更新
更新時トランザクション開始
MySQLにデータ投入
全文検索サーバーにもデータ投入
トランザクション終了
ロールバックはアプリの仕事
![Page 68: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/68.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
アプリの動作:検索
➀
➂➁
![Page 69: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/69.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
アプリの動作:検索
検索時全文検索サーバーで検索
見つかったレコードIDを条件にMySQLで検索
スコアとか結果をマージして表示
JOINはアプリの仕事全文検索と他の検索を混ぜるときはどうするか考えてみよう
![Page 70: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/70.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
アプリの開発
実装ライブラリーを使う
更新・検索をサポートしてくれる
テスト各自全文検索サーバーを用意
開発環境の用意が面倒になる(VagrantやDockerを使うといいかも)
![Page 71: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/71.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
インフラ
MySQLとは別に全文検索サーバーを管理パラメーターの設定
落ちた時どうする?
システムが必要なリソース増加例:専用マシンを追加
![Page 72: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/72.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
連携したときのよいところ
SQLが苦手なクエリーを効率よく実現できるファセット・タグ検索
チューニングできるトークナイザーを変える
フレーズ検索→近傍検索
トークンの正規化方法を変える等…
![Page 73: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/73.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
トークナイザー
空白区切り(英語やタグの検索に便利)
N-gram適合率↓検索漏れ↓
アルファベットの文章で遅い
形態素解析適合率↑検索漏れ↑
新語に弱い
![Page 74: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/74.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
N-gram
文字種が多い言語に向いている日本語
文字種が少ないと効率が悪い英語
文字種により挙動を変えて改善日本語:N-gram、英語:単語単位
![Page 75: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/75.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
形態素解析
区切り方が複数パターンある全パターンインデックスに登録
↑は検索漏れは↓が適合率も↓かも
検索時に使い分けるヒットしなかったらN-gramにフォールバック
![Page 76: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/76.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
フレーズ検索→近傍検索
「日野でラーメン」で検索○「日野でラーメン」
×「日野でみそラーメン」
「日野 ... ラーメン」で検索○「日野でみそラーメン」
○「日野で塩ラーメン」
![Page 77: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/77.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
正規化
英単語のステミング
濁点を無視する?しない?すし=ずし
ハハ=パパ=ババ
同義語はいつ展開?
![Page 78: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/78.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
連携したときのよいところ
SQLが苦手なクエリーを効率よく実現できるファセット・タグ検索
チューニングできるトークナイザーを変える
フレーズ検索→近傍検索
トークンの正規化方法を変える等…
![Page 79: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/79.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
連携したときの悪いところ
メンテナンスコストが増える開発面でもインフラ面でも
必要なリソースが増えるランニングコストが増える
ある程度全文検索の知識が必要
![Page 80: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/80.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
サーバー連携のまとめ
日本語対応
検索も更新も速い
チューニングできる
導入・運用は手間が増える
使うときも手間が増える
![Page 81: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/81.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
全文検索サーバーを使う?
そこそこのデータ量がある
チューニングしたい
導入・運用・開発の手間増加が割に合うならアリ
![Page 82: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/82.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
参考:PostgreSQL
日本語未対応プラグインで対応
完全転置インデックスではないインデックスだけ使うと誤検出あり
↑の後にLIKEで誤検出を除去
![Page 83: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/83.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
まとめ
LIKEで十分ならLIKEでいい
LIKEで不足ならMroonga
それでも不足ならマスターデータはMySQL
検索対象は全文検索サーバー
![Page 84: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/84.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
つまり!
いろいろ考えると日本語の全文検索もMySQLがいいね!
MySQLが役に立つね
![Page 85: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/85.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
お知らせ1
MySQLユーザ会ブースあり隣はOracleのMySQLの人たち
17:15-別のMySQL枠ありOracleのMySQLの人の話
![Page 86: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/86.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
お知らせ2
MariaDBにMroongaバンドル!10.0.15から組み込み!
別途インストールしなくてよい!
![Page 87: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/87.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
お知らせ3
検索エンジンについて知りたい「検索エンジン自作入門」
いい肉の日に渋谷でGroongaイベント!「いい肉 Groonga」で検索
自作本のサイン会をやるよ!
![Page 88: 2014/10/18€¦ · 参考:MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS ... いろいろ考えると日本語の全文検索も MySQLがいいね!](https://reader033.vdocuments.mx/reader033/viewer/2022051918/600ac3f60501590b1c4a8f42/html5/thumbnails/88.jpg)
いろいろ考えると 日本語の全文検索も MySQLがいいね! Powered by Rabbit 2.1.3
お知らせ4
Groongaをもっと知りたいGroongaドキュメント読書会
詳細は↑で検索
Mroongaが使っている全文検索エンジンの理解を深める会
1,2ヶ月に1回開催