mysql postgresqlだけで作る 高速あいまい全文検索システ...
TRANSCRIPT
![Page 1: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/1.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
須藤功平 株式会社クリアコード
db tech showcase Tokyo 20182018-09-20
![Page 2: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/2.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
全文検索システム
大量の文書から
指定されたキーワードを使って
高速に必要な文書を
見つけるシステム
![Page 3: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/3.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
dbts2017
MySQL・PostgreSQLだけで作る 高速でリッチな全文検索システム Powered by Rabbit 2.2.1
MySQL・PostgreSQLだけで作る高速でリッチな全文検索システム
須藤功平 株式会社クリアコード
db tech showcase Tokyo 20172017-09-07
https://slide.rabbit-shocker.org/authors/kou/db-tech-showcase-tokyo-2017/
![Page 4: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/4.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
リッチな全文検索システム
キーワードハイライト
周辺テキスト表示
入力補完・同義語展開
関連文書の表示
構造化データ対応(例:オフィス文書)
![Page 5: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/5.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
もっとリッチな全文検索システム
大量の文書から
あいまいな情報を使って
高速に必要な文書を
見つけるシステム
![Page 6: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/6.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
あいまいな情報
相手が人だから
![Page 7: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/7.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
人
文書内の表記が揺れる例:「焼き肉」「焼きにく」
検索対象
提供情報が間違っている例:「テノクロジー」
検索クエリー
![Page 8: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/8.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
もっとリッチな全文検索システム
大量の文書から
あいまいな情報を使って
高速に必要な文書を
見つけるシステム
![Page 9: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/9.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ツール
全文検索エンジン
![Page 10: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/10.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
普通の全文検索エンジン
高速検索
あいまい検索
独自の使い方
![Page 11: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/11.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
開発しやすいシステム
SQLで使える
![Page 12: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/12.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
使いやすい全文検索エンジン
高速検索
あいまい検索
SQLで使える
![Page 13: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/13.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
SQLで使える全文検索エンジン
MroongaMySQL・MariaDB用
http://mroonga.org/ja/docs/install.html
PGroongaPostgreSQL用
https://pgroonga.github.io/ja/install/
![Page 14: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/14.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
あいまい検索:表記ゆれ1
焼肉:全部漢字
焼き肉:送り仮名
焼きにく:まぜまぜ
![Page 15: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/15.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
あいまい検索:表記ゆれ1対策
ヨミガナ検索
![Page 16: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/16.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ヨミガナ検索
ヨミガナで検索「焼肉」→「ヤキニク」
「焼きにく」→「ヤキニク」
どちらも同じになる
人名(高と髙とか)にも使える
ヨミガナ情報の取得が必要MeCabで自動化可能
![Page 17: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/17.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
MeCabでヨミガナ化
% echo 焼肉と焼きにく | mecab | cut -d, -f8ヤキニクトヤキニクEOS
![Page 18: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/18.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ヨミガナ検索:Mroonga:テーブル定義
CREATE TABLE menus ( name varchar(255), -- 検索対象 FULLTEXT INDEX (name) -- ヨミガナ検索対応インデックス COMMENT 'tokenizer "TokenMecab(\'use_reading\', true)"') ENGINE=Mroonga DEFAULT CHARSET=utf8mb4;
![Page 19: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/19.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ヨミガナ検索:Mroonga:データ例
INSERT INTO menus VALUES ('焼肉定食'), ('焼きにく定食');
![Page 20: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/20.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ヨミガナ検索:Mroonga:検索
SELECT name FROM menus WHERE MATCH (name) AGAINST ('*D+ 焼きにく' IN BOOLEAN MODE);-- 焼肉定食-- 焼きにく定食
![Page 21: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/21.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ヨミガナ検索:PGroonga:テーブル定義
CREATE TABLE menus ( name text -- 検索対象);
![Page 22: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/22.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ヨミガナ検索:PGroonga:インデックス定義
CREATE INDEX menus_search ON menus USING PGroonga (name) WITH (tokenizer='TokenMecab("use_reading", true)');
![Page 23: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/23.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ヨミガナ検索:PGroonga:データ例
INSERT INTO menus VALUES ('焼肉定食'), ('焼きにく定食');
![Page 24: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/24.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ヨミガナ検索:PGroonga:検索
SELECT name FROM menus WHERE name &@~ '焼きにく';-- 焼肉定食-- 焼きにく定食
![Page 25: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/25.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
あいまい検索:表記ゆれ2
「ぼたん鍋」と
「猪鍋」(別名)
![Page 26: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/26.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
あいまい検索:表記ゆれ2対策
同義語展開
![Page 27: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/27.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
同義語展開
実行前にクエリーを変換「ぼたん鍋」→「ぼたん鍋 OR 猪鍋」
どちらもヒット
変換ルールは事前に用意ある程度自動生成可能
例:NEologdやWikipediaを利用
![Page 28: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/28.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
同義語展開:Mroonga:テーブル定義
CREATE TABLE synonyms ( term varchar(255), -- 展開対象の語 synonym varchar(255), -- 同義語 INDEX (term) -- 高速化と精度向上 COMMENT 'normalizer "NormalizerNFKC100"') ENGINE=Mroonga DEFAULT CHARSET=utf8mb4;
![Page 29: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/29.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
同義語展開:Mroonga:データ例
INSERT INTO synonyms-- 「ぼたん鍋」を「ぼたん鍋 OR 猪鍋」に展開 VALUES ('ぼたん鍋', 'ぼたん鍋'), ('ぼたん鍋', '猪鍋'),-- 「猪鍋」を「猪鍋 OR ぼたん鍋」に展開 ('猪鍋', '猪鍋'), ('猪鍋', 'ぼたん鍋');
![Page 30: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/30.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
同義語展開:Mroonga:確認方法
SELECT mroonga_query_expand( 'synonyms', -- テーブル名 'term', -- 展開対象のカラム名 'synonym', -- 対応する同義語のカラム名 'ランチ ぼたん鍋' -- クエリー);-- 'ランチ ((ぼたん鍋) OR (猪鍋))'
![Page 31: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/31.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
同義語展開:Mroonga:検索方法
SELECT title FROM entries WHERE MATCH (title) -- '*D+ ランチ OR ((ぼたん鍋) OR (猪鍋))'になる AGAINST (mroonga_query_expand('synonyms', 'term', 'synonym', '*D+ ランチ ぼたん鍋') IN BOOLEAN MODE);
![Page 32: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/32.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
同義語展開:PGroonga:テーブル定義
CREATE TABLE synonyms ( -- 展開対象の語 term text, -- 同義語のリスト -- term自身も含める -- 含めない場合はtermが検索禁止語になる terms text[]);
![Page 33: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/33.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
同義語展開:PGroonga:データ例
INSERT INTO synonyms VALUES ('ぼたん鍋', -- 「ぼたん鍋」を展開 ARRAY['ぼたん鍋', '猪鍋']), ('猪鍋', -- 「猪鍋」を展開 ARRAY['猪鍋', 'ぼたん鍋']);
![Page 34: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/34.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
同義語展開:PGroonga:インデックス定義
CREATE INDEX synonym_search ON synonyms USING PGroonga -- ...text_term_search... -- termで完全一致検索をするため (term pgroonga_text_term_search_ops_v2);
![Page 35: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/35.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
同義語展開:PGroonga:確認方法
SELECT pgroonga_query_expand( 'synonyms', -- テーブル名 'term', -- 展開対象のカラム名 'terms', -- 対応する同義語配列のカラム名 'ランチ ぼたん鍋' -- クエリー);-- 'ランチ ((ぼたん鍋) OR (猪鍋))'
![Page 36: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/36.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
同義語展開:PGroonga:検索方法
SELECT title FROM entries WHERE -- title &@~ ランチ ((ぼたん鍋) OR (猪鍋))'になる title &@~ pgroonga_query_expand('synonyms', 'term', 'terms', 'ランチ ぼたん鍋');
![Page 37: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/37.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
あいまい検索:表記ゆれ3
090-1234-5678:ハイフン入り
(090)1234-5678:カッコとハイフン入り
09012345678:区切りなし
090 1234 5678:空白区切り
(090)1234ー5678:全角文字入り
![Page 38: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/38.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
あいまい検索:表記ゆれ3対策
電話番号検索
![Page 39: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/39.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
電話番号検索
文字を正規化全角→半角
ハイフンっぽい文字→ハイフン
長音っぽい文字→ハイフン
記号・空白を無視して検索元クエリー:(090)1234 5678
実クエリー:09012345678
![Page 40: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/40.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
電話番号検索:Mroonga:テーブル定義
CREATE TABLE people ( tel varchar(255), -- 検索対象 FULLTEXT INDEX (tel) COMMENT -- 電話番号検索対応インデックス 'normalizer "NormalizerNFKC100( \'unify_hyphen_and_prolonged_sound_mark\', true)", tokenizer "TokenNgram(\'loose_symbol\', true, \'loose_blank\', true)"') ENGINE=Mroonga DEFAULT CHARSET=utf8mb4;
![Page 41: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/41.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
電話番号検索:Mroonga:データ例
INSERT INTO people VALUES ('090-1234-5678'), ('(090)1234-5678'), ('09012345678'), ('090 1234 5678'), ('(090)1234ー5678');
![Page 42: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/42.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
電話番号検索:Mroonga:検索
SELECT tel FROM people WHERE MATCH (tel) AGAINST ('*D+ 090ー12345678' IN BOOLEAN MODE);-- 090-1234-5678-- (090)1234-5678-- 09012345678-- 090 1234 5678-- (090)1234ー5678
![Page 43: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/43.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
電話番号検索:PGroonga:テーブル定義
CREATE TABLE people ( tel text -- 検索対象);
![Page 44: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/44.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
電話番号検索:PGroonga:インデックス定義
CREATE INDEX people_search ON people USING PGroonga (tel) WITH (normalizer=' NormalizerNFKC100("unify_hyphen_and_prolonged_sound_mark", true)', tokenizer='TokenNgram("loose_symbol", true, "loose_blank", true)');
![Page 45: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/45.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
電話番号検索:PGroonga:データ例
INSERT INTO people VALUES ('090-1234-5678'), ('(090)1234-5678'), ('09012345678'), ('090 1234 5678'), ('(090)1234ー5678');
![Page 46: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/46.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
電話番号検索:PGroonga:検索
SELECT tel FROM people WHERE tel &@~ '090ー12345678';-- 090-1234-5678-- (090)1234-5678-- 09012345678-- 090 1234 5678-- (090)1234ー5678
![Page 47: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/47.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
あいまい検索:表記ゆれ4
sèvre-et-maine
セーヴェル エ メーヌ「ーヴェ」・空白区切り
セブルエメーヌ「ブ」・区切りなし
セーブル・エ・メーヌ「ーブ」・中点区切り
セーヴル エメーヌ「ーヴ」・片方だけ空白区切り
![Page 48: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/48.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
あいまい検索:表記ゆれ4対策
ワイン名検索
![Page 49: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/49.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ワイン名検索
文字を正規化ヴ・ヴェ→ブ
ハイフン・長音っぽい文字→ハイフン
中点っぽい文字→中点
記号・空白を無視して検索元クエリー:セーヴェル・エメーヌ
実クエリー:セブルエメヌ
![Page 50: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/50.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ワイン名検索:Mroonga:テーブル定義
CREATE TABLE wines ( name varchar(255), -- 検索対象 FULLTEXT INDEX (name) COMMENT -- ワイン名検索対応インデックス 'normalizer "NormalizerNFKC100( \'unify_katakana_bu_sound\', true, \'unify_hyphen_and_prolonged_sound_mark\', true, \'unify_middle_dot\', true)", tokenizer "TokenNgram(\'loose_symbol\', true, \'loose_blank\', true)"') ENGINE=Mroonga DEFAULT CHARSET=utf8mb4;
![Page 51: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/51.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ワイン名検索:Mroonga:データ例
INSERT INTO wines VALUES ('セーヴェル エ メーヌ'), ('セブルエメーヌ'), ('セーブル・エ・メーヌ'), ('セーヴル エメーヌ');
![Page 52: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/52.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ワイン名検索:Mroonga:検索
SELECT name FROM wines WHERE MATCH (name) AGAINST ('*D+ セーヴェルエメーヌ' IN BOOLEAN MODE);-- セーヴェル エ メーヌ-- セブルエメーヌ-- セーブル・エ・メーヌ-- セーヴル エメーヌ
![Page 53: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/53.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ワイン名検索:PGroonga:テーブル定義
CREATE TABLE wines ( name text -- 検索対象);
![Page 54: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/54.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ワイン名検索:PGroonga:インデックス定義
CREATE INDEX wines_search ON wines USING PGroonga (name) WITH (normalizer='NormalizerNFKC100( "unify_katakana_bu_sound", true, "unify_hyphen_and_prolonged_sound_mark", true, "unify_middle_dot", true)', tokenizer='TokenNgram("loose_symbol", true, "loose_blank", true)');
![Page 55: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/55.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ワイン名検索:PGroonga:データ例
INSERT INTO wines VALUES ('セーヴェル エ メーヌ'), ('セブルエメーヌ'), ('セーブル・エ・メーヌ'), ('セーヴル エメーヌ');
![Page 56: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/56.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
ワイン名検索:PGroonga:検索
SELECT name FROM wines WHERE name &@~ 'セーヴェルエメーヌ';-- セーヴェル エ メーヌ-- セブルエメーヌ-- セーブル・エ・メーヌ-- セーヴル エメーヌ
![Page 57: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/57.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
表記ゆれ:まとめ
ヨミガナ検索漢字・送り仮名の違いを吸収
同義語展開:別名をカバー
電話番号検索半角全角・記号の有無・記号の違いを吸収
ワイン名検索外来語のカタカナ表記の違いを吸収
![Page 58: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/58.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
表記ゆれ:参考情報
文字の正規化方法
![Page 59: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/59.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
正規化:かなの同一視
unify_kana
ひらがなとカタカナを区別しない
↓は同じあいうえお
アイウエオ
![Page 60: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/60.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
正規化:濁点の同一視
unify_sound_mark
濁点・半濁点の有無を区別しない
↓は同じはひふへほ
ばびぶべぼ
ぱぴぷぺぽ
![Page 61: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/61.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
正規化:大文字・小文字の同一視
unify_kana_case
大文字・小文字を区別しない
↓は同じやゆよ
ゃゅょ
![Page 62: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/62.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
正規化:ハイフンっぽい文字の同一視
unify_hyphen
ハイフンっぽい文字をハイフンへハイフン:U+002D
ハイフンっぽい文字:-˗֊‐‑‒–⁃⁻₋−
![Page 63: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/63.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
正規化:長音記号っぽい文字の同一視
unify_prolonged_sound_mark
長音記号っぽい文字を長音記号へ長音記号:U+30FC
長音記号っぽい文字:ー—―─━ー
![Page 64: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/64.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
正規化:ハイフン・長音記号っぽい文字
unify_hyphen_and_prolonged_sound_mark
ハイフン・長音記号っぽい文字をハイフン(U+002D)へ
ハイフンっぽい文字:-˗֊‐‑‒–⁃⁻₋−
長音記号っぽい文字:ー—―─━ー
![Page 65: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/65.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
正規化:中点っぽい文字の同一視
unify_middle_dot
中点っぽい文字を中点へ中点:U+00B7
中点っぽい文字·ᐧ•∙⋅⸱・・
![Page 66: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/66.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
正規化:ヴァ→バ
unify_katakana_v_sounds
ヴァ行をバ行へ
↓は同じヴァヴィヴヴェヴォ
バビブベボ
![Page 67: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/67.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
正規化:ヴァ行→ブ
unify_katakana_bu_sound
ヴァ行をブへ
↓は同じヴァヴィヴヴェヴォ
ブブブブブ
![Page 68: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/68.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
正規化:MySQL 8.0
日本語用COLLATIONを追加utf8mb4_ja_0900_as_cs
COLLATION:文字の順序のルール
順序なので等価比較機能もある
最新Mroongaは対応済み
![Page 69: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/69.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
正規化:PostgreSQL 10
ICUベースのCOLLATION対応ICU:Unicode処理ライブラリー
COLLATION:文字の順序のルール
順序なので等価比較機能もある
![Page 70: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/70.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
あいまい検索:typo
テノクロジー
![Page 71: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/71.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
あいまい検索:typo対策
fuzzy検索
![Page 72: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/72.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
fuzzy検索
似ている文字列を検索似ている=編集距離が小さい
インデックスを使って検索
![Page 73: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/73.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
編集距離
Aを何回編集するとBになるか
編集:挿入・削除・置換
置換を禁止するケースもある
編集回数が距離
![Page 74: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/74.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
編集距離例:置換あり
A:テノクロジー
置換:ク↔ノ
B:テクノロジー
編集距離:1
![Page 75: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/75.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
編集距離例:置換なし
A:テノクロジー
削除:ク:テノロジー
挿入:ノ:テクノロジー
B:テクノロジー
編集距離:2
![Page 76: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/76.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
fuzzy検索:Mroonga:テーブル定義
CREATE TABLE tags ( name varchar(255), -- 検索対象 FULLTEXT INDEX (name) -- fuzzy検索対応インデックス COMMENT 'tokenizer "none"') ENGINE=Mroonga DEFAULT CHARSET=utf8mb4;
![Page 77: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/77.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
fuzzy検索:Mroonga:データ例
INSERT INTO tags VALUES ('テクノロジー'), ('テクニカル');
![Page 78: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/78.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
fuzzy検索:Mroonga:検索
SELECT name, MATCH(name) AGAINST(...↓と同じ内容...) AS score FROM tags WHERE MATCH (name) AGAINST (CONCAT('*SS fuzzy_search(name, ', mroonga_escape('テノクロジー' AS script), ', ', '{"with_transposition": true, "max_distance": 4})') IN BOOLEAN MODE);-- テクノロジー | 4-- テクニカル | 1
![Page 79: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/79.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
fuzzy検索:PGroonga:テーブル定義
CREATE TABLE tags ( name text -- 検索対象);
![Page 80: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/80.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
fuzzy検索:PGroonga:インデックス定義
CREATE INDEX tags_search ON tags USING PGroonga (name) WITH (tokenizer='');
![Page 81: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/81.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
fuzzy検索:PGroonga:データ例
INSERT INTO tags VALUES ('テクノロジー'), ('テクニカル');
![Page 82: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/82.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
fuzzy検索:PGroonga:検索
SELECT name, pgroonga_score(tableoid, ctid) FROM tags WHERE name &` ('fuzzy_search(name, ' || pgroonga_escape('テノクロジー') || ', {"with_transposition": true, "max_distance": 4})');-- テクノロジー | 4-- テクニカル | 1
![Page 83: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/83.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
まとめ:あいまいな情報
人が用意した情報はあいまいクエリーも検索対象も
あいまいでも必要な文書を見つける人よりも機械ががんばる
![Page 84: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/84.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
まとめ:あいまいな検索
全文検索エンジンを活用して実現あいまい検索機能を提供しているはず
![Page 85: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/85.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
まとめ:全文検索エンジン
普通の全文検索エンジン独自の使い方
Mroonga・PGroongaSQLで使える→開発しやすい
![Page 86: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/86.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
まとめ:ヨミガナ検索
漢字・送り仮名の違いを吸収焼肉・焼き肉・焼きにく
高橋・髙橋
MeCabで自動化できる辞書により失敗することはある
同義語には対応できない同義語展開と併用
![Page 87: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/87.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
まとめ:同義語展開
別名に対応:「ぼたん鍋」と「猪鍋」
なにを同義語とするかが難しいシステム依存度が高い
ある程度は自動化できる
手動でのメンテナンスも必要
![Page 88: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/88.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
まとめ:電話番号検索
半角全角・記号有無・記号違いを吸収
注意
どんな検索対象でもゆるくてよいわけではない
誤ヒットも増えてしまう
電話番号ならここまでゆるくてもOKというだけ
![Page 89: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/89.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
まとめ:ワイン名検索
外来語のカタカナ表記の違いを吸収
注意
どんな検索対象でもゆるくてよいわけではない
誤ヒットも増えてしまう
ワイン名ならここまでゆるくてもOKというだけ
![Page 90: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/90.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
補足:ゆるくするなら重みも考慮
検索対象を限定できないがゆるくしたい
ゆるくない検索と組み合わせて重み調整ゆるくない方がゆるい方より重要
![Page 91: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/91.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
重み調整例:Mroonga
SELECT MATCH(...) AGAINST(...ゆるくない...) * 10 + MATCH(...) AGAINST(...ゆるい...) AS score ...;
![Page 92: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/92.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
重み調整例:PGroonga
SELECT pgroonga_score(tableoid, ctid) WHERE ... &@~ ('...ゆるくない...', ARRAY[10], 'pgroonga_index')::pgroonga_full_text_search_condition OR ... &@~ '...ゆるい....';
![Page 93: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/93.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
まとめ:fuzzy検索
typoしても本来のキーワードを推測
活用方法:ヒットしなかったときの「もしかして」の実装
入力補完候補
![Page 94: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/94.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
参考情報:リッチな全文検索システム
MySQL・PostgreSQLだけで作る 高速でリッチな全文検索システム Powered by Rabbit 2.2.1
MySQL・PostgreSQLだけで作る高速でリッチな全文検索システム
須藤功平 株式会社クリアコード
db tech showcase Tokyo 20172017-09-07
https://slide.rabbit-shocker.org/authors/kou/db-tech-showcase-tokyo-2017/
![Page 95: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/95.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
扱わなかったあいまい検索1
近傍検索
![Page 96: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/96.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
近傍検索
指定したキーワード間に違う単語が含まれていてもマッチ
「みそラーメン」で検索:「みそバターラーメン」:マッチ
![Page 97: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/97.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
扱わなかったあいまい検索2
quorumマッチ
![Page 98: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/98.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
quorumマッチ
閾値以上の要素がマッチしたらマッチ
閾値2と「MySQL MariaDB Percona」で検索:「MySQLとMariaDBの比較」:マッチ
「MySQLとPostgreSQLの比較」:マッチしない
![Page 99: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/99.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
扱わなかった話題
運用について障害対策・レプリケーション
チューニング
![Page 100: MySQL PostgreSQLだけで作る 高速あいまい全文検索システ …...MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2 電話番号検索:Mroonga:テーブル定義](https://reader036.vdocuments.mx/reader036/viewer/2022062603/5f0cf1227e708231d437e43f/html5/thumbnails/100.jpg)
MySQL・PostgreSQLだけで作る 高速あいまい全文検索システム Powered by Rabbit 2.2.2
サポートサービス紹介
導入支援(設計支援・性能検証・移行支援・…)
開発支援(サンプルコード提供・問い合わせ対応・…)
運用支援(障害対応・チューニング支援・…)
問い合わせ先:https://www.clear-code.com/contact/?type=groonga