大規模テキスト索引（ suffix array ）の構築法とその情報検索への応
用
suffix array構築アルゴリズムと実装
定兼 邦彦東京大学理学系研究科
情報科学専攻
2
内容• suffix array( 接尾辞配列 ) とは• 関連研究
– Bentley, Sedgewick 97– Manber, Myers 93
• Larsson, Sadakane のアルゴリズム– 計算量– 実装– メモリ
• disk 上での構成アルゴリズム• Application (proximity search)
3
記号の説明
• X = X[0..n] 文字列• Sj j 番目の接尾辞 (suffix) X[j..n]
• I [0..n] 接尾辞の添字 j の配列
X = BANaNa
S1
S2
S0
4
suffix array
X
0 BANaNa1 ANaNa2 NaNa3 aNa4 Na5 a
ソート
I1 ANaNa0 BANaNa4 Na2 NaNa5 a3 aNa
suffix array
・文字列の全ての suffix のポインタを辞書順にソートした配列
・省スペース ( 文字列自身と配列１つ )
5
suffix array の特徴
• 省スペース ( 文字列自身と配列１つ )
• 任意の部分文字列の検索が可能– O(|P|log n) 時間– 補助配列を使うと O(|P|+log n) 時間
• 答えの列挙が簡単
6
関連研究
• Bentley, Sedgewick 97
• Manber, Myers 93
7
Bentley, Sedgewick
• quick sort の拡張 (<, =, > に分ける )
• 実際に高速• 冗長な文字列で極端に遅くなる
– O(n2) 時間
8
t o b e o r n o t t o b e $
0 1 2 3 4 5 6 7 8 9101112
h=1
h=2
h=3
h=4
h=5
1 4 7 10
0 5 8 92 3 6 11 12
o6
3 12
2 11e
2 11b
6n
5r
0 8 9
5t
4
71 10r
7t
1 10b
3
12o
12$
2 11e
2
11o
11$ 1 10
e
1
10 o
10$
8
0 9o
8t
0 9b
0 9e
0
9 o
9$
9
Manber, Myers
• doubling technique を用いる• Radix ソート• O(n log n) 時間• 実際は遅い
10
11 11
doubling technique[Karp, Miller, Rosenberg 72]
• 長さ 1, 2, 4, 8, ... の部分文字列に番号を割り当てる
t o b e o r n o t t o b e $6 4 1 2 4 5 3 4 6 6 4 1 2 0
1 145 56 789 910 23
35 910 124
0
0
2 1 357 68 910 134 0
8
12 11
2 17 6
h=1
h=2
h=4
h=8
11
Manber, Myers t o b e o r n o t t o b e $ 0 1 2 3 4 5 6 7 8 910111213
h=1
h=2
h=4
h=8
13 211 312 6 1 4 710 5 0 8 9 0 1 1 3 3 5 6 6 6 61011111113 21112 3 6 110 4 7 5 0 9 8 0 1 1 3 4 5 6 6 8 8101111131311 212 3 6 110 4 7 5 0 9 8 0 1 2 3 4 5 6 7 8 9101111131311 212 3 6 110 4 7 5 9 0 8 0 1 2 3 4 5 6 7 8 910111213
12
Manber, Myers の問題点
• 各反復で全ての要素を見る– O ( n log 最大反復長 )– 後のほうのパスでは無駄が多い– すでにソートされている部分をスキップする
• 配列 1 つで Radix ソートを行うために遅くなっている– in-place のソートを使う (quick sort など )
13
ソートされた部分のスキップ t o b e o r n o t t o b e $ 0 1 2 3 4 5 6 7 8 910111213
h=113 211 312 6 1 4 710 5 0 8 9 0 1 1 3 3 5 6 6 6 610111111
h=213 21112 3 6 110 4 7 5 0 9 8 1 1 3 4 6 6 8 8 111113
h=41311 212 3 6 110 4 7 5 0 9 8 1 2 6 7 8 9 1111
h=81311 212 3 6 110 4 7 5 9 0 8 1112
14
Larsson, Sadakane の方法
• ２つの方法を組合わせる– Bentley, Sedgewick– doubling technique
15
実験結果
時間 (s)
0
1000
2000
3000
4000
5000
6000
7000
LarssonSadakane
B&S M&M Kurtz
新聞記事 (109M)特許 (89M)
Reuters (27M)html (125M)
Ultra60 ( メモリ 2GB)
16
h=4
21 76
1111
0 1 2 3 4 5 6 7 8 9101112
t o b e o r n o t t o b e $
8 0 9
71 10312
71 1010 111
1260
2 11
386
11
4h=2
2
118
11
0
1
104
103
10 9
h=1
1 4 7 10
0 5 8 92 3 6 11 12
o6
3 12
2 11e
2 11b
6n
5r 0 8 9
5 t
6 6 6 653 31 1 10 111111
4 81111
96 631 1 13
11 129
h=8
9 80
0
17
計算量
• O(n log n) 時間• 木の根から各葉へのパス上に
– <, > に対応する枝の数 log2 n +1 以下
– = に対応する枝の数 log2 n +1 以下– 1 回の分割は線形時間
18
比較回数の期待値
• = に対応する枝の数は平均的には少ない
• 以下 (H は文字列のエントロピー )
• Bentley, Sedgewick では 以下
H
n22
loglog2
H
n2log2
19
実装 ( 基本 )
• 配列• アルゴリズム• 配列の更新方法
20
配列
• X[0..n] 文字列• I [0..n] 接尾辞の添え字の配列• V[ j ] 接尾辞 j の先頭 h 文字につける番
号 = j を含むグループの左端の添え字 i
• L[ i ] 辞書順で i 番目の接尾辞から始まるグループのサイズ
21
アルゴリズム
• 接尾辞を先頭の 1 文字でグループ分け• I, V, L の計算 , h=1
1 各グループの I[i] を V[I[i]+h] に従い並び替える2 V が隣と異なる場合はグループを分け , L を更新3 L を見て異なるグループに異なる V を書く4 隣り合うサイズ 1 のグループを一つにし , L を更
新5 サイズが 2 以上のグループがあれば
h := 2h として 1 に戻る
22
＄ｂｅｏ
ｒｂｅ＄
ｅｏｒ
ｎｅ＄
ｎｏｔ
ｔ ｏｂｅ
ｏ ｏｒｎ
ｏ ｏｔｔ
ｏ ｏｂｅ
＄ｒｎｏ
ｔ ｔｏｂ
ｅ ｔｔｏ
ｂ ｔｏｂ
ｅ
ｔｏｂｅｏｒｎｏｔｔｏｂｅ $
13 2 11 3 12 6 1 4 7 10 5 0 8 9I[i]
0 1 1 3 3 5 6 6 6 6 10 11 11 11V[I[i]]
3 3 6 0 1 10 11 1 6 11 6V[I[i]+1]
先頭の２文字でソート
I の並び替え (h=1)
23
＄ｂｅｏ
ｒｂｅ＄
ｅｏｒ
ｎｅ＄
ｎｏｔ
ｔ ｏｂｅ
ｏ ｏｒｎ
ｏ ｏｔｔ
ｏｏｂｅ
＄ｒｎｏ
ｔ ｔｏｂ
ｅ ｔｔｏ
ｂｔｏｂ
ｅ
0 5 101 1 3 4 6 6 8 9 11 11 13
ｔｏｂｅｏｒｎｏｔｔｏｂｅ $
13 2 11 12 3 6 1 10 4 7 5 0 9 8I[i]
V[I[i]]
V[I[i]+2] 8 0 4 3 1 1
先頭の４文字でソート
I の並び替え (h=2)
24
＄ｂｅｏ
ｒｂｅ＄
ｅｏｒ
ｎｅ＄
ｎｏｔ
ｔ ｏｂｅ
ｏ ｏｒｎ
ｏ ｏｔｔ
ｏｏｂｅ
＄ｒｎｏ
ｔ ｔｏｂｅｏ
ｒｔｔｏ
ｂｔｏｂｅ
＄
ｔｏｂｅｏｒｎｏｔｔｏｂｅ $
0 5 101 2 3 4 6 7 8 9 11 11 13
13 11 2 12 3 6 10 1 4 7 5 0 9 8I[i]
V[I[i]]
V[I[i]+4] 8 0
先頭の８文字でソート
I の並び替え (h=4)
25
ｔｏｂｅｏｒｎｏｔｔｏｂｅ $
＄ｂｅｏ
ｒｂｅ＄
ｅｏｒ
ｎｅ＄
ｎｏｔ
ｔ ｏｂｅ
ｏ ｏｒｎ
ｏ ｏｔｔ
ｏｏｂｅ
＄ｒｎｏ
ｔ ｔｏｂｅｏ
ｒｔｔｏ
ｂｔｏｂｅ
＄
0 5 101 2 3 4 6 7 8 9 11 12 13
13 11 2 12 3 6 10 1 4 7 5 9 0 8I[i]
V[I[i]]
ソート終了
I の並び替え (h=8)
26
L の更新X t o b e o r n o t t o b e $I 0 1 2 3 4 5 6 7 8 910111213
h=1L 1 2 2 1 4 1 3V 0 1 1 3 3 5 6 6 6 610111111
h=2L 1 2 -3 2 2 1 2 1V 0 1 1 3 4 5 6 6 8 810111113
h=4L-11 2 1V 0 1 2 3 4 5 6 7 8 910111113
h=8L-14V 0 1 2 3 4 5 6 7 8 910111213
27
実装 ( 改良 )
• 1 パス化– I, V, L の更新を一度に行う
• L ( グループのサイズの配列 ) を消去– V で L を表す
28
1 パス化
• I を並び替える際に V を更新– <, =, > に分割– > を再帰的にソート– = の V を更新– < を再帰的にソート
• 更新の順番が重要– V は常に大きくなるので < を先に更新す
ると順序が狂う
29
h=4
21 76
1111
0 1 2 3 4 5 6 7 8 9101112
t o b e o r n o t t o b e $
7
11
1 101
3
126 0 9
8671 1010
4 811
h=210 9
2
118
11
0
1
104
103
h=1
1 4 7 10
0 5 8 92 3 6 11 12
o6
3 12
2 11e
2 11b
6n
5r 0 8 9
5 t
6 6 6 653 31 1 10 111111
4 81111
96 612
0
32 11
3
1 1 13
11 12 h=8
9 8
090
30
L の消去
• V[ j ] = j を含むグループの左端の添え字 i
• <, =, > の順に V を更新• スキップするグループのサイズは I に格納
– スキップされる接尾辞の I は使われない• 最後に V から I を復元
– I[V[ j ]] = j
j を含むグループの右端の添え字 i
31
t o b e o r n o t t o b e $ 0 1 2 3 4 5 6 7 8 910111213
h=1I-1 211 312-1 1 4 710-1 0 8 9V 0 2 2 4 4 5 9 9 9 910131313
h=2-1 211-3 110 4 7-1 0 9-1 0 2 2 3 4 5 7 7 9 910121213
h=4-11 0 9-1 0 1 2 3 4 5 6 7 8 910121213
h=8-14 0 1 2 3 4 5 6 7 8 910111213
32
アルゴリズム ( 改良版 )各反復でi = 0
while (i n) {s = I[ i ]
if (s < 0) i = i - s // ソート済みグループをスキップ
else {ソート済みグループを連結I [i .. i+V[i] ] をソートi = i + V[i] + 1 // i を次のグループの先頭に
}
}
33
メモリ
• 必要なメモリ• ディスク上での構成
34
必要メモリ
• Bentley, Sedgewick 5n (8n)
• Manber, Myers 8n
• Larsson, Sadakane 8n
• Kurtz >13n
35
Suffix array のディスク上での構成
• Gonnet, Baeza-Yates, Snider 92– disk は sequential access のみ
• Crauser, Ferragina 98– doubling algorithm + discarding
2
2
MB
nI/O
)(loglog /2 M
nn
B
nBM I/O
(M: メモリサイズ , B: ページサイズ )
36
Doubling technique + discarding
• doubling technique
• 回の反復• M/B-way マージソートを用いる
メモリ内と異なる点• すでにソートされている部分はスキッ
プ
n2log
37
現実的な方法
• 文字列を分割• メモリ内で suffix array を作る• disk 上の suffix array にマージする
– メモリ内の suffix を辞書順に disk 上に挿入• disk 上の文字列がメモリに入るなら速
い
38
さらなる高速化
• 伊東の方法 [2] と組み合わせる– suffix を 2種類に分割– 片方を Bentley, Sedgewick などでソート–もう片方は Radix ソート
39
Application (proximity search)
• 指定したキーワードが近くに現れている場所を見つける
• 検索結果を絞れる• 近くに現れている 関連がある
– 「今井」 +「ホームページ」 +「東京」– 「 samba」 +「 98」
40
参考文献
[1] N. J. Larsson and K. Sadakane. Faster Suffix Sorting. Technical Report LU-CS-TR:99-214, LUNDFD6/(NFCS-3140)/1-20/(1999), Department of Computer Science, Lund University, Sweden, May 1999. http://www.cs.lth.se/home/Jesper_Larsson/
[2] 伊東秀夫 . 大規模テキストに対する Suffix Array の効率的な構成法 . SIGNL-129-5, IPSJ, January 1999.
