人工知能特論 ii 第 3 回
DESCRIPTION
人工知能特論 II 第 3 回. 二宮 崇. 今日の講義の予定. TAG (Tree Adjoining Grammar) Dependency Grammar ( 依存文法 ). TAG. TAG (Tree Adjoining Grammar, 木接合文法 ). TAG A. K. Joshi によって提案 複雑な形をした句構造木そのものが文法の基本要素 ( 基本木 , elementary trees) 初期木 (initial trees) 補助木 (auxiliary trees) 2 種類の操作で構文解析 代入 (substitution) - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/1.jpg)
1
人工知能特論 II 第 3 回二宮 崇
![Page 2: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/2.jpg)
2
今日の講義の予定
TAG (Tree Adjoining Grammar)Dependency Grammar ( 依存文法 )
![Page 3: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/3.jpg)
3
TAG
![Page 4: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/4.jpg)
4
TAG (Tree Adjoining Grammar, 木接合文法 )
TAGA. K. Joshi によって提案 複雑な形をした句構造木そのものが文法の基
本要素 ( 基本木 , elementary trees)初期木 (initial trees)補助木 (auxiliary trees)
2 種類の操作で構文解析 代入 (substitution)接合 (adjoining)
![Page 5: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/5.jpg)
5
TAG :代入 (substitution)
α1
α2 α3X Y
X↓ Y↓代入
X Y
![Page 6: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/6.jpg)
6
TAG :接合 (adjoining)
α1 β1
X*
Y
X
接合
X 補助木 (auxiliary tree)
X*
X
![Page 7: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/7.jpg)
7
TAG: 例
α1α2
α3
β1NP
John
NP
apples
S
eats
VBZ NP
VPNP
VP
VP*RB
always
![Page 8: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/8.jpg)
8
TAG: 例
α1α2
α3
β1NP
John
NP
apples
S
eats
VBZ NP
VPNP
VP
VP*RB
always
![Page 9: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/9.jpg)
9
TAG: 例
α1α2
α3
β1NP
John
NP
apples
S
eats
VBZ NP
VPNP
VP
VP*RB
always
![Page 10: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/10.jpg)
10
TAG: 例
α1α2
α3
β1
Johnapples
S
eats
VBZ NP
VPNP
VP
VP*RB
always
![Page 11: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/11.jpg)
11
TAG: 例
α1α2
α3
β1
John
S
eats
VBZ NP
VPNP
VP
VP*RB
always
apples
![Page 12: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/12.jpg)
12
TAG: 例
α1α2
α3
β1
John
SNP
VP
VP*RB
always
eats
VBZ NP
VP
apples
VP
![Page 13: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/13.jpg)
13
TAG: 例
α1α2
α3
β1
John
SNP VP
RB
alwayseats
VBZ NP
VP
apples
![Page 14: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/14.jpg)
14
TAGTAG は形式的に (∑, NT, I, A, S) の 5 つ組
∑ … 終端記号の集合NT … 非終端記号の集合I … 初期木の集合A … 補助木の集合S … S ⊂NT, 文を表す非終端記号接合可能なノードを指定しても良い
弱文脈依存文法 (mildly context sensitive grammar)
導出過程木が依存構造に対応
![Page 15: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/15.jpg)
15
TAG の生成能力
CFG では表現できないが TAG では表現できる言語L={anbncn|n∈N}
b
S
a
cS*
S
ε
S
… 接合可能なノード
![Page 16: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/16.jpg)
16
TAG: 初期木と接合木
初期木α1
S
eats
VBZ NP
VPNPVP
VP*RB
always
接合木β1
足 (foot)
脊柱?(spine)
アンカー (anchor)
幹(trunk)
![Page 17: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/17.jpg)
TAG: 導出過程木 (derivation tree)
α1α2
α3
NP
John
NP
apples
S
eats
VBZ NP
VPNP
α1 (eats)
α2 (John) α3 (apples)
Derivation tree
17
![Page 18: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/18.jpg)
TAG: 導出過程木 (derivation tree)
α1 β1
John
S
eats
VBZ NP
VPNP
VP
VP*RB
alwaysapples
α1(eats)
α2(John)
α3(apples)
Derivation tree
β1(always)
![Page 19: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/19.jpg)
CFG v.s. TAG
John
SNP VP
RB
alwayseats
VBZ NP
VP
applesα1
(eats)
α2(John)
α3(apples)
Derivation tree
β1(always)
CFG だと、 eats の主語が John であることがわかりにくい
TAG だと、 eats の主語が John であることがすぐわかる
![Page 20: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/20.jpg)
Non-local Dependencies
α1S
likes
VBZ NP
VPNP
α2
VP
NPVB
likes
S
NP
NP
NP(i)
ε(i)他動詞 目的語が外置された他動詞
20
![Page 21: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/21.jpg)
Non-local Dependencies
β1S
know
VB S*
VPNP
α2
VP
NPVB
likes
S
NP
NP
NP(i)
ε(i)
Sandy
Kim
S
接合
21
![Page 22: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/22.jpg)
Non-local DependenciesS
know
VB SVPNP
VP
NPVB
likes
NP
NP
NP(i)
ε(i)
Sandy
Kim
we
22
![Page 23: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/23.jpg)
23
言語学的考察
R. Frank ``Phrase Structure Composition and Syntactic Dependencies’’ MIT Press 2002
![Page 24: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/24.jpg)
24
ExtensionsLTAG (Lexicalized Tree Adjoining
Grammar)全ての基本木は必ず一つ以上のアンカーをも
つFB-LTAG (Feature-Based LTAG)
構文木ノードに素性構造を追加したもの数や人称の制約を容易にいれられるXTAG (Doran+1994, 1997) が有名
![Page 25: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/25.jpg)
25
計算量
TAG の計算量は一般に O(n6)nは文の単語長C.f. CFG は O(n3)
Tree Insertion Grammar (TIG)補助木の足が左端あるいは右端にあらわれる
ことだけを要求O(n3)
![Page 26: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/26.jpg)
26
依存文法
![Page 27: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/27.jpg)
27
依存文法 : 導入
日本語の場合語順が比較的自由格要素の省略が可能
日本語だけではなく比較的自由な語順の言語は多い(語順が入れ替わる現象はスクランブリングと呼ばれる)チェコ語(依存文法の研究で有名)ドイツ語(句構造のスクランブリングの研究
で有名)…
![Page 28: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/28.jpg)
28
依存文法 : 導入
英語の例I put a pen on the table (ok)*A pen put I on the table (NG)* I put a pen (NG)
日本語の例私は机の上にペンを置いた。 (ok)ペンを私は机の上に置いた。 (ok)私はペンを置いた。 (ok)
![Page 29: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/29.jpg)
29
句構造と依存文法
文法を大きくわけると二種類ある句構造文法
CFGTAGCCGHPSGLFG
依存文法 (Hays 1964; Robinson 1970)特別な句構造を持たず、単語間の依存関係を記述
する形態の文法
![Page 30: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/30.jpg)
30
句構造と依存構造
VP
ペンをNP VPPP
S
NP
私は置いた机の上に
ペンを私は 置いた机の 上に
句構造
依存構造
![Page 31: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/31.jpg)
31
依存構造の文法
二つの依存可能な「係り元」「係り先」を記述簡単な日本語文法の例
係り元 係り先名詞+格助詞「が」 ガ格を持つ動詞名詞+格助詞「を」 ヲ格を持つ動詞動詞 連用形 動詞、形容詞、形容動詞動詞 連体形 名詞動詞+述語接続助詞 動詞、形容詞、形容動詞副詞 動詞、形容詞、形容動詞連体詞 名詞
![Page 32: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/32.jpg)
32
依存文法の長所
係り元と係り先の関係は個々に調べられるため、省略や語順に関係なく解析可能
格解析も同時解析可能句構造解析でも語彙化の流れがあるが、依
存文法はもともと単語を中心に考えられた文法である
![Page 33: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/33.jpg)
33
機械学習による解析
単語と単語の依存構造を機械学習で判定陽に文法をもたない動的に生成されるデータ構造に強く依存しないた
めコンピュータ上で処理しやすい⇔句構造解析エントロピー最大化法による日本語係り受け解析
( 内元 1998)Support Vector Machine (SVM) による日本語係
り受け解析 ( 工藤 +2000) ツリーバンク(正解データの集合)の出現
正解データがあれば手でルールを書くより機械学習の素性(特徴ベクトル)を用意するほうが簡単でかつ高性能
![Page 34: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/34.jpg)
34
ツリーバンクの例
プラハ依存構造ツリーバンク
![Page 35: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/35.jpg)
35
Projective or Non-projective非交差条件
使った 盗んだ太郎は 花子が ペンを
使った花子が ペンを 盗んだ太郎は
Good!
Bad!
![Page 36: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/36.jpg)
36
Projective or Non-projective非交差条件の例外
正しいとこれが 思う僕は
![Page 37: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/37.jpg)
37
Projective or Non-projective Projective dependency parsing: 係り受けが交差す
ることを想定しない解析句構造解析と同様の動的計画法が使えるため効率的 c.f.
Eisner Algorithm O(n3) (Eisner 1996) Non-Projective dependency parsing: 係り受けが交
差することを想定した解析単語対の全ての組み合わせに対し解析するため非効率的
(だと思われていた)単語=頂点、係り受けの重み=枝の重みとみなす
と、 maximum spanning tree の問題に帰着可(McDonald+2005)
Chu-Liu-Edmond algorithm O(n2) (Chu and Liu 1965; Edmond 1967; Tarjan 1977)
![Page 38: 人工知能特論 II 第 3 回](https://reader034.vdocuments.mx/reader034/viewer/2022042511/568156af550346895dc44a57/html5/thumbnails/38.jpg)
38
まとめ
TAG依存文法
資料http://aiweb.cs.ehime-u.ac.jp/~ninomiya/ai2/