第3回 構文解析 意味解析yasuhiro/mt/mt03.pdfjohn saw a girl with a telescope もつ...
TRANSCRIPT
![Page 1: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/1.jpg)
共生社会特論
2013年10月15日
第3回 構文解析意味解析
![Page 2: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/2.jpg)
ヘボン式ローマ字表記
• マッチ matchi• 新聞 shimbun• 新庄 Shinjō または SHINJOO• 譲治 Jōji または JOOJI
2
![Page 3: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/3.jpg)
ローマ字表記での長音の扱い
• 「えー」 ex.映画
eiga
• 「おー」 ex. 伊藤(いとう)、大野(おおの)
訓令式 Itô, Ôno ヘボン式 Itō, Ōno 駅名 Itō, Ōno パスポート Ito, Ono, 特例 Itoh/Itou, Ohno/Oono 道路標識 Ito, Ono
3
読み仮名と一致しない例: 講師 kōshi子牛 koushi
![Page 4: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/4.jpg)
句構造文法
構文解析
4
![Page 5: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/5.jpg)
構文解析 (Parsing)
5
VP
S
V
saw
N
girlJohn
N
telescope
N
a
DET
a
DET
with
PNP
NP
NP
PPVP
文の構造を解析する
![Page 6: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/6.jpg)
句構造文法 (Phrase Structure Grammar)
文脈自由文法 (CGF)G = (V, T, S, P)
V: 非終端記号(変数)の集合
N: 終端記号(単語)の集合
S: 開始記号
P: 生成規則の集合
6
• 文を文法Gで生成する• 文を文法G(に基づく構文解析器で受理する
![Page 7: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/7.jpg)
文脈自由文法の例
7
S → NP VPNP → N | DET N | ADJ N | NP PPVP → V | V NP | VP PPPP → P NPN → John | girl | telescopeV → sawDET → a | an | theP → in | on | with
G = (V, T, S, P)
![Page 8: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/8.jpg)
構文木(syntax tree / parse tree)
8
VP
S
V
saw
N
girlJohn
N
telescope
N
a
DET
a
DET
with
PNP
NP
NP
PPVP
S → NP VPNP → N | DET N | ADJ N | NP PPVP → V | V NP | VP PPPP → P NPN → John | girl | telescopeV → sawDET → a | an | theP → in | on | with
![Page 9: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/9.jpg)
曖昧な構文木
9
VP
S
V
saw
N
girlJohn
N
telescope
N
a
DET
a
DET
with
PNP
NP
NP
PPVP
VP
S
V
saw
N
girlJohn
N
telescopeN
a
DET
a
DET
with
P
NP
NP
NP
PP
NP
![Page 10: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/10.jpg)
構文解析
• CYK法 チョムスキー標準形にのみ適用可能
• チャート法
• LR法 LR文法にのみ適用可能
コンパイラなどで使用
• LL法 LL文法にのみ適用可能
コンパイラなどで使用
10
![Page 11: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/11.jpg)
チョムスキー標準形
• 右辺は
変数2個単語1個
のいずれか
• CFGから等価な変換
11
S → NP VPNP → DET N | ADJ N | NP PPVP → V NP | VP PPPP → P NPN → John | girl | telescopeNP → John | girl | telescopeV → sawVP → sawDET → a | an | theP → in | on | with
![Page 12: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/12.jpg)
CYK法
12
saw girlJohn telescopea awith
動的計画法に基づく
![Page 13: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/13.jpg)
CYK法
13
N,NP
saw girlJohn telescopea awith
N → JohnNP → John
![Page 14: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/14.jpg)
CYK法
14
N,NP V,VP
saw girlJohn telescopea awith
V → sawVP → saw
![Page 15: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/15.jpg)
CYK法
15
N,NP V,VP DET N,NP P DET N,NP
saw girlJohn telescopea awith
N → girl | telescopeNP → girl | telescopeDET → aP → with
![Page 16: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/16.jpg)
CYK法
16
S
N,NP V,VP DET N,NP P DET N,NP
saw girlJohn telescopea awith
S → NP VP
![Page 17: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/17.jpg)
CYK法
17
S
N,NP V,VP DET N,NP P DET N,NP
saw girlJohn telescopea awith
![Page 18: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/18.jpg)
CYK法
18
S
N,NP V,VP
NP
DET N,NP P DET N,NP
saw girlJohn telescopea awith
NP → DET N
![Page 19: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/19.jpg)
CYK法
19
S
N,NP V,VP
NP
DET N,NP P DET N,NP
saw girlJohn telescopea awith
![Page 20: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/20.jpg)
CYK法
20
S
N,NP V,VP
NP
DET N,NP P DET N,NP
saw girlJohn telescopea awith
![Page 21: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/21.jpg)
CYK法
21
S
N,NP V,VP
NP
DET N,NP P
NP
DET N,NP
saw girlJohn telescopea awith
NP → DET N
![Page 22: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/22.jpg)
CYK法
22
S
N,NP V,VP
NP
DET N,NP P
NP
DET N,NP
saw girlJohn telescopea awith
![Page 23: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/23.jpg)
CYK法
23
S
N,NP
VP
V,VP
NP
DET N,NP P
NP
DET N,NP
saw girlJohn telescopea awith
VP → V NP
![Page 24: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/24.jpg)
CYK法
24
S
N,NP
VP
V,VP
NP
DET N,NP P
NP
DET N,NP
saw girlJohn telescopea awith
![Page 25: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/25.jpg)
CYK法
25
S
N,NP
VP
V,VP
NP
DET N,NP P
NP
DET N,NP
saw girlJohn telescopea awith
![Page 26: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/26.jpg)
CYK法
26
S
N,NP
VP
V,VP
NP
DET N,NP P
NP
DET N,NP
saw girlJohn telescopea awith
![Page 27: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/27.jpg)
CYK法
27
S
N,NP
VP
V,VP
NP
DET N,NP P
NP
DET N,NP
saw girlJohn telescopea awith
![Page 28: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/28.jpg)
CYK法
28
S
N,NP
VP
V,VP
NP
DET N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
PP → P NP
![Page 29: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/29.jpg)
CYK法
29
S
S
N,NP
VP
V,VP
NP
DET N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
S → NP VP
![Page 30: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/30.jpg)
CYK法
30
S
S
N,NP
VP
V,VP
NP
DET N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
![Page 31: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/31.jpg)
CYK法
31
S
S
N,NP
VP
V,VP
NP
DET N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
![Page 32: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/32.jpg)
CYK法
32
S
S
N,NP
VP
V,VP
NP
DET N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
![Page 33: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/33.jpg)
CYK法
33
S
S
N,NP
VP
V,VP
NP
DET N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
![Page 34: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/34.jpg)
CYK法
34
S
S
N,NP
VP
V,VP
NP
DET
NP
N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
NP → NP PP
![Page 35: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/35.jpg)
CYK法
35
S
S
N,NP
VP
V,VP
NP
DET
NP
N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
![Page 36: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/36.jpg)
CYK法
36
S
S
N,NP
VP
V,VP
NP
DET
NP
N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
![Page 37: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/37.jpg)
CYK法
37
S
S
N,NP
VP
V,VP
NP
NP
DET
NP
N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
NP → NP PP
![Page 38: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/38.jpg)
CYK法
38
S
S
N,NP
VP
V,VP
NP
NP
DET
NP
N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
![Page 39: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/39.jpg)
CYK法
39
S
S
N,NP
VP
VP
V,VP
NP
NP
DET
NP
N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
VP → V NP
![Page 40: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/40.jpg)
CYK法
40
S
S
N,NP
VP
VP,VP
V,VP
NP
NP
DET
NP
N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
VP → V NPVP → VP PP
![Page 41: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/41.jpg)
CYK法
41
S,S
S
S
N,NP
VP
VP,VP
V,VP
NP
NP
DET
NP
N,NP
PP
P
NP
DET N,NP
saw girlJohn telescopea awith
S → NP VP
![Page 42: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/42.jpg)
構文木の変換による翻訳
42
VP
S
VN P
NP
N
PPVP
NDET
NP
NDET
NP
saw girlJohn telescopea awith
![Page 43: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/43.jpg)
構文木の変換による翻訳
43
VP
S
V
見た 少女ジョン
N
望遠鏡で
P
NP
N
PPVP
NDET
NP
NDET
NP
![Page 44: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/44.jpg)
構文木の変換による翻訳
44
VP
S
V
見た 少女ジョン
N
望遠鏡で
P
NP
N
PPVP
NDET
NP
![Page 45: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/45.jpg)
構文木の変換による翻訳
45
VP
S
V
見た 少女ジョン
N
望遠鏡 で
P
NP
N
PPVP
NDET
NP
![Page 46: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/46.jpg)
構文木の変換による翻訳
46
VP
S
V
見た 少女ジョン
N
望遠鏡 で
PN
NP
N
PPVP
![Page 47: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/47.jpg)
構文木の変換による翻訳
47
VP
S
V
見た少女ジョン
N
望遠鏡 で
PN
NP
N
PPVP
![Page 48: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/48.jpg)
構文木の変換による翻訳
48
VP
S
V
見た少女ジョン
N
望遠鏡 で
P
N
NP
N
PPVP
を
P
PP
![Page 49: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/49.jpg)
構文木の変換による翻訳
49
VP
S
V
見た少女ジョン
N
望遠鏡 で
P
N
NP
N
PP VP
を
P
PP
![Page 50: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/50.jpg)
構文木の変換による翻訳
50
VP
S
V
見た少女ジョン
N
望遠鏡 で
P
N
PP
N
PP VP
を
P
PP
は
P
![Page 51: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/51.jpg)
依存文法
構文解析
51
![Page 52: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/52.jpg)
依存文法 (Dependency Grammar)
52
girlJohn telescopea awithsaw
girlJohn telescopea awithsaw
![Page 53: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/53.jpg)
主辞付き構文木
53
VP*
S
V*
N*
John
N*
N*
a
DET
a
DET
with
P*NP
NP
NP
PPVP*
S → NP VP*
NP → N* | DET N* | ADJ N* | NP* PPVP → V* | V* NP | VP* PPPP → P* NPN → John | girl | telescopeV → sawDET → a | an | theP → in | on | with
saw girl telescope
![Page 54: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/54.jpg)
文節
• 日本語において、
からなる単位
54
ジョンは 見た望遠鏡で 少女を
一つの自立語 + 0個以上の付属語
![Page 55: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/55.jpg)
日本語の依存関係
三つの前提条件
• 非交差性
• 係り先の唯一性
ただし、文末の文節のみ係り先がない(ゼロ)
• 後方修飾性
55
ジョンは 望遠鏡で 少女を 見た
![Page 56: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/56.jpg)
例外
• 交差する例
• 複数に係る例
• 前方に係る例
56
蕎麦を 信州へ 食べに 行く
蕎麦を 食べた、 昨日。
蕎麦を 買って 食べた
![Page 57: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/57.jpg)
依存文法による翻訳
57
girlJohn
telescopea
a
with
saw
ジョンは
見た
少女を
望遠鏡で
girlJohn telescopea awithsaw
![Page 58: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/58.jpg)
依存文法による翻訳 別の例
58
girlJohn
telescope
a
a
with
saw
ジョンは
見た
望遠鏡を
少女を
girlJohn telescopea awithsaw
もつ
![Page 59: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/59.jpg)
チャンキング (Chunking)
浅い構文解析 (shallow parsing) とも
• 英語
名詞句や動詞句をまとめる
• 日本語
文節に区切る
名詞句や動詞句の抽出
59
![Page 60: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/60.jpg)
統計的構文解析
• 確率文脈文法
規則に確率を付与
文が生成される確率は、適用した確率の積
生成確率が最大の構文を出力
60
S → NP VP (1.0)NP → N (0.2)
→ DET N (0.3)→ ADJ N (0.2)→ NP PP (0.3)
![Page 61: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/61.jpg)
Treebank
• 構文的な構造が付与されたコーパス
Penn Treebank 京都テキストコーパス
61
コーパスから文法を作成
![Page 62: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/62.jpg)
一致(agreement)の扱い
62
S → NP VPNP → DET NVP → V NPN → boy | boys | girlV → love | lovesDET → a
A boy loves a girl.
*A boy love a girl.
*A boys love a girl.文頭の * は非文の印
N-sg → boy | girlN-pl → girls 変数を増やすと文法が複雑に
![Page 63: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/63.jpg)
文脈自由文法の補強
素性構造(Feature Structure)の導入
63
S → NP VP {NP = VP}NP → DET N {DET = N}VP → V NP {VP = V}N → boy {number = sing, person = 3}N → boys {number = plur, person = 3}N → girl {number = sing, person = 3}V → love {number ≠ sing, person ≠ 3}V → loves {number = sing, person = 3}DET → a {number = sing}
![Page 64: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/64.jpg)
単一化
素性情報が一致するように構文を構成
64
loves girlaboyA
V NDETNDET
n=1 n=1p=3
n=1p=3
n=1 n=1p=3
n=1p=3
number=singperson=3 を と略記
![Page 65: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/65.jpg)
単一化
65
V NDET
NP
loves girla
N
boyA
DET
n=1 n=1p=3
n=1p=3
n=1p=3
n=1
n=1p=3
NP → DET N {DET=N}
![Page 66: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/66.jpg)
単一化
66
V
VP
NDET
NP
loves girla
N
boyA
DET
n=1 n=1p=3
n=1p=3
n=1p=3
n=1
n=1p=3
n=1p=3
VP → V NP {VP=V}
![Page 67: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/67.jpg)
単一化
67
V
VP
NDET
NP
loves girla
N
NP
boyA
DET
n=1 n=1p=3
n=1p=3
n=1p=3
n=1
n=1p=3
n=1p=3
n=1p=3
NP → DET N {DET=N}
![Page 68: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/68.jpg)
単一化
68
V
S
VP
NDET
NP
loves girla
N
NP
boyA
DET
n=1 n=1p=3
n=1p=3
n=1p=3
n=1
n=1p=3
n=1p=3
n=1p=3
n=1p=3
S → NP VP {NP=VP}
![Page 69: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/69.jpg)
非文の排除
N
NP
boysA
DET
n=1 n=2p=1
n=1 vs n=2 p=1
NP → DET N {DET=N}
girl
V
S
VP
NDET
NP
love a
N
NP
boyA
DET
n=1 n=1p=3
n≠1p≠3
n=1p=3
n=1
n≠1p≠3
n=1 vs n≠1p=3 vs p≠3
n=1p=3
S → NP VP{NP=VP}
![Page 70: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/70.jpg)
意味解析
70
![Page 71: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/71.jpg)
格文法(Case Grammar) [Fillmore, 96]
• 表層格と深層格
• 必須格(obligatory case)と任意格(optional case)
71
*John gave her.必須格である与格がない
![Page 72: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/72.jpg)
表層格 (Surface Case)
• 主格(nominative)• 目的格
対格(accusative)与格(dative)
• 所有格
属格(genitive)
72
• ガ格
• ヲ格
• ニ格
• デ格
• カラ格
• ヘ格
• ト格
• ヨリ格
• マデ格
![Page 73: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/73.jpg)
深層格 (Deep Case)
• 動作主格(Agent)• 対象格(Object)• 目標格(Goal)• 道具格(Instrument)• 場所格(Location)• 時間格(Time)• 経験者格(Experiencer)• 源泉格(Source)
73
![Page 74: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/74.jpg)
格文法による翻訳
74
John opened the door with the key.
open
John door key
対象格 道具格動作主格
開けた
ジョン 扉 鍵
を でが
![Page 75: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/75.jpg)
格形態と文法関係のずれ
• 主格でない「が」
• 目的格でない「を」
75
公園を歩く
橋を渡る
彼女は花が好きだ
![Page 76: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/76.jpg)
表層格から深層格へ
曖昧性がある
76
ゲームで遊ぶ play a game対象格
公園で遊ぶ play at the park場所格
おもちゃで遊ぶ play with a toy道具格
一人で遊ぶ? play alone
![Page 77: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/77.jpg)
格フレーム (Case Frame)
• 単語の共起に関する知識
• 動詞の場合、格への制約
77
eat: 食べる
(subj, 人間, 動作主)(obj, 食物, 対象)
fly: 飛ぶ
(subj, {鳥,航空機}, 動作主)
take: 撮る
乗る
飲む
(subj, 人間, 動作主)(obj, 写真, 対象)
(subj, 人間, 動作主)(obj, 乗り物, 対象)
(subj, 人間, 動作主)(obj, 薬, 対象)
![Page 78: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/78.jpg)
シソーラス (Thesaurus)
• 上位・下位関係、同義関係などによって単語を分類し体系化したもの
78
car train crane1
クレーン
vehicle
transport
aircraft
machine
object
organism
airplane crane2
鶴
bird
animal plant
![Page 79: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/79.jpg)
語義曖昧性解消(Word Sense Disambiguation)
79
格フレームとシソーラスを利用
fly: 飛ぶ
(subj, {鳥,航空機}, 動作主)
A crane flies.take: 撮る
乗る
飲む
(subj, 人間, 動作主)(obj, 写真, 対象)
(subj, 人間, 動作主)(obj, 乗り物, 対象)
(subj, 人間, 動作主)(obj, 薬, 対象)
He took a bus.
![Page 80: 第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる](https://reader035.vdocuments.mx/reader035/viewer/2022062609/6101262fb0266e2bd873da84/html5/thumbnails/80.jpg)
オマケ
Garden path sentence
80
The old man the boat.
The girl told the story cried.その物語を聞いた少女は泣いた。
老人達はボートに人を配置した。
The raft floated down the river sank.川を浮きながら下ったいかだは沈んだ。