言語処理系（６）

言語処理系（６）

金子敬一

練習問題　４．１

リスト構造は以下のように定義される．• Λ は，空リスト• a は，リスト構造• l1, l2, ..., lk (k>0) がリスト構造ならば

(l1, l2, ..., lk) もリスト構造

a) リスト構造に対する文脈自由文法を作れb) (((a, a), Λ, (a)), a) に対する解

析木を書け


リスト構造は以下のように定義される．• Λ は，空リスト• a は，リスト構造• l1, l2, ..., lk (k>0) がリスト構造ならば

(l1, l2, ..., lk) もリスト構造

a) リスト構造に対する文脈自由文法を作れL = Λ | a | ( L’ )L’ = L | L, L’


b)(((a, a), Λ, (a)), a) に対する解析木を書け

L

(

L

L(

L’ )

, L’

a

L’ )

L , L’

( L’ ) L , L’

( L’ ) L , L’

L , L’ Λ L

a L ( L’ )

a L

a

５　基本的な構文解析技法

５．１　構文解析系５．２　移動還元構文解析５．３　演算子順位構文解析５．４　下降型構文解析５．５　予測的構文解析系

５．１　構文解析系• 構文解析系

文脈自由文法G，文字列wに対して

wがGの文ならば解析木を返す　

さもなくば，誤りメッセージを生成する

５．１　構文解析系• 上昇型構文解析

解析木を葉から根に向かって構成

例．移動還元構文解析−入力記号を移動しつつ，スタックへ積む

−スタックの上位が生成規則の右辺に対応すると，左辺に置換（還元操作）

５．１　構文解析系• 下降型構文解析

解析木を根から葉に向かって構成

例．再帰下降型構文解析−予測的構文解析系

−LL構文解析系

５．１　構文解析系• 解析木の表現

−直接表現：リスト構造による表現など

−間接表現：導出に用いる生成規則列など

５．１　構文解析系• 左文形式と右文形式

−最左導出：

wAγ　 ⇒　 wδγ

lm

S ⇒*αlm

左文形式

５．１　構文解析系• 解析木と導出

文wに対する解析木において，最左の非終端記号に対応するノードの子コードのラベルによる置換を繰り返す．

５．１　構文解析系• 解析木と導出

（１） S → if C then S

（２） S → if C then S else S

（３） S → a

（４） C → b

５．１　構文解析系

• 解析木と導出

S

Cif then S

Cif then S

b a

b else S

a



S

Cif then S

S if ⇒ C then S



S

Cif then S

b

if C then S ⇒ if b then S



S

Cif then S

Cif then Sb else S

if b then S ⇒ if b then if C then S else S



S

Cif then S

Cif then S

b

b else S

if b then if C then S else S　　　 ⇒　 if b then if b then S else S



S

Cif then S

Cif then S

b a

b else S

if b then if b then S else S　　　 ⇒　 if b then if b then a else S



S

Cif then S

Cif then S

b a

b else S

if b then if b then a else S　　　 ⇒　 if b then if b then a else a

a

５．２　移動還元構文解析

• 移動と還元

S → a A c B eA → 　 A b | bB → d

a b b c d e

文法

文字列


• 移動と還元

S → a A c B eA → 　 A b | bB → d

a b b c d e

文法

文字列A


• 移動と還元

S → a A c B eA → 　 A b | bB → d

a b b c d e

文法

文字列A B


• 移動と還元

S → a A c B eA → 　 A b | bB → d

a b b c d e

文法

文字列A BS


• 移動と還元

a b b c d e

⇒ a A b c d e

⇒ a A c d e

⇒ a A c B e

⇒ S

A → b

A → A b

B → d

S → a A b B e

最右導出


•把手

a b b c d e

⇒ a A b c d e

⇒ a A c d e

⇒ a A c B e

⇒ S 文法が曖昧でないならば，その文法のすべての右文形式は，ちょうど１つの把手をもつ


•把手

(1) E → E + E(2) E → E * E(3) E → ( E )(4) E → id

E ⇒ E + E　　⇒　 E + E * E　　⇒　 E + E * id　　⇒　 E + id * id　　⇒　 id + id * idE ⇒ E * E　　⇒　 E * id　　⇒　 E + E * id　　⇒　 E + id * id　　⇒　 id + id * id

５．２　移動還元構文解析•把手の刈取り

把手を対応する左辺で置換する操作

右文形式把手還元用生成規則id + id * id id E → id

E + id * id id E → id

E + E * id id E → id

E + E * E E * E E → E * E

E + E E + E E → E + E

E


id

+

id

•移動還元構文解析のスタックによる実現

id + id * id $

スタック

入力バッファ

移動還元E

移動移動E 還元


id

*

E

+

E


id + id * id $

スタック

入力バッファ

還元移動還元

E


E

*

E

+

E


id + id * id $

スタック

入力バッファ

還元受理


id

+

id

•解析木の構成

id + id * id $

スタック

入力バッファ

E

E

id

E

+ id

E


id

*

E

+

E


id + id * id $

スタック

入力バッファ

E

id

E

+ id

E

* id

E


E

*

E

+

E


id + id * id $

スタック

入力バッファ

id

E

+ id

E

* id

E

EE

ちょっと休憩（雑談）

魚偏の漢字• 鮪　まぐろ• 鰯　いわし• 鯵　あじ• 鰆　さわら• 鰍　かじか• 鰈　かれい

• 鯨　くじら• 鯛　たい• 鱈　たら• 鮫　さめ• 鯖　さば• 鰊　にしん

• 鰤　ぶり• 鯔　ぼら• 鰻　うなぎ• 鯰　なまず• 鯉　こい• 鮒　ふな

休憩おわり

５．３　演算子順位構文解析

• 演算子文法

隣接する非終端記号を持たない文法

効率的な移動還元構文解析系を生成


• 演算子文法の例

E → E A E | ( E ) | - E |　 id

A → + | - | * | / | ^ 演算子文法でない

E → E + E | E - E | E * E | E / E | E ^ E | ( E ) | - E | 　 id


• 順位関係

終端記号間の３種類の関係：≅, , ≲ ≳定め方には２通り

−演算子の結合性と優先度に基づく

−曖昧さのない文法から機械的に


• 演算子順位関係の使用

右分形式の把手の左端を≲で，右端を≳で区切る

E + E * E / E + E

≳≲ ≅

把手


• 演算子順位関係の使用

０）非終端記号をすべて除去

１）左端から走査して最左の≳を見つける

２）次に左端へ走査して，≲を見つける

　３）≲と≳で囲まれた部分に，間や両端に高々１個の非終端記号を付加して把手を得る

• 結合性と順位からの演算子順位関係


１）優先度：≳：≲

２）優先度：：：：：：≲：≲

優先度：：：：：：≳：≳

３）≲　 id, id ≳ , ≲ (, ( ≲ , ) ≳ , ≳ ),

$ ≳ , ≳ $とする． ( ≅ ), $ ≲ (, $ ≲ id, ( ≲(, id ≳ $, ) ≳ $, ( ≲ id, id ≳ ), ) ≳ )とする

• 結合性と順位からの演算子順位関係


^ 右結合的

* / 左結合的

+ - 左結合的

+ - * / ^ id ( ) $

+ > > < < < < < > >

- > > < < < < < > >

* > > > > < < < > >

/ > > > > < < < > >

^ > > > > < < < > >

id > > > > > > >

( < < < < < < < =

) > > > > > > >

$ < < < < < < <

２１１２

１

１２

３

３

３

• 単項演算子の扱い

− ２項演算子にないもの：例えば￢に対しては，すべての演算子に対して，≲　￢とし，￢の優先順位が：：：：：：：￢ ≳　：：：：：：：￢ ≲　：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：：


• 演算子順位文法G: 生成規則の右辺が：：：：：：：：：：ab：：：：：：：：：：：：：：：a ≅ b

２）非終端記号A, aA：：：：：⇒+b：：：：：：：：：：：a ≲ b

３）非終端記号A, Ab：：：：⇒+a：：：：：：：：：：：a ≳ b


• 演算子順位文法この規則で生成した順位関係が互いに素である演算子文法


• 演算子順位文法


E → E + E | E * E | ( E ) | id

２）非終端記号A, aA：：：：：⇒+b：：：：：：：：：：：a ≲ b

E + Eなる右辺，⇒+ * ：+ ≲ *３）非終端記号A, Ab：：：：⇒+a：：：：：：：：：：：a ≳ b

E + Eなる右辺，⇒+ * ：+ ≳ *

• 演算子順位文法


E → E + T | T

E → 　 T + F | F

F → ( E )| id

+ * ( ) id $

+ > < < > < >

* > > < > < >

( < < < = <

) > > > >

id > > > >

$ < < < <

• 演算子順位構文解析アルゴリズム


LEADING() および TRAILING() については省略



repeat forever begin if スタックが $ and 入力が $ then 受理して break; a をスタック最上段の終端記号 , b 入力記号 ; if a ≲ b or a ≅ b then b をスタックに else if a ≳ b then /* 還元動作 */ repeat スタックからおろす until ( スタックの最上段の終端記号 ) ≲ ( 最後にスタックからおろした終端記号 ) else 誤り訂正ルーチンを呼び出すend



id + id $$

≲

≲≲≳



id + id $$ E

≳≲



E + id $$

≲≳



E $$ + idE

• 順位関数全終端記号間の表を持つのは重い

　順位関数


言語処理系（６）

Documents