all-words task @...
TRANSCRIPT
All-words task @ SemEval/Senseval
北陸先端科学技術大学院大学
白井清昭
タスク一覧Senseval-2(2001) All words task (Czech, Dutch, English, Estonian)
Senseval-3(2004) All words task (English, Italian)
SemEval(2007) Coarse-grained English all-words
English Lexical Sample, English SRL and English All-Words Tasks
SemEval-2(2010) All-words Word Sense Disambiguation on a Specific Domain
SemEval 2013 The Coarse-Grained and Fine-Grained Chinese Lexical Sample and All-Words Task
SemEval 2015 Multilingual All-Words Sense Disambiguation and Entity Linking
Senseval-2, English (2001)タスク
語義の定義: WordNet 1.7 PennTreebank II 5000 instances
type の数は不明
Senseval-2, English (2001)結果
ベースライン 0.57 WordNetの第1語義
参加システムの詳細は不明
Senseval-3, English (2003)タスク
語義の定義: WordNet 1.7.1 PennTreeBank(2文書), Brown Corpus(1文書) 2081 target instances
type の数は不明 Inter-annotator agreement: 72.5%
Senseval-3, English (2003)結果
unofficial baseline0.609 / 0.624
WordNetの第1語義 ベースラインを上回るのは教師あり機械学習のみ
-S: supervised -U: unsupervised
LS, SRL, AW (2007)English Lexical Sample, English SRLand English All-Words Tasks タスク(all-words)
語義の定義: WordNet 2.1 PennTreebank (3500 words) 465 target words (type) 動詞とその項の主辞(名詞)が対象
SRLと同じ対象にしたいため Inter-annotator agreement: 72%(V), 86%(N)
(coarse-grained)
LS, SRL, AW (2007)結果
教師なし機械学習は苦戦
LS, SRL, AW (2007)考察
過去のSensevalと比べて結果が悪い Senseval-2 69%, Senseval-3 65.2%, 今回 59%(best systemの比較) 対象語における動詞の割合が高いため
Coarse-grained English (2007)タスク
語義の定義: ODE(Oxford Dictionary of English) WordNetの語義をODEの粗い語義にマッピング
5文書: WSJ (3), Wikipedia (1), 伝記(1) 5377 words / ドメインが異なる文書を混ぜている
2269 target instances Typeの数は不明
平均語義数 3.06 (cf. WordNet 6.18) Inter-annotator agreement: 93.80%
SemEval(2007)の別のAll-words taskよりも高い
Coarse-grained English (2007)Wall Street Journal Wikipedia 伝記
Coarse-grained English (2007)
labeled data WordNet
unlab
eled
data
train
ing
MFS
bac
koff
1234 ✓✓✓✓
✓✓✓✓
Specific domain (2010)タスク
特定ドメイン(環境問題)を対象としたAW-WSD 領域適応も考慮
語義の定義: WordNet 4ヶ国語のコンパラブルコーパス
WS=weakly supervised (ラベル付きコーパス+他の知識の併用)S=supervised KB=knowledge-based ※MFSはSemCorコーパス
を利用(ドメインが違う)
Specific domain (2010)考察
正解率は全体的に低め 教師あり、半教師あり学習が優勢 知識ベースシステムは、対象ドメインのバックグランドテキストを利用することで向上 教師あり学習+領域適応の有効性は不明
領域適応を試したのはBLC20SemcorBackgroundのみで、MFSと大差ない
ベストシステムは対象ドメインの少量のタグ付きコーパスと知識ベースシステム(バックラウンドテキスト+WordNet)の組み合わせ
Specific domain (2010)考察(Chinese, Dutch, Italian)
参加者が少ない Chinese=2, Dutch=1, Italian=1
全て知識ベースシステム おそらく語義タグ付きコーパスがない
DutchとItalianではMFSより良い ChineseではMFSより悪い
Multilingual WSD&EL (2015)タスク
WSDとEntity Linkingの混合 語義の定義: BabelNet 2.5.1
WordNet, Wikipedia, Wiktionary, OmegaWiki, Wikidata, Open Multi WordNet
3言語(English, Italian, Spanish)のパラレルコーパス 4つの文書(医療2、数学1、社会問題1) 1200 target instances / 言語
うち固有名詞は 80 instance 対象語は明示しない
参加システムは対象語を検出する必要がある
✓
✓
✓✓
✓
✓
✓ ✓
✓✓✓
✓
✓
✓ ✓
S
US,L
US,PUS,PPRUS,PPR
US,PPR
US
US,LUS,LUS,L
WS
USUSUS
S=supervised US=unsupervisedP=parallel corpus PPR=personalized PageRankL=Lesk-like
WS=weakly supervisedBabelNet first sense
US,PPRUS,PPRUS,PPR
US,PUS,L
US,PPRUS,PPRUS,PPR
US,PUS,LUS,LUS,LUS,L
US=unsupervised P=parallel corpus PPR=personalized PageRankL=Lesk-like
Multilingual WSD&EL (2015)考察
英語ではベースライン(BabelNet first sense)より悪い 有望なアプローチ
semantic signature Personalized PageRank (名詞、固有名詞) Lesk-like algorithm (動詞、形容詞)
参加者の多くは教師なし機械学習 DFKIのみが教師ありで、しかも英語タスクだけに参加 教師あり機械学習は多言語対応が困難
まとめAll-words taskでも教師あり機械学習が有望
語義タグ付きコーパスがあれば 教師なしはMFSよりも悪い
ただし、MFSも語義タグ付きコーパスが必要