報告

要約 音声認識の誤りの傾向を利用して性能改善を図る新しい認識手法を開発した。本手法では，音声認識の統計的音響・言語モデルで計算される確率（認識される単語のもっともらしさ）に，単語の誤り傾向に応じた言語的なペナルティーを加算することで認識性能を改善する。言語的ペナルティーを統計的に推定したモデルを識別的言語モデルと呼ぶ。本手法の特徴は，正解文の与えられたデータ（音声認識した結果）のみから識別的言語モデルを学習するのではなく，正解文の付与されていないデータの認識結果を併用する学習方法（半教師あり学習）により，頑健な音声認識を可能にしたことである。本稿では，２種類の異なるデータから，識別的言語モデルの半教師あり学習をするために，多目的最適化と呼ばれる最適化手法を導入した。実験により，従来のトライグラム（単語３つ組）言語モデルに比べ，単語誤りを6.3％削減し，有効性を確認した。

ABSTRACT This paper describes a new method for language modeling, which reflects information about worderrors in automatic speech recognition（ASR）. The discriminative language model（LM）rewardsword hypotheses with high-correctness, while it penalizes those with low-correctness. Our newmethod is designed to improve the robustness of the LM obtained from manually transcribed（labeled）data in conjunction with ASR transcriptions（unlabeled data）. In order to incorporatedifferent information from the data, we introduce semi-supervised discriminative modeling, whichis formulated as a multi-objective optimization programming problem（MOP）. In transcribingJapanese broadcast programs, the semi-supervised-trained discriminative LM reduced the worderror rate by 6.3% compared with that achieved by a conventional trigram LM.

誤り傾向を利用した言語モデルによる音声認識

小林彰夫 奥 貴裕 今井 亨

Semi−Supervised Discriminative Language Modeling forBroadcast Transcription

Akio KOBAYASHI，Takahiro OKU and Toru IMAI

NHK技研 R&D/No.147/2014.9 45

ラベルありデータ

教師あり学習

教師なし学習

識別的言語モデル

識別的言語モデル

半教師あり学習識別的言語モデル

従来の手法

今回開発した手法

ラベルなしデータ

１．まえがき近年，統計的手法に基づく音声認識技術は，放送や会議の書き起こし，あるいは情報検索といったさまざまなアプリケーションで活用されている。NHKでは，音声認識技術を用いた字幕制作システムを開発し，生放送のニュースや情報番組を対象に運用している１）。音声認識は，人間の声を文字に変換する技術であり，字幕制作などの実用的アプリケーションの成否は，その性能（認識率）に大きく左右される。認識性能は，雑音などの音響的な条件，話者の話し方，話題などの条件に大きく依存するため，放送のような極めて多様な発話環境に適応することは，音声認識における大きな課題である。本稿では，このような音響的・言語的な要因に個別に対処するのではなく，音声認識結果に現れる単語の誤り傾向に着目して性能改善を図る。これは，音声認識をシステムとしてみたときの出力（単語列）の特性に着目し，どのような誤りが生じやすいのかといった認識誤りの大局的な傾向を統計的にモデル化することで実現される。このようなアプローチは一般に「識別学習」と呼ばれる。また，識別学習に基づいて作られた統計的言語モデルを「識別的言語モデル」と呼ぶ。識別的言語モデルを精度よく学習する（誤りの傾向を統計的にモデル化する）には，大量の音声データとその書き起こし（正解文，以下では正解ラベルまたは単にラベルと呼ぶ）が必要となるが，正解ラベルは人手により作成しなければならない。このため，正解ラベルが付与されたデータ（ラベルありデータ）を大量に用意することは，整備コストの面から困難である。一方，音声認識が出力する認識結果は，誤りを含むものの，人手によるコストがかからず自動的かつ大量に収集可能である。統計的モデルを頑健に学習するためには，これ

ら正解ラベルのないデータ（ラベルなしデータ）から得られる情報を有効に活用すべきであると考えられる。ラベルありデータとラベルなしデータを併用して統計的モデルを学習するアプローチは，一般に「半教師あり学習」と呼ばれる。統計的音響モデル＊１の学習では，これまでいくつかの半教師あり学習法が提案されているが２）３），統計的言語モデルではあまり研究例がない。本稿では，誤り傾向を反映した識別的言語モデルを半教師あり学習に基づいて構築する新たな手法と，音声認識における有効性について述べる。１図に本稿の概要を示す。従来の識別的言語モデルは，ラベルありデータからの教師あり学習，ラベルなしデータからの教師なし学習によりそれぞれ推定される。２章では識別的言語モデルの定義と，教師あり/教師なしの２つの学習方法（従来のモデル学習方法）について概説する。３章では，２つの学習方法を統合した新しい半教師あり学習方法について述べる。４章では，教師あり/教師なし/半教師あり学習で得られた識別的言語モデルを，音声認識実験により比較する。

２．誤り傾向を利用した識別的言語モデルと学習方法

2.1 音声認識音声認識では，ベイズ則に従って，入力音声 xから最ももっともらしい文 を推定する。

（１）

上式で，P（ w | x）は xが与えられたとき文仮説（正解

＊１ 人の声の特徴（周波数特性）を表した統計的モデル。

１図 本稿の概要

報告

NHK技研 R&D/No.147/2014.946

候補文）wが正解文である事後確率（条件付き確率）を表す。また，P（ x | w）は wが正解文であるときの，統計的音響モデルによる xのゆう度（音響的なもっともらしさ）を，P（ w）は統計的言語モデルによる wの生成確率（言語的なもっともらしさ）をそれぞれ表し，P（ x | w）とP（ w）の積が最大となる文仮説を認識結果として出力する。ただし， Pは Pを最大にする wを表す。

2.2 識別的言語モデル認識誤りの傾向を反映した識別的言語モデルでは，文仮説の事後確率を以下のように定める。

（２）

上式では，仮説の生成確率を

としている。Q（ w）は，単語 Nグラム（ N単語の連鎖確率に基づく統計的言語モデル）による文の生成確率である。また，fj（ w）（ j＝１, … , J）は単語列や単語を構成

そせい

する音素列によって定められる素性関数であり，文仮説を言語的に特徴づけるルールを表す。本稿では，素性関数fj（ w）を，wで生起した特定の単語列や音素列の数を返す関数＊２と定める。また，λj∈ Λは素性関数に対応した重みであり，この値によって音声認識の誤り傾向に応じたペナルティーが表現され，Nグラムによる文の生成確率Q（ w）が補正される。Z（ Λ）は，事後確率の総和を１とするための正規化項である。識別的言語モデルとは，（２）式の素性関数 fj（ w）および重みの集合Λを指す。識別的言語モデルでは，正解の可能性が高いと予想される単語には，従来の統計的音響・言語モデルによる確率の積に正の素性重み（λ＞０）が乗じられ，他の単語よりも大きな確率が与えられる。一方，誤りと見込まれる単語には，負の素性重み（λ＜０）が乗じられるため，認識結果として出力される可能性が減少する＊３。2.3 ラベルありデータに対する識別的言語モデルの

教師あり学習学習データとしてラベルありデータが与えられた場合の識別的言語モデルの学習（素性重みの推定）を「教師あり学習」と呼ぶ。本稿では，識別的言語モデルの学習にベイズリスクに基づく目的関数（重み推定のための関数）を用いる。ベイズリスクとは，音声認識の文仮説集合およびその事後確率から推定される誤り単語数の期待値であり，音

声認識の文仮説選択のための手法として広く使われている４）５）。いま，ラベルありの音声データxm（l）（ m＝１, … , M），音声データから得られた文仮説の集合 Gm，正解文 wmr

が与えられたとして，目的関数を以下のように定める６）。

（３）

上式で， は，Gmに含まれる文仮説 wと正解文（正解ラベル）wmr とのコスト（２つの文の間で相違する単語の数で，編集距離と呼ばれる）を返す関数である。（３）式を素性重みΛに関して最小化することにより，誤り傾向を反映した（期待誤りを最小化するような）最適な重みΛが得られる。（３）式の最小化では，一般に準ニュートン法＊４などの最適化手法が用いられる。準ニュートン法では目的関数の勾配（関数の値が減少または増加する向き）を必要とするが，その導出は紙数の都合により割愛する（詳細は文献６）

を参照）。2.4 ラベルなしデータに対する識別的言語モデルの

教師なし学習ラベルなしデータに対する統計的モデルの学習は，一般に教師なし学習とよばれる。識別的言語モデルにおける教師なし学習とは，ラベルなしデータに対してベイズリスクを最小化する学習法を指す。識別的言語モデルの教師あり学習における目的関数

（（３）式）は，ラベルなしデータに対する目的関数へと拡張できる７）。素性重みΛの教師なし学習では，正解ラベルが与えられない。そこで，文仮説を正解ラベルとみなすことにより，（３）式と同様の目的関数を定める。ラベルなしの音声データxn（u）（ n＝１, … , N），文仮説の集合 Gnが与えられたときに，目的関数を

（４）

＊２ 例えば，３単語から構成される単語列「きょう/の/ニュース」が文仮説中に含まれる数を返す関数として素性関数fを定める。このとき，文仮説w＝「きょう/の/ニュース/を/お/伝え/し/ます」に対してf（w）＝１となり，w＝「今晩/の/ニュース/を/お/伝え/し/ます」に対してはf（w）＝０となる。

＊３ 音声認識では通常，対数事後確率（（２）式の対数を取ったもの）に基づいて仮説を評価する。これを仮説の対数スコアと呼ぶ。

＊４ 関数の勾配情報に基づいて，反復的な手続きにより最小値（または最大値）を求める数値解析手法。

NHK技研 R&D/No.147/2014.9 47

とする。 （ w）は文仮説の事後確率で重み付けされたコスト関数であり，

（5）

で定める。w' は Gn に含まれる文仮説である。準ニュートン法により（４）式の最適化を図ることで教師なしモデルが学習される７）。

３．多目的最適化による言語モデル学習3.1 半教師あり学習ラベルありデータからの教師あり学習と，ラベルなしデータからの教師なし学習を組み合わせた学習方法は，一般に「半教師あり学習」と呼ばれる。本章では，ラベルあり/なしデータに対する学習方法を組み合わせた，新しい識別的言語モデルの半教師あり学習方法について述べる。半教師あり学習の目的は，大量のラベルなしデータからの情報を，教師あり学習で得られた識別的言語モデルに統合することにより，モデルの統計的な頑健性を向上させることにある。本章では，最適化手法の１つである多目的最適化の導入により，ラベルなしデータからの情報を識別的言語モデルに反映させる。多目的最適化では，複数の目的関数の最適化に関するトレードオフを認めることにより，妥協解（必ずしも最適ではない解）の集合を求める。妥協解の集合の中から，最も好ましい解を最適解とする。識別的言語モデルの学習では，最適解選択のためのデータ（開発データと呼ぶ）を学習データとは別に用意して，開発データに対して最小の単語誤り率となる素性重みΛを最適解とする。ここで，単語誤り率とは，正解文の単語総数に対する誤り単語の割合を表す音声認識における一般的な性能指標である。多目的最適化にはいくつかの手法があるが，本稿では，ε制約法８）に基づく多目的最適化を採用した。3.2 ε制約法に基づく半教師あり学習ε制約法では，２つある目的関数のうち一方を不等式制約として，不等式制約付き最適化問題に変換することで最適化を図る。ラベルなしデータに対する目的関数 Uを不等式制約としたときの，ラベルありデータに対する目的関数 Lの最適化は次のようになる。

（６）

ここでarg min Lは Lを最小化するΛを，subject toは制約条件を表す。また は，事前に定めた目的関数

Uの上限で，

（７）

により与えられる。αはスケーリング係数で，素性重みΛの初期値（すべての重み λj∈ Λの値が０）により与えられる目的関数の値U（0）よりもαU（0）が５から20％程度小さくなるように定める。また，ラベルありデータに対する目的関数 Lを不等式制約と置けば，（６）式と同様の最適化問題を定めることができる。（６）式の不等式制約付き最適化問題は，拡張ラグランジュ法＊５を用いて解くことができる９）。ただし，（６）式の目的関数 Lの最小化により得られる素性重み は，必ずしも Uを最小化する重みとは限らない（ Uに関しては，単に不等式制約 を満たせば良いため）。そこで，の値を変えながら複数の を妥協解として求めておき，その中から開発データの単語誤り率を最小とする素性重みを最適解として選ぶ。

４．認識実験4.1 実験条件半教師あり学習に基づく識別的言語モデルを用いた実験の概要を２図に示す。まず，放送音声を認識して文仮説（認識結果）集合を求め，正解ラベルがある場合にはラベルありデータ，ない場合にはラベルなしデータとして，それぞれ学習データを得る。次に，ラベルあり/なしデータから，単語または音素の N個組から構成される素性関数を抽出する。そして，学習データと素性関数を用いて半教師あり学習に基づく識別的言語モデルを学習する。識別的言語モデルを用いた音声認識による評価では，統計的音響・言語モデルに識別的言語モデルを加えて音声認識を行い，認識結果を出力する。音声認識で用いた統計的音響モデルは，放送ニュース650時間から，音素誤り最小化（識別学習の一手法）に基づいて学習した10）。統計的言語モデルは，トライグラム（単語３つ組の連鎖確率）とし，放送ニュースの書き起こしやニュース原稿などのテキストデータ（計2.4億語）から学習した。また，語彙（認識可能な単語）の大きさを10万とした。評価データはNHKの30分の報道番組（「クローズアップ現代」）２回分とした。この番組は，主に番組キャスターとゲストによる特定の話題に関する対談や，ビデオ素材の

＊５ 制約条件を目的関数に取り込んだ，関数最適化のための解析手法。識別的言語モデルの半教師あり学習に適用した場合の具体的解法は，後述の原著論文を参照のこと。

報告

NHK技研 R&D/No.147/2014.948

放送音声（学習データ）

ラベルなしデータ（音声認識結果のみ）

ラベルありデータ（音声認識結果＋正解文）

正解文

放送音声（評価データ）

音声認識結果

学習 評価

音声認識 半教師あり学習識別的言語モデル

素性関数

統計的音響モデル

統計的言語モデル　

音声認識

ナレーションが含まれる。１表に，評価データの文章数と単語数を示す。２表に，識別的言語モデルの学習で用いたラベルありデータとラベルなしデータの時間数，発話数，単語数を示す。ラベルありデータは，評価データと同じ番組の他の放送回の音声を用いた。ラベルなしデータは，ニュースの特定の話題に関する対談や討論を含む，NHKのさまざまな放送音声から収集した。３表に，ラベルありデータ，ラベルなしデータの文仮説集合から収集した素性関数の数を示す。本実験では，単語２つ組，３つ組および音素２つ組，３つ組に基づく素性関数を用いた。

識別的言語モデルの半教師あり学習における目的関数の最小化には，準ニュートン法の一種であるL-BFGS（Limited -memory Broyden - Fletcher - Goldfarb -Shanno）アルゴリズムを用いた11）。準ニュートン法による素性重みの推定は繰り返し行われるが，繰り返し回数は評価データと異なる開発データを用いて実験的に定めた。不等式制約（（７）式）におけるαの値は0.80から0.95まで変えて実験を行った。4.2 実験結果３図に評価データに対する音声認識実験結果を示す。実験では，次の言語モデル/識別的言語モデルを比較した。① ベースライン：識別的言語モデルを使わずに評価② 教師あり学習：（３）式に基づく教師あり学習で得た識別的言語モデルによる評価

文章数 単語数

評価データ 551 7.0k

時間数 発話数 単語数

ラベルあり 58.6 26k 697.5k

ラベルなし 344.1 218.6k 2.84M

素性関数 素性関数の数

音素2音素 1.3k

3音素 12.9k

単語2単語 731.9k

3単語 1859.6k

２図 音声認識実験の概要

１表 評価データ ３表 素性関数

２表 半教師あり学習用データ

NHK技研 R&D/No.147/2014.9 49

ベースライン 教師あり学習

半教師あり学習

単語誤り率（%）

22.3 22.3

21.5

20.9

19.5

20.5

21.5

22.5

教師なし学習

③ 教師なし学習：（４）式に基づく教師なし学習で得た識別的言語モデルによる評価

④ 半教師あり学習：（３）式と（４）式を統合した半教師あり学習で得た識別的言語モデルによる評価

教師あり学習による識別的言語モデルの実験結果は，単語誤り率22.3％となり，ベースラインの結果（22.3％）に対して誤りが削減されなかった。ラベルありデータの量が不十分であったため，統計的に頑健な識別的言語モデルを学習できなかったと考えられる。教師なし学習による識別的言語モデルの実験結果は，単語誤り率21.5％となり，教師あり学習の結果よりも大きく誤りが削減されている。ラベルなしデータの総量（344.1時間）は，ラベルありデータ（58.6時間）に比べて約６倍と大きく，より頑健なモデルが学習されたことが原因と考えられる。半教師あり学習による識別的言語モデルの実験結果では，単語誤り率が20.9％となり，ベースラインに対する単語誤り削減率（単語誤りを削減した割合）が6.3％となっ

た。統計的検定12）を行ったところ，本手法による単語誤りの削減は，危険率５％で有意となり，有効性が確認された。また，半教師あり学習は，教師あり/なし学習よりも誤りを削減している。このことから，本稿の半教師あり学習方法は，ラベルあり/なしデータからの単語の誤り傾向の情報を，相補的に識別的言語モデルに反映する効果的な方法と考えられる。

５．あとがき本稿では，ラベルありデータで学習された識別的言語モデルの頑健性向上のための半教師あり学習方法について述べた。識別的言語モデルは，単語列や音素列などの言語的な特徴を表す素性関数とその重みから構成される。識別的言語モデルの半教師あり学習では，多目的最適化手法を適用することにより，ラベルなしデータからの情報を反映した頑健な識別的言語モデルを推定した。実験から，今回開発した半教師あり学習に基づく識別的言語モデルにより，音声認識の誤りが有意に削減されることを確認した。本稿は文献13）と密接に関連するため，詳細については当該文献と併読されることを勧める。なお，本稿の元になった文献７）の執筆にあたっては，豊橋技術科学大学リーディング大学院教育推進機構中川聖一特任教授から，手法の妥当性や実験，考察に至る一連の研究に関して多大なご指導をいただいた。紙面を借りてあらためて感謝申し上げる。

本稿は，IEICE Trans. Inf. & Syst．に掲載された以下の論文を元に加筆・修正したものである。A. Kobayashi，T. Oku，T. Imai and S. Nakagawa：“Risk-Based Semi-Supervised Discriminative Language Model-ing for Broadcast Transcription，”IEICE Trans. Inf. &Syst.，Vol.E95-D，No.11，pp.2674-2681（2012）

３図 音声認識実験の結果

報告

NHK技研 R&D/No.147/2014.950

参考文献 1） 本間，小林，奥，佐藤，今井，都木：“ダイレクト方式とリスピーク方式の音声認識を併用したリアルタイム字幕制作システム，”映情学誌，Vol.63，No.3，pp.331-338（2008）

2） J. T. Huang and M. Hasegawa-Johnson：“Semi-supervised Training of Gaussian Mixture Models byConditional Entropy Minimization，”Proc. Interspeech，pp.1353-1356（2010）

3） X. Liu，J. Huang and J. T. Chien：“Multi-view and Multi Objective Semi-supervised Learning for LargeVocabulary Continuous Speech Recognition，”Proc. ICASSP，pp.4668-4671（2011）

4） V. Goel and W. Byrne：“Minimum Bayes-risk Automatic Speech Recognition，”Computer Speech andLanguage，Vol.14，pp.115-135（2000）

‥5） R. Schluter，M. Nussbaum-Thom and H. Ney：“On the Relation of Bayes Risk，Word Error，and WordPosteriors in ASR，”Proc. Interspeech，pp.230-233（2010）

6） 小林，奥，本間，佐藤，今井，都木：“単語誤り最小化に基づく識別的リスコアリングによるニュース音声認識，”信学論D，Vol.J93-D，No.5，pp.598-609（2010）

7） A. Kobayashi，T. Oku，S. Homma，T. Imai and S. Nakagawa：“Lattice-based Risk MinimizationTraining for Unsupervised Language Model Adaptation，”Proc. Interspeech，pp.1453-1456（2011）

8） R. T. Marler and J. S. Arora：“Survey of Multi-objective Optimization Methods for Engineering，”Structural and Multidisciplinary Optimization，Vol.26，pp.369-395（2004）

9） J. Snyman：Practical Mathematical Optimization，Springer（2005）

10）D. Povey and P. C. Woodland：“Minimum Phone Error and I-smoothing for Improved DiscriminativeTraining，”Proc. ICASSP，pp.I-105-108（2002）

11）D. Liu and J. Nocedal：“On the Limited Memory BFGS Method for Large Scale Optimization，”Math.Programming，Vol.45，No.3，pp.503-528（1989）

12）L. Gillick and S. Cox：“Some Statistical Issues in the Comparison of Speech RecognitionAlgorithms，”Proc. ICASSP，pp.532-535（1989）

13）小林，奥，本間，佐藤，今井，都木：“単語誤り最小化に基づく識別的リスコアリングによる音声認識，”NHK技研R&D，No.131，pp.28-39（2012）

こばやしあ き お

小林彰夫おく たかひろ

奥 貴裕

1991年入局。岡山放送局，広島放送局を経て，1996年から放送技術研究所において，音声認識の研究に従事。現在，放送技術研究所ヒューマンインターフェース研究部主任研究員。博士（工学）。

2003年入局。放送技術局を経て，2007年から放送技術研究所において，音声認識，話者識別の研究に従事。現在，放送技術研究所ヒューマンインターフェース研究部に所属。

いま い とおる

今井 亨

1987年入局。大阪放送局を経て，1990年から放送技術研究所において，音声認識の研究に従事。技術局計画部を経て，現在，放送技術研究所研究企画部部長。博士（情報科学）。

NHK技研 R&D/No.147/2014.9 51