同時通訳データを利用した自動同時通訳システムの構築

NAIST AHCLAB

同時通訳データを利用した自動同時通訳システムの構築

☆清水宏晃，Graham Neubig，Sakriani Sakti，

戸田智基，中村哲(奈良先端大)

/16

背景：自動音声翻訳

－ある言語を音声を異なる言語の音声に翻訳する技術

自動音声翻訳の問題点

－旅行会話文のような短い発話に対応

－講演のような長い発話には未対応

背景と目的

2013©Hiroaki Shimizu AHC-Lab, IS, NAIST 2

音声認識

機械翻訳

音声合成時間

長い発話を自動的に同時通訳するシステムを構築

研究目的

/16

同時通訳の特徴：時間の制約が強い環境下

１）長い発話を分割 [Jones 02]

２）並び替えが少ない訳出 [遠山+ 03]

同時通訳とは

通訳の種類


通訳逐次通訳：発話終了後に通訳を開始

同時通訳：発話途中に通訳を開始

A because

B A

A なぜならば

原言語：

翻訳：

同時通訳：

だから

B

B

/16

関連研究と問題点

発話の分割 [Ryu+ 04][Bangalore+ 12][Fujita+ 13]

－同時通訳者のように長い発話を分割する手法

関連研究の問題点


音声認識

翻訳

合成時間

翻訳翻訳

合成合成

原言語文

機械翻訳システム

目的言語文

学習翻訳データ

学習に翻訳データ（翻訳者が作成したデータ）の使用

/16

アプローチ


原言語文

機械翻訳システム

同時通訳データ

同時通訳のような目的言語文

学習

翻訳データ

学習に同時通訳データ（同時通訳者の通訳データ）を使用

通訳者のように訳出する同時通訳システムの構築

本発表

－同時通訳データの収集

－学習に同時通訳データの使用

発表内容

/16

同時通訳データの収集


収録材料：TED講演（英語⇒日本語）＜理由＞

－翻訳（字幕）と同時通訳の

違いを比較

同時通訳者：通訳経験年数の異なる3名

＜理由＞

－通訳者同士の上手さを比較

－自動同時通訳システムと

通訳者のレベルを比較

ランク通訳経験年数

Ｓ 15年

Ａ 4年

Ｂ 1年

/16

同時通訳データの例

同時通訳データの書き起こし例

通訳経験年数の異なる同時通訳データ

(原言語) you have been digitally preserved in about four minute


0001 - 00：44：107 - 00：45：043

本日は<H>

0002 - 00：45：552 - 00：49：206

みなさまに(F え)難しい話題についてお話したいと思います。

Sランク：

4分間ほどみなさんの様子がデジタル的に記録されています

Aランク：

デジタルで皆さん保存されました本当に数分の内にです

Bランク：

皆さんはデジタル的に数分間の間に保全されたのです

/16

適応１：機械翻訳システムの学習


機械翻訳システム構築時の３つの過程に同時通訳データを利用

１）チューニング：各モデルのパラメータ調整

－同時通訳のような訳出

２）言語モデルの学習：出力文のスタイルに影響

－同時通訳に近い語順

３）翻訳モデルの学習：翻訳するフレーズに影響

－同時通訳に使用されるフレーズ

同時通訳者に近い訳出の期待

/16

右確率を用いた文分割法 [Fujita+ 13]

－右確率を用いて、分割位置を自動的に決定する手法

－閾値によって分割位置を調整

－閾値1.0のときは、文単位

－閾値0.0のときは、フレーズ単位

右確率の学習に同時通訳データを用いる理由

適応２：文分割法の学習


精度の維持と分割位置の増加による

遅延時間短縮の期待

A because

B A

A なぜならば

原言語：

翻訳：

同時通訳：

だから

B

B [遠山+ 03]

/16

実験設定

実験手法

－適応１：機械翻訳システムの学習

－適応２：右確率の学習

－同時通訳者と同時通訳システムの比較

タスク

－ TED講演（英語⇒日本語）

評価方法

－翻訳精度 BLEU：一般的に広く使用されている尺度

RIBES：文全体の大局的な単語の並びに注目した尺度

－遅延時間：発話の開始から翻訳の開始までの処理時間

（音声認識、音声合成の処理時間は考慮せず）

データ

－正解データは同時通訳データ

－同時通訳データはＳランクのデータのみを使用


/16

結果：機械翻訳システムの学習


フレーズ単位

文単位

遅延時間の短縮

同時通訳

に近い訳出

精度の向上

/16

結果：機械翻訳システムの学習


D: 2.08

BLEU: 8.39

D: 5.23

BLEU: 7.81

遅延時間が短縮し，通訳者に近い訳出結果

/16

結果：右確率の学習


＜考察＞

同時通訳データのサイズ（同時通訳）

－同時通訳データの形態素数：29.7k

－翻訳データの形態素数：1.57M

同時通訳データなし

同時通訳データあり

同時通訳データを追加しても変化せず

/16

同時通訳者とシステムの比較実験

実際の同時通訳者とシステムの性能を比較

－同時通訳データを利用した同時通訳システム

－Ａランク（通訳経験年数4年）

－Ｂランク（通訳経験年数1年）


/16

結果：同時通訳者とシステムの比較


Ｂランクの通訳者（通訳経験年数1年）と同等の性能

D: 2.06

RIBES: 44.59

D: 2.17

RIBES: 45.59 Bランク

Aランク

/16

まとめ

本発表

－通訳者のように訳出する自動同時通訳システムの構築

提案

－同時通訳データの収集

－学習に同時通訳データの使用

結果

－遅延時間が短縮し，同時通訳者に近い訳出

－通訳経験年数1年の同時通訳者と同等の性能

今後

－自動同時通訳システムの主観評価


/16

結果：機械翻訳システムの学習 (RIBES)


/16

結果：同時通訳者との比較 (BLEU)


/16

翻訳例


原言語 the next slide i show you will be a rapid fast forward of what’s happened over the last 25 years

正解文（Sランクの同時通訳）

この25年間に何が起こったかというのを早送りで見せたいと思います

Baseline (右確率 1.0)

次のスライドをお見せしますが急速に進んで何が起こったのです過去25年間

TM+LM+Tu (右確率 1.0)

次のスライドをお見せしますがこの25年間に起こったのです

/16

使用したデータ


/16

分割された翻訳単位数


同時通訳データを利用した自動同時通訳システムの構築

Technology