dr. preslav nakov — combining, adapting and reusing bi-texts between related languages —...

Combining, Adapting and Reusing Bi-texts between Related Languages:

Application to Statistical Machine Translation

Preslav Nakov, Qatar Computing Research Institute(collaborators: Jorg Tiedemann, Pidong Wang, Hwee Tou Ng)

Yandex seminarAugust 13, 2014, Moscow, Russia

2

Plan

•Part I- Introduction to Statistical Machine Translation

•Part II- Combining, Adapting and Reusing Bi-texts between Related

Languages: Application to Statistical Machine Translation

•Part III- Further Discussion on SMT

3

Machine Translation:Hard or Easy?

4

Why is Machine Translation Hard?

•Word order- En: I want beer.- Tr: Ben bira istiyorum.

•Lexical ambiguity- Ru: Штирлиц топил печку. Через час печка утонула.

•Pronouns, coreference- Ru: Если ребенок не любит холодное молоко, сварите его.- En: If the baby does not like cold milk, boil it/him.

•Idioms- Ru: Петр приказал долго жить.- En: Peter kicked the bucket.

5

Why is Machine Translation Hard?

6

Natural Language is Ambiguous

7

Ambiguity in Russian: Idioms

8

Ambiguity in Russian: Names

9

Ambiguity in Russian: Stress

10

11

Russian Jokes about Stierlitz

•Штирлиц топил печку. Через час печка утонула.•Встретив гестаповцев, Штирлиц выхватил шашку и закричал: "Порублю!" Гестаповцы скинулись по рублю и убежали.•Штирлиц шёл по лесу и увидел голубые ели. Штирлиц присмотрелся и увидел, что голубые не только ели, но и пили.•Штирлиц подошёл к окну. Из окна дуло. Штирлиц закрыл окно. Дуло исчезло.

http://olgakagan.blog.com/2012/01/28/homonymy-in-russian-jokes-about-stierlitz/

12

Russian Jokes about Stierlitz

http://olgakagan.blog.com/2012/01/28/homonymy-in-russian-jokes-about-stierlitz/

•Штирлиц выстрелил в Мюллера в упор. Мюллер не упал. “Броневой,”- подумал Штирлиц.•Лампа светила, но света не давала. Штирлиц погасил лампу и Света дала.•Штирлиц шёл по лесу и наткнулся на сук. “Шли бы вы домой, девушки. Война всё-таки!”•Штирлиц лёг на гальку. Галька вскрикнула и убежала.•Штирлиц сел в машину. "Всё, можно трогать!"- сказал он. "Ого-го!"- потрогала Кэт.

13

When is Machine Translation Easy?

•Very closely related languages- similar word order, grammar

•Legal Texts- many repetitions

•Caterpillar English- simplified to make MT easy

14

Translating a European Convention: English Bulgarian

English (orig.) Human Translation Computer Translation

European Convention on Mutual Аssistance in Criminal MattersPreambleThe governments signatory hereto, being members of the Council of Europe, considering that the aim of the Council of Europe is to achieve greater unity among its members;believing that the adoption of common rules in the field of mutual assistance in criminal matters will contribute to the attainment of this aim;considering that such mutual assistance is related to the question of extradition, which has already formed the subject of a convention signed on 13th december 1957,have agreed as follows:

Европейска конвенция за взаимопомощ по наказателно-правни въпросиПреамбюлПравителствата, подписали тази конвенция, в качеството си на членове на Съвета на Европа,считайки, че целта на Съвета на Европа е да се постигне по-голямо единство между неговите членове,убедени, че приемането на общи правила в областта на правната помощ по наказателни дела ще допринесе за постигането на тази цел,считайки, че правната помощ е свързана с въпроса за екстрадицията, която вече бе предмет на конвенцията, подписана на 13 декември 1957 година, се споразумяха за следното:

Европейска конвенция за взаимопомощ по наказателно-правни въпросиПреамбюлПравителствата, подписали този протокол, членове на Съвета на Европа,

считайки, че целта на Съвета на Европа е постигането на по-голямо единство между своите членове,убедени, че приемане на общи правила в областта на правна помощ по наказателни дела ще допринесе за постигането на тази цел,считайки, че тази взаимна помощ е свързана с въпроса за екстрадиция, който вече е образувано предмет на конвенция, подписана в 13th декември 1957 година,се споразумяха за следното:

15

Adapting „Macedonian“ to Bulgarian„Macedonian” Human Translation Computer Translation

СКОПЈЕ, Македонија -- Според дипломатски извори, првата мировна мисија на ЕУ, која ќе биде распоредена во Македонија на 31-ви март, ќе го носи името Конкордија.Околу 27 земји навестија подготвеност да учествуваат во шестмесечната мисија.Се очекува македонскиот Парламент в среда (26-ти март) да го одобри нацрт договорот за статусот на силите на ЕУ, со кој на трупите на Унијата им се гарантира дипломатски статус и имунитет.Во вторникот, во меѓувреме, во Скопје започна меѓународна конференција за децентрализација, при што заменик-премиерот Муса Џафери го одржа воведниот говор.Во другите вести, претседателот Борис Трајковски за Утрински весник потврди дека експертски тим на министерствата за внатрешни работи и за одбрана ја завршил својата работа на првата национална стратегија за безбедност и одбрана.

СКОПИЕ, Македония -- Първата мироопазваща мисия на ЕС, която ще бъде разположена в Македония на 31 март, ще се нарича "Конкордия", съобщиха дипломатически източници.Тя ще продължи шест месеца. Около 27 страни са заявили желание да участват нея.Очаква се македонският парламент да одобри проекта на Споразумението за статута на силите в сряда (26 март), гарантирайки по този начин дипломатически статут и имунитет на съюзническия контингент.Междувременно, във вторник в Скопие започна международна конференция по въпросите на децентрализацията. Тя бе открита с реч на вицепремиера Муса Джафери.В други новини, президентът Борис Трайковски потвърди за Утрински весник, че екипът от експерти към министерствата на вътрешните работи и отбраната е завършил работата си по проекта за националната стратегия за сигурност и отбрана.

СКОПИЕ, Македония - Според дипломатически източници, първата мироопазваща мисия на ЕС, която ще бъде разположена в Македония на 31 март, ще носи името на Конкордия.

Около 27 страни намекнаха готовност да участват в шестмесечната мисия.

Очаква се македонският парламент в сряда (26 март) да одобри проект на споразумението за статута на силите на ЕС, с който на войниците на съюза да се гарантира дипломатически статут и имунитет.

Междувременно, във вторник в Скопие започна международна конференция, посветена на децентрализацията и вицепремиерът Муса Джафери изнесена изказването.

Други новини, президентът Борис Трайковски за Утрински вестник, че експертен екип на министерствата на вътрешните работи и отбраната е завършил работата си на първата национална стратегия за сигурност и отбрана.

16

Summary: Machine Translation Today

•Usable technology- Translation memories- Web translation- “Caterpillar” English

•New profession- post-editor

•MT will never replace human translators- Computers cannot be held legally responsible

17

Big CompaniesCare About SMT

18

SDL – First To Invest In SMT

19

Lionbridge Partners with IBM

20

Facebook Buys SMT Company

21

Old-Timer Systran Finds New Home

22

eBay Considers SMT To Open New Markets

23

Adobe Supports Open Source SMT

24

Intel Investigates MT

25

The Big Dream of NLP

Dave Bowman: “Open the pod bay doors, HAL”

HAL 9000: “I’m sorry Dave. I’m afraid I can’t do that.”

26

Future Directions

27

Two Important Directions

•Semantics

•Machine Translation

Critical for the overalladvancement of the field

Practical, within the reachof current technology

28

Two Important Directions

•Semantics

•Machine Translation

29

Semantics: Revolution is Needed?

•If we want the dream come true, we should- not rely on superficial statistics alone- need to get to the meaning of text

•A revolution in semantics is needed- looking at words is not enough- we need better models for

o multi-word expressions (~70% of terminology)o semantic relations (meaning is in the links!)

•The revolution will be supported by- Web-scale corpora- linguistic knowledge

“Moving Lexical Semanticsfrom Alchemy to Science”

Discussion on [Corpora-List]

• This is what Chomsky has done with syntax.• Should we expect the same for lexical semantics?

30

Two Important Directions

•Semantics

•Machine Translation

31

Machine Translation

•The task that started the whole NLP field

•The hottest research topic today

•High practical and economic expectations

32

Machine Translation: Evolution?

•Evolution?- Resource-poor language pairs- Morphologically rich languages

- Smarter Web-scale translation models

- Noisy inputo spoken languageo emails, chats, forums, Twittero poetry

33

Machine Translation: Revolution?

•Revolution?- Two great revolutions so far

o1993: statistical word-based translationo2003: statistical phrase-based translation

34

Machine Translation: Revolution?

•Revolution?- Two great revolutions so far

o1993: statistical word-based translationo2003: statistical phrase-based translation

- Overdue for the next revolution?o2013: ???

• Syntactic translation?• Semantic translation?

SOURCE TARGET

words words

syntax syntax

semantics semantics

interlingua

phrases phrases

35

Machine Translation: Revolution?

•Revolution?- Two great revolutions so far

o1993: statistical word-based translationo2003: statistical phrase-based translation

- Overdue for the next revolution?o2013: ???

• Syntactic translation?• Semantic translation?

SOURCE TARGET

words words

syntax syntax

semantics semantics

interlingua

phrases phrases

Or maybe a return of deep neural networks?• Already started a little revolution in speech recognition• Very strong results for SMT, best paper award at ACL’2014

(Devlin&al., ACL 2014)• Very strong results for semantics too (word embedding)

36

The Future?

Three words: Web, semantics, linguistics

and deep neural networks?

37

QCRI

38

Qatar

39

Qatar

40

Qatar

EMNLP 2014

41

Qatar

42

Qatar

43

Qatar

44

Vision and Mission

Become a world-leader in Arabic language technologies

Conduct innovative and strategic research and development

with local and global impact.

45

The ALT Research Areas

• Build strong foundation: Arabic NLP• 2 flagship projects • 3 supplementary focus areas

motivated by local needs

Mul

ti-lin

gual

La

ngua

ge P

roce

ssin

g:Tr

ansc

riptio

n an

dTr

ansl

ation

Sear

ch a

ndIn

form

ation

Extr

actio

n

Inte

racti

veQ

uesti

on A

nsw

erin

gD

oha

22

Educ

ation

alAp

plic

ation

s

Arabic NLP StackTools and Resources

Arab

ic

Opti

cal

Char

acte

rRe

cogn

ition

46

Dr. Preslav NakovSenior Scientist

Ahmed AliSenior Software Eng.

Abdulrahman GhanemSoftware Engineer

Dr. Kareem DarwishSenior Scientist

Dr. Stephan VogelPrincipal Scientist

Dr. Francisco GuzmanScientist

Dr. Walid MagdyScientist

Dr. Hassan SajjadScientist

Dr. Shafiq JotyScientist

Dr. AlessandroMoschittiSenior Scientist

Yifan ZhangSenior Software Eng

Dr Ahmed AbdelaliSenior Software Eng

Hamdy MubarakSenior Software Eng.

Dr. Lluis MarquezPrincipal Scientist

Dr. Ferda OfliScientist

The ALT Team

Fahad Al-ObaidliResearch Assistant

plus interns …

47

Machine Translationat QCRI

48

Speech Translation

News

Lectures

Meetings

49

Application: News Translation

•Objective: high quality speech recognition and translation•Enable video search•Collaboration with Aljazeera

http://alt.qcri.org/QCRI_Demo/Speech_Recognition.html

50

Application: Lecture Translation

•Objective: enable wider reach of educational material•Primarily English -> Arabic

51

Application: Meeting Translation

•Objective: real-time, low-latency translation•Flexible architecture based on cutting-edge technology

52

The Future: „Ubiquitous“ Translation

Google glass

Smart glass

صحح؟

53

Acknowledgments

•Used some slides by George Doddington, John Hutchins, Kevin Knight, Jonas Kuhn, Dan Klein, Philipp Koehn, Daniel Marcu, Drago Radev, Arturo Trujillo, Stephan Vogel, C. Wayne, Kenji Yamada, etc.