sgn-4010 puheenkÄsittelyn menetelmÄt luento 1 18.1.2012

Download SGN-4010 PUHEENKÄSITTELYN MENETELMÄT Luento 1 18.1.2012

Post on 01-Jan-2016

28 views

Category:

Documents

2 download

Embed Size (px)

DESCRIPTION

SGN-4010 PUHEENKÄSITTELYN MENETELMÄT Luento 1 18.1.2012. TTY/Signaalinkäsittelyn laitos Katariina Mahkonen. Kurssin sisältö?. Miksi olet täällä? Mitä haluat oppia tällä kurssilla?. Kurssijärjestelyt (2). Materiaali: Pääasiallisena materiaalina luentomoniste - PowerPoint PPT Presentation

TRANSCRIPT

No Slide Title

SGN-4010 PUHEENKSITTELYN MENETELMTLuento 1

18.1.2012TTY/Signaalinksittelyn laitosKatariina Mahkonen1Miksi olet tll?

Mit haluat oppia tll kurssilla?

Kurssin sislt?2Name/Title of the presentation to be changed on the master page5.12.2007Materiaali:Pasiallisena materiaalina luentomonisteOsalla luentokerroista luentokalvot (Lislukemista kaipaaville: kurssikirja T.F. Quatieri, Discrete-Time Speech Signal Processing: Principles and Practice, Prentice Hall PTR, 2002)Harjoitustehtvt (5 tehtv / harjoituskerta)Tentiss prj osaamalla luentojen, harjoitusten, prujun ja kalvojen asiat

Thn toteutuskertaan liittyvt 3 tentti: 5.3.2012, 6.4.2012 ja viimeisen ajankohta on viel avoin, mutta ilmestyy kyll POP:iin aikanaan.

Kurssijrjestelyt (2)3Ryhmt:Pe 10-12, TC303Pe 12-14, TC303

Harjoitusryhmiin ei tarvitse ilmoittautua

Harjoitusryhmt4HarjoituskytntHarjoituksia 5 x 2h = 10h (alkavat viikolla 50)Pisteit jaossa kullakin kerralla 5p (eli yhteens 25 p)

Hyvksyttyyn tenttiin saa lispisteit seuraavasti: 10 harjoituspistett tai enemmn (40 %) => 1 piste 15 harjoituspistett tai enemmn (60 %) => 2 pistett 20 harjoituspistett tai enemmn (80 %) => 3 pistett l. arvosanan korotusTehtvi ei tarvitse ratkaista etukteen, mutta on suositeltavaa tutustua tehtviin ja ksiteltviin aiheisiin ennen harjoituksiin tuloa.

5Jotakin ihmisen puheentuottoelimistst

Artikulatorista fonetiikkaa eli nteiden luokittelua

Vhn fyysisest puheentuoton mallintamisesta: suoran putken akustiikkaa

Akustisten piirteiden signaalinksittelyllisi mritysmenetelmi:Lineaariprediktio, Autokorrelaatiomenetelm

Yleiskatsaus puhesynteesiin

6Name/Title of the presentation to be changed on the master page5.12.2007Kurssi on aiempina toteutuskertoina sisltnyt:Matemaattisia esitietojaOsaatko vastata seuraaviin kysymyksiin?

Mik on suodattimen impulssivaste/taajuusvaste? Miten signaaleiden konvoluutio lasketaan?

Mit eroa on FIR- ja IIR-suodattimilla?

Miten FFT lasketaan? Ent z-muunnos?

Mit ovat suodattimen nollat ja navat?

Asioita voi kerrata esim. kurssin SGN-1200 prujusta7Mit puheenksittely on?Tarkoittaa (loogisesti) puhesignaalin ksittely

Sovelluksia:Koodaus (esim. matkapuhelimet)Tunnistus (puheesta tekstiksi)Synteesi (tekstist puheeksi)Ehostus (laadun parannus)Muokkaus (muokataan nest toisenlainen)Puhujantunnistus (kuka puhuu)

Kytetn signaalinksittelyn menetelmiFourier-muunnos, ikkunointi, autokorrelaatio,...

Mys erityisesti puheelle soveltuvia menetelmiLPC-analyysi, Markovin piilomallit, pitch-synchronous overlap-add,...8Puhesignaalin koodausta (esim. matkapuhelimet) laadun parantamista: ymmrrettvyys, hiriiden poisto

muokkausta (tehdn nest toisenlainen)syntetisointia (tekstist puheeksi)puhujan tunnistusta (kuka puhuu)

kielellisen sislln tunnistus eli puheentunnistus (puheesta tekstiksi)

Puhesignaalinksittely on esimerkiksi:9Name/Title of the presentation to be changed on the master page5.12.2007PuheenkoodausDigitaalisen puheen pakkaaminen siirtoa tai tallennusta varten (esim. matkapuhelimissa), kaupallisesti trkein puheenksittelyn sovellus

Tavoitteet:Hyv subjektiivinen laatuPieni mr bittejPieni viiveNopea laskentaVirhesietoinenKest useamman perkkisen koodauksen

GSM-verkossa kytss AMR (adaptive multirate)-puhekoodekkiBittinopeudet 4.75...12.2 kbps

Ksitelln kurssilla SGN-4050 Puheenkoodaus10Mit on puheen laatu? -subjektiivistaSNR (Signal to Noise Ratio) on melko huono mittari.Esimerkki: ABE (Lhde: Juho Kontio, diplomity, TKK 2004)Laadun parannus11Name/Title of the presentation to be changed on the master page5.12.2007

Imitointi voice conversionMuokkaus12Name/Title of the presentation to be changed on the master page5.12.2007PuhesynteesiTekstist puheeksi

Tarvitaan tietoa puheesta ja kielest

Useita eri lohkojaTekstianalyysi: syntaktinen analyysi (subjekti, predikaatti yms.), numeroiden ja lyhenteiden laajennusFoneettinen analyysi: tekstist foneemeiksi (ntmyksen mukaiseen muotoon)Prosodia: painot, nteiden kesto, f0:n generointiSynteesi: puhesignaalin generointi edell olevan avulla

Eri synteesimenetelmi:Sntpohjainen synteesi (formanttisynteesi)Konkatenatiivinen synteesi (difonisynteesi, unit selection synteesi)Tilastollinen parametrinen synteesi (HMM-pohjainen)Artikulatorinen synteesi

13

Stephen Hawkins using TTS13Puhujantunnistus14Name/Title of the presentation to be changed on the master page5.12.2007PuheentunnistusPuheesta tekstiksi

Pitkt perinteet mutta vielkin osin ratkaisematon ongelma

Perustuu todennkisyyslaskentaanMill todennkisyydella = a?Mys kieli mallinnetaan tilastollisestiP(melko todennkinen lause)?Nm todennkisyydet yhdistetn

Ksitelln kursseilla SGN-4106 Speech Recognition ja SGN-4507 Speech Recognition Laboratory15

Puheen tuottaminen ja sen mallintaminen16Quatieri: Discrete Time Speech Signal Processing Principles and Practice

Puheen tuottaminen ja sen mallintaminen17Quatieri: Discrete Time Speech Signal Processing Principles and PracticeIkkunointiPuhetta ksitelln kehyksittin (frame) eli ikkunoittain

Toimii seuraavasti:

Sovellus: puheen perustaajuuden muuttaminenIdea: muutetaan puhujan perustaajuutta

Nk. PSOLA-algoritmi (pitch-synchronous overlap-add):Etsitn puheen perustaajuus soinnillisista kohdista (ei helppoa)Otetaan jaksoja hitaammin tai tihemminSummataan jaksot

PSOLAPraat:Boersma, Paul & Weenink, David (2008). Praat: doing phonetics by computer (Version 5.0.42) [Computer program]. Retrieved November 26, 2008, from http://www.praat.org/

Kytetn viikon 02/2009 harkoissa (siis 3. harkoissa)

Suomenkielinen Praat-opas:Mietta Lennes, Praat-opas 2004 http://www.helsinki.fi/puhetieteet/atk/praat/Praat: doing phonetics by computer21MATLAB-oppaita:http://www.helsinki.fi/~mjlaine/matlab/ (suomenkielinen)http://www.helsinki.fi/~mjlaine/matlab/matlab-primer.html

Praat:http://www.praat.org/ (ohjelma)http://www.helsinki.fi/puhetieteet/atk/praat/ (suomenkielinen opas)

Fonetiikka:Suomenkilinen fonetiikkasanasto: http://www.opiskelijakirjasto.lib.helsinki.fi/fonterm/IPA: http://www2.arts.gla.ac.uk/IPA/fullchart.htmlLinkkej22