CURRICULUM VITAE of THOMAS PELLEGRINI  Name: Thomas Aurélien Pellegrini 

Professional address: IRIT ­ UPS, 118 Route de Narbonne, 31062 

TOULOUSE CEDEX 9, FRANCE 

Tel.: (+33) 05 61 55 72 01 

e­mail: pellegri@irit.fr 

Skype: thomas.pellegrini.cavaco 

Sex: M Birthdate: 07/11/1978 Nationality: French  

  Summary  Since September 2013, I am an Assistant Professor in Computer Science at Université Toulouse III –                               Paul Sabatier, in Toulouse, France. My research interests concern Speech Technologies and                       Computational Analysis of Music in general. I have a strong background in Automatic Speech                         Recognition and applications, such as Computer­Assisted Language Learning (pronunciation assessment                 and automatic generation of exercises). I am interested in applying and adapting speech techniques to                           music processing and human­computer interaction (gesture recognition for musical interactions).   Work Experience  

Sept. 2013 – (current position)  Associate Professor at Université Toulouse III – Paul Sabatier 

Sept. 2008 – Aug. 2013  Post­doctoral researcher at INESC­ID Spoken Language Systems

Laboratory (L2F, head: Prof. Isabel Trancoso), Lisbon, Portugal 

Sept. 2012 – June 2013  Teaching assistant part­time at ISLA Campus Lisboa (Laureate 

International Universities), Lisbon, Portugal 

Sept. 2008 – June 2008  Teaching assistant part­time at Université Paris IV – La Sorbonne in

Computer Science 

 

       

Education and Training  April 2008  PhD in Computer Science with honours, 

LIMSI­CNRS, Paris­Sud University 

Title: ''Automatic speech recognition for less­resourced languages'' 

Defended on April, 11th 2008 

Supervisor: PhD Lori Lamel 

Jury: Laurent Besacier (rapporteur), Jim Glass (rapporteur), Lori Lamel 

(supervisor), Isabel Trancoso (examinatrice), Edouard Geoffrois 

(examinateur), Joseph Mariani (examinateur) 

Funding: DGA fellowship 

June 2003  Masters degree in Acoustics, Signal Processing and Computer Science with

Application to Music, DEA ATIAM at IRCAM, Paris and Université Pierre

et Marie Curie 

June 2003  Engineering degree in Physics, from the École Supèrieure de Physique                 

Chimie Industrielles de Paris (ESPCI), http://www.espci.fr 

 Workshops and summer schools  2013  

Tutor for the labs in Python of the summer school LxMLS: Lisbon Machine                       Learning School, “Learning with Big Data”, Instituto Superior Técnico,               Lisbon, July 2013  

2011 (attendee)  

Workshop “Game development in HTML5”, online course organized             W3C (http://openmediaweb.eu). 4 modules in one month, with               objective to learn how to develop multi­player games using HTML5, CSS3,                   and Javascript  Workshop (4 hours): “Using Microsoft Kinect’s SDK to develop               videogames”, 4th conference in science and art for videogames, Porto  LxMLS: Lisbon Machine Learning School, “Learning from the Web”,               Instituto Superior Técnico, Lisboa, Julho 2011. Automatic learning, with               focus on the Web and the Natural Language Processing technologies  Workshop “More than words can say: prosodic analysis techniques and                 applications”, Interspeech 2011, Florence, Italy  

2006 (attendee)  

Workshop (12 hours) 

“Captation et capteurs” (sensors), about interactive systems in art, with                 focus on gesture sensors, IRCAM, Paris (http://www.ircam.fr) Workshop (8 hours) “physical computing”: interfaces such as Arduino Centre de resources Art sensible, Mains d’oeuvre, Paris (http://www.mainsdoeuvres.org)  Workshop (8 hours) Audio programming in Pure Data (Pd: http://puredata.info) Centre de resources Art sensible, Mains d’oeuvre, Paris (http://www.mainsdoeuvres.org)  Summer school “Voice, Speech and Language” (“Voix, parole               langage”). Multi­disciplinary school about Spoken Language processingCorsica, France, 4 ­ 9 June 2006  

 

Personal Skills  

Computer Science  ASR: HTK, Sphinx, Julius Audio processing: Matlab Multimedia: notions of Pure Data and Kinect programming  

Programming: C, C++, Java Interpreted languages: Perl, python Working platforms: Linux and Mac OS (bash scripting) Web: HTML5, Javascript and PhP Databases: notions of MySQL  

 Language skills  French (mother tongue)  

English (spoken, written, read) Portuguese (spoken, written, read) Notions of Spanish and German  

            

   Speech community activities  

Membership  

Member of the International Speech Communication Association (ISCA)since 2007 IEEE Member since 2013  

Reviewer  Journals: IEEE Transactions on Audio Speech and Language Processing  Speech Communication  Conferences: IEEE ICASSP: International Conference on Acoustic Speech and SignalProcessing INTERSPEECH: Annual conference of the International Speech 

Communication Association  ACL: Association for Computational Linguistics 

Event organization  

Co­organizer of the meeting of young researchers in speech (Rencontres jeunes chercheurs en parole), Paris, France, supported by the French association of the spoken communication (AFCP), 5­6 June2007 

 

  Projects and research contracts  ● Ongoing Projects  ­ DIADEMS Description, Indexation, Access to Sound and Ethnomusicological Documents http://www.irit.fr/recherches/SAMOVA/DIADEMS/ Period: Jan. 2013 – (ongoing) Type: ANR, French national project ­ Unsupervised segmentation into homogeneous segments, singer and music turns ­ Characterization of instrument categories 

Past project coordination (1 Portuguese national, 1 international)  ­ AVoz: Models for automatic speech recognition (ASR) for the Elderly  http://avoz.l2f.inesc­id.pt Dates: January 2012 – December 2013 Type: FCT (national Portuguese founding)  Role: leader researcher  

­ Elderly speech data collection  ­ Aging characterization on speech  ­ Automatic classification of age ­ Acoustic model adaptation to improve ASR performance   ­ METANET4U  http://metanet4u.eu Period: January 2011­ January 2013 Type: European, Information and Communication Technology Policy Support Programme (ICT PSP)  Role: leader researcher ­ Speech Technologies for the romance languages ­ Study of the state­of­the­art Technologies for Portuguese ­ Corpora collection and distribution  ­ Administrative management  

Participation in past International projects (3)  ­ Eu­TV http://www.eutvweb.eu Period: 2010­2012 Type:  European, FP7­SME ­ Automatic Speech Recognition models for British English ASR  ­ LIREC http://www.lirec.eu Period: 2008­2012 Type: European , FP7 ­ Comparison between ASR publicly available systems  ­ Vidivideo Period: 2007­2010 Type: European, FP7 ­ Audio event detection in movies and TV programs by using Support Vector Machines (SVM) ­ Clustering algorithms to optimize training subsets  Participation in past National Portuguese projects (1)  ­ REAP.PT Period: 2009­2012 Type: FCT CMU­PT ­ Development of speech processing tools for computer­assisted learning of European Portuguese  ­ Automatic generation of multimédia learning material  http://call.l2f.inesc­id.pt/daily­reap.pt ­ Online serious game development   

Teaching duties  2012 ­ 2013  

Part­time lecturer at ISLA Campus Lisboa (Laureate International Universities,               http://www.isla.pt)  Duties: 4 hours per week Semestre 1: Mathematics for 1st year undergraduate students of Management                 Informatics (Licenciatura de Informática de Gestao), and of Information               systems, Web and Multimedia (Licenciatura SIWM) Total: 50 hours, 40 students Production of teaching material: slides, code, exercises, and tests  Semester 2: Course of Multimedia technology for undergraduate students in                 2nd year of the SIWM Licenciatura: focus on HTML5 and CSS3 Production of teaching material: slides, code, exercises, and tests  

2009  

Seminar about statistical language models for the PhD candidates in Speech                   Processing of INESC­ID   

2007­2008  

Part­time professor at Université de Paris – La Sorbonne, afilited to the research group Language, Logic, Computer Science, Cognition (LaLIC)  http://lalic.paris­sorbonne.fr  Total annual duties: 96 hours, both theorical and practical teaching  Details:  ­ Certificate in Informatics and Internet (C2I):  5 hours of magistral classes (100 students) about the basics of multimedia                       audio processing, 48 hours of practicals about computer architecture, notions                 of programming (data types, search algorithms), Web and multimédia. Teaching material production: slides, exercises  ­ Advanced programming in C++  24 hours of both theoretical and practical classes for Master students                   Computer science and Language processing (Informatique et ingénierie de               langue pour la Gestion de l’information ­ IILGI). Teaching material production: slides, exercises, code, tests  ­ Distributed programmation in Java  24 hours of both theoretical and practical classes for the same Master students                       as above Teaching material production: slides, exercises, code, tests  ­ Basics of Java programming 18 hours of practicals for 2nd and 3rd years undergraduate students                     “Languages and Information Technology” Teaching material production: slides, exercises, code, tests 

 2008  

Volunteer to teach basic skills in informatics (Web, document edition)                   center for female victims, 30 hours  

2006­2007  ­ Digital audio processing  24 hours of both theoretical and practical classes Professional Master M2 of Computer Science of Paris Sud ­ Orsay https://www.dep­informatique.u­psud.fr/en Teaching material production: slides, exercises, code, tests  ­ C++ Programming 22.5 hours of practicals University Technological Institute of Orsay http://www.iut­orsay.u­psud.fr Teaching material production: slides, exercises, code, tests  

2005­2006  

­ C++ Programming 50.5 hours of practicals University Technological Institute of Orsay http://www.iut­orsay.u­psud.fr Teaching material production: slides, exercises, code, tests  

 Student orientation and Jury   

Jan 2014  “ASR for the Elderly: speech data collection via a Wizard­of­Oz platform”                   Vahid Hedayati, Master in computer science of Instituto Superior Técnico,                   an FCT fellowship  

June 2013  “Revisão do módulo de transcrição fonética para implementação               sintetizador de fala da empresa Verbio Technologies SL”, Manoela Ramalho,                 Mestrado Internacional em Processamento de Linguagem Natural e Indústrias               da Língua, Universidade do Algarve – Universidade Autónoma de Barcelona 

June 2012  “An Evaluation of Automatic Speech Recognition in the Spanish Version ofWindows 7: Effects of Language Variety, Speaking Style and Gender”, MariaSoledad López Gambino, Mestrado Internacional em Processamento de Linguagem Natural e Indústrias da Língua, Universidade do Algarve – Universidade Autónoma de Barcelona  

June 2011  “Movie audio description” Virgínia Maria Martins Barbosa, Master             computer science of Instituto Superior Técnico. This thesis gave a paper in                     IEEE conference 

List of publications  International journals (3)  2013 

 T. Pellegrini, R. Correia, I. Trancoso, J. Baptista, N. Mamede, M. Eskenazi, ASR­based                         exercises for listening comprehension practice in European Portuguese, in Computer                   Speech & Language, ISSN 0885­2308, 10.1016/j.csl.2013.02.004, August 2013, Vol.                 27:5, Pages 1127–1142  2009  T. Pellegrini, L. Lamel, Automatic word decompounding for ASR in a                     morphologically rich language: application to Amharic, IEEE Transactions on Audio,                   Speech and Language Processing, Volume 17:5, pp. 863­873 (Impact Factor: 1.498)  2002  J.­F. Aubry, D. Cassereau, M. Tanter, T. Pellegrini, M. Fink, Skull surface detection                         algorithm to optimize time reversal focusing through a human skull, in Ultrasonics                       Symposium, 2002. IEEE Volume 2:8­11, pp. 1451­1454   International conferences in Book Series (2)  2012  T. Pellegrini, I Trancoso, A. Hämäläinen, A. Calado, M. Sales Dias, D. Braga, Impact of                             Age in ASR for the Elderly: Preliminary Experiments in European Portuguese, in                       Communications in Computer and Information Science Book Series, vol. 328, November                     2012, Springer, pp.139­147   2011  T. Pellegrini, I. Trancoso, Error detection in Broadcast News ASR using Markov                       Chains, In Lecture Notes in Computer Science Book Series, Springer, vol. 6562 2011,                         pp. 59­69  International conferences with proceedings (23)  2014  T. Pellegrini, P. Guyot, B. Angles, C. Mollaret, and C. Mangou, Towards soundpainting                         gesture recognition, in Proc. of AudioMostly, Aalborg, October 2014  T. Pellegrini, L. Fontan, J. Mauclair, J. Farinas, M. Robert, The Goodness of                         Pronunciation algorithm applied to disordered speech, in Proc. Interspeech, Singapore,                   September 2014  M. Thlithi, T. Pellegrini, J. Pinquier, R. André­Obrecht, Segmentation in singer turns with                         the Bayesian Information Criterion, in Proc. Interspeech, Singapore, September 2014  

T. Pellegrini, V. Hedayati, I. Trancoso, A. Hämäläinen, M. Sales Dias, Speaker age                         estimation for elderly speech recognition in European Portuguese, in Proc. Interspeech,                     Singapore, September 2014  J.P. Cabral, N. Campbell, S. Ganesh, E. Gilmartin, F. Haider, E. Kenny, M. Kheirkhah, A.                             Murphy, N. Ní Chiaráin, T. Pellegrini, O. Rey Orozko, MILLA Multimodal Interactive                       Language Learning Agent, In Proc. SemDial, Edinburgh, September 2014  A. Hämäläinen, H. Cho, S. Candeias, A. Abad, T. Pellegrini, H. Meinedo, M. Tjalve, I.                             Trancoso, M. Dias, Correlating ASR Errors with Developmental Changes in Speech                     Production: A Study of 3­10­Year­Old European Portuguese Children’s Speech, in                   Proc. 4th Workshop on Child Computer Interaction, Singapore, September 2014  M. Thlithi, T. Pellegrini, J. Pinquier, R. André­Obrecht, P. Guyot, Application du critère                         BIC pour la segmentation en tours de chant, in Proc. JEP, Le Mans, June 2014  J. Mauclair, T. Pellegrini, M. Le Coz, M. Robert, P. Gatignol, Caractérisation                       acoustico­phonétique de parole provenant de patients atteints de paralysies faciales,                   in Proc. JEP, Le Mans, June 2014  T. Pellegrini, V. Hedayati and A. Costa, El­WOZ: a client­server wizard­of­oz                     open­source interface, In Proc. LREC, Reykyavik, June 2014  A. Hämäläinen, H. Cho, S. Candeias, T. Pellegrini, A. Abad, M. Tjalve, I. Trancoso, M.                             Dias, Automatically Recognising European Portuguese Children's Speech:             Pronunciation Patterns Revealed by an Analysis of ASR Errors, To appear in Proc.                         PROPOR, São Carlos, 2014  A. Hämäläinen, H. Meinedo, M. Tjalve, T. Pellegrini, I. Trancoso, M. Dias, Improving                         Speech Recognition through Automatic Selection of Age Group Specific Acoustic                   Models, in Proc. PROPOR, São Carlos, 2014    2013  T. Pellegrini, A. Hämäläinen, P. Boula de Mareüil, I. Trancoso, S. Candeias, M. Sales                           Dias, D. Braga, A corpus­based study of elderly and young speakers of European                         Portuguese: acoustic correlates and their impact on speech recognition                 performance, in Proc. Interspeech 2013   2012  I. Trancoso, A. Abad, T. Pellegrini, Speech Technologies Applied to eHealth and                     eLearning, In Oriental COCOSDA 2012 (Keynote), IEEE, Macau, December 2012  

I. Trancoso, T. Pellegrini, A. Silva, R. Correia, N.J. Mamede, J. Baptista, Learning                       Portuguese with Speech Technologies, In Proc. IBERSPEECH, pp. 411­414, Demo               paper, Madrid, Spain, November 2012  T. Pellegrini, A. Costa, I. Trancoso, Less errors with TTS? A dictation experiment                         with foreign language learners, in Proc. Interspeech, Portland, September 2012  T. Pellegrini, W. Ling, A. Silva, I. Trancoso, R. Correia, J. Baptista, N. Mamede,                           Overview of computer­assisted language learning for European Portuguese at L2F,                   In Proc. of the 4th International Conference on Computer Supported Education, Oporto,                       April 2012  T. Pellegrini, H. Moniz, R. Astudillo, and I. Trancoso, Extension of the LECTRA                         corpus – Classroom Lecture Transcriptions in European Portuguese, in Proc. GSCP                     “Speech and corpus”, Belo Horizonte, March 2012  2011  R. Correia, T. Pellegrini, M. Eskenazi, I. Trancoso, J. Baptista, and N. Mamede,                         Listening Comprehension Games for Portuguese: exploring the best features, In                   Proc. SlaTE, Venice, August 2011  T. Pellegrini, R. Correia, I. Trancoso, J. Baptista, and N. Mamede, Automatic                       generation of listening comprehension learning material in European Portuguese, In                   Proc. Interspeech, p. 1629­1632, Florence, August 2011  V. Barbosa, T. Pellegrini, M. Bugalho, I. Trancoso, Browsing Videos by Automatically                       Detected Audio Events, In IEEE International Conference on Computer as a Tool ­                         EUROCON, Lisbon, May 2011  2010  H. Meinedo, A. Abad, T. Pellegrini, I. Trancoso, J. Neto, The L2F Broadcast News                           Speech Recognition System, In Fala2010, Vigo, Spain, November 2010  J. Lopes, I. Trancoso, R. Correia, T. Pellegrini, H. Meinedo, N.J. Mamede, M. Eskenazi,                           Multimedia Learning Materials, In IEEE Spoken Language Technology Workshop,                 IEEE, Berkeley, USA, December 2010  A. Abad, T. Pellegrini, I. Trancoso, J. Neto, Context Dependent Modelling                     Approaches for Hybrid Speech Recognizers, In Interspeech 2010, ISCA, Makuhari                   (Japan), September 2010  T. Pellegrini, I. Trancoso, Improving ASR error detection with non­decoder based features, In Interspeech 2010, Tokyo, September 2010 2009  

T. Pellegrini, I. Trancoso, Error detection in automatic transcriptions using Hidden                     Markov Models, In Proc. Language & Technology Conference (LTC), Poznan,                   November 2009  M. Bugalho, J. Portelo, I. Trancoso, T. Pellegrini, A. Abad, Detecting Audio Events for                           Semantic Video Search, In Proc. Interspeech, ISCA, Brighton, UK, September 2009  

I.Trancoso, T. Pellegrini, J. Portelo, H. Meinedo, M. Bugalho, A. Abad, J­P. Neto,                         Audio contributions to semantic video search, In IEEE International Conference on                     Multimedia and Expo (ICME 2009), IEEE, New York, USA, June 2009  T. Pellegrini, J. Portelo, I. Trancoso, A. Abad, M. Bugalho, Hierarchical Clustering                       Experiments for Application to Audio Event Detection, In Proc. Specom, St.                     Petersburgh, June 2009  E. Arisoy, T. Pellegrini, M. Saraclar, L. Lamel, Enhanced Morfessor Algorithm with                       Phonetic Features: application to Turkish, In Specom, St. Petersburgh, June 2009  2008  M. Adda­Decker, T. Pellegrini, E. Bilinski, G. Adda, Developments of                   Lëtzebuergesch resources for automatic speech processing and linguistic studies, In                   Proc. LREC, Marrakech, May 2008  T. Pellegrini, L. Lamel, Are Audio or textual training data more important for ASR                           in less­represented languages? In Proc. of SLTU, Hanoi, May 2008  2007  T. Pellegrini, L. Lamel, Using phonetic features in unsupervised word                   decompounding for ASR with application to a less­represented language, In Proc. of                       Interspeech, Antwerp, August 2007  2006  T. Pellegrini, L. Lamel, Investigating Automatic Decomposition for ASR in Less                     Represented Languages, In Proc. of Interspeech, Pittsburgh, september 2006  T. Pellegrini, L. Lamel, Experimental detection of vowel pronunciation variants in                     Amharic, In Proc. of LREC, Genoa, may 2006       National conferences with proceedings (1)  

2006  T. Pellegrini, L. Lamel, Expériences de transcription automatique d'une langue rare,                     in Proc. JEP­TALN journées d'études sur la parole (Proc. France), Dinard, June 2006  Other scientific production  2012  T. Pellegrini, H. Meinedo, I. Trancoso, Speech interaction, in "The Portuguese language                       in the digital area", White Paper Series, Berlin Springer, ISBN 978­3­642­29592­8  2008  T. Pellegrini, Transcription automatique de langues peu dotées, thèse de Doctorat en                       Informatique, Paris, April 2008  2003   T. Pellegrini, Suivi de voix parlée grâce aux modèles de Markov cachés, thèse de MASTER ATIAM, Paris, June 2003