International Research Institute MICAMultimedia, Information, Communication & Applications

UMI 2954Hanoi University of Science and Technology

1 Dai Co Viet - Hanoi - Vietnam

International Research Institute MICAInternational Research Institute MICA

Pr Pham Thi Ngoc Yen co-directeur vnPr Eric Castelli co-directeur fr

Multimedia, Information, Communication& Applications

MICA2014

Le cadre fédérateur

Multimédia et intelligence ambiante Multimédia

parole, images/vidéos, multimodalités Intelligence ambiante

instrumentation avancée, interfaces homme-machine, systèmes embarqués et distribués, réseaux de capteurs…

Pour déboucher sur des applications valorisation, nouveaux services

à haute valeur ajoutée• Contenus numériques• Industries du numérique• « digital heritage »• « people well-being »• Etc.

NOTRE DECLINAISON Environnements perceptifs à grande

échelle• Bâtiments publics (et zones publiques)

Les mots clés actuels… (extraits) Mobilité et nomadisme Systèmes embarqués Informatique diffuse

(« Ubicomp ») Convergence « Content everywhere » « Services on demand » Santé et sécurité,

assistance Innovation « Instant

communication » Langues en danger ICT4D (Development) E-training Etc…

2

MICA2014

CNRS  – HUST – Grenoble INP

Scientific & training 

Committee

Speech Communication

Computer Vision Pervasive Spaces & Interaction

Specific Research Platforms

Center of Technological Transfer

Multimedia Lab

MICA direction

Administrative teamIm

ages & Video

s Und

erstanding

H‐M Interaction & 

Compu

ter v

ision

Vietnamese 

Languages

Multilingual stud

ies

H‐M Interaction 

with

 Spe

ech

Inform

ation 

Resources  Managt

Mod

eling

Multim

odal H‐M

 Interaction

Client se

rvice

Prod

uct d

esign 

service

Project m

anagt 

service

Applications Development

Departmen

ts  &

 Cen

ter

Platform

s

Showroom

Institut MICA Institut structure

Cadre fédérateurH-M Interaction

3

MICA2014

DépartementSpeech Communication

Recherche fondamentale Linguistique, phonétique et phonologie

comparée des langues vietnamienne, khmère et lao

Prosodie et tons

Développement des technologies vocales En vietnamien, khmer et lao Analyse, synthèse et reconnaissance de la

parole, traduction

Thématique des langues ¶(Peu-Informatisées – ou peu dotées) Khmer, lao Dialectes des minorités du Vietnam

H-Mong, Mo Piu, Muong, etc.

Hoa Senreconnaissance

Hoa Sungsynthèse

MinoritésH-MongMo Piu

Speech Communication

Vietnamese 

Languages

Multilingual 

stud

ies

H‐M Interaction 

with

 Spe

ech

4

Pour les thématiques du département Speech Com, MICA est en rattachement secondaire InSHS depuis juin 2012

MICA2014

Deux types d’activités sont menées simultanément

MICA est le seul laboratoire au Vietnam qui étudie simultanément les aspects Recherche fondamentale (linguistique, phonétique, phonologie,

acoustique, etc.) Applications (technologies vocales)

phonetics

phonology prosodytonology

morphosyntaxe

syntaxesemantics

pragmatics

Corpus et B.D.

Analysis & characterisationAcoustic modeling (freq)

Articulatory modeling (time)

Probabilistic models (HMM, neurons)

Classifiers (decision trees, SVM, etc.)Tests de perception

Parameter extraction

DépartementSpeech Communications

MICA2014

DépartementSpeech Communications – quelques résultats Synthèse de la parole :

Développement d’un système de synthèse de haute qualité en vietnamien “HMM based TTS” avec modèle

de l’intonation

Reconnaissance de la parole: Développement d’un système

de reconnaissance fonctionnant en environnement bruité (bât.publiques, party…)

Traduction automatique : Traduction avec modèles

probabilistes pour les couples de langues Vietnamien-Français Vietnamien-Anglais

MICA2014

http://mica.edu.vn/viva/

http://www.youtube.com/watch?v=dJW2Jnrel6I

VIVAVU (VIetnamese Voice Assistant for Vision-impaired User)

VIVA (VIetnamese Voice Assistant)

http://mica.edu.vn/vivavu/

ViQ (Vietnamese Information Query)

WeatherGold price

$ € ¥ …

football

DépartementSpeech Communications – quelques résultats

MICA2014

Buts: Collecter des données sur des sujetsethnologiques Origines, technologie, religion, langue, structure sociale, ...

H-Mongminority

Mo Piuminority

Under-resourced languageslangues peu dotées/peu informatisées

DépartementSpeech Communications

MICA est rattaché aux instituts CNRS • InS2I en principal• InSIS et InSHS en secondaire

Projet DOREMIFA financé par la BSN (MESR)• Numérisation des archives de Michel Ferlus

MICA2014

DépartementComputer vision

Computer Vision

Images & Video

s Und

erstanding

H‐M Interaction & 

Compu

ter v

ision

Objectifs

de voir et percevoir ce qui est présent dans les images et ce qui se passe dans les vidéos

ce qui se décline par : Détection/reconnaissance des objets dans les images

fixes – Analyse de scènes Suivi des objets mobiles dans les vidéos et

caractérisation de leurs mouvements Reconnaissance des activités dans les vidéos

et d’interagir avec les utilisateurs c’est-à-dire :

Analyse du comportement de l’utilisateur en interaction avec la machine

Reconnaissance des gestes, des expressions du visage

Deux axes de recherche principaux Interprétation du contenu des images et des vidéos Interaction homme-machine basée sur la vision

Un focus sur les applications pour le Vietnam Reconnaissance des caractères Nôm (ancienne

écriture vietnamienne) gravés sur les stèles en granit Applications pour la biodiversité du Vietnam et de la

région Etc.

9

Permettre à la machine

MICA2014

Leaf-based plant identification New feature for plant identification: Modified KDES

DépartementComputer vision – exemple de résultats

Method Averageaccuracy on

Flavia datasetMethod presented in (Wu, 2007) (author of the Flavia dataset)

90.3

Our method based on SURF and BoW[2][3]

95.94

Our method basedon KDES [1] 97.5

Method Accuracy on ImageClef2013 – Leaf images (%)

Our method based on SURF and BoW 39.8

Original method of KDES 58.0Our method based on KDES 63.4

Name # training images

# training classes # testing images # training images

Flavia 1585 320 32

ImageClef2013

7525 126 1250 70

MICA2014

Applications sur les plantes médicinales du Vietnam 600 plantes médicinales

DépartementComputer vision – interpretation du contenu des images

Interface of search by keyword Interface of search by image

Has been ranked in the top 5 of the best product in VietnameseTalent Competitor 2014and in the finalist of Viettel Competitor for Heath-care mobile application (2nd price)

MICA2014

DépartementComputer vision – interpretation du contenu des images

Automatizing tea flush assessment by advanced machine vision technique

Cooperation withHanoi Agricultural UniversityNOMAFSI instituteCIRAD

MICA2014

Reconnaissance des gestes de la main pour l’interaction Echelle, rotation et descripteurs KDES basés sur la structure de la

main pour la représentation de celle-ci

DépartementComputer vision – interaction

Human-robot interaction using hand posture Hand representation

Recognition results

MICA2014

DépartementComputer vision – du static à la dynamiqueReconnaissance des gestes dynamiques de la main

Obtained results with CHALERAN contest

MICA2014

Intégration dans un robotguide pour un musée

Expérimentations en situation réelle 10 participants Taux de reco : ~ 80%

DépartementComputer vision – exemple d’applications

Demo robots-service

MICA2014

Les technologies de l’information et du multimediasont suffisamment puissantes pour permettre une nouvelle approche dans la gestion des environnements dans lesquels évolue les gens

DépartementPervasive Spaces & Interaction

General objectives

Cependant, si nous voulons que ces nouveaux services soient bien utilisés, avec efficacité et sécurité, par les utilisateurs cibles, il est nécessaire d’étudier leur ergonomie et de spécifier avec précaution leurs caractéristiques Pour répondre aux besoins, attentes et souhaits des utilisateurs Pour une meilleure production, une meilleure gestion des ressources, une

bonne sécurité et le respect de la vie privée

Etude des environnement perceptifs et pervasifs Pièce bâtiment large zone quartier ville…

Etude de l’interaction multimodale Homme-machine homme-systèmes complexes

Pervasive Spaces & Interaction

Inform

ation 

Resources  M

anagt

Mod

eling

Multim

odal H‐M

 Interaction

16

MICA2014

DépartementPervasive Spaces & Interaction Plateforme de gestion d’environnements pervasifs à large

échelle Intégration et validation de techniques de localisation “User-tracking” en temps réel, visualisation en 2D et 3D Gestion et contrôle des ressources IT Outils pour le développement d’applications

MICA2014

DépartementPervasive Spaces & Interaction Modèles de localisation “indoor”

Caractérisation et localisation par triangulation WiFi et/ou Bluetooth Localisation multimodale par technologies hétérogènes (Wifi + GPS +

camera + step count + RFID, etc.)

1m

2m

3m

4m

30º

210º

60º

240º

90º

270º

120º

300º

150º

330º

180º 0º

Localization error

Store

Store

Store

Store

180 0.5 1 1.5 2 2.5 3

0

10

20

30

40

50

60

70

80

90

100

Localization error (m)

Pre

cisi

on (%

)

MICA2014

DépartementPervasive Spaces & Interaction

Développement d’outils Outils génériques pour la modélisation des environnements pervasifs

Des premières applications sur la gestion intelligente de la consommation d’énergie dans les bâtiments

Des premières études sur les antennes intelligentes (RFID) pour les bâtiments intelligents

MICA School for Blind people HN

MICA2014

DépartementPervasive Spaces & Interaction – applications

20

• Aids for Visually Impaired People in Navigation and Finding Objects

• Abnormal event detection for monitoring systems

• Navigation Guidance for Autonomous devices 

or robots

• Multimodal Interaction with Robots & Drones

• Smart Remote Control & Adaptive Home Appliances

MICA2014

Center of Technological Transfer & Applications Objectifs principaux

Développement de prototypes Pour les chercheurs MICA prototypes de recherche Pour les industriels vietnamiens prototypes industriels

Créer de nouveaux partenariats industriels Dissémination des résultats de recherche de MICA Center of TT un pont entre les chercheurs MICA et les compagnies

Structure Organisé in 3 tâches principales

Client service find/create new industrial partnerships Product design service design/realisation of prototypes Project management service management of R&D projects

Center of Technological Transfer

Client se

rvice

Prod

uct d

esign 

service

Project m

anagt 

service

21

MICA2014

Ressources budgétairesPour la période 2010-2013

Ressources humainesVn : 85 %Fr : 10 %Autres : 5 %

Répartition par « parties »

Vietnam = 50,54 %

France = 46,77 %

Int = 1,07 %

Autres = 1,62 %

Vietnam = 73,00 %

France = 21,18 %

Int = 2,32 %

Autres = 3,50 %

Budget consolidé

Sans les salaires

22

Forte croissance en 2014-2015 1150 kUSD de la partie VN >85% de financement VN

INTERNATIONAL MASTERAmbient Computing, Multimedia & Interaction

International Research Institute MICA - Hanoi University of Science and Technology1 Dai Co Viet - Hanoi - Vietnam

Master international ACMIAmbient Computing,Multimédia & Interaction

MICA2014

MICA en quelques chiffres

95 personnes en Juin 2014 61 acteurs = chercheurs (permanents, postdoc, PhD and masters) + personnel

administratif et technique 34 étudiants ingénieurs en stage 1 « adjunct member » (chercheur de l’univ. Ottawa)

PhD 26 thèses soutenues

The last one 14 novembre 2014 16 thèses en cours

Plus de 1200 publications scientifiques 55 % = livres, revues & journaux, et conférences

59 projets de recherche MICA leader de 39 projets 42 projets terminés et 17 en cours

Coopération internationale avec plus de100 partenaires de 23 pays MICA a reçu plus de 40 chercheurs invités

14 nationalitésVietnam, France, Cambodia, Laos, China, Malaysia, Cameroon, U.S., Switzerland, Madagascar, Romania, Canada, Algeria, Belgium

France (2014)2 chercheurs CNRS1 ingénieur VIS1 doctorant11 stagiaires

Invités (2014)1 Canada1 U.S.1 Français

Paysage de la recherche au Vietnam

Comment choisir un bon partenaire ?Publicité pour MICA MICA est sous tutelle de

• Hanoi University of Science and Technology(Institut Polytechnique de Hanoi)

• Université nationale qui vient d’obtenir l’autonomie de gestion• Une « usine à ministres »  Ex : l’actuel ministre du MOST

• L’IPH fait la pluie et le beau temps dans le paysage universitaire et scientifique vietnamien

• Un réseau très important d’industriels dirigeants VN formés à l’IPH• Un vivier impressionnant de très bons étudiants

• School of ICT, School of Electronics & Telecom, School of Electricity (Indus. Info.)• Total = 1300 étudiants diplômés chaque année• Avec des programmes d’excellence en T.I. (PFIEV II, SIC, programme japonais)

MICA est un institut• Le plus haut niveau « hiérarchique » pour une institution de recherche• Niveau hiérarchique équivalent à une School of Engineering

En qualité d’UMI, MICA est éligible à tous les programmes français, de la francophonie, et européens

En collaborant avec MICA, vous devenez de fait partenaires de la plus grandeet la meilleure université vietnamienne en Science et TechnologieEn collaborant avec MICA, vous devenez de fait partenaires de la plus grandeet la meilleure université vietnamienne en Science et Technologie

MICA2014 26

Xong rồi đấy!

* Ouf j’ai terminé !