1
A.N. RODRIGUEZENSEEIHT, 2005
A.N. Rodriguez, ENSEEIHT, 2005 2
Plan
Séance 5• Animation• Réalité Virtuelle• Réalité Augmentée
A.N. Rodriguez, ENSEEIHT, 2005 3
Animation
Quoi• Ajouter au graphisme la dimension du tempsPourquoi• Évolution d’un objet ou caractéristique • Expérimentation n’est pas toujours possibleOù• Divertissement (films, jeux)• Simulation (apprentissage, conception) • Visualisation (phénomènes physiques, RV, RA)
Animation
Ce qui est animé : la géométrie de la forme, son apparence, les sources lumineuses, la caméra, ... tout !• boucle d'animation : transformation, renduObjet : • position, orientation• forme• apparenceLumière : • position, orientation, intensité, couleurCaméra : • position, point d’intérêt, angle de vue
2
A.N. Rodriguez, ENSEEIHT, 2005 5
Généralités
Flot d'images rapide pour avoir l'impression de mouvement « Persistance rétinienne »Vitesse : 24 images par seconde
A.N. Rodriguez, ENSEEIHT, 2005 6
Animation traditionnelle
Stop-motion• Modèles physiques• Prise d’image une par une• Ex. Wallace et Grommit : 1 image par jour!Dessins• Celluloïd, John Randolph Bray et Earl Hurd (Walt
Disney)
A.N. Rodriguez, ENSEEIHT, 2005 7
Avec l’ordinateur
Plus rapide et puissante, moins coûteuse1964 : Première animation par Ken Knowlton Utilisée principalement pour les effets spéciaux1976 : Les rescapés du Futur, de R.T. Heffron • affichage d’un visage de synthèse sur un écran1982 : Tron, de Steven Lisberger • 15 minutes d’images de synthèse plein écran1984 : The adventures of André and Wally, de John Lasseter pour Lucasfilm (-> Pixar)1985 : Le secret de la pyramide de Barry Levinson
A.N. Rodriguez, ENSEEIHT, 2005 8
Avec l’ordinateur
1989 : Créature liquide (Abyss de James Cameron)1991 : Terminator 2 (James Cameron)1993 : Jurassic Park (ILM)1995 : Toy Story (Pixar)2001 : Shrek (Dreamworks), Final fantasy (Sakaguchi, Sakakibara)
3
A.N. Rodriguez, ENSEEIHT, 2005 9
Types d’animation
Animation temps interactif (jeux vidéo, simulateurs)• L’ordinateur calcule les mouvements
suffisamment vite pour les montrer à la bonne vitesse
• Modélisation plus simple, rendu efficace Animation image par image (traditionnelle)• Calcul des images • Enregistrement sur un support• Visualisation ou projection à une cadence
rapide• Modélisation plus détaillée, rendu plus
sophistiquéA.N. Rodriguez, ENSEEIHT, 2005 10
Rôle de l’ordinateur
Animation assistée (Processus traditionnel ) : • Dessins, mouvements,coloriage, tournage,
postproduction et effets spéciaux• InterpolationAnimation générée par ordinateur• Création de modèles (caractéristiques et
variables d’animation)• Spécification de mouvement• Textures et Détails• Éclairage et caméra• Reproduction des effets de stop-motion et
de dessins + effets spéciaux
Contrôle du mouvement
Animer : « donner vie à »Modèles descriptifs• Permettent de reproduire les effets• Contrôle en position et vitesse des mouvements et
des déformations• Temps expliciteModèles générateurs• Décrivent les causes qui produisent les effets :
forces, couples• Temps implicite (paramètre)Modèles comportementaux• Décrire des règles de comportement dans un
environnement• Évolution des comportements, de l'environnement
Méthodes d'animation
Capture de mouvementAnimation par images-clésInterpolation de formes Interpolation paramétriqueAnimation procéduraleSimulation physiqueAnimation de personnages et simulation comportementale
4
A.N. Rodriguez, ENSEEIHT, 2005 13
Capture de mouvement
Les êtres humains sont experts dans la reconnaissance des mouvements humains!But:• Mesurer et enregistrer des actions directes
d’un acteur réel pour les analyser et répliquer Développement• Au début : Outil d’analyse pour la recherche
biomécanique• Maintenant : jeux et cinémaElle permet de:• Situer un acteur dans un endroit peu pratique
ou dangereux• Diminuer les coûts A.N. Rodriguez, ENSEEIHT, 2005 14
Capture de mouvement
L’acteur porte un ensemble de capteurs dont les positions et orientations sont mesurées Deux sortes de systèmes :• Magnétique• Optique
A.N. Rodriguez, ENSEEIHT, 2005 15
Capteurs magnétiques
Capteurs mesurant leur relation spatiale par rapport à un transmetteur centralisé- Câblage- Définition de position relative au calibrage
A.N. Rodriguez, ENSEEIHT, 2005 16
Capteurs optiques
Capteurs réflectifs et plusieurs caméras+ Liberté de mouvement+ Permet de tracer la trajectoire de « n’importe quoi »- Occlusion- Difficulté de reconnaissance de 2 capteurs proches
5
A.N. Rodriguez, ENSEEIHT, 2005 17
Par vision
Capture à partir de plusieurs camérasExtraction d’informationMise en correspondance avec un modèle générique
A.N. Rodriguez, ENSEEIHT, 2005 18
Capture de mouvement
Squelette d’un personnageFaire correspondre le mouvement du personnage digital aux mesures de mouvement
A.N. Rodriguez, ENSEEIHT, 2005 19
Bilan
Mouvements enregistrés et ensuite appliqués à un acteur digital• Rapide• Grande qualité Difficulté d’édition• Nouveau mouvement ou changement ->
enregistrer de nouveau • Données difficiles à manipulerPas toujours possible• Situations et actions ne pouvant pas être prédites
à l’avance• Personnages autres que les êtres humains
A.N. Rodriguez, ENSEEIHT, 2005 20
Animation par images-clés
Série d’images à des temps donnés: l’ordinateur calcule les images intermédiaires par interpolation
6
A.N. Rodriguez, ENSEEIHT, 2005 21
Interpolation de formes
Extension des méthodes de transformation de positions-clés aux imagesMorphing 2D : sur des photosMorphing 3D : sur des objets 3D
A.N. Rodriguez, ENSEEIHT, 2005 22
Interpolation paramétrique
Caractériser une entité par des paramètres fixés à des temps donnésL’ordinateur calcule les valeurs intermédiaires des paramètres par interpolation et recalcule la scène avec les valeurs interpoléesProblèmes : comment paramétrer les objets, comment spécifier la trajectoire, la vitesse de variation d'un paramètreInterpolation linéaire, cubique
A.N. Rodriguez, ENSEEIHT, 2005 23
Exemple d’interpolation linéaire
Articulation de bras de robot caractérisé par angle α variant au cours du temps tOn fixe les valeurs suivantes :• T = 0, α = 10• T = 2, α = 20• T = 5, α = 45• T = 8, α = 100Exemple de valeur interpolée :• T=1/25 sec • α = 10 + (20-10)/(2*25)= 10.2
α
A.N. Rodriguez, ENSEEIHT, 2005 24
Interpolation par splines
ACM © 1987 “Principles of traditional animation applied to 3D computer animation”
Transitions en douceur
7
A.N. Rodriguez, ENSEEIHT, 2005 25
Animation procédurale
Le mouvement est décrit via un algorithmeExemple :Chute libre d’un objet d’une hauteur 100mAvec g = 10 -> h = 100 – 5t2
• 1 s = 95m• 2 s = 80m• 3 s = 55m• 4 s = 20Par interpolation paramétrique• <0,100>, <1,95>, <2,80>, <3,55>, <4,20>
A.N. Rodriguez, ENSEEIHT, 2005 26
Simulation physique
Simulation du mouvement d'après les lois de la physiqueDéfinir• Pour chaque objet : masse, CG, moments
d'inertie• Conditions initiales• Forces externesRésoudre les équations pour retrouver le mouvementEnvironnements et mouvements « valides »
A.N. Rodriguez, ENSEEIHT, 2005 27
Animation de personnages
Pour « peupler » les environnements virtuelsSquelette + enveloppe corporelleUtilisation d’un squelette :• Structure hiérarchique de segments
connectés • Articulation : intersection de deux
segments• Angle de l’articulation : intersection
de deux segments
A.N. Rodriguez, ENSEEIHT, 2005 28
Animation d’un squelette
A la main :• Capture de mouvement• Positions clés
o Valeurs d’angleso Points fixes
• -Spécifier en détail le mouvementContrôle automatique• Cinématique directe• Cinématique inverse• Dynamique• Animation comportementale
8
A.N. Rodriguez, ENSEEIHT, 2005 29
Cinématique directe
Approche basée sur la robotiqueDécrit la position des parties du corps comme une fonction des angles des articulations
hanches
cuisse
mollet
pied
jambe...
vs
y
x
zA.N. Rodriguez, ENSEEIHT, 2005 30
Cinématique inverse
Pilotage par le but (quels sont les mouvements pour faire ... )Déterminer les variables d’articulation à partir de positions et orientations des extrémités
A.N. Rodriguez, ENSEEIHT, 2005 31
Cinématique inverse
Plusieurs solutions possiblesSupporte la présence de contraintes (restrictions sur les paramètres)Utilisation de mouvements « motion capture »
A.N. Rodriguez, ENSEEIHT, 2005 32
Dynamique
Cinématique : intuitif, pas de gravité ou inertieSimulation du mouvement d'après les lois de la physiqueDécrit les positions des parties du corps en fonction des forces appliqués
9
A.N. Rodriguez, ENSEEIHT, 2005 33
Dynamique
Avantages• Pas de description de mouvements• Animation plus réaliste• Réaction automatiques du corps face à
l’environnementDésavantages• Difficiles à utiliser• Temps de calcul• Mouvements trop réguliers -> personnalité!
A.N. Rodriguez, ENSEEIHT, 2005 34
L’enveloppe
Metaballs pour les musclesDéfinition de déformationsDéfinition de l’enveloppe
A.N. Rodriguez, ENSEEIHT, 2005 35
Simulation comportementale
Contribution comportementale pour la simulation d’êtres vivantsModéliser le comportement des personnages (planification de chemin, émotions!)Comportement individuel• MarcheComportement de groupe• Nuées d’oiseaux, troupeaux d’animaux,
bancs de poissons• Rester ensemble• Éviter les collisions
A.N. Rodriguez, ENSEEIHT, 2005 36
Systèmes de particules
Modélisation d’objets « flous »• Nuages, fumée, eau• Objets non rigides, dynamiquesPrincipe• Objet représenté par un nuage de
particules• Les particules sont générées, changent,
bougent, disparaissentAvantages• Création systèmes complexes• Niveau de détail
10
A.N. Rodriguez, ENSEEIHT, 2005 37
Animation de caméras
Animer les caractéristiques de la caméra virtuelle pour se promener à l’intérieur d’une scènePlusieurs paramètres :• Position• Point d’intérêt• Angle de vue
A.N. Rodriguez, ENSEEIHT, 2005 38
Exemples
Profondeur de champ
Effet « vertigo »
A.N. Rodriguez, ENSEEIHT, 2005 39
Difficultés
Animation de tissus
Animation de visages
Aliassage temporel
A.N. Rodriguez, ENSEEIHT, 2005 40
Aliassage temporel
Séquence d’images représentant l’état du modèle à un moment donnéLa séquence peut être interprétée d’une autre manière!Rotation dans le sens des aiguilles d’une montre < 22.5°
11
A.N. Rodriguez, ENSEEIHT, 2005 41
La Réalité Virtuelle
Howard Rheingold, dans son ouvrage la Réalité virtuelle (1993) définit le monde virtuel comme un monde calculé par «un ordinateur que l'on commande, non pas en écrivant des programmes, mais par des gestes naturels, en le parcourant, en l'explorant du regard et en utilisant les mains pour manipuler les objets qu'il contient ».
La Réalité Virtuelle
Transformer des données en images 3D interactivesMétaphore d’interaction : • Explorer les images de n’importe quel
point de vue• Utiliser les objets de manière intuitiveImplique :• Animation en temps interactif• Interaction• Immersion
A.N. Rodriguez, ENSEEIHT, 2005 43
Historique
1966 : Ivan Sutherland (MIT)• Principe d’immersion dans un monde
simulé• Difficulté technique à mettre en oeuvre
o Capacité des calculateurso Capacité des dispositifs d’interaction
1980 : Mise en oeuvre du principe1ères applications industrielles de la réalité virtuelle• domaine de la téléopération
A.N. Rodriguez, ENSEEIHT, 2005 44
Historique
Restitution haptique• 70's F. Brooks: recherche sur le toucher • => notion de retour d’effort
12
A.N. Rodriguez, ENSEEIHT, 2005 45
Historique
Terminologie « Réalité Virtuelle »• lnvention du terme « Virtual Reality » (Jaron Lanier -
VPL) dans les années 801992 : lntroduction du concept de CAVE (Tom De Fanti,EVL Univ. Illinois)Aujourd’hui• solutions légères (PC)• démocratisation de la technologie des
périphériques• technologie efficace pour la génération d’images• applications industrielles concrètes
A.N. Rodriguez, ENSEEIHT, 2005 46
Intérêt de la RV
Tester une maquette du produitTests fonctionnelsTests opérationnelsLimite le besoin de maquette physiquesAccès à des variables/paramètres non mesurablesAccès à des échelles :• De grandeurs physiques• De grandeurs de temps
A.N. Rodriguez, ENSEEIHT, 2005 47
Domaines d’application
MédecineArchitecture et designVisualisation de données scientifiquesAérospatiale et aéronautiqueDomaine militaireÉducation et apprentissageJeux et Loisirs
A.N. Rodriguez, ENSEEIHT, 2005 48
Configuration minimale
Une station graphique capable de générer des images 3D en temps réelLa possibilité d'afficher des images stéréoChanger le point de vue de manière continueUn ou plusieurs périphériques permettant une spécification directe de positions et d’orientations dans l'espace pour une manipulation directe en 3D
13
Interaction• Capture des mouvements
o Suivi de la tête, des mains (doigts), des mouvements du corps
o Systèmes électromagnétiques, acoustiques, mécaniques, optiques, ...
• Retour d’efforts, de sensations tactiles• Interprétation du gesteVisuel• Lunettes stéréoscopiques• Casques d’immersion• CAVESon 3D• Cartes spécialisées
Périphériques de rendu
A.N. Rodriguez, ENSEEIHT, 2005 50
La main
Gant• fibre optique• 18 ou 22 DDL• +capteurs 6 DDLRetour haptique: forces et/ou sensations
A.N. Rodriguez, ENSEEIHT, 2005 51
Les dispositifs pour la vision stéréo
Lunettes stéréoscopiques
Avec écran extérieur
Casque de visualisation
Immersion partielle Avantages
définition de l ’écrancouleurscontact avec contexte
Inconvénientsfaible champ de vue
Avantages6DDLimmersion totale
Inconvénientscouleursdéfinitioninterface réduite
A.N. Rodriguez, ENSEEIHT, 2005 52
Difficultés des HMD
Encore très lourdsPeuvent engendrer des malaises
14
A.N. Rodriguez, ENSEEIHT, 2005 53
CAVE
Electronic visualization Lab, Université d’Illinois (1992)Illusion d’immersion sans casqueMultiutilisateur : 1 active
A.N. Rodriguez, ENSEEIHT, 2005 54
Autres dispositifs
A.N. Rodriguez, ENSEEIHT, 2005 55
La réalité augmentée
A.N. Rodriguez, ENSEEIHT, 2005 56
La Réalité Augmentée
Caudel et Mizell (1992)Nouveau paradigme d’utilisation pour préserver l’expérience du monde réel en ajoutant de l’information (pas seulement visuelle)Enrichir plutôt que remplacer
15
A.N. Rodriguez, ENSEEIHT, 2005 57
Applications
MédecineAssemblageTélévisionTourismeArchitectureDivertissement
A.N. Rodriguez, ENSEEIHT, 2005 58
Aspects de la RA
Mixage : intégration d’un point de vue visuel entre monde réel et monde virtuelIdentification des objets• Utilisation de marqueurs et « tags »Registration• Objets virtuels alignés avec le monde réel Interaction:• Retour visuel• Reconnaissance des gestes
A.N. Rodriguez, ENSEEIHT, 2005 59
Identification et registration
A.N. Rodriguez, ENSEEIHT, 2005 60
Erreurs
Statiques• Mauvais alignement en l’absence de
déplacementDynamiques• Mauvais alignement lors d’un
déplacement
16
A.N. Rodriguez, ENSEEIHT, 2005 61
Visualisation
Casque semi-transparentMélangeurs optiques placés devant les yeux Le résultat est la combinaison du monde réel et du monde virtuel
A.N. Rodriguez, ENSEEIHT, 2005 62
Visualisation
Vidéo semi-transparenteLa vue de l’utilisateur est fournie par une caméraLe générateur de scènes crée les images de synthèse qui sont mélangées avec la vidéo Le résultat est envoyé vers les moniteurs
A.N. Rodriguez, ENSEEIHT, 2005 63
Visualisation
A.N. Rodriguez, ENSEEIHT, 2005 64
Interaction
Capteurs RVReconnaissance de gestesInterfaces tangibles
17
A.N. Rodriguez, ENSEEIHT, 2005 65
Réalité augmentée
+Forte réduction de coûts matériels+Mobilité+Connaissances de l’utilisateur- Techniques d’alignement- Études sur la perception