* imagis est un projet commun cnrs, inria, inpg et ujf. complexité naturelle et synthèse dimages...
TRANSCRIPT
* iMAGIS est un projet commun CNRS, INRIA, INPG et UJF.
Complexité Naturelle Complexité Naturelle etet
Synthèse d’ImagesSynthèse d’Images
Complexité Naturelle Complexité Naturelle etet
Synthèse d’ImagesSynthèse d’Images
Fabrice Neyret
iMAGIS* - GRAVIR / IMAG - INRIA
http://www-imagis.imag.fr/
iMAGIS-GRAVIR / IMAG
Simuler les Scènes NaturellesSimuler les Scènes NaturellesSimuler les Scènes NaturellesSimuler les Scènes Naturelles
Cadre : effets spéciaux (réalisme)
réalité virtuelle (temps réel)
Paradigme classique : équations physique + données + gros ordinateur
simulation réaliste
Problème :
ne marche pas si bien !
iMAGIS-GRAVIR / IMAG
Les Les scènes naturelles sont scènes naturelles sont complexescomplexesLes Les scènes naturelles sont scènes naturelles sont complexescomplexes
iMAGIS-GRAVIR / IMAG
Elles contiennent énormément de détails :
iMAGIS-GRAVIR / IMAG
Le détail des mouvements est complexe :
iMAGIS-GRAVIR / IMAG
Scènes Naturelles en Synthèse d’ImagesScènes Naturelles en Synthèse d’ImagesScènes Naturelles en Synthèse d’ImagesScènes Naturelles en Synthèse d’Images
Gardner 84Reeves 85
Fournier & Reeves 86
iMAGIS-GRAVIR / IMAGXfrog+PovrayAMAP
Deussen, Hanrahan, Lintermann, Mech, Pharr, Prusinkiewicz 98
iMAGIS-GRAVIR / IMAGAreté Foster & Fedkiw 01
Nishita, Nakamae, Dobashi 96Lee & Musgrave
iMAGIS-GRAVIR / IMAG
Problèmes techniques rencontrésProblèmes techniques rencontrésProblèmes techniques rencontrésProblèmes techniques rencontrés
travail de modélisation (de la scène)
stockage
Pour le rendu : temps de calcul aliasing
Pour l’animation : résolution en temps et en espace stabilité, convergence
iMAGIS-GRAVIR / IMAG
Problèmes plus fondamentauxProblèmes plus fondamentauxProblèmes plus fondamentauxProblèmes plus fondamentaux
Les modèles physiques sont-ils complets ?
Les paramètres sont-ils disponibles ? A-t-on besoin de cette mer de chiffres ?
(on remarque surtout les effets émergents)
Quel contrôle du résultat global ? (même remarque)
iMAGIS-GRAVIR / IMAG
Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !
iMAGIS-GRAVIR / IMAG
Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !
que voit-on réellement ?
formes à grande échellerelief: occultations, ombres, parallaxe
illumination et reflets
mouvement :
parallaxe,
+ ?
iMAGIS-GRAVIR / IMAG
Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !
que voit-on réellement ?
formes à grande échellerelief: occultations, ombres, parallaxe
illumination et reflets
mouvement :
parallaxe,
+ ?
iMAGIS-GRAVIR / IMAG
Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !
que voit-on réellement ?
formes à grande échellerelief: occultations, ombres, parallaxe
illumination et reflets
mouvement :
parallaxe,
+ ?
iMAGIS-GRAVIR / IMAG
Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !
que voit-on réellement ?
formes à grande échellerelief: occultations, ombres, parallaxe
illumination et reflets
mouvement :
parallaxe,
+ ?
iMAGIS-GRAVIR / IMAG
Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !
que voit-on réellement ?
formes à grande échellerelief: occultations, ombres, parallaxe
illumination et reflets
mouvement :
parallaxe,
+ ?
iMAGIS-GRAVIR / IMAG
Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !
que voit-on réellement ?
formes à grande échellerelief: occultations, ombres, parallaxe
illumination et reflets
mouvement :
parallaxe,
+ ?
iMAGIS-GRAVIR / IMAG
Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !Et pourtant… les peintres y arrivent !
que voit-on réellement ?
formes à grande échellerelief: occultations, ombres, parallaxe
illumination et reflets
mouvement :
parallaxe,
+ ?
iMAGIS-GRAVIR / IMAG
Exploite-t-on toute la connaissance disponible ?Exploite-t-on toute la connaissance disponible ?Exploite-t-on toute la connaissance disponible ?Exploite-t-on toute la connaissance disponible ?
Il y a de grandes régularités dans les scènes naturelles !
iMAGIS-GRAVIR / IMAG
Mon approche pour traiter ces scènesMon approche pour traiter ces scènesMon approche pour traiter ces scènesMon approche pour traiter ces scènes
Complexité spatiale Représentations impressionnistes
(i.e. alternatives aux polygones)
Complexité d’échelles Hiérarchie de modèles
Complexité du mouvement Modèles phénoménologiques
Outils de description et construction
iMAGIS-GRAVIR / IMAG
Mon approche pour traiter ces scènesMon approche pour traiter ces scènesMon approche pour traiter ces scènesMon approche pour traiter ces scènes
1 1 Représentations impressionnistes (i.e. alternatives aux polygones)
2 2 Hiérarchie de modèles
3 3 Modèles phénoménologiques
44 Outils de description et construction
iMAGIS-GRAVIR / IMAG
1.1. Représentations: Représentations: quelques ingrédientsquelques ingrédients1.1. Représentations: Représentations: quelques ingrédientsquelques ingrédients
Codage direct du comportement lumineux champ de réflectance sur la surface
e.g.: BRDF, distribution de normales (NDF)
Codage volumique (e.g. pour pseudo-surfaces) champ de densité
très efficace à cette échelle
Codage texturel (plaquage de motifs) champ de pixels
coût de rendu indépendant du motif revient à factoriser / quantifier la géométrie
( existants: IBR, lightfields, shaders, cartes de Z, surfels... )
iMAGIS-GRAVIR / IMAG
Les bonnes propriétésLes bonnes propriétésLes bonnes propriétésLes bonnes propriétés
Ces représentations sont compactes pas plus que l'information visible (impressionisme)
moins de travail inutile pour le graphiste
Elles sont structurantes, ce qui permet l'optimisation du temps de rendu l'anti-aliasing (e.g.: MIP-mapping)
iMAGIS-GRAVIR / IMAG
Exemple 1: les textures volumiquesExemple 1: les textures volumiquesExemple 1: les textures volumiquesExemple 1: les textures volumiques
cube de texture volume (voxels) comportement lumineux
surface à texturer
mapping Kajiya & Kay 89
iMAGIS-GRAVIR / IMAG
Exemple 1: les textures volumiquesExemple 1: les textures volumiquesExemple 1: les textures volumiquesExemple 1: les textures volumiques
cube de texture volume (voxels) comportement lumineux
surface à texturer
mapping
iMAGIS-GRAVIR / IMAG
Exemple 1: les textures volumiquesExemple 1: les textures volumiquesExemple 1: les textures volumiquesExemple 1: les textures volumiques
cube de texture volume (voxels) comportement lumineux
surface à texturer
mapping
iMAGIS-GRAVIR / IMAG
Exemple 1: les textures volumiquesExemple 1: les textures volumiquesExemple 1: les textures volumiquesExemple 1: les textures volumiques
iMAGIS-GRAVIR / IMAG
Textures volumiques en temps-réelTextures volumiques en temps-réelTextures volumiques en temps-réelTextures volumiques en temps-réel A.Meyer[EWR’98]
iMAGIS-GRAVIR / IMAG
F. Sénégas
iMAGIS-GRAVIR / IMAG
Exemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiques
pixelFormule analytique de la reflectance totale dans le pixel
A. Meyer [GI’00]
iMAGIS-GRAVIR / IMAG
Exemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiques
pixel
iMAGIS-GRAVIR / IMAG
Exemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiquesExemple 2: les shaders hiérarchiques
pixel
iMAGIS-GRAVIR / IMAG
iMAGIS-GRAVIR / IMAG
Exemple 3: les textures bidirectionnellesExemple 3: les textures bidirectionnellesExemple 3: les textures bidirectionnellesExemple 3: les textures bidirectionnelles
v
A. Meyer P. Poulin [EWR’01]
iMAGIS-GRAVIR / IMAG
iMAGIS-GRAVIR / IMAG
2.2. Hiérarchie de modèles Hiérarchie de modèles2.2. Hiérarchie de modèles Hiérarchie de modèlesHabiller un modèle global avec un modèle local:
modèle physique de fluideà grande échelle et faible resolution + croute de lave détails qualitatifs à haute résolution
hiérarchie de motifs animéscaractéristiques de chaque échellepour les nuages convectifs / la fumée
surface d’organe interactive+ détails 3D déformables pour la simulation chirurgicale (bronches, intestins)
iMAGIS-GRAVIR / IMAG
Exemple: coulée de laveExemple: coulée de laveExemple: coulée de laveExemple: coulée de lave
Modèle de mouvement physique (approché)
large domaine
basse résolution
Simulation à base de particules
D. Stora, P.-O. Agliati, M-P. Cani [GI’99]
iMAGIS-GRAVIR / IMAG
Exemple: coulée de laveExemple: coulée de laveExemple: coulée de laveExemple: coulée de lave
Construction d’une surface
peau implicite
voisinages
iMAGIS-GRAVIR / IMAG
Exemple: coulée de laveExemple: coulée de laveExemple: coulée de laveExemple: coulée de lave
habillage
iMAGIS-GRAVIR / IMAG
iMAGIS-GRAVIR / IMAG
3.3. Modèles phénoménologiques Modèles phénoménologiques3.3. Modèles phénoménologiques Modèles phénoménologiques Caractériser les formes et leurs intéractions à grande échelle:
Modéliser directement les phénomènes émergents
iMAGIS-GRAVIR / IMAG
Exemple 1: Simulation des ruisseauxExemple 1: Simulation des ruisseauxExemple 1: Simulation des ruisseauxExemple 1: Simulation des ruisseaux
phénomènes émergents: ici, ridules et ondes de chocN. Praizelin[EWAS’01]
iMAGIS-GRAVIR / IMAG
vc
c= gh
Typologie des vagues stationnairesTypologie des vagues stationnairesTypologie des vagues stationnairesTypologie des vagues stationnaires
Cas non dispersif:cg = cw = c
onde de choc vc
ondes capillaires créées par une onde de choc
ccgg
ondes capillaires
ccww
ccgg
ondes de gravité (dispersives) ccww
ccgg
cw
iMAGIS-GRAVIR / IMAG
Construction géométrique des ondesConstruction géométrique des ondesConstruction géométrique des ondesConstruction géométrique des ondes
iMAGIS-GRAVIR / IMAG
3. Add field perturbations3. Add field perturbations3. Add field perturbations3. Add field perturbations
iMAGIS-GRAVIR / IMAG
Exemple 2: Exemple 2: animation de nuages convectifsanimation de nuages convectifsExemple 2: Exemple 2: animation de nuages convectifsanimation de nuages convectifs
Modéliser directement les instabilités caractéristiques [EWAS’97]
iMAGIS-GRAVIR / IMAG
iMAGIS-GRAVIR / IMAG
iMAGIS-GRAVIR / IMAG
Exemple 3: rendu de cumulusExemple 3: rendu de cumulusExemple 3: rendu de cumulusExemple 3: rendu de cumulusCaractéristiques lumineuses prévisibles
iMAGIS-GRAVIR / IMAG
(travaux préliminaires)(travaux préliminaires)
iMAGIS-GRAVIR / IMAG
4.4. Outils de description et construction Outils de description et construction4.4. Outils de description et construction Outils de description et construction
Pour l’habillage (détails, état de surface)
Assez haut niveau
Largement contrôlable (pas trop automatique)
Interactif
Formes issues du mouvement
Textures (mapping, procédurales, animées…)
iMAGIS-GRAVIR / IMAG
Exemple 1: textures de dilatationExemple 1: textures de dilatationExemple 1: textures de dilatationExemple 1: textures de dilatationJean Combaz
iMAGIS-GRAVIR / IMAG
Exemple 2: Exemple 2: Synthèse de déchiruresSynthèse de déchiruresExemple 2: Exemple 2: Synthèse de déchiruresSynthèse de déchiruresS. Lefebvre
iMAGIS-GRAVIR / IMAG
Construction de l’habillageConstruction de l’habillageConstruction de l’habillageConstruction de l’habillage
iMAGIS-GRAVIR / IMAG
iMAGIS-GRAVIR / IMAG
Exemple 3: plaquage de texturesExemple 3: plaquage de textures& M-P. Cani [SIG’99]
Problèmes: distortion, discontinuité, périodicité
iMAGIS-GRAVIR / IMAG
iMAGIS-GRAVIR / IMAG
Exemple 4: flownoiseExemple 4: flownoiseExemple 4: flownoiseExemple 4: flownoise & K. Perlin [SIGsketch’01]
iMAGIS-GRAVIR / IMAG
5.5. Temps réel Temps réel5.5. Temps réel Temps réelR. Heiss
F. Sénégas
Lombardo & Cani[CA’99]
A. Miné
[TVC’01]
iMAGIS-GRAVIR / IMAG
Animation adaptative de l’océanAnimation adaptative de l’océanAnimation adaptative de l’océanAnimation adaptative de l’océan
300x300, 10s de calculRésolution 50x50, 15 fps
D. Hinsinger, M-P. Cani [soumis]
iMAGIS-GRAVIR / IMAG
ConclusionsConclusionsConclusionsConclusions il y a une vie en dehors des polygones,
et de Navier-Stokes !
ne pas chercher un modèle universel
aucun modèle n’est bon à toutes les échelles il y a un espoir pour le rendu réaliste rapide des
scènes naturelles (eau, fumée, nuages, cheveux,fourrure…)
* iMAGIS est un projet commun CNRS, INRIA, INPG et UJF.
Complexité Naturelle Complexité Naturelle etet
Synthèse d’ImagesSynthèse d’Images
Complexité Naturelle Complexité Naturelle etet
Synthèse d’ImagesSynthèse d’Images
Fabrice Neyret
iMAGIS* - GRAVIR / IMAG - INRIA
http://www-imagis.imag.fr/
iMAGIS-GRAVIR / IMAG
iMAGIS-GRAVIR / IMAG
Hydraulique et ressautsHydraulique et ressautsHydraulique et ressautsHydraulique et ressauts C. Dodard
iMAGIS-GRAVIR / IMAG
iMAGIS-GRAVIR / IMAG
iMAGIS-GRAVIR / IMAG
iMAGIS-GRAVIR / IMAG
Mon approche pour traiter ces scènesMon approche pour traiter ces scènesMon approche pour traiter ces scènesMon approche pour traiter ces scènes
11 Complexité spatiale représentations impressionnistes
(i.e. alternatives aux polygones)
22 Complexité d’échelles hiérarchie de modèles
33 Complexité du mouvement modèles phénoménologiques
44 Outils de description et construction