les interfaces haptiques -...
TRANSCRIPT
1
Les Interfaces Haptiques
2
pdf de ces transparents disponibles sur :
http://dpt-info.u-strasbg.fr/~essert
rubrique Enseignement>Matières>ISI
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
3
1. Définition, différentes interfaces
2. Concepts mis en jeu
3. Libs, développement haptique
4. Les applications
5. La recherche
6. démo
En bref…
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 4
Interfaces haptiques
• Définition (wikipedia) :
Ø L’haptique désigne la science du toucher, par analogie avec acoustique ou optique (provient du grec "haptomai" qui signifie "je touche"). Au sens strict, l’haptique englobe :
• les phénomènes kinesthésiques, i.e. la perception du corps dans l’environnement
• le toucher
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
5
Interfaces haptiques
• 2 grandes familles d'interfaces haptiques :
Ø les interfaces à retour d’effort (ou interfaces kinesthésiques) : permettent de ressentir la position et les mouvements, les forces exercées (collisions, poids, viscosité) à l’aide de capteurs proprioceptifs situés dans les muscles et les tendons
Ø les interfaces tactiles : permettent de ressentir la forme, la texture ou la température des objets à l’aide de différents types de capteurs situés au niveau de la peau
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 6
Interfaces tactiles
Ø Dans la suite du cours, on parlera principalement des interfaces à retour d'effort
Tactile mouse (NISE, Japon)
Band-aid size tactile display (Univ. Of Nevada)
Tactile display (Forschungzentrum Karlsruhe)
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
2
7
Interfaces à retour d'effort • Bras articulés
Ø 1 ou 3 bras partent du support
Ø Au bout : un effecteur (objet manipulé : stylet, ou autre)
Ø Des moteurs contrôlent les articulations
Ø Différentes tailles, degrés de liberté
Virtuose (Haption)
Phantom (Sensable)
Falcon (Novint)
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 8 Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
Interfaces à retour d'effort • Fils motorisés
Ø L'effecteur est relié en un ou plusieurs points à des fils (jusqu'à 4 fils par point)
Ø Les fils se dirigent vers des poulies situés aux coins du cube extérieur
Ø Les fils sont reliés à des moteurs d'enroulement
Ø Différentes tailles, degrés de liberté
Inca (Haption)
Spidar (Sato-Koike group, Tokyo Institute of Technology)
9
Interfaces à retour d'effort • Autres
Ø Magnétique
Ø Vibrant (téléphones, wiimote,…)
Ø Dédiés (chirurgie,...)
Ø Exosquelettes
Ø etc.
• Vidéo 1 : MagLev
• Vidéo 2 : Samsung Anycall Haptic phone
MagLev et MagLev wrist (Carnegie Mellon)
Laparoscopic Impulse Engine (Immersion corp.)
PERCRO (Sant'Anna) Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 10
Interfaces à retour d'effort • Périphérique :
Ø Absolu • La localisation de l'effecteur est donnée en absolu par
rapport à l'espace de travail • (≠ relatif où l'on travaille avec des déplacements, ex.
souris)
Ø Indirect en ce qui concerne le visuel • On agit sur l'effecteur, l'écran peut être à côté (exception
pour les téléphones…) • Mais il est possible de se rapprocher du direct avec des
systèmes spéciaux (systèmes fish tank)
Ø Direct en ce qui concerne le rendu haptique • On agit sur les objets directement à l'endroit où ils sont
rendus haptiquement
Ø "World-grounded" (ex. Phantom) ou "body-grounded" (ex. exosquelettes)
• peut / ne peut pas contraindre une position en absolu
Fish tank system
University of Louisiana Lafayette
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
11
Interfaces à retour d'effort • 2 fonctions principales :
Ø Capture du mouvement, de la position • Utilisation comme périphérique d'entrée
Ø Restitution de forces • Utilisation comme périphérique de sortie
HUMAIN MACHINE
mouvement
forces de contact
info tactile et kinesthésique
commande motrice
mouvement info de position
commandes torques forces
muscles
capteurs moteurs
capteurs
D'après C. Basdogan Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 12
Retour d'effort : degrés de liberté (dof)
• Les degrés de liberté (ddl ou dof) : Ø Nombre de transformations géométriques
indépendantes possibles avec le matériel
Ø Pour chaque matériel, le nombre de dof peut être différent en entrée ou en sortie
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
3
13
Retour d'effort : degrés de liberté (dof)
• 2 catégories principales : Ø 3 dof
• Retour d'effort sur les 3 translations uniquement • En un point (généralement, l'extrémité de l'effecteur)
Ø 6 dof • Retour d'effort sur les 3 translations et 3 rotations • Sur tout l'effecteur
• Sur un système à fils • degrés de libertés fonction du nombre de points rattachés
• Sur d'autres types de matériels spécifiques Ø 7ème degré de liberté
Ø Par ex. pinces, ciseaux, etc.
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 14
Retour d'effort : degrés de liberté (dof)
• Exemple : Phantom 3dof, Phantom 6dof
Phantom Omni 3dof : - 6 dof en entrée (translations + rotations) - 3 dof en sortie (translations)
Phantom Premium 1.5 6dof : - 6 dof en entrée (translations + rotations) - 6 dof en sortie (translations + rotations) à Plus de moteurs
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
15
Retour d'effort : degrés de liberté (dof)
• 4 points rattachés par 2 fils, ou 2 points rattachés par 4 fils Ø 6dof
Spidar
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 16
Retour d'effort : degrés de liberté (dof)
• 4 fils : Ø 6 dof
Ø Ou bien 2 effecteurs 3dof
• Autrement dit : Ø 1 objet, 2 ou 4 points
Ø 2 objets, 1 point chacun
Rehabilitation to hand movement
application
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
17
Retour d'effort : degrés de liberté (dof)
• Problème : limite des dof pour les fils motorisés Ø Rattachement aux fils limite la rotation
Ø Intersection fils ↔ effecteur si angle trop important
Ø Intersection de fils entre eux
• Idem dans le cas de 2 effecteurs
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 18
Retour d'effort : degrés de liberté (dof)
• Problème : limite des dof pour les bras articulés Ø Débattement des bras limité en rotation
Ø Impossible de faire des rotations complètes d'objets
• Nécessité de pallier ces limites (quel que soit le système) Ø Par l'utilisation du périphérique en relatif au lieu d'absolu (à l'aide
d'un bouton par ex.)
Ø Par l'utilisation de métaphores d'interaction adaptées
Dominjon et al. 2006
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
4
19
Retour d'effort : espace de travail
• Espace de travail Ø Espace atteignable
• Ensemble des points que l'on peut atteindre avec l'effecteur
Ø Espace haptique • Ensemble des points dans lesquels le système est capable de
produire une force
• Souvent à peu près identiques pour les bras articulés
• Différents pour les fils motorisés
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 20
Retour d'effort : espace de travail
• Espace de travail pour bras articulés : ça dépend
• Exemples : Ø Phantom Desktop 3D (Sensable) : à peu près
rectangulaire • 160 W x 120 H x 120 D mm.
Ø Virtuose 6D Desktop • Sphère de 120 mm en translation
• 35° dans chaque direction au centre de la sphère
Ø Virtuose 6D35-45 (Haption) • Volume comprenant un cube de 45cm de
côté dans lequel les performances en effort sont garanties
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
21
Retour d'effort : espace de travail • Problème : espace de travail pour fils motorisés 3dof
Ø Espace atteignable cubique
Ø Espace haptique tétraédrique • Si la position est en dehors ou sur une face du tétraèdre,
aucune force ne peut être appliquée vers l'extérieur de cette face
ex. avec moteurs situés en 2, 4, 5 et 7
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 22
Retour d'effort : autres paramètres matériels
• En plus de l'espace de travail et des dof : Ø Puissance max des forces
Ø Sensibilité, précision
Ø Compensation des forces
Ø …
• Différents selon les modèles
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
23
Concepts : perception
• Perception Ø Physiologique
• Caractéristiques des capteurs humains
Ø Psychologique • Interprétation des sensations captées
• Conception et évaluation des interfaces Ø Prise en compte des facteurs de perception
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 24
Caractéristiques physiologiques
• Fréquences de fonctionnement Ø Sens tactile
• F comprise entre 1 et 300 Hz, et jusqu'à 1 kHz (perception des textures fines)
Ø Sens kinesthésique • F comprise entre 20 et 30 Hz (perception des forces)
• Seuils de perception Ø Seuil absolu de détection d'un contact : 63 mg Ø Seuil relatif de discrimination de la raideur (JND) : 22%
source : A. Lecuyer
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
5
25
Illusions sensorielles • Illusions d'optique bien connues
• Ex: illusion de Müller-Lyer, illusion de Bourdon
• Autre illusion
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 26
Illusions haptiques • Illusions :
Ø Le corps perçoit les informations, éventuellement contradictoires
Ø Le cerveau fait une erreur d'interprétation
• Illusions haptiques : Ø Müller-Lyer et Bourdon également haptiques Ø Thermiques : illusion de Thaler
Ø Raideur : • Effet de perspective [Wu 99] • Effet d'anisotropie [Hogan 90]
• Peuvent être exploitées dans les interfaces haptiques Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
27
Concepts
• Couplage visuo-haptique Ø Environnements virtuels de plus en plus multimodaux (ex.
visuel + haptique)
Ø Les informations peuvent être réparties sur les différents modes de rendu
Ø Certains manques des interfaces haptiques peuvent être compensés
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 28
Perception en haptique
• Sensibilité de perception : Ø Faible sensibilité à la justesse d'une position 3D
Ø Bonne sensibilité au changement de magnitude de la force
Ø Forte sensibilité au changement d'orientation de la force
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
Perception en haptique
• Difficultés de perception haptique Ø Visuel
• localisation p/r cadre de référence incluant les objets extérieurs
• référence allocentrée (ou exocentrée)
Ø Haptique • peu de connaissance sur les objets extérieurs,
• référence égocentrée (par rapport à son propre corps)
29 Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 30
Principales utilisations de l'haptique
• En 1999, Miller et Zeleznik identifient 4 utilisations possibles du retour haptique pour l'interaction : Ø Anticipation : indication de l'imminence d'un événement
Ø Suivi : indication qu'une action est en cours
Ø Accomplissement : indication qu'un événement d'est produit
Ø Guidage : contrainte du geste de l'utilisateur
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
6
31
Principales utilisations de l'haptique
• Toujours en 1999, Bowman distingue 4 tâches possibles en environnement virtuel Ø Contrôle d'application
Ø Sélection d'objet
Ø Manipulation d'objet
Ø Navigation
• Ces 4 tâches peuvent également bénéficier de l'haptique
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 32
Principales utilisations de l'haptique • En pratique, utilisation de l'haptique pour :
• Simulations de sensations réalistes Ø Interactions avec des objets, des milieux (sculpture, découpage,
palpation, etc.)
• Autres tâches en RV Ø Contrôle d'applications
Ø Navigation
Ø Désignation
Ø Manipulation
Ø Visualisation
Ø Communication
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
33
Simulation de sensations réalistes : Que veut-on sentir ?
• Un objet Ø Un peu comme pour la visualisation : différents
niveaux • La forme d'un objet
– Découverte par tâtonnement, aide à la représentation mentale globale de l'objet
• Les aspérités, la texture – Rainures, bosses
• Le matériau – Rugosité, viscosité, élasticité
Ø Eventuellement le poids
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 34
Sentir un objet
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
35
Simulation de sensations réalistes : Que veut-on sentir ?
• Un milieu, un effet Ø Mouvement réaliste dans un liquide, un gaz
Ø Mouvement dans un champ magnétique, attraction
Ø Gravité
Ø Inertie
Ø Etc.
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 36
Simulation de sensations réalistes : Que veut-on sentir ?
• Des réactions Ø Collisions d'objets, contacts
Ø Déformations
Ø Interactions entre objets : glissements, mouvements contraints (ex: coulissement)
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
7
37
Problèmes à résoudre • Contacts avec un objet :
Ø Détection des collisions
Ø Réponse à la collision • Contact, répulsion, glissement,
frottement, déformation, etc.
• Mouvement d'un pointeur ou objet dans un milieu : Ø Réponse du milieu
• Viscosité, attractions, force ambiante constante, etc.
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 38
Développement haptique
• Librairies haut niveau Ø Utilisent par exemple une duplication des appels
opengl, et des propriétés d'objets
Ø Ex. Ghost ou Openhaptics (Sensable), ReachInAPI (ReachIn)
• Librairies bas niveau Ø Calcul des forces et couples (torques), envoi des
forces au matériel
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
39
Développement haptique • Notion de "boucle haptique"
Ø Les forces sont mises à jour en fonction des mouvements
• Contrainte : Ø Fréquence de rafraîchissement ≥ 1 kHz
• (alors que le rafraîchissement écran n'est que ≈ 60Hz max)
• Les forces peuvent simuler : Ø Contact,
Ø Rugosité (friction),
Ø Viscosité,
Ø etc.
Ø à Soit par modification des paramètres (librairies haut niveau) soit par calcul des forces et des positions d'affichage, et envoi au matériel (librairies bas niveau)
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 40
Approche "Surface contact point" • Notion de "proxy" (ou "god object")
• La force ( ) est calculée en fonction de : Ø La distance entre la surface et la position physique ( )
Ø La raideur (k)
• Elle est normale à la surface
xΔ
xkFn
Δ= .
nF
Surface
Ancienne position
Nouvelle position (position physique)
Point de proximité avec la surface (proxy)
Raideur (k) xΔ
Outil
nF
Point de collision
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
41
Approche "Surface contact point"
• Importance de l'historique de position du point de contact
1F
Surface
2F
3F
3F
Outil
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 42
Objets polyédriques • Nécessité d'utiliser un algorithme de détection de
collisions
• Très nombreux polygones Ø Optimisations, par ex. par subdivisions spatiales ou
hiérarchies de volumes englobants
Ø Ex : bounding boxes, octrees, etc.
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
8
43
Déformations • Les surfaces peuvent être déformées :
Ø A l'intérieur d'une zone d'influence (taille)
Ø Selon une fonction de déformation (amplitude)
• Plus un point est loin du proxy, moins il est déformé
• Modèle "masse-ressort"
Objet dur Objet mou
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 44
Adoucissement des arêtes
• Comme pour le visuel, lissage : Ø La force est calculée par rapport à la normale
Ø Modification de la normale aux arêtes
• Permet de ne pas (trop) ressentir le passage d'un polygone à l'autre
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
45
Friction statique • On ajoute une force de friction ( ) :
Ø Tangentielle à la surface
Ø Orientée dans le sens inverse du mouvement
• La valeur de cette force dépend du coefficient de friction statique de la surface ( )
• L'outil ne peut bouger que si
tF
sµ
Surface
Déplacement du pointeur
Outil
tF
nF
nst FF.µ>
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 46
Viscosité, friction dynamique • Mouvement d'un objet de masse m dans un milieu visqueux le long
d'une surface ayant une friction dynamique :
• Comme la masse de l'objet est proche de 0, l'objet atteint rapidement sa vitesse de saturation
• Cette équation peut être utilisée pour calculer le déplacement maximum de l'objet en un cycle de la boucle
• b : coefficient de viscosité
• : coefficient de friction de Coulomb
xbxmFF ndt +=−µ
bFFx ndt µ−
=
dµtF
Surface
Déplacement du pointeur
Outil
nF
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
47
Amortissement (damper)
• Force qui s'oppose à la vitesse, de façon linéaire
Ø C est le coefficient d'amortissement visqueux
• Aide à la stabilité et à éviter les vibrations
xcFa −=
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 48
Inertie • Force d'intertie d'entraînement :
Ø m : masse de l'objet
• Exemple Ø La force d'inertie s'oppose à l'accélération d'un véhicule
• Force d'inertie de Coriolis (ou force centrifuge) : Ø : vitesse de rotation
Ø R : distance du centre de rotation à l'objet
• Exemple Ø Un passager est "poussé" à l'extérieur du virage lorsque celui-ci tourne
xmF −=
RmF 2ω−=ω
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
9
49
Textures • Textures en visualisation :
Ø Réduire l'expression de la géométrie à représenter visuellement
Ø Objectif : décider la couleur de chaque endroit d'une surface
• Textures en haptique : Ø Réduire l'expression de la géométrie à représenter
haptiquement
Ø Objectif : décider la direction et l'amplitude de la force en chaque endroit d'une surface
Ø Mapping d'un champ de hauteurs sur la surface Ø Approche dérivée du bump mapping
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 50
Modélisation biomécanique avec rendu haptique
• Analyse par éléments finis Ø discrétisation : décomposition du volume en un
nombre fini d’éléments
Ø application des équations sur chaque élément
• Systèmes masse-ressort Ø chaque élément possède une masse et est lié à son
voisin par un ressort élastique
• Calculs longs mais Ø accélération par pré-calculs
Ø limitation des régions d’intérêt (par ex. octree)
INRIA Sophia / Asclepios
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
51
Modélisation biomécanique avec rendu haptique
• Exemple : résection hépatique (video)
INRIA Sophia / Asclepios
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 52
Systèmes masse-ressort • En 2D :
Ø Système : • n éléments de masses mi et de position xi pour 1 ≤ i ≤ n • (n-1) ressorts
Ø Chaque élément i est connecté par deux ressorts : • i-1 ó i • i ó i+1
Ø Chaque ressort • relie les éléments ei et ej de masses mi et mj
• possède une raideur kij >0 • possède une longueur au repos lij
• Calcul des forces en 3D : Ø soit Fi les forces externes appliquées à ei
Ø équation du mouvement de ei (somme des forces qui s’exercent sur i) :
Ø on obtient les accélérations, donc les vitesses (intégration) et les positions (intégration) Ø boucle de calculs
e1 (m1)
e2 (m2)
e3 (m3)
k12 k23
∑ +−−ij iijjiij Flxxk à relié
)(
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
53
Exemples
• Video1 : University of British Columbia Ø Insertion d'aiguille dans un milieu mou
• Video2 : SOFA framework Ø Simulation d'opération "Diabetic traction vitrectomy
simulation"
University of British Columbia
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 54
La recherche en haptique
• Les techniques d'interaction haptique ont déjà été assez bien établies pour Ø les milieux
Ø les objets polyédriques
Ø les surfaces implicites
• Beaucoup d'applications ont déjà été développées
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
10
55
La recherche en haptique
• Types d'objets Ø Par ex., peu de résultats sur le rendu haptique 6dof des
surfaces nurbs et des surfaces de subdivision
• Utilisations Ø Pour l'instant, surtout rendu haptique réaliste (simulations)
Ø Moins de résultats sur l'utilisation à des fins d'aide haptique, de contrôle d'applications, sans objectif réaliste
• ex: menus haptiques, aide à la sélection en environnement dense, matérialisation de propriétés ou de valeurs par l'haptique, etc.
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 56
La recherche en haptique • Menus haptiques
Ø Souvent 2D transposée • Komerska et Ware, 2004
Ø Menu 3D haptique • Essert et Capobianco, 2009
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
57
Outrepasser les limites du matériel • Exploitation des illusions haptiques :
Ø Faire sentir des dof qui n'existent pas • Blocage visuel fait "ressentir" un blocage haptique qui n'existe
pas
Ø Modifier artificiellement les propriétés d'un objet • Altération du ratio C/D (Control/Display)
• Exemples : – friction/glissement à le pointeur se déplace moins (/plus) vite sur
la surface à l'écran que l'effecteur – rigidité (stiffness), souplesse à déformation moins (/plus)
importante de l'objet visuel par rapport au mouvement de l'effecteur
– masse à objet paraît plus lourd (/léger) si son mouvement visuel en direction du haut est ralenti (/accéléré) par rapport au mouvement de l'effecteur
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 58
Outrepasser les limites du matériel
• Moteurs : limites techniques des forces Ø Instabilité si résistance limite (oscillations, vibrations)
Ø Objets "durs" difficiles à simuler
• Introduction d'amortissement dans les contacts "durs" Ø Limiter les instabilités
Ø Améliorer la sensation de rigidité
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
59
Outrepasser les limites du matériel
• Pallier la petite taille de l'espace de travail Ø Éviter que des objets soient hors d'atteinte
• Artifices logiciels de focalisation
• Effecteur "ramené" en position centrale de façon imperceptible
• Etc.
• Pallier le faible débattement des effecteurs Ø Éviter de devoir "ramer" avec l'effecteur
Ø Trouver des métaphores d'interaction qui compensent
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 60
Outrepasser les limites du matériel
• Exemples de métaphores d'interaction : Ø Haptic hybrid rotations (L. Dominjon et al. 2006)
Ø Technique "Bubble" • (L. Dominjon et al. 2005) : video à
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
11
61
Applications • CAO
Ø Simulation d'emboîtements, coulissements de pièces, entraînements de mécanismes, faisabilité de conception
• Ergonomie Ø Simulation d'ergonomie par modélisation d'environnement de
travail, avec poids des objets simulé
• Interaction avec des écoulements, simulations physiques, biomécaniques Ø Mécanique des fluides, FEM, …
• Docking moléculaire
• Contrôle distant Ø Contrôle d'applications distantes, travail collaboratif,
manipulation de robots
• Simulateurs Ø Aéronautique, automobile, sous-marin, chirurgie, etc.
• Divertissement
• etc.
LIMSI
I3D/INRIA Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 62
Applications dans le domaine médical • Domaines :
Ø simulation réaliste de gestes médicaux et chirurgicaux • intubation, ponctions, péridurale, arthroscopie,
bronchoscopie, laparoscopie, différents types de chirurgie ouverte,…
Ø assistance pour les opérations chirurgicales • manipulation de robots à distance avec retour d'effort
Ø réhabilitation musculaire • périphériques spécifiques
• Comme périphérique d'interaction optionnel dans diverses appli RV (meilleur sentiment d'immersion) Ø diagnostic et thérapies comportementales
• phobies, troubles post-traumatiques,…
Ø entraînement de médecins de conflits • mise en situation de stress
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
63
Applications dans le domaine médical
• matériels : Ø du plus courant (casque, manette)
Ø au plus perfectionné et spécifique (virtual surgery table, dispositifs haptiques ad-hoc)
Barco
DKFZ Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 64
Simulation réelle / réalité virtuelle : pourquoi la RV ?
• Exemple dans le médical : • Simulation réelle :
Ø entraînements sur mannequins, cadavres, ou animaux
Ø inconvénients : • beaucoup de différences avec un patient
vivant • manque de réactivité • pas/peu de paramétrisation possible • coût, éthique
• Simulation en réalité virtuelle : Ø on peut simuler l’anatomie, la
biomécanique, la physiologie, les réactions du corps
Ø on peut paramétrer des pathologies standards, « cas d’école », ou cas rares pour l’apprentissage
Ø on peut recommencer à l’infini
3B Scientific Laerdal medical
State University of New York / Buffalo
The surgical simulation laboratory Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012
65
Exemples
Center for Advanced Medical Simulation Karolinska University Hospital.
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012 66
Simulation réelle / réalité virtuelle : pourquoi l'haptique ?
• Évidemment : Ø Pour apporter du réalisme tactile à la simulation
• Mais aussi : Ø Pour apporter une aide autre que visuelle pour :
• la sélection • la navigation • la perception • la matérialisation d'informations (décharger le canal visuel)
• Ou encore : Ø Sans haptique, pour avoir un périphérique de localisation
mieux adapté à la 3D que la souris
Caroline Essert – LSIIT/UdS – Cours Master2 ISI 2012