développer l’audition augmentée · virtualité augmentée 16 2. histoire de la réalité...
TRANSCRIPT
D i re c t i o n
Thierry Coduys
Guillaume JaCquemin
Développerl’auDition augmentée
sur plateforme mobile
son 2012alexandre saunier
ecole nationale supérieure louis lumière
promotion 2009-2012
J u r y
alan Blum
Thierry Coduys
Guillaume JaCquemin
mémoire de fin d’études et de recherche appliquée
2
remerCiemenTs
Pour commencer, merci à mes directeurs de mémoire, Thierry Coduys et
Guillaume Jacquemin, pour les conseils et l’aide apportés lors de ce mémoire.
De même, merci à Cécile le Prado, pour m’avoir présenté ses travaux et nourri
ma réflexion concernant ma partie pratique, et Antonin Fourneau, pour m’avoir présenté
Oterp et fait partager sa passion, mélange d’art et de jeux-vidéo.
Je tiens à remercier l’ensemble des professeurs et intervenants de l’établissement
qui, durant ces trois dernières années, m’ont fait découvrir le monde du son et conforté
dans ce choix de métier.
De façon plus personelle, merci à mes parents et ma famille pour m’avoir
toujours encouragé dans cette voie. Ce mémoire leur doit beaucoup.
Merci particulièrement à Marion et Antoine pour le temps passé à partager des
pauses, mais également à travailler à nos mémoires. Merci également à Hélène et Yohan
qui ont affronté les pages de cet écrit et l’ont éclairé de leurs conseils.
Enfin, un remerciement spécial aux créateurs du First Person Tetris qui, s’il ne
m’a pas aidé à rédiger, a une fois de plus trouvé sa place sur mon bureau.
3
résumé
La réalité augmentée a pour but d’introduire des éléments virtuels dans le monde
réel par le biais d’un système informatique. Bien plus que tout autre support, elle
permet de toucher l’ensemble des sens du spectateur. En particulier, elle permet
d’imaginer un emploi du son original et interactif. Récemment, l’arrivée sur le marché
des smartphones a fourni à la réalité augmentée une plateforme adaptée, mais aussi
un regain d’intérêt auprès du grand public.
Ce mémoire a pour but d’offrir des pistes de réflexions quant à l’augmentation
du son par l’emploi de smartphones. Si les applications sont nombreuses, nous
n’observerons que l’emploi qui en est fait dans le monde de l’art. Nous y puiserons
la matière nécessaire à une réflexion sur le potentiel de la réalité augmentée sonore.
Nous observerons aussi les caractéristiques des technologies smartphones avant d’en
étudier le potentiel dans une application au domaine du son.
moTs Clés :
Réalité augmentée, Audition augmentée, Smartphone, Réalité virtuelle,
Programmation, interactivité, Immersion
4
aBsTraCT
Augmented reality aims to insert virtual components into the real world by means
of computing. Above all mediums, it gives the opportunity to reach each senses of the
participant. In particular, it gives the opportunity to imagine original and interactive
ways to use sound. Recently, smartphones gave augmented reality an appropriate
platform along with a new interest among the general public.
This dissertation intends to feed the reflexion on the subject of ssmartphone
augmented hearing. Though applications à numerous, we will concentrate on those
found in the world of art. From there, we will find the arguments necessary to a
reflexion on the potential of augmented sound reality. In addition, we will observe the
characteristics of smartphones before studying their interest to the world of sounds.
Key Words :
Augmented reality, Augmented hearing, Smartphone, Virtual reality,
Programming, Interactivity, Immersion
5
TaBle des maTières
introduction 8
partie i. la réalité augmentée 12
1. Concepts et définitions 13
1.1. Continuum réel-virtuel et réalité mixte 131.2. réalité virtuelle 141.3. réalité augmentée 151.4. virtualité augmentée 16
2. Histoire de la réalité augmentée 17
2.1. la réalité virtuelle, origine de la réalité augmentée 172.2. Histoire de la réalité augmentée dans l’art 20
3. réflexions sur la réalité augmentée 24
3.1. perception de l’augmentation : la sensation de présence 243.2. pratiquer la réalité augmentée mobile 28
4. l’audition augmentée 29
4.1. Différentes oeuvres 294.2. Qu’est-ce qu’augmenter l’audition? 31
partie ii. la technologie smartphone 33
1. généralités 34
1.1. Histoire 341.2. marché 35
2. systèmes d’exploitation 38
2.1. google android 382.2. apple ios 402.3. symbian 40
6
2.4. microsoft Windows mobile phone et Windows phone 412.5. rim blackberry 412.6. autres systèmes 41
3. fonctionnalités 42
3.1. puissance de calcul 423.2. réseaux 423.3. géopositionnement 433.4. Capteurs: accéléromètre, gyroscope et magnétomètre 453.5. son 473.6. energie 47
4. Développer pour un smartphone 48
4.1. Contraintes techniques 484.2. prendre en compte l’utilisateur 49
partie iii. application de la réalité augmentée aux smartphones 51
1. Contexte 52
1.1. pourquoi utiliser des smartphones? 521.2. exemples de travaux 53
2. l’audition augmentée 56
2.1. les smartphones, une plateforme propice à augmenter l’audio 562.2. un exemple de jeu en audition augmentée 57
partie iv. Concernant la partie pratique 59
1. projet et approche de l ’environnement 60
1.1. la scénarisation 601.2. un aspect collaboratif 621.3. Choix software et hardware 63
2. Développer un module 65
2.1. guider le joueur 65
7
2.2. la gestion des effets sonores 662.3. programmation à l’aide de libpd 67
Conclusion 69
annexes 71
8
inTroduCTion
« This is not like “TV only better” ! This is life. »
Strange Days de Kathryn Bigelow
« This is not like “TV only better” ! This is life. » Voila ce vers quoi tend la Réalité
Augmentée. Comme la réalité virtuelle, avec laquelle elle partage les mêmes origines,
elle s’adresse au spectateur dans son intégralité. L’art a sans cesse cherché à toucher, faire
se questionner, faire ressentir : la peinture et la photographie en s’adressant à la vue, la
musique à l’ouïe, la littérature et la poésie à l’imagination du lecteur. Quant au théâtre, à
l’opéra et au cinéma, ils touchent autant la vue que l’ouïe et mélangent différents modes
d’expression. La réalité augmentée permet tout cela et bien plus. Elle donne la possibilité
de mélanger les médias : musique, image, texte... Elle cherche à solliciter tous les sens
: l’audition et la vision mais aussi le toucher et parfois l’odorat et le goût. Surtout, elle
fournit des outils puissants en terme d’immersion et de sensation de présence.
Réalité augmentée et réalité virtuelle sont avant tout des technologies ayant
une application pratique, surtout dans le domaine militaire et médical. Mais comme
tout procédé technique le monde de l’art ne les a pas laissés de côté. La science fiction
et la culture cyberpunk en ont fait deux de leurs thèmes de prédilection : Neuromancer
a définit le concept de « cyberespace », The Matrix nous envisage comme les habitants
d’un monde virtuel, et nous en trouvons la trace dans de nombreuses autres oeuvres :
Tron, Avalon, Minority Report, Rainbow’s End... Quant aux artistes comme Jeffrey Shaw,
Maurice Benayoun, Char Davis, ils ont fait appel à ces technologies dans leurs œuvres.
Encore relativement jeune et en plein essors la réalité augmentée est sans doute un
médium qui, comme cela a été le cas pour les livres ou le cinéma, permet de créer de
9
nouvelles oeuvres, de nouveaux types d’histoires, de véhiculer des idées et surtout, de
toucher le public.
« You’re there. You’re doing it, seeing it, hearing it... feeling it. » Voici les mots
qu’utilise Lenny Nero, antihéros du film Strange Days, lorsqu’il présente « the wire » :
un concentré de technologies que l’on place sur sa tête et dont les capteurs établissent un
contact direct avec le cerveau. Dans son mode d’enregistrement « the wire » capte toutes
les sensations de la personne qui le porte, ce qu’elle vit, entend, voit, ressent, éprouve.
En mode lecture il retransmet l’ensemble de l’expérience enregistrée : « You’re there. You’re
doing it, seeing it, hearing it... feeling it. » On vit une expérience immersive incomparable :
au delà des sens qui sont tous touchés, les émotions et les sensations sont transmises. La
puissance de cette technologie tient au fait que l’expérience vécue est indissociable du
réel : on la ressent comme si l’on y était. Il s’agit là du phénomène de « présence ». Peut-
on, et de quelle façon, donner au participant la sensation de vivre une expérience réelle
et non un simulacre virtuel? Voici l’enjeu principal de la réalité virtuelle et de la réalité
augmentée qui, plus que tout autre procédé, fait appel au monde virtuel pour l’incruster
ou le substituer au monde réel.
Si le domaine de la réalité augmentée m’intéresse, c’est aussi qu’une technologie
permettant de l’exploiter et de la porter au grand public se développe depuis quelques
années : celle des smartphones. Jusqu’à récemment la réalité augmentée était réservée à des
cercles restreints, principalement de chercheurs, disposant de la technologie nécessaire –
capteurs, ordinateurs, casques de vision stéréoscopique... Les systèmes développés étaient
coûteux, encombrants, souvent peu maniables et hors d’atteinte du grand public, sauf
pour quelques oeuvres présentées occasionnellement, comme The Golden Calf de Jeffrey
Shaw. L’année 2007 a marqué un tournant dans le monde de l’informatique mobile en
voyant apparaître sur le marché des smartphones disposant d’une puissance de calcul
et de graphismes auparavant inaccessibles à cette technologie. Ces appareils réunissent
dans un boitier ultra-portable, et à un prix abordable, des outils puissants en terme
d’interaction et de création numérique. Ainsi, la barrière qui existait entre le public et la
10
réalité augmentée a disparue.
Deux aspects de la réalité augmentée peuvent être développés grâce à l’utilisation
des smartphones. Leur portabilité donne la possibilité d’introduire le virtuel dans tout type
d’environnement et permet la création d’une réalité augmentée mobile accompagnant
l’utilisateur à tout instant de sa vie. Surtout, ces téléphones sont particulièrement adaptés
à l’augmentation du son.
Au travers de ce mémoire nous chercherons à mettre en avant ce que l’on pourrait
appeler l’« audition augmentée » et la façon dont les smartphones permettent de la créer.
Qu’il s’agisse d’incrustations et d’effets sonores ou encore de génération de musique
en temps-réel, il est possible de modifier notre perception et créer des univers sonores
augmentant le réel. Parmi les différentes applications qui peuvent en être faites, nous
n’aborderons que celles liées aux pratiques artistiques et employant le temps réel. C’est à
dire l’utilisation qui peut en être faite dans le cadre d’installations ou de performances et,
dans une certaine mesure, de jeux en réalité augmentée.
Dans un premier temps nous observerons donc ce qu’est la réalité augmentée.
Ses origines et les concepts qui la soutiennent avant de donner un aperçu d’oeuvres
réalisées. En plus de l’état de l’art, cette partie met en avant certains points et questions
récurrents dans tous projets mêlant réel et virtuel.
La deuxième partie sera consacrée aux smartphones. Nous présenterons ce qui
se fait en matière de plateformes et d’outils : afin de les exploiter il est nécessaire d’avoir
connaissance des différentes technologies qu’ils proposent.
Viendra ensuite une partie explorant le croisement réalisable entre réalité
augmentée et smartphones. Il s’agit d’en observer les aspects technologiques et artistiques
avant d’aborder l’emploi de ces plateformes pour l’augmentation du son.
11
Enfin nous verrons en pratique la façon dont une telle augmentation
sonore peut être réalisée sur une plateforme Android. Cette plateforme est celle
employée pour la partie pratique de mémoire et permettra de donner quelques
clés concernant la création d’une application d’« audition augmentée ».
13
1. Concepts et définitions
1 . 1 . Co nt i n u u m ré e l -v i r t u e l e t ré a l i té m i x te
La réalité virtuelle prend naissance dans les années soixante. Elle est définie
comme un environnement entièrement synthétique dans lequel est plongé le spectateur.
Afin de mettre en relation le spectateur avec ces mondes immatériels de nombreuses
interfaces ont été développées. Les Head Mounted Display (HMD) en particulier sont
à l’origine de la création d’états intermédiaires originellement regroupés sous le nom
de réalité augmentée. L’absence de classification claire de ces états a mené au début des
années 90 à la définition d’un concept : celui de Continuum Réel-Virtuel.
Ce continuum voit à ses extrémités l’environnement réel – le monde tel que
nous le connaissons – et l’environnement virtuel – généré par informatique. Entre les
deux existe une zone où cohabitent les objets réels et virtuels : la réalité mixte – cette
dernière englobe la réalité augmentée et la virtualité augmentée.
Afin d’aborder ce concept de continuum réel-virtuel, Paul Milgram considère
deux questions1 :
− L’environnement principal est-il réel ou virtuel ?
− L’augmentation, les objets insérés, sont-ils réels ou virtuels ?
La réalité augmentée désigne donc un environnement réel auquel sont
superposés des éléments virtuels. Wikitude World Browser2 est un exemple explicite :
cette application combine les fonctions de GPS et de compas des smartphones afin
d’associer des informations à des lieux en les incrustants dans l’image issue de la
caméra. Au contraire, la virtualité augmentée est un environnement virtuel dans lequel
1 milgram p., taKemura H., utsumi a., KisHino f., augmented reality : « a class of displays on the reality-virtuality continuum », proceedings of telemanipulator and telepresence technologies, pp. 2351-34, 1994
2 voire annexe 2
14
sont surajoutés des éléments réels. OpenSimulator3, par exemple, permet une telle
augmentation en donnant la possibilité d’inclure des vidéos provenant du monde réel.
fig.1 Continuum réel-virtuel simplifié
Le continuum présenté ici (Fig. 1) est une version simplifiée de celui définit par
Paul Milgram. Dans son intégralité, trois critères sont considérés : reproduction fidelity
– qualité des objets et stimuli virtuels – extent of world knowledge – degré de prise en
compte et d’implication de l’environnement réel – et enfin extent of presence – façon
dont les stimuli sont perçus et degré d’immersion du participant. La classification qui est
mise en place a pour but de permettre la comparaison et la mise en relief de similarités et
différences entre projets. Si elle est fondée sur des interfaces visuelles, elle n’en reste pas
moins un outil pertinent pour aborder les tenants et aboutissants de tout travail faisant
cohabiter réel et virtuel.
1 . 2 . r é a l i té v i r t u e l l e
La réalité Virtuelle consiste en la génération d’un environnement numérique
dans lequel est immergé le participant. Cet environnement peut imiter les propriétés du
monde réel – cas des simulateurs de vols. Au contraire, il peut outrepasser les lois de la
physique et créer un monde où le temps, la gravité et les propriétés des objets n’ont plus
3 http://opensimulator.fr
15
les mêmes effets – Osmose de Char Davis4 par exemple. L’espace ainsi créé permet au
spectateur d’interagir, y évoluer et vivre des sensations aussi convaincantes que possible.
Il a pour but de tromper le spectateur afin de remplacer le monde réel.
Howard Rheingold, auteur d’un des premiers livres sur le sujet, résume la
réalité virtuelle à l’aide de ces trois notions interdépendantes : « One is immersion, being
surrounded by a three dimensional world ; another one is the ability to walk around in that
world, choose your own point of view ; and the third axis is manipulation, being able to reach
in and manipulate it. »5
L’objectif étant une immersion maximale, elle fait appel à des interfaces
particulières. On emploie ainsi fréquemment des casques virtuels HMD, des gants ou
des combinaisons haptiques, ainsi que des capteurs de position ou du tracking vidéo. La
principale difficulté à laquelle ces interfaces doivent faire face est l’établissement d’une
lien précis entre les mouvements du participant et l’environnement virtuel. le spectateur
doit pouvoir se déplacer et modifier son point de vue, ressentir et agir sur les objets, sans
subir de latence ou de sensation de manque de correspondance entre ses actions et leurs
transpositions dans l’univers virtuel. De la qualité de ces interfaces dépend ce qui sous-
tend toute expérience de ce type : l’immersion et la sensation de présence6.
1 . 3 . r é a l i té a u gm e nté e
Plutôt que de remplacer le monde physique, la réalité augmentée en crée une
extension, un enrichissement. Elle consiste en l’inclusion d’éléments virtuels dans le
monde réel et désigne l’ensemble des procédés le permettant.
4 voir chapitre 1.2.1.
5 « la première [notion] est l’immersion, c’est à dire être plongé dans un monde en trois dimensions; une autre est la capacité de déplacement dans ce monde, celle de choisir son propre point de vue; et le troisième axe est celui de la manipulation, être capable d’y atteindre des objets et de le manipuler. » rHeingolD H., virtual reality,touchstone edition, etats-unis d’amérique, 1992
6 voir chapitre 1.3.1.
16
Une première définition fut donnée en 1994 par Paul Milgram et Fumio Kishino
lorsqu’ils définirent le concept de continuum réel-virtuel. Il s’agit alors de l’ensemble des
cas dans lesquels des éléments graphiques générés par informatique sont superposés à
l’environnement réel. Seuls les systèmes de HMD permettant de voir le monde alentour,
soit par l’intermédiaire de caméras soit par transparence, sont abordés.
L’autre définition fréquemment employée est celle que Ronald T. Azuma donne
dans A Survey of Augmented Reality7. La réalité augmentée doit alors répondre aux trois
caractéristiques suivantes:
− Combiner réel et virtuel
− Etre interactive et en temps réel
− Etre effectuée en trois dimensions
Azuma cherche par là une définition plus générale et surtout, indépendante de
la technologie employée. Ainsi, elle s’applique autant à la vue, à l’audition, au toucher
et dans une bien moindre mesure, malgré les recherches effectuées, à l’odorat et au goût.
Donner une définition précise de la réalité augmentée n’est pas chose aisée. Selon
les auteurs elle peut inclure, ou exclure, les systèmes en temps différé – l’incrustation
d’image de synthèse dans des films par exemple – ou encore nécessiter le recours à une
technologie précise. Cela est rendu d’autant plus difficile par la richesse des interactions
réel-virtuel. Le terme de réalité augmentée est ainsi fréquemment employé dans des cas
où il serait plus juste de parler de réalité mixte.
1 . 4 . vi r t u a l i té a u gm e nté e
A l’inverse, la virtualité augmentée voit l’insertion d’objets réels – non modélisés
– dans un environnement numérique.
7 aZuma r., « a survey of augmented reality », presence : teleoperators and virtual environments 6, aout 1997, p. 355-385
17
Moins répandue que la réalité augmentée on en trouve de nombreux
exemples dans le jeux vidéo. L’image du joueur se trouve par exemple insérée dans l’écran
et agit sur les objets qui s’y trouvent.
2. Histoire de la réalité augmentée
2 . 1 . l a r é a l i té v i r t u e l l e , o r i g i n e d e l a ré a l i té a u gm e nté e
On peut situer l’origine de la réalité virtuelle à 1965 quand Ivan Sutherland
publia son article The Ultimate Display. Durant les trois années suivantes, il développa
le premier HMD, nommé The Sword of Damocles, pour la Bell Helicopter Company ; il
est à noter que ce projet bénéficiait du financement de l’armée américaine. Les avancées
majeures dans ce domaine datent cependant des années 80. Jaron Lanier, un des pionniers
en la matière, inventa le terme pour distinguer les environnements numériques immersifs
des simulations informatiques. Sa société, VPL Research, commercialisa en 1984 le
premier gant de données (Data Glove) permettant la navigation et l’interaction avec les
environnements virtuels ainsi qu’un dispositif de réalité virtuelle en réseau dès 1989.
D’autres types d’interfaces ont aussi été développées afin de naviguer dans
les mondes virtuels. On peut citer The Legible City, de l’artiste australien Jeffrey Shaw.
Dans cette œuvre de 1989, le spectateur monte sur une bicyclette fixe pour se déplacer
à l’intérieur d’une ville dont les bâtiments sont faits de textes rappelant New-York et
Amsterdam. La visite est alors dirigée par l’intermédiaire du pédalier et du guidon,
permettant au spectateur de suivre les histoires racontées sur les murs ou de créer son
propre parcours.
En 1991, afin de s’affranchir des systèmes encombrants pour le spectateur, Tom
DiFanti et Dan Sandin développent le Cave Automatic Virtual Environnement (CAVE).
Cette technologie de réalité virtuelle est un cube dans laquelle une rétro-projection
3D polarisée est effectuée sur trois de ses faces et munie d’une diffusion sonore « 3D »
immersive. Il suffit alors aux spectateurs de se munir d’une paire de lunettes polarisée
18
pour prendre part au CAVE. Un visiteur « leader » est muni d’un capteur de position et
d’une « baguette interactive » afin de contrôler l’interaction avec l’univers présenté.
De nombreux artistes ont utilisé la technologie du CAVE. C’est le cas de
Maurice Benayoun et Jean-Baptiste Barrière pour l’installation World Skin qui remporta
un prix aux Ars Electronica de 1997. Cet univers immersif présente un monde ravagé par
la guerre, peuplé de soldats, de tanks et autres ruines. Armés d’un appareil, les visiteurs
peuvent photographier les éléments de ce décor. Mais chaque photographie prise fait
disparaître son sujet du paysage : « Nous prenons des photos et ici la photographie
est une arme pour effacer. […] Chaque fragment photographié disparaît de l’écran et
est remplacé par une silhouette noire. Avec chaque déclenchement de l’obturateur, une
partie du monde disparaît. »8
Entre 1992 et 1994 le Banff Center met en place The Art and Virtual Environments
Project. Neuf projets, souvent considérés comme les premières œuvres de réalité virtuelle,
sont alors développés. On peut citer Barcode Hotel de Perry Hberman, Virtual Reality
on 5 Dollars a Day de Ron Kuivila et Dancing with the Virtual Dervish : Virtual Bodies
de Tacov Sharir et Diane Gromala. La première œuvre achevée est Placeholder de Brenda
Laurel et Rachel Strickland qui reçut un très bon accueil. A l’aide de onze ordinateurs,
dont les Apple Powerbook de l’époque, et plus de 25 000 lignes de codes, Brenda Laurel
explore le rôle de la narration dans les environnements virtuels.
Osmose (1995) de Char Davies est un classique en ce qui concerne l’immersion
totale dans un monde virtuel. Equipé d’un HMD et d’une combinaison munie de capteurs
(Fig. 2), le spectateur vit un voyage à travers trois espaces successifs dans un univers
rempli d’éléments organiques. Osmose se distingue par deux aspects : son esthétique et
son interface. Avant d’utiliser des ordinateurs, Char Davis était peintre. Ainsi, très loin
des graphiques 3D fondés sur les polygones et propres à l’informatique, l’esthétique
repose sur des structures organiques complexes et un jeu prononcé sur la transparence
8 benaYoun m., « World skin Documentation », http://www.benayoun.com
19
et la luminosité. La charte graphique est fondée sur le désir de bousculer les perceptions
du spectateur dans le but d’augmenter son attention et de lui faire percevoir son corps
et ses sensations de façon nouvelle. Comme Char Davis l’explique : « in Osmose we used
transparancy and luminous particles to “desolidify” things and disolve spatial distinctions. »9.
Il en va de même pour l’interface. Si elle emploie un casque de réalité virtuelle, elle fait
surtout appel à une combinaison spécialement conçue pour l’oeuvre. Celle-ci permet
de suivre la respiration et l’inclinaison du spectateur en recueillant les informations de
déformation et de torsion de la cage thoracique10. On se déplace alors en se penchant
d’un côté ou d’un autre, s’élevant ou descendant au rythme de sa respiration. Décrite
comme « mystique » par certains visiteurs, Osmose permet de vivre une expérience où l’on
est amené à flotter au sein d’un univers onirique.
fig.2 spectateur muni d’un HmD prenant part à osmose
9 « Dans osmose nous avons utilisé la transparence et des particules lumineuses afin de “dé-solidifier” les choses et dissoudre les distinctions spatiales. » Davis C., « Changing space : vr as an arena of being », http://www.immersence.com/immersence_home.htm
10 pour plus d’informations sur l’élaboration de l’interface, son fonctionnement et ses méthodes de tests, se référer à l’excellente publication : seffaH a., benn J., mamar H. H., « a low-Cost test environmen for usability studies of Head-mounted virtual reality systems », Journal of usability studies, vol. 3, issue 2, février 2008, pp. 60-73
20
fig.3 osmose, univers souterrain
2 . 2 . H i s to i re d e l a ré a l i té a u gm e nté e d a n s l ’a r t
Bien que la réalité augmentée ne se soit réellement développée qu’à partir des
années quatre-vingt-dix, elle partage son origine avec la réalité virtuelle : l’une des versions
du Sword of Damocles permettait de voir le monde réel au travers de la visière servant
21
d’écran. Ce casque fut le premier système permettant d’insérer des éléments virtuels
dans le monde réel ; conçu pour des pilotes d’hélicoptères, il permettait l’incrustation
d’informations utiles au pilotage sous la forme de figures polygonales. Il faudra attendre
1992 pour que Tom Caudell et David Mizell inventent le terme « réalité augmentée »
alors qu’ils travaillaient chez Boeing à la conception d’un HMD. Le système développé
pautorisait la superposition de diagrammes sur des objets physiques afin d’améliorer les
méthodes de fabrication des avions.
Le premier système visant l’interaction de l’utilisateur avec des éléments virtuels
est Videoplace créé en 1975 par Myron Krueger. Ses mouvements sont analysés à l’aide
de caméras vidéo afin de générer une silhouette. Cette silhouette est alors projetée sur un
écran et entre en interaction avec des objets virtuels.
Dans le monde de la performance, l’emploi de la technologie débute dès les
années soixante. En 1966, une trentaine d’ingénieurs des laboratoires Bell s’associèrent à
neuf artistes pour créer 9 evenings. Cet ensemble de pièces est la première collaboration
d’envergure entre les mondes de la science et de la performance et pose les bases de
l’augmentation aussi bien dans le théâtre que dans la danse. Par la suite, on attribue à
Julie Martin la première performance en réalité augmentée telle que nous l’avons définie.
En 1994, Dancing in Cyberespace permet à des danseurs et des acrobates de jouer avec des
objets virtuels projetés dans le même espace physique qu’eux et réagissant en temps réel.
L’emploi de la réalité augmentée, en vidéoprojection, n’a ensuite cessé de se développer
dans le monde du spectacle vivant. Parmi les créations récentes, nous pouvons citer Glow
de la compagnie australienne Chunky Move, une performance où les mouvements de
la danseuse solo donnent naissance à l’environnement vidéo qui l’entoure : « In Glow,
light and moving graphics are not pre-rendered video playback, but rather images constantly
generated by various algorithms responding to movements. […] The machine sees the performers
and responds to their actions. »11
11 « Dans glow, la lumière et les mouvements graphiques ne sont pas des rendus vidéo effectués au préalable et lus en playback mais au contraire, des images générées constamment par des algorithmes sensibles aux mouvements. […] la machine voit les interprètes et réagit à leurs actions. »
22
Dans un autre domaine, Jeffrey Shaw présente en 1994 Golden Calf, que
l’on pourrait voir comme l’une des premières sculptures en réalité augmentée. Cette
installation consiste en un écran de la taille d’une feuille de papier dans lequel est visible
une idole païenne. L’image diffusée est synchronisée avec les mouvements et la position
de l’écran par rapport à l’idole afin de permettre au spectateur de l’inspecter sous tous
ses angles en se déplaçant autour d’elle. Si l’idole n’est pas présente physiquement, c’est
la médiation technologique qui permet de la faire apparaître. Le critique d’art Toshiharu
Itoh commente l’approche de Jeffrey Shaw de la façon suivante : « Shaw emphasize the
creativity of the border region where one foot rests in the real world, and the other in the
world of fantasy. »12 Ici, l’augmentation n’a pas pour but d’immerger le spectateur dans
un monde factice, mais de le placer à la frontière entre réel et virtuel pour faire émerger
de nouvelles narrations et expériences.
En 1999 Hirokazu Kato présenta ARToolKit, ensemble d’outils informatiques
dédiés à la réalité augmentée. Il s’agit de la première bibliothèque libre permettant de
résoudre deux problèmes : le suivi du point de vue de l’utilisateur et l’interaction entre
objets virtuels. Cette bibliothèque est aujourd’hui l’une des plus utilisées au monde.
La même année le logiciel Virtools13 fait son apparition sur le marché. Son
interface de programmation graphique très intuitive permet de créer des applications de
3D temps réel. Malgré la concurrence, Virtools est encore une référence et se trouve au
cœur de nombreux projets de réalité augmentée ou virtuelle, notamment du CAVE.
ARQuake développé par Bruce Thomas à University of South Australia en 2000
met en scène le jeu vidéo Quake dans l’environnement réel. Afin d’y prendre part le joueur
est équipé d’un HMD et d’un système employant la localisation GPS, des magnétomètres
obarZaneK g., http://reviews.media-culture.org.au/modules.php?name=news&file=article&sid=4103
12 « shaw met l’accent sur le potentiel créatif de la zone frontière où un pied reste dans le monde réel, et l’autre dans le monde de l’imagination » Wilson s., information arts, the mit press, massachusetts institute of technology, 2001, réed. 2003
13 www.virtools.com
23
et des gyroscopes reliés à un ordinateur. Les données récoltées permettent de naviguer
dans l’univers généré par l’équipe de recherche. Pour cela un modèle informatique du
campus universitaire a été créé permettant d’y faire errer les différents monstres et d’y
insérer des obstacles. Le joueur voit ainsi l’univers de Quake superposé à celui, physique,
du campus dans lequel il se déplace. Comme pour la plupart des travaux de réalité
augmentée la principale difficulté est la superposition des mondes virtuels et réels : «to
make the quake world know where the user is much more complex. We are using combinations
of digital compasses, inclinometers, GPS tracking and pattern recognition technologies just to
work out exactly where we are in the real world, then tell quake about it. […] There are issues
of alignement of the two worlds, accurate tracking in the outside world and lighting problems
to solve. »14
L’apparition d’ARToolKit ouvre la voie à la réalité augmentée sur plateforme
mobile. Des 2001, BatPortal de Joseph Newman exploite un PDA afin de proposer
une alternative aux HMD. Mathias Möhring de son coté, propose en 2004 un système
de repérage de marqueurs 3D sur téléphone portable15. Les projets alors développés
se concentrent sur l’augmentation visuelle et font fréquemment appel à des appareils
préparés, notamment par l’ajout de capteurs de mouvements. A partir de 2007, les
nouvelles générations de smartphones donnèrent les outils permettant un développement
plus aisé d’applications de réalité augmentée. Les artistes Sander Veenhof et Mark Skwarek
tirèrent profit afin de faire entrer la réalité augmentée au MoMA (Museum of Modern
Art) à New York en octobre 2010. A l’aide d’une application nommée Layar16 qu’il
télécharge, le spectateur peut déambuler à la recherche de sculpture en réalité augmentée
(Fig. 4). En fonction de sa position dans le musée et à l’aide d’un repérage de forme il lui
14 « informer le monde de Quake d’où se trouve l’utilisateur est beaucoup plus complexe. nous utili-sons une combinaison de compas numériques, d’inclinomètres, de repérage gps et de reconnaissance de forme pour trouver exactement où nous nous situons dans le monde réel, puis en informer Quake. […] il y a des problèmes d’alignement des deux mondes, de précision de repérage dans le monde réel et d’éclairage à résoudre. » wearables.unisa.edu.au/projects/arquake/
15 moHring m., lessig C., bimber o., « video see‐through ar on Consumer Cell‐phones », ismar ‘04 proceedings of the 3rd ieee/aCm international symposium on mixed and augmented reality. usa: ieee Compute, 2004
16 voir annexe 1
24
est alors possible de voir sur l’écran de son smartphone les sculptures virtuelles liées ou
non à des sculptures physiques.
fig.4 augmented reality art invasion ! , moma, octobre 2010
Opérant un métissage complexe entre réel et virtuel, le groupe d’artistes Blast
Theory est particulièrement actif dans l’usage des médias interactifs et des nouvelles
technologies. Sous forme de jeux à l’échelle d’une ville, les œuvres Can You See Me Now ?
(2001) et Uncle Roy All Around You (2004) mettent en relation des participant présents
dans la ville physique avec d’autre présents dans une ville virtuelle. A la frontière avec
la réalité augmentée, leurs ouvres explorent en profondeur les possibilités de la réalité
mixte.
3. réflexions sur la réalité augmentée
3 . 1 . pe rce p t i o n d e l ’a u gm e nt at i o n : l a s e n s at i o n d e p ré s e n ce
On peut voir dans les trompe-l’oeil un précédent artistique à la réalité augmentée.
Cette volonté d’imiter et de modifier le réel est une tendance récurrente dans l’art. Il
existe d’ailleurs plusieurs histoires de personnes ne pouvant distinguer un tableau de
la réalité. Encore mieux, certaines légendes racontent que des animaux eux mêmes se
sont fait prendre au piège d’une œuvre trop naturelle. Quand on regarde de plus près,
on s’aperçoit que les grandes périodes du trompe-l’oeil ont eu lieu à la Renaissance –
période où l’on découvrait les lois mathématiques de la perspectives – et au XVIIème
25
siècle – période de développement des sciences de l’optique. En plus de leur lien avec le
développement de la science, les trompe-l’oeil ont cette particularité de ne pas s’appliquer
qu’au seul cadre académique de la peinture mais au contraire d’investir l’environnement
du spectateur en trouvant leur place sur des bâtiments, murs, portes... Dans un trompe-
l’oeil les notions de réalité et de virtualité deviennent floues et tout concourt à jouer avec
le spectateur, l’induire en erreur, questionner sa perception du réel.
De même la réalité augmentée met au défi la perception de son utilisateur.
Suivant l’usage qui en est fait le soin accordé au réalisme des éléments virtuels et à leur
intégration est plus ou moins grand, jusqu’à les rendre indissociables des éléments
réels. Contrairement au trompe-l’oeil limité au seul sens de la vue, la réalité augmentée
s’adresse à tous les sens: la vue, l’ouïe, le toucher et dans une moindre mesure, car encore
peu explorés, le goût et l’odorat. Le défi proposé est alors d’autant plus grand que cette
technologie dispose d’un potentiel immersif extrêmement fort: si plusieurs sens sont
stimulés en même temps de façon réaliste, comment est-il possible de discerner le virtuel
du réel?
Par ailleurs, la réalité augmentée signifiant l’intégration du virtuel dans le réel,
une télévision diffusant un dessin animé peut-elle être considérée comme de la réalité
augmentée ? Bien qu’elle permette cette intégration il lui manque un élément essentiel :
l’augmentation nécessite un lien fort avec le réel. Dans son ouvrage The Ultimate Display,
souvent considéré comme le fondement de la réalité virtuelle, Ivan Sutherland écrit :
« The ultimate display would, of course, be a room within which the
computer can control the existence of matter. A chair displayed in such a room
would be good enough to sit in. Handcuffs displayed in such a room would be
confining, and a bullet displayed in such a room would be fatal. With appropriate
programming, such a display could literally be the Wonderland into which Alice
Walked. »17
17 « l’écran parfait serait, bien sur, une pièce dans laquelle un ordinateur contrôle l’existence de la matière. une chaise exposée dans une telle pièce permettrait de s’y assoir. Des menottes exposées dans
26
Contrairement aux moyens de diffusion comme la télévision, Sutherland insiste
sur le fait que l’« interface ultime » doit permettre l’immersion et l’interaction. Dans la
réalité augmentée, comme dans la réalité virtuelle, il doit donc exister un lien fort entre
les objets insérés et la réalité qui leur sert de support.
La notion d’immersion fait appel aux stimuli générés numériquement et dénote
leur capacité à nous faire ressentir le monde virtuel. Pour Frank Biocca et mark Levy, elle
se définit de la façon suivante : « the degree to which a virtual environment submerges the
perceptual system of the user. »18
Pour obtenir cela, Jonathan Steuer19 définit deux caractéristiques nécessaires aux
systèmes hardware :
− « breadth » : le nombre de sens stimulés
− « depth » : la résolution de l’interface
Ensembles, ils permettent d’obtenir l’immersion. Si la réalité augmentée ne fait
pas appel à un univers entièrement synthétique, ces deux critères restent néanmoins
nécessaires afin de permettre le contact avec les objets virtuels incrustés.
D’autre part Steuer définit trois critères propre à permettre l’interaction :
− « speed » : la vitesse à laquelle le système peut assimiler et traiter les informations
− « range » : la quantité d’actions qu’il peut potentiellement effectuer
− « mapping » : la capacité du système à réagir de façon naturelle aux changements
une telle pièce seraient entravantes , et une balle matérialisée dans une telle pièce serait mortelle. avec une programmation adéquate, une tel écran pourrait littéralement être le pays des merveilles dans lequel alice s’est aventurée. » i. e. sutherland, « the ultimate Display », proceedings of ifip’65, 1965, pp. 506–508
18 « le degré auquel un environnement virtuel submerge le système perceptif de l’utilisateur. » bioCCa f., levY m.r., Communication in the age of virtual reality, Hillsdale, 1995
19 steuer J., « Defining virtual reality : Dimensions Determining telepresence », Journal of Communi-cation 42, 1992, pp. 73-93
27
qu’il perçoit
En d’autres termes, il s’agit ici d’observer la façon dont l’utilisateur peut se
déplacer et interagir avec les éléments insérés.
Ainsi l’immersion correspond à la vraisemblance des informations sensorielles
tandis que l’interaction est le lien établi entre l’utilisateur et le virtuel. La réunion des
deux donne naissance à ce qui est nommé la sensation de « présence ». Bien qu’elle soit
définie de différentes façons, on peut la décrire de manière simple comme « the sense of
being in an environment »20, l’illusion de ne pas subir de médiation technologique21.
Au contraire de l’immersion et de l’interaction qui sont fondées sur une
expérience physique, la présence intègre des paramètres psychophysiques. Elle prend
naissance dans la perception du spectateur et présente des composantes psychologiques
et subjectives, en plus de celles objectives et physiques.
Pour en donner un exemple, nous pouvons prendre une expérience réalisée par
Ivan Sutherland avec son premier système de HMD22. Un volontaire fut atteint d’une
crise de panique alors que le HMD lui diffusait les images d’un précipice. Pourtant au
cœur du laboratoire, cette personne était persuadé d’être sur le point de tomber et ne put
se calmer qu’une fois le dispositif retiré. Bien que cette expérience n’ai pas une dimension
immersive et interactive aussi importante qu’avec les systèmes actuels, la sensation de
présence, violente, qu’a éprouvé cette personne témoigne de sa dimension psychologique
et démontre le potentiel d’une telle technologie.
20 « la sensation d’être présent dans un environnement » gibson J., the ecological approach to visual perception, Houghton mifflin, boston, 1979
21 pour plus de précision concernant la notion de présence : Wagner i., « on the rôle of presence in mixed reality », presence, vol.18, n°4, 2009, pp. 249-276
22 grau o., virtual art from illusion to immersion, mit press, 2003, p.163
28
3 . 2 . prat i q u e r l a ré a l i té a u gm e nté e m o b i l e
Dans un premier temps après l’apparition de la réalité augmentée la majorité des
systèmes développés ont concerné des applications en intérieur. De tels environnements
sont aisément contrôlables et soumis à peu de contraintes – variation d’intensité lumineuse
par exemple. Les avancées effectuées récemment en matière d’informatique mobile –
principalement les smartphones et tablettes – rendent possible le développement de
programmes plus complexes permettant d’employer la réalité augmenté en extérieur.
La mise en œuvre de tels systèmes présente plusieurs enjeux23 :
− La mobilité de l’utilisateur dans un environnement non restreint et non
préparé rend sa localisation difficile24
− La quantité d’informations auxquelles il est nécessaire d’accéder, en temps
réel, implique une gestion optimisée des ressources de traitement, de stockage et de
communication
− La prise en charge de l’interaction avec les objets virtuels est à penser suivant
les fonctionnalités des différents hardwares utilisés
Ainsi il est nécessaire d’explorer la synergie entre réalité augmentée et informatique
mobile afin de mettre au point des architectures – matérielles et logicielles – adaptées aux
environnements extérieurs.
L’une des difficultés d’un environnement non préparé est l’insertion géographique
des objets virtuels. Comme nous l’avons vu avec ARQuake, un modèle informatique de
l’espace où se déroule l’expérience est nécessaire afin d’y faire évoluer les personnages. Ce
modèle est garant de la crédibilité de l’augmentation : en effet, un monstre traversant un
23 ZenbJebil i. m., ababsa f., DiDier J.-Y., vairion J., frauCiel l., HaCHet m., guitton p., Delmont r., « réalité augmentée en extérieur : enjeux et etat de l’art », 10th aCm/ieee virtual reality international Conference, laval, 2008
24 nous reviendrons sur les problèmes de géolocalisation dans les parties 2.3. et 2.4.
29
mur serait une aberration et décrédibiliserait ARQuake. De tels gabarits sont fréquents
afin de tirer le meilleur parti des éléments virtuels. En plus d’améliorer l’insertion, ils
permettent de rendre la géolocalisation du participant plus précise en définissant des
zones où sa présence est impossible – bâtiments par exemple. En contrepartie l’expérience
est alors limitée à un lieu précis et balisé. Antonin Fourneau n’a pas souhaité que son
projet Oterp25, jeu musical en réalité augmentée, subisse de contrainte de lieu. Pour cela,
le jeu est scénarisé de façon à ce que de tels modèles ne soient pas nécessaires ; le joueur
peut acquérir des pouvoirs lui permettant d’attraper à distances les objets, résolvant le
problème de ceux inaccessibles physiquement.
Une autre solution consiste en l’emploi de marqueurs disséminés dans la scène
réelle. Cela peut permettre de renseigner le système sur la position de l’utilisateur dans
les cas où la localisation par GPS est inexploitable et celle issues de réseaux GSM ou
WIFI trop peu précise26. C’est notamment l’application qui en est faite en muséologie
où la présence d’une balise, fréquemment un QR Code – code barre à deux dimensions
– permet d’accéder au contenu d’un audioguide. L’utilisation de balises s’est largement
répandue suite au succès de la bibliothèque ARToollKit. Celle-ci propose des marqueurs
carrés aux bords noirs sur fond blanc à l’intérieur desquels un pattern permet de les
identifier.
4. l’audition augmentée
4 . 1 . D i f fé re nte s o e u v re s
Comme nous l’avons vu la réalité augmentée s’est principalement développée
autour de son aspect visuel, les différents systèmes ayant permis l’utilisation des sons
comme sujets augmentables mais toujours en lien avec une image. Il existe malgré tout
des exemples de réalité augmentée uniquement sonore.
25 voir chapitre 3.2.2.
26 voir chapitre 2.3.3
30
On trouve parmi les premières expériences réalisées Trace27 que Teri Rueb
présenta pour la première fois en 1999. Trace est une installation sonore transformant le
réseau de randonnée du parc naturel de l’Yoho au Canada en un lieu de mémoire abordant
les notions de perte, d’absence et de transformation. Une banque son constituée de textes
enregistrés permet au randonneur muni d’un sac à dos spécial, contenant un ordinateur
et un GPS, d’accéder à l’enregistrement associé au lieu où il se trouve. Pour mêler le
texte aux sons ambiants, celui-ci est alors diffusé à faible volume dans un casque ouvert.
La même année Stefan Schemat propose Osmotic Mind, une fiction sonore en réalité
augmentée, où le spectateur muni d’un dispositif similaire au précédent peut marcher à
travers Berlin sur les pas des personnages de Berlin Alexenderplatz pour entendre des sons
élaborés à partir de ce roman.
De son côté Ian Mott propose avec Sound Mapping une augmentation musicale.
Dans cette œuvre collaborative les participants disposent chacuns d’une valise contant
un GPS, un ordinateur portable, un gyroscope et un odomètre. En fonction de leurs
mouvements et de leurs positions les valises génèrent la musique. Selon Ian Mott, le lien
qui existait entre le monde physique et la musique a disparu en Occident. L’augmentation
permet alors de le retrouver : « Music will on occasions strive to represent locations. It will
however also be produced to contrast and challenge people’s perceived notions of place, time
and motion. »28
Plus récemment l’arrivée des smartphones a permis la création de projets mêlant
réalité augmentée sonore et jeu dans l’espace urbain. Un exemple est le Oterp de Antonin
Fourneau, actuellement en développement. Dans cette application le joueur génère une
musique en fonction d’objets musicaux disséminés dans son environnement. Il peut
ensuite les collecter pour former lui même des séquences musicales.
27 http://www.terirueb.net/trace/index.html
28 « la musique va par moment s’efforcer de représenter le lieu. elle sera cependant aussi générée afin de contraster et déstabiliser les perceptions de lieu, de temps et de mouvement du participant. » http://reverberant.com/sm/paper.htm
31
4 . 2 . Q u’e s t - ce q u’a u gm e nte r l ’a u d i t i o n ?
Pour aborder l’augmentation de l’audition nous pouvons nous inspirer
des principes que Ronald Azuma exprime dans sa publication29. En appliquant les
caractéristiques qu’il y définit30 les sons doivent être augmentés en trois dimensions, c’est
à dire qu’il faut pouvoir contrôler leur spatialisation et permettre leur intégration dans
l’environnement. A l’instar de l’image qui emploie des HMD permettant la stéréoscopie,
le son doit bénéficier d’un casque stéréophonique. Il faut donc être en mesure de connaître
les mouvements de l’auditeur afin de fournir une image sonore qui soit cohérente. Se pose
alors une question : celle de la gestion des sons réels. Faut-il faire appel à un dispositif
permettant de les entendre naturellement – comme un casque ouvert – ou employer
une médiation technologique – les recueillir par l’intermédiaire de microphones et les
réinjecter dans un casque ? Cette question est dépendante des moyens employés et des
problèmes de la latence entrainés par le traitement informatique.
Augmenter l’audio peut ensuite prendre plusieurs formes. A l’image de Trace de
Teri Rueb il peut s’agir de l’insertion de sons. Il est alors nécessaire de mettre en place un
scénario les régissant. Une incrustation fréquente est celle de voix, c’est le cas des audio-
guides augmentés qui donnent accès aux commentaires des œuvres selon la position du
visiteur. Un tel procédé peut aussi donner l’occasion de ré-associer des sons aux appareils
qui en étaient la source. Dans ce sens le Conservatoire des Arts et Métiers a expérimenté
un audio-guide faisant entendre le bruit des machines exposées dans son musée31. De la
même façon, il est possible de faire entendre des éléments dont on ignore la présence,
comme dans Topophonie mobile32 où le visiteur découvre par le son les flux aquatiques
présents dans le sous-sol des pentes de Belleville, à Paris.
29 aZuma r., « a survey of augmented reality », presence : teleoperators and virtual environments 6, aout 1997, p. 363-364
30 voir chapitre 1.1.3.
31 KagHat f.-.Z., le praDoC., Damala a., CubauD p., « experimenting with sound immersion in an arts and Crafts museum », http://cedric.cnam.fr/index.php/publis/articla/view?id=1811
32 www.futur-en-seine.fr/evenement/topophonie/
32
Par ailleurs, l’augmentation permet une transformation de l’environnement
sonore. Il est possible de récupérer les sons ambiants pour leur appliquer un traitement ;
leur faire subir un mouvement, des échos, changer leur tonalité... L’application pour
iPhone RjDj33 utilise fréquemment les effets de délai et de transpositions dans ses
différentes scènes sonores. Elle récupère les sons captés par le micro du smartphone afin
de leur appliquer des traitements destinés à les rendre musicaux.
Il peut aussi s’agir d’une augmentation musicale. Dans RjDj, la musique
est générée en fonction de l’environnement et de l’utilisateur. Elle entretient un lien
extrêmement fort avec le monde réel qui en régit la création et lui fournit des matières
sonores. Il est possible de se servir des données issues du smartphones pour influer sur
le tempo ou le volume, faire entrer des pistes instrumentales... L’augmentation permet
ici de mettre en contexte l’évolution musicale afin d’accompagner les faits et gestes du
participant.
33 voir chapitre 3.1.2.
34
1. généralités
Les smartphones, officiellement nommés «terminaux de poche» ou «ordiphones»
en France, sont des téléphones portables construits sur la base d’une unité de traitement
informatique mobile. Là où les téléphones cellulaires classiques disposent uniquement
des fonctions de téléphonie, envoie et réception de messages textes et d’un répertoire,
les smartphones possèdent de nombreuses autres fonctionnalités, comme celles de PDA,
lecteur de médias, appareil photo, GPS, navigateur internet, WiFi...
Les principaux systèmes d’exploitation sont l’iOS de Apple, Android de Google,
Symbian de chez Nokia et de façon moins répandue Windows Phone de chez Microsoft,
Blackberry de RIM ainsi que des systèmes embarqués Linux comme Maemo et MeeGo.
1 . 1 . H i s to i re
La téléphonie mobile portable remonte à 1973, date à laquelle un chercheur
de Motorola nommé Martin Cooper présenta le premier téléphone mobile portable
dont le poids était alors d’environ un kilogramme. Vingt ans plus tard, en 1993, IBM
commercialisait le premier smartphone: le Simon34 au prix de 899$, pour un poids
de cinq cents grammes. Le Simon possédait déjà des caractéristiques semblables à ses
homologues actuels: écran tactile, fonctionnalités de PDA, gestion des e-mails et fax,
jeux... Il disposait de plus d’un écran tactile de 160x293 pixels. Il faudra attendre 1997
pour voir apparaître le terme de «smartphone» employé pour la première fois par Ericsson
pour son GS88.
En 1996 Nokia lance la gamme Nokia Communicator, réunissant au sein d’un
même combiné un téléphone et un PDA et faisant appel à partir de 2001 au système
d’exploitation Symbian, que Nokia rachètera en 2008.
Le 9 janvier 2007 marque un tournant dans l’histoire des smartphones: Apple
34 http://research.microsoft.com/en-us/um/people/bibuxton/buxtoncollection/detail.aspx?
35
présente le tout premier iPhone qui, du fait de son succès immédiat, a fixé des standards
pour les téléphones à venir. L’iPhone présente la première technologie tactile multipoint
stable sur un téléphone portable et rassemble pour la première fois un nombre important
de capteurs, une caméra, un accès à internet ou encore une grande résolution graphique.
Une ses forces est sans doute le succès de la boutique en ligne «App Store» permettant
de télécharger de nombreuses applications, plus de 500 000 sont dénombrées en mars
2012.
En réaction l’Open Handset Alliance35 (OHA) est formée le 5 novembre 2007.
Ce consortium de 84 sociétés mené par Google et réunissant des entreprises comme
HTC, Samsung Electronic, Sony, Dell, Intel et Motorola, a pour but de développer
des normes ouvertes pour la téléphonie mobile. L’OHA à dévoilé lors de sa création le
système d’exploitation Android, en concurrence directe avec les géants du marchés que
sont l’iOS d’Apple, Symbian et Blackberry.
De nos jours les smartphones font penser à des ordinateurs intégrés dans des
téléphones portables, des plateformes informatiques disposant des ressources nécessaires
au développement et à l’exploitation d’applications dépassant le cadre de la téléphonie
et de la télécommunication. On est pleinement dans ce que Mark Weiser a définit
comme ubiquitous computing, souvent traduit par intelligence ambiante ; c’est à dire des
ordinateurs omniprésents et «invisibles» interconnectés dans un réseaux global que les
gens utilisent de manière inconsciente pour accomplir leurs taches quotidiennes36.
1 . 2 . m a rc h é
2011 est une année charnière pour le monde de la téléphonie mobile, elle marque
l’adoption par le grand public des smartphones dont la vente a pour la première fois
dépassé celle des téléphones mobiles classiques. Fin 2011, 42% des usagers de téléphones
35 http://www.openhandsetalliance.com/
36 Weiser m., « the Computer for the twenty-first Century », scientific american, septembre 1991, p94-104
36
mobiles américains et 44% de ceux européens (Royaume-Uni, France, Allemagne,
Espagne et Italie) en possédaient un. La prolifération des smartphones s’accompagne
d’une hausse importante de la consommation de médias – accès au web, téléchargement
d’applications et de contenus multimédias. L’accès à internet depuis une unité mobile –
smartphones principalement mais aussi tablettes – représente une part signifi cative du
trafi c global : 9,5% au Royaume-Uni, 8,2% aux Etats-Unis ou encore 2,8% en France,
deux tiers des utilisateurs consultent régulièrement les réseaux sociaux, principalement
Facebook et Twitter. D’autres sites comme le commerce en ligne, l’accès aux réseaux
d’information sur la santé ou l’emploi sont en forte augmentation.
fig.5 part des smartphones dans téléphonie mobile, comscore, Dec. 2011
fig.6 possesseurs de smartphones (en millions), comscore, Dec.2011
37
Le marché des smartphones se répartit autour de cinq systèmes d’exploitation
principaux que sont iOS (Apple), Android (Google), Symbian, Blackberry (RIM) et les
systèmes d’exploitation de Microsoft (Windows Mobile et Windows Phone), d’autres
systèmes, le plus souvent propres à un constructeur comme Bada chez Samsung, tentent
aussi de se faire une place sur le marché. Deux systèmes se partagent près de 75% du
marché: iOS (entre 10% et 30% selon les marchés) et Android (entre 20% et 50%),
plaçant l’ancien leader Symbian à la troisième place. Cependant, s’il s’agit de la tendance
du marché mondial certains pays se distinguent, notamment le Japon où Android et iOS
représentent respectivement 60% et 34% du marché, et le Canada où Android, iOS et
Blackberry représente chacun environ un tiers du marché.
fig.7 vente mondiale de smartphones par systèmes d’exploitation, gartner inc.
38
fig.8 répartition française des diff érents systèmes d’exploitation, comscore, Dec.2011
En juillet 2008 Apple introduit en même temps que l’iPhone 3G un service
nouveau: l’«App Store», en grande partie responsable de son succès commercial. L’ «App
Store» permet d’acheter et de télécharger en ligne les applications développées pour
iPhone. Suite à cela, les diff érents OS se sont vus eux aussi créer un application store:
«Google Play» pour Android, «Ovi App Store» pour les Nokia fonctionnant sous Symbian,
« BlackBerry App World » pour BlackBerry et « Windows Phone Marketplace » chez
Windows. Preuve du succès de ces magasins en ligne et de l’intérêt des utilisateurs pour
les applications sur smartphone l’Apple App Store dépasse début mars 2012 la barre des
25 milliards de téléchargements.
2. systèmes d’exploitation
2 . 1 . g o o g l e a n d ro i d
Android est présenté au public le 5 novembre 2007 par l’Open Handset Alliance,
puis commercialisé en novembre 2008, comme un système d’exploitation libre venant
concurrencer celui d’Apple. Fondé en 2003 en Californie Android inc. fut racheté en 2005
par Google qui en assure maintenant le développement et la maintenance. L’objectif de
l’OHA est de fournir un système d’exploitation ouvert et libre permettant d’équiper aussi
bien des smartphones que des tablettes. Ce système d’exploitation se retrouve donc chez
39
de nombreux constructeurs de smartphones – Samsung Galaxy, HTC One, Motorola
RAZR … – et de tablettes – Asus Transformer Prime, Archos 101, Acer Iconia ...
Android est un système d’exploitation open source utilisant un noyau Linux
et fonctionnant sous licence Apache open source licence v237, pouvant aussi accepter et
intégrer du code source régit par les licences par l’Open Source Initiative. Cette volonté
de se positionner dans le monde du logiciel libre permet l’existence d’une communauté
de développeurs étendant sans cesse les fonctionnalités d’Android. Le site Android
Developers38, indique que tout développeur a la possibilité de s’enregistrer sur Google
Play par le biais d’un compte Google afin d’y publier ses applications sans passer par
une procédure de validation potentiellement longue. Contrairement au fonctionnement
de l’Apple App Store, il n’est pas nécessaire de passer par Google Play pour obtenir une
application Android, cela étant aussi réalisable directement via le site du développeur ou
encore via tout autre site mettant l’application en ligne.
Si l’OHA permet de retrouver Android dans de nombreux smartphones cela
pose néanmoins un problème fondamental à tout développeur: chaque appareil possède
des performances et des caractéristiques différentes, obstacles à la portabilité de certaines
applications. Il est ainsi possible de mettre en place des restrictions permettant le
téléchargement d’une application aux seuls appareils ayant les caractéristiques requises à
son bon fonctionnement.
Android dispose aussi de sa plateforme de téléchargement en ligne : « Google
Play Store », anciennement appelé « Android Market ». En mars 2011 plus de 150 000
applications étaient téléchargeables dont plus de la moitié gratuitement. Y publier
nécessite de s’enregistrer en tant que développeur et de s’acquitter des frais de dossier.
Mais au contraire d’Apple, il n’est pas nécessaire de subir une procédure de validation.
De plus, il est possible de diffuser son application par d’autres moyens que le Google Play
37 http://www.apache.org/licenses/liCense-2.0.html
38 http://developer.android.com
40
Store ; cela est réalisable par le biais de sites tiers ou de mails.
2 . 2 . a p p l e i o s
iOS, anciennement iPhone OS jusqu’en juin 2010, est le système d’exploitation
des dispositifs mobiles d’Apple, d’abord développé pour l’iPhone. Il a ensuite été
utilisé pour de nouveaux appareils tels que l’iPad et l’iPod Touch. Contrairement à ses
concurrents de chez Google et Microsoft, l’iOS n’est installable que sur du hardware
Apple. Introduit en juin 2007 avec le premier iPhone, il effectue une véritable révolution
en proposant entre autre la première interface multi-points tactile fonctionnelle et une
ergonomie très bien conçue.
Un autre de ses attraits est l’App Store. Moins de quatre ans après son lancement
la barre des 25 milliards d’applications téléchargées était dépassée début mars 2012.
L’App Store est la plateforme en ligne permettant le téléchargement des applications
programmées pour iOS. Toute application – et ses mises à jours – est soumise à une
procédure de validation et Apple se réserve le droit d’accepter ou non sa publication.
Cependant, si le SDK de iOS et le simulateur sont publié gratuitement, seules les
bibliothèques fournies Apple sont utilisables – d’autres bibliothèques pouvant entrainer
un refus de publication. De plus la diffusion dans l’App Store, ainsi que la possibilité
de tester son programme sur son iPhone, nécessite la suscription au programme de
développement.
2 . 3 . sy m b i a n
Symbian se retrouve principalement dans les smartphones de la marque Nokia.
Elle l’a d’ailleurs racheté intégralement en 2008. Longtemps leader du marché, il subit
de plein fouet l’entrée sur le marché de l’iOS et de Android, au point qu’en février 2011
Nokia annonce qu’il l’abandonne au profit de Windows Phone.
Depuis mai 2009 les smartphones Nokia exploitant Symbian disposent de
41
l’« Ovi App Store ». En 2010 il comptait aux alentours de deux millions de téléchargement
d’applications par jours.
2 . 4 . m i c ro s o f t Wi n d ows m o b i l e ph o n e e t Wi n d ows ph o n e
En 2003 Windows sort son premier OS destiné aux téléphones portables :
Windows Mobile, concurrent direct du Blackberry du fait des ses fonctionnalités, puis
fin 2010 : le Windows Phone. Depuis février 2011 Windows Phone est devenu le système
d’exploitation des appareils Nokia.
Windows possède la plateforme en ligne Windows Phone Marketplace où
sont téléchargeables applications, jeux, vidéos... Comme chez Apple, toute publication
d’application est soumise à une procédure de validation et nécessite de s’acquitter de frais
de mise en ligne.
2 . 5 . r i m b l a c k b e r r y
Research In Motion (RIM) sort en 1999 le premier modèle de la série BlackBerry.
Il faut cependant attendre 2003 pour que le modèle qui fait la réputation de la marque
soit commercialisé. Ce modèle principalement destiné au marché de l’entreprise permet
une gestion novatrice et aisée des emails, ce qui lui a valu son succès.
BlackBerry utilise son propre OS, le BlackBerry OS, et dispose aussi d’une
plateforme de téléchargement d’applications : BlackBerry App World. Cependant à
l’heure actuelle aucune application de réalité augmentée n’y est présente, la plateforme
BlackBerry n’a pas encore été exploitée pour ce type de technologie.
2 . 6 . au t re s s ys tè m e s
De nombreux autres OS existent. Bada développé par Samsung depuis février
2010 pour ses smartphones et tablettes et disposant de la plateforme de téléchargement
Samsung Apps. Palm Inc. développe depuis 1996 le Palm OS pour ses produits. D’autres
42
OS basés sur des systèmes embarqués Linux comme MeeGo et Maemo se trouvent aussi
sur le marché.
3. fonctionnalités
3 . 1 . pu i s s a n ce d e c a l c u l
Bien que très récents, leurs performances actuelles sont très loin de celles de
leur origine en 2007. L’augmentation constante de la puissance de leurs processeurs et de
leur mémoire RAM leur permet maintenant de rivaliser avec des ordinateurs portables ;
Motorola propose des stations et écrans dédiés à son smartphone Atrix afin de l’utiliser
en tant qu’ordinateur portable.
On trouve aujourd’hui sur le marché des processeurs allant jusqu’aux quatre
cœurs à 1,5GHz. L’augmentation constante de la puissance de calcul est nécessaire afin
d’assurer la gestion graphique de jeux-vidéo, marché en pleine expension.
3 . 2 . r é s e a u x
Il existe plusieurs types de réseaux déployés à travers le monde dont les
évolutions sont principalement dictées par l’augmentation du débit de donnée vers les
unités mobiles. Quatre générations coexistent actuellement :
− 1G : AMPS (Advanced Mobile Phone Service), TACS (Total Access
Communication System) et NMT (Nordic Mobile Telephone)
− 2G : GSM (Global System for Mobile), GPRS (General Packet Radio Service)
et son évolution EDGE (Enhanced Data for Global Evolution)
− 3G : UMTS (Universal Mobile Telecommunications System) et ses évolutions
HSPA (High Speed Packet Access) : HSDPA (High Speed Dowlink Packet Access), HSUPA
(High Speed Uplink Packet Access) et HSPA+
43
− 4G : EPS (Evolved Packet System)
Contrairement aux générations suivantes basées sur une technologie
intégralement numérique, la 1G utilise une technologie analogique basée sur la
modulation FM. L’arrivée de la 2G l’a rendue obsolète.
Actuellement, les réseaux de deuxième et troisième générations sont largement
répandus. En revanche ceux de quatrième génération sont en cours de déploiement ; seul
le Japon en possède un eff ectif.
fig.9 réseaux mobiles, débits théoriques (a : débit descendant ; b : débit montant) d’après perez a. architecture des réseaux de mobiles, p. 12
S’il s’agit ici des débits théoriques, les débits eff ectifs sont quant à eux bien
inférieurs. Ils sont de plus fonction de la couverture réseau fournie par l’opérateur et
donc très disparates.
3 . 3 . g é o p o s i t i o n n e m e nt
Les smartphones sont pour la plus grande majorité équipés d’une puce GPS.
Le géopositionnement a alors recours à plusieurs méthodes : GPS, réseaux GSM et WiFi
principalement. Si dans tous les cas le but est l’analyse du l’emplacement du smartphone,
les procédés et les degrés de précision sont très variables. Il faut ainsi avoir conscience
de l’importance du rôle de l’environnement : suivant le lieux certain réseaux ne sont pas
accessibles ou sont soumis à des perturbations.
44
Le GPS (Global Positioning System) est une méthode de géopositionnement
par satellite mise en place dans les années 1980 par l’armée américaine. Il s’agit d’un
maillage de 24 satellites géo-stationnaires situés a 22 000 km d’altitude. Chaque point
de la Terre étant visible simultanément par quatre satellites, il est alors possible d’obtenir
la localisation de l’appareil, avec une précision de l’ordre de 5m pour une utilisation
civile. Trois satellites sont nécessaires pour obtenir la longitude et la latitude, l’altitude
peut ensuite être déterminée à l’aide du quatrième satellite. Cependant cette technologie,
développée à la base pour une application navale, n’est pas utilisable en intérieur et sa
précision peut être grandement diminuée suivant son entourage – par réflexion sur des
murs par exemple.
Si le GPS bénéficie toujours d’un large succès commercial, il n’est cependant
pas le seul système de géolocalisation par satellites. On peut citer le projet européen
Galiléo : encore en cours de développement, il permettra une précision inférieure au
mètre dans son application civile.
D’autre part la localisation par GSM se base sur la structure en cellules de
son réseau. Chacune d’entre elles contient un BTS (Base Transciever Station) prenant
en charge les communications radios des téléphones mobiles, lui même relié à un BSC
(Base Station Controler) assurant le passage d’une cellule à l’autre. Lorsqu’un utilisateur
s’identifie à un réseau son numéro IMEI (International Mobile Equipement Identify),
code à quinze chiffres contenu dans la carte SIM, est transmis au système de gestion de
l’opérateur afin de l’autoriser à utiliser ses services. La localisation par GSM utilise ainsi
la structure de son réseau de quatre façons :
− L’identification par cellule : simple et peu onéreuse, la localisation s’effectue
au travers de l’adresse du BTS auquel l’unité est connectée. La précision est très faible :
de 250 mètres en zone urbaine à 10 kilomètres en zone rurale
− L’identification par angle d’arrivée : la connaissance de l’angle d’arrivée et de
la puissance du signal provenant d’un téléphone vers une antenne – ou l’angle d’arrivée
45
sur deux antennes distinctes – permet de déterminer une position avec une précision
allant de 50 m à 150 m
− L’identification par triangulation : il est possible d’établir un rapport de
distance entre trois stations BTS à partir de la puissance du signal signal reçu par le
mobile. Sa précision, entre 50 m et 150 m, est dépendante de l’implantation et de la
densité des antennes.
− L’identification par différence temps : ces méthodes, TDOA (Time Difference
Of Arrival) et EOTD (Enhanced Observed Time Difference), reposent sur l’émission d’un
signal depuis trois BTS vers le mobile (TDOA) ou du mobile vers trois BTS (EOTD).
L’analyse des différences de temps d’arrivée permet d’obtenir une localisation allant de
50 m à 150 m du téléphone. Cependant cela impose une synchronisation exacte des
BTS, une erreur de 1µs entrainant une imprécision de 150 m.
La localisation par WiFi est similaire à celle par GSM à la différence qu’elle fait
appel à des bornes WiFi fixes et répertoriées.
Afin de faire face aux différents inconvénients de chaque méthode, les
smartphones ont la possibilité de les combiner pour obtenir une meilleure précision.
Le suivi d’un appareil en intérieur se fait nécessairement par GSM ou WiFi, le
GPS y étant inexploitable.
3 . 4 . Ca p te u r s : a ccé l é ro m è t re , g y ro s co p e e t m a gn é to m è t re
Trois types de capteurs permettent de rendre compte de l’ensemble des
mouvements que peut effectuer un smartphone : il s’agit des accéléromètres, gyroscopes
et magnétomètres. Ces capteurs ne permettent d’obtenir des mesures que selon un seul
axe, pour retranscrire des mouvements dans l’espace il est donc nécessaire d’en utiliser
trois. Si par abus de langage on dit qu’un smartphone est équipé d’un accéléromètre, il
en comporte en réalité trois ; de même pour les gyroscopes et les magnétomètres. Ces
46
capteurs ont avant tout été installés pour transformer les smartphones en plateformes de
jeux vidéo.
Afin de s’adapter aux contraintes d’encombrement et de consommation la
technologie MEMS (MicroElectroMechanical System) est employée. La taille des capteurs
n’excède pas deux ou trois millimètres et leur besoin en énergie est très faible.
− Accéléromètre :
Il permet de mesurer l’accélération linéaire selon un axe, c’est à dire les
mouvements de translation. Celle-ci est définie en m/s2 mais se trouve souvent exprimée
en « g », accélération causée par la gravitation terrestre (g=9,80 m/s2). Il permet plusieurs
types de mesures : accélération, vitesse – par intégration – et déplacement – par double
intégration.1
− Gyroscope :
Il permet de mesurer la vitesse angulaire autour d’un axe, c’est à dire les
mouvements de rotation. Celle-ci est définie en rad/s et utilise soit les propriétés du
moment angulaire soit celles de la force de Coriolis. Parmi les différents capteurs présents
dans les smartphones, les gyroscopes sont les plus précis et fiables.
− Magnétomètre :
Il permet de mesurer l’intensité d’un champ magnétique. Ces capteurs se
constituent de minces films de matériaux ayant une forte magnéto-impédance, ainsi
les variations d’impédance mesurées à leurs bornes rendent compte des variations du
champ magnétique local. Ils peuvent cependant être aisément perturbés par des champs
parasites : ceux des autres composants ou des masses magnétiques comme une voiture
ou un objet ferreux . Il existe heureusement des softwares spécifiques pour palier à ces
perturbations.
Ces trois capteurs sont sous la forme de hardwares, ils expriment leurs données
47
directement en fonction de propriétés physiques – accélération, rotation, champ
magnétique. Il est nécessaire de faire la distinction avec ceux présents sous forme de
softwares39. Parfois appelés capteurs virtuels ou synthétiques, ils font appel à un ou
plusieurs capteurs hardware dont ils traitent les données. Un exemple est la boussole :
il s’agit d’un capteur sous forme de software exploitant les données en provenance des
magnétomètres, souvent combinées à celles des gyroscopes pour une meilleure précision.
Les chipsets portant le nom de boussole que l’on retrouve dans certains smartphones,
comme l’iPhone 3Gs par exemple, sont en réalité constitués de magnétomètres.
3 . 5 . s o n
Les smartphones présents sur le marché disposent d’un micro et d’un haut-
parleur intégrés. Ils disposent de plus d’une sortie stéréo et d’une entrée micro mono,
presque toujours au travers d’une embase jack quatre points. Ils permettent aussi de lire
l’ensemble des formats audio, compressés ou non, avec des différences d’un modèle à
l’autre.
Des accessoires ont été créés pour iPhone 4S afin d’en étendre les capacités.
On trouve chez Tascam un micro stéréo ou chez Fostex l’interface AR-4i disposant de
trois entrées monos et d’une sortie stéréo. Les softwares associés permettent de gérer du
multicanal en entrée et donc d’envisager des applications au monde de l’audio ; l’iPhone
est déjà fréquemment employé comme enregistreur de terrain par certain journalistes.
3 . 6 . e n e rgi e
La consommation d’énergie dépend de deux facteurs :
− Le hardware et software de l’appareil
− Le type d’interaction et d’application utilisés
39 le site dédié au développement sous android donne des informations précises à ce sujet en ce qui concerne la gestion des capteurs sous forme de hardware et de software, dans le cadre de cet os. http://developer.android.com/guide/topics/sensors/sensors_overview.html
48
Les principaux ennemis de l’énergie sont les contraintes de taille et de
poids appliquées aux appareils. Si il est possible de réduire la taille des composants
consommateurs – CPU, capteurs, écran... – de façon plus que significative, la taille des
batteries n’a, en comparaison, qu’à peine diminuée.
Selon l’utilisation de l’appareil, on peut distinguer plusieurs cas de consommation
d’énergie ; en veille, communications téléphoniques, accès à un réseau 3G, gaming...
Quoi qu’il en soit, les smartphones les plus puissants dépassent rarement une autonomie
hors veille d’une dizaine d’heures au mieux, quelque soit leur emploi.
De façon générale, l’énergie est dépensée en majorité dans les modules de
communication – principalement 3G et GSM – l’affichage – écran, chipset graphique,
rétro-éclairage – et le CPU . Au contraire, les mémoires RAM et flash ainsi que l’audio
sont les éléments les moins consommateurs. Au total, cette dernière représente moins
de 12% de la consommation et est très peu sensible au niveau d’écoute40. En ce qui
concerne les réseaux, la 3G consomme le plus. Le GSM consomme entre 40% et 70%
de moins, tandis que le WiFi ne nécessite qu’un sixième de l’énergie de la 3G – une fois
connecté à un point d’accès41.
4. Développer pour un smartphone
4 . 1 . Co nt ra i nte s te c h n i q u e s
Les smartphones sont ce qui se fait sans doute de mieux à l’heure actuelle en
terme d’informatique mobile. A l’intérieur d’un boitier pouvant tenir dans la main on a
accès à une foule de capteurs, à une puissance de calcul rivalisant avec certains ordinateurs
et à un nœud de communication. Cependant ce type d’intégration ultra compact a un
40 Carroll a., Heiser g., an analysis of power Consumption in a smartphone, http://static.usenix.org/event/usenix10/tech/full_papers/Carroll.pdf
41 balasubramanian a., balasubramanian n., venKataramani a., energy Consumption in mo-bile phones : a measurement study and implications for network applications, university of massachusetts amherst, 2010
49
coût.
Les capteurs à base de technologie MEMS disposent d’une précision
toute relative ; les plus fiables étant les gyroscopes. Il est ainsi souvent nécessaire
de croiser leurs données afin d’augmenter la fiabilité des résultats.
Il en va de même pour la géolocalisation. Le GPS nécessite un temps
d’initialisation d’une vingtaine de secondes, une première approximation
est alors souvent faite à l’aide des réseaux GPRS et WiFi. Il est aussi souvent
nécessaire d’additionner à cette localisation absolue une localisation relative – à
l’aide des capteurs embarqués – afin de palier aux différents problèmes de temps
de rafraichissement, perte de signal, précision... Ceci est d’autant plus important
dans le cas de la réalité augmentée où il est indispensable de connaître très
précisément la position et l’orientation de l’utilisateur pour garantir la qualité
de son expérience.
Enfin il faut avoir conscience que les ressources dont dispose un
smartphone sont moins importantes que celles d’un ordinateur. Il est donc
indispensable de veiller à l’optimisation du code. De plus, un ensemble
de fonctions de base sont en permanence exploitées – SMS, téléphonie... –
l’application développée doit pouvoir s’y intégrer sans risquer de générer des
problèmes, comme une saturation de processeur.
4 . 2 . pre n d re e n co m p te l ’ u t i l i s ate u r
A l’heure actuelle, les différentes philosophies de programmation
partent d’un postulat : le smartphone reste avant tout un téléphone et est utilisé
en tant que tel. De ce fait la priorité est donnée aux fonctions d’appels qui sont
presque impossibles à court-circuiter. Ainsi lors d’un appel entrant, l’application
ouverte sera interrompue automatiquement et ne pourra reprendre qu’une fois
celui-ci terminé. Il serait cependant envisageable de considérer l’inverse : une
50
priorité donnée à l’application. On pourrait imaginer qu’en cas d’appel entrant,
seul un message le signalant s’affiche dans un coin de l’écran afin de ne pas
perturber l’utilisation qui est faite de l’application.
L’utilisation de l’énergie est aussi une problématique centrale.
Exploiter réseaux et capteurs, additionnés aux traitements effectués, devient
rapidement coûteux ; d’autant plus dans le cas de la réalité augmentée visuelle.
En utilisation normale, l’autonomie des smartphones les plus puissants ne
dépassant pas la journée, une application peu optimisée risquerait d’épuiser la
batterie en l’espace d’une demi-heure.
Il en va de même pour les ressources de calcul. Un code mal conçu
risque de provoquer des latences ou des gels de l’interface. Même de courte
durée, celles-ci seront une gène pour l’utilisateur.
52
1. Contexte
1 . 1 . po u rq u o i u t i l i s e r d e s s m a r t p h o n e s ?
Depuis leur introduction en 2007, les smartphones bénéficient d’un
large engouement du public. Il s’agit d’un véritable phénomène de société qui
dépasse le seul cadre des technophiles. Quel que soit le système d’exploitation ou
le modèle utilisé, ce sont maintenant plus de 40% des utilisateurs de téléphones
mobiles qui en possèdent un42. Au delà de leur simple utilisation pour la
téléphonie, leur emploi en tant qu’unité informatique mobile se démocratise,
comme en témoigne le nombre croissant d’applications et services développés.
Dans le même temps cette technologie est au cœur de nombreux
débats. Le géopositionnement permet une localisation précise des utilisateurs
et fait redouter certaines dérives. Il en va de même pour les informations
personnelles stockées qui sont potentiellement accessibles par un tiers. La
Commission Nationale de l’Informatique et des Libertés (CNIL) publie
régulièrement des articles mettant en garde les usagers en ce qui concerne le
« risque de vol d’informations personnelles » et la possibilité de « pister un
téléphone »43. Malgré cela, leurs enquêtes montrent qu’environ 60% des usagers
accordent peu d’importance à la protection de leurs données.
Malgré cela le succès des smartphones est indiscutable. Il touche
l’ensemble de la population de façon sensiblement équivalente, quelque soit l’âge,
le sexe ou le milieu social. Au delà des prix et offres attractives, les smartphones
séduisent par leurs fonctionnalités sans cesse améliorées, leur capacité à accéder
aux différents réseaux de communication et leurs performances en tant que
plateforme multimédia. Ils sont ainsi devenus la première plateforme portable
42 voir chapitre 2.1.2.
43 « la réalité augmentée en question », http://www.cnil.fr/en-savoir-plus/fiches-pra-tiques/fiche/article/la-realite-augmentee-en-questions/
53
de jeux vidéos. Du côté des réseaux sociaux, du commerce en ligne ou de l’accès
à des contenus multimédias, le trafic en provenance de ces appareils est en passe,
si ce n’est déjà le cas, de surpasser celui provenant d’ordinateurs44.
En ce qui concerne la réalité augmentée les smartphones disposent
de nombreux atouts. Premièrement leur adoption massive par le grand public
permet d’envisager une bonne diffusion des applications créées. Habitués à
jouer, être guidés, écouter de la musique ou regarder des vidéos, les utilisateurs
ne devraient pas être déroutés par l’augmentation et les contraintes qu’elle
impose. D’un point de vue technique, ces appareils concentrent la majorité des
outils utilisés pour générer la réalité augmentée et permettent de les exploiter
aisément. Mieux encore, ils offrent une solution compacte, peu coûteuse et
ultra-portable aux exigences qu’ont nombre de programmeurs.
Entre l’enthousiasme qu’ils suscitent et les qualités technologiques
dont ils font preuve, les smartphones méritent amplement leur place dans le
monde de la réalité augmentée.
1 . 2 . e xe m p l e s d e t rava u x
Le succès des smartphones repose en grande partie sur l’interactivité
qu’ils permettent. Loin du téléspectateur passif devant sa télévision, un
possesseur de smartphone agit en permanence sur le contenu des applications
qu’il adapte à ses désirs. De fait, les œuvres réalisées sur ces plateformes suivent
cette tendance. On pourrait les séparer en deux catégories :
− Elles peuvent être le travail uniquement de l’artiste. Le spectateur
n’a alors qu’une posture passive vis-à-vis de l’oeuvre, il ne peut que l’observer
− Elles peuvent être le fruit d’une coopération entre l’artiste et le
44 comscore, 2012 mobile futur in focus, février 2012
54
spectateur. L’application permet d’interagir avec l’oeuvre, la générer ou en créer
des variations en fonction de la matière fournie par l’artiste.
Ce type de collaboration pousse à s’interroger quant à la nature de
l’oeuvre et la position du spectateur vis-à-vis d’elle. Si de telles questions ne sont
pas propres à cette technologie, en mettant en avant l’interactivité et en accordant
au spectateur une part dans le processus créatif, elles sont incontournables. En
effet, rares sont les applications laissant l’utilisateur passif. On peut sans doute
y voir un lien avec l’emploi des smartphones en tant que plateforme de jeux-
vidéo ; on en sent d’ailleurs l’influence sur la majorité des applications conçues.
L’exposition Augmented Reality Art invasion !45 donne accès a des
œuvres du premier type. Cette exposition « virtuelle », mise en place par Sander
Veenhof et Mark Skwarek en octobre 2010, se déroule dans l’ensemble du
MoMA en parallèle de l’exposition « réelle » qui s’y est tenue : « the show will not
be visible to regular visitors of the MoMA, but those using a smartphone application
called “Layar Augmented Reality browser” […] will be able to see additional works
on each floors, put there using location-based augmented reality techniques. »46 Les
œuvres exposées ne permettent pas au visiteur de participer ; comme devant
une sculpture il va pouvoir se déplacer autour, changer son point de vue mais
restera en permanence passif.
Au contraire, l’application pour iPhone Konstruct permet de générer
des sculptures augmentées en fonction de sons. L’utilisateur peut choisir parmi
un panel de structures et de couleurs, ajuster la façon dont l’application réagit
aux sons et génère les formes. Cette application, clairement énoncée par ses
45 voir chapitre 1.2.2.
46 « l’exposition ne sera pas visible par les spectateurs habituels du moma, mais ceux uti-lisant une application pour smartphone appelée “layar augmented reality browser” auront la possibilité de voir des œuvres supplémentaires à chaque étage, placées à l’aide de techniques de réalité augmentée fondée sur la localisation du visiteur . » sanDer v., « press release – octobre 4th 2010 », http://www.sndrv.nl/moma/?page=press
55
concepteurs comme « an investigation into generative art in an Augmented
Reality environment »47, donne à voir des sculptures qui n’ont d’existence que
par l’action de l’utilisateur.
De son côté, l’application RjDj qui présentée par ses créateurs comme
« the soundtrack to tour life »48. Ce projet permet à différents artistes de créer
des « scènes », c’est à dire des univers sonores, réagissant à l’environnement
extérieur et générant une musique: « it connects the music you hear to the world
around you, creating a unique, acoustically rich listening experience. Every time
you’re using RjDj, the music is created in the very moment you are listening to it.
Customised by your surroundings, the music becomes an entirely unique, individual
soundtrack to your life. »49 Certaines scènes considèrent que l’utilisateur se met
à courir quand il fait face à une situation de stress, comme un bus à rattraper.
L’application accélère alors le tempo, fait rentrer certaines pistes instrumentales,
leur fait gagner en intensité, afin d’augmenter la tension au sein de la musique.
D’autres se servent du micro du téléphone pour recueillir les sons ambiants, les
modifier et les transformer en matière musicale. Un artiste peut ainsi augmenter
l’audio et la musique à sa façon puis proposer son travail par le biais de RjDj.
47 « une recherche sur l’art génératif dans un environnement en réalité augmentée » http://apps.augmentic.co.uk/konstruct
48 « la bande son de votre vie » http://rjdj.me
49 « [rjDj] lie la musique que vous entendez au monde qui vous entoure, créant une expé-rience sonore unique et riche. a chaque fois que vous utilisez rjDj, la musique est créée au moment même où vous l’entendez. propre à votre environnement, la musique devient la bande son, unique et personnelle, de votre vie. » http://rjdj.me
56
2. l’audition augmentée
2 . 1 . le s s m a r t p h o n e s, u n e p l ate fo r m e p ro p i ce à
a u gm e nte r l ’a u d i o
Comme nous l’avons vu les smartphones offrent un concentré de
technologies adaptéés à la réalité augmentée. Les utiliser pour une application à
l’image reste cependant limité. Effectivement leur puissance de calcul est encore
trop juste pour gérer parfaitement les ressources vidéo et les modélisations 3D.
Quant à l’écran, il est de taille réduite et ne permet pas une vision stéréoscopique.
Enfin la manipulation de l’interface, c’est à dire la nécessité de tenir l’appareil à
bout de bras devant soi, limite l’immersion et risque de provoquer une fatigue
ou une certaine irritation de l’utilisateur. Au contraire, leur utilisation pour une
augmentation audio ne subit pas ces obstacles.
Les smartphones disposent des ressources nécessaires à l’acquisition
et à la diffusion du son. De plus, ils bénéficient des avancées effectuées dans le
domaine des lecteurs mobiles ; avant leur arrivée de nombreux « feature phones »
étaient utilisables en tant que baladeurs audio. Les smartphones peuvent donc
se baser sur de nombreuses années de recherches et de développement dans le
domaine de l’audio portable.
En ce qui concerne l’audio, l’obstacle de l’interface n’est plus un
problème. Le son peut passer par un casque stéréo, bénéficiant souvent d’un
micro intégré. Aujourd’hui, le geste même de mettre son casque et de se
déplacer avec est devenu pour la plupart des usagers un geste naturel. Il en va de
même pour l’utilisation du smartphone : en permanence présent dans la poche
de son possesseur, la manipulation d’applications fait partie de son quotidien.
Contrairement à l’image, aucun des gestes associés à l’augmentation sonore
n’est perturbant. L’interface ne vient en rien troubler l’expérience et permet une
immersion que l’on pourrait qualifier de plus « directe » en ce sens qu’aucun
57
obstacle ne vient se placer entre l’augmentation et l’utilisateur.
2 . 2 . u n e xe m p l e d e j e u e n a u d i t i o n a u gm e nté e
Oterp est un jeu video musical pour iPhone créé par Antonin Fourneau.
Il se déroule dans tout type d’environnement – urbain, rural... – et fait partir
le joueur à la recherche d’objets sonores dans le but de créer sa propre musique.
En se laissant guider par le son, il va pouvoir aller à leur rencontre puis les
collecter. L’environnement musical est généré de deux façons :
− En se déplaçant le joueur s’approche plus ou moins d’objets musicaux,
son emplacement par rapport à eux gère leur balance et leur spatialisation
− Une fois qu’il les possède, il peut réutiliser les objets et créer sa
propre musique.
Le projet Oterp est né en 2003. La première version exploitait une
Sony PSP qui disposait d’un module GPS. Cependant, l’absence de boussole
empêchait le développement du jeu tel qu’il était imaginé. L’arrivé en 2007
de l’iPhone a fourni à Antonin l’outil qui correspondait à ses besoins : une
plateforme de jeu mobile dont la position et l’orientation sont accessibles.
Ce problème résolu, le principal enjeu technique de Oterp est la gestion
de l’audio et notamment celle des fichiers sonores. Pour toute application
nécessitant le recours à des fichiers de ressource se pose la question du stockage
des données : sont-elles stockées sur le smartphone ou lues en streaming ?
Dans le cas présent, la nécessité du temps réel interdit le recours au streaming,
susceptible d’induire des problèmes de débits et de connexion. Il est donc
nécessaire de stocker l’intégralité de l’audio sur le terminal.
Pour gérer la création sonore, Antonin Fourneau s’est inspiré des
moteurs audio de vieilles consoles dont les faibles ressources nécessitent qu’ils
58
soient optimisés ; par exemple l’Amiga, l’Atari ou la Game Boy. On y trouve
des fichiers audios sous forme de modules – une partition et les échantillons
sonores associés – lus par un tracker – software permettant, au travers de pistes
monophoniques, la lecture de modules. Dans Oterp, le principe est similaire :
chaque objet du jeu dispose d’un fichier module et d’un canal audio. Une telle
architecture permet de multiplier leur nombre sans pour autant engendrer de
problèmes de stockage.
La bibliothèque fmod50, dédiée à la gestion du son dans les jeux vidéos,
permet de mettre en place le tracker nécessaire à la création de l’univers sonore.
Ainsi dans son état actuel, l’application ne pèse que quelques mégaoctets là où
l’emploi des bibliothèques sonores fournies par Apple lui aurait fait dépasser
le gigaoctet. fmod gère ensuite l’application d’effets et surtout la spatialisation
des sons. Les données GPS sont employées pour déterminer la distance du
joueur aux objets ; les accéléromètres, gyroscopes et magnétomètres permettent
de gérer la répartition stéréo. La combinaison des deux types de localisation
permet d’incruster les objets sonores dans l’espace de façon convaincante et en
temps réel.
50 http://www.fmod.org
60
L’enjeu de la partie pratique de ce mémoire est la création d’une
application de réalité augmentée audio sur smartphone. Afin de rendre l’objectif
réalisable, il s’agit d’en étudier les besoins et contraintes puis de prototyper
certaines de ses fonctions.
1. projet et approche de l’environnement
L’idée à la base de cette application est de pousser le participant
à explorer son environnement, partir à la découverte de lieux et l’inciter à
déambuler. Elle doit permettre aux utilisateurs de signaler des sites pouvant être
l’aboutissement d’une promenade.
Cette application repose, comme toute celles développées pour
smartphone, sur une programmation modulaire. Crée pour permettre de faciliter
le travail en équipe, elle consiste en la conceptions de «modules» – parties de
codes autonomes réalisant une des fonctions du programme – qui mises en
commun constituent l’application dans son entier. Dans le cadre de la partie
pratique de ce mémoire, seul le module permettant de guider le participant
dans sa déambulation sera programmé.
1 . 1 . l a s cé n a r i s at i o n
Contrairement à la réalité virtuelle qui immerge le participant dans un
univers synthétique, la réalité augmentée réalise l’inverse : plonger les éléments
virtuels dans le monde de l’utilisateur.
Il en va de même pour la narration. Livres et cinéma présentent au
spectateur une histoire et un monde dont il est le témoin et où il va chercher
à s’immerger. Afin d’aller plus loin, la collection des Livres dont vous êtes le
héros donne au lecteur la possibilité d’interagir avec l’histoire, amenant ainsi
61
à accroître la sensation de présence51. Par analogie, on pourrait rapprocher ces
livres de la réalité virtuelle. Le lecteur est plongé dans un univers qui suffit à
générer l’expérience mais n’entretient pas de lien avec la réalité physique qui
l’entoure. C’est en ce sens que la réalité augmentée se distingue : elle nécessite
le monde réel pour être générée.
Le rôle de la scénarisation est d’établir les principes régissant
l’incrustation. Elle en définit les règles, les libertés accordées ainsi que la façon
d’exploiter les éléments virtuels, leur incrustation, leurs effets et leur évolution.
Il s’agit d’un scénario interactif qui doit prendre en compte et faire face aux
différentes actions de l’utilisateur et aux aléas de l’environnement réel. La réalité
augmentée permet de penser cette scénarisation en prenant en compte des
éléments purement sensoriels et non narratifs. C’est le cas de RjDj qui propose
de créer une bande son propre et unique à chaque joueur. Les « scènes »52 créées
font alors office de scénario à cette augmentation musicale.
Dans le cas présent, le scénario structurant l’application est simple.
Chaque lieu à découvrir doit fournir des indices y menant. Nous considérons
alors qu’ils émettent chacun un signal différent et que le participant devra se
fier à son audition pour se guider dans sa déambulation. Pour le pousser à être
sans cesse en mouvement, le fait de rester trop longtemps sur place brouillera la
perception des signaux par l’utilisation d’effets comme des échos panoramisés.
Cependant ceux-ci ne seront pas activés si le participant reste longtemps dans
l’un des lieux signalés ; il n’entendra alors que le signal associé à celui-ci.
51 voir chapitre 1.3.1.
52 voir chapitre 3.1.2.
62
1 . 2 . u n a s p e c t co l l a b o rat i f
Un reproche fait aux technologies informatiques est d’isoler ses
utilisateurs. Dans le même temps, elles permettent de créer des connections et de
favoriser les partages d’informations. Le développement de la réalité augmentée
collaborative a fréquemment une visée pratique comme en médecine ou dans
le domaine militaire. Il s’agit au travers de l’augmentation de faire travailler
différentes personnes présentes en un même lieu sur un objet virtuel ou à
distance sur un objet réel unique. L’utilisation grand public qui en est faite est
celle que l’on trouve dans Wikitude par exemple, où les utilisateurs associent à
un lieu des informations. Encouragée par Google qui en a fait le principe même
de Wikipedia, le fondement de ce type de collaboration est de considérer la
véracité de l’information comme le fruit d’un consensus.
Notre application quant à elle peut tirer parti des réseaux accessibles
aux smartphones pour permettre à l’utilisateur de signaler un lieu en y laissant
son empreinte, à la façon de Trace de Teri Rueb. Si un lieu mérite d’être
l’aboutissement d’une déambulation c’est que la personne l’ayant désigné lui
accorde une certaine valeur. En tant que tel, il est alors intéressant que ce soit
cet utilisateur qui définisse le signal guidant les autres participants. Comme
dans Trace, il peut s’agir d’un texte. Cela peut aussi être une musique, un son...
Il revient à l’utilisateur d’apporter au projet une part de son imaginaire pour
insuffler une tonalité au lieu.
En observant l’effet à plus large échelle, on s’aperçoit que chaque
participant se déplace alors dans un milieu rempli de flux sonores. Le mélange
de ces flux crée l’univers virtuel venant se superposer au monde réel. Cet univers
est de fait le fruit d’une collaboration de chaque utilisateur qui, en proposant un
lieu et un signal, participe à la construction de l’expérience.
Il sera intéressant d’observer le résultat de la collaboration définie ici :
63
les participants prendront-ils en compte, ou non, les signaux déjà présents ?
L’expérience résultante sera-t’elle alors le fruit d’utilisateurs cherchant à créer une
ambiance globale, combinant les tonalités des différents lieux ou au contraire,
déambulerons-nous dans un univers hétéroclite ? La scénarisation joue ici un
rôle : pour toute application laissant une part de création à l’utilisateur il est
nécessaire de fixer un cadre aux libertés accordées. Ce cadre, extrêmement
variable, peu aller de la mise en place de limites strictes – par exemple en
fournissant un panel de signaux qui seront les seuls utilisables – à la liberté
d’action totale du participant – par exemple en lui laissant choisir le contenu,
sans limite concernant le média employé.
1 . 3 . C h o i x s o f t wa re e t h a rd wa re
Le choix d’Android pour programmer cette application s’est fait sur
des critères évoqués précédemment53. Avec l’iOs d’Apple, il s’agit des deux
plateformes les plus répandues. Ce sont donc celles qui ont retenu mon attention.
Dans le cas de l’iOS la nécessité de s’inscrire au programme de développement
d’Apple, les coûts liés à l’exploitation et les contraintes de diffusion, ainsi que la
communauté relativement fermée de développeurs, m’ont dissuadé d’employer
cette plateforme.
Au contraire, Android est fondé sur les principes du logiciel libre. Les
différents environnements de programmation et les bibliothèques sont librement
accessibles et le seul coût engendré est celui du smartphone ou de la tablette.
De son côté la diffusion de l’application réalisée présente peu de contraintes et
elle peut être aisément installée sur tout appareil. Enfin cette plateforme dispose
d’une vaste communauté de programmeurs échangeant conseils et codes.
Lorsqu’il s’agit d’ajouter des éléments sonores virtuels via un
53 voir chapitre 2.2.1.
64
smartphone le choix du matériel de diffusion est simple : un casque stéréo.
La question qui se pose alors est de choisir comment le réel sera « diffusé ».
Le problème est similaire à celui des HMD qui proposent deux solutions :
percevoir le monde réel directement – auquel cas le HMD n’effectue pas de
médiation – ou par l’intermédiaire de caméras dont le contenu est diffusé dans
le casque. De même pour l’audio : va-t’on permettre à l’auditeur de percevoir
le son ambiant directement – seul les sons virtuels sont alors diffusés – où après
une médiation – le casque diffuse à la fois l’environnement sonore recueilli par
des micros et les sons virtuels. L’état actuel de la technologie ne permet pas
d’effectuer une telle médiation : les smartphones n’offrent qu’une entrée audio
mono ; seule l’iPhone dispose de périphériques permettant une entrée stéréo.
Si malgré tout, on se contentait de cette entrée mono, il faudrait s’assurer que
le simple fait de recueillir le son puis de le rediffuser n’entraine pas une latence
perceptible et dérangeante, ce qui est très variable d’un appareil à l’autre.
J’ai donc fait le choix de ne pas effectuer de médiation sur les sons
réels. Cela exclut les casques fermés qui isolent trop de l’environnement et plus
encore les casques à réduction de bruits qui, du fait de leur très forte isolation,
peuvent aller jusqu’à poser des questions de sécurité dans le cas d’une utilisation
en milieu urbain. Il convient alors d’utiliser un casque ouvert.
Il est possible de trouver dans le commerce des casques disposant d’un
microphone intégré. Ces casques, à l’allure de casques fermés mais à l’isolation
souvent faible, conviennent parfaitement à ce genre d’utilisation et permettent
de ne pas avoir recours à un bricolage combinant un casque ouvert, un micro
type cravate et un adaptateur. Enfin, ils vont surtout dans le sens de mon
projet – malgré leur qualité souvent médiocre – en ce sens qu’ils permettent un
dispositif simple et aisément accessible par le public.
65
2. Développer un module
2 . 1 . g u i d e r l e j o u e u r
Ce module de l’application a pour but de fournir les indices nécessaires
pour guider le joueur dans la découverte d’un lieu. Pour cela nous mettrons en
place un signal dont la source, fictive, sera située à son emplacement. Le joueur
n’a alors plus qu’à se laisser guider par le son pour trouver le chemin le menant
au site.
Dans un premier temps, le point d’émission doit être repéré. Ceci
s’effectue au travers de ses coordonnées géographiques : la latitude – valeur
angulaire par rapport à l’équateur rendant compte du positionnement nord-sud
– et de la longitude – valeur angulaire par rapport au méridien de Greenwich
rendant compte du positionnement est-ouest. Ce sont les déplacements du
joueur par rapport à ce point fixe qui définissent l’évolution du son.
Pour effectuer l’incrustation nous allons prendre en compte deux
paramètres :
− La distance entre le joueur et la source fictive
− L’azimut entre la source fictive et la normale au joueur
Ceux-ci ont pour but de permettre la gestion de la spatialisation :
− Rendre compte de la distance en agissant sur le niveau perçu et le
filtrage induit par la propagation du son dans l’air
− Situer la provenance de la source sur une sphère autour du joueur
en faisant appel aux fonctions HRTF (Head-Related Function Transfer) qui
exploitent les informations de distance et d’azimut pour créer une différence
d’intensité et de temps, ainsi qu’un filtrage
66
− Rendre compte de l’espace en appliquant à la source une réverbération
contrôlée par l’information de distance.
2 . 2 . l a g e s t i o n d e s e f fe t s s o n o re s
Nous avons vu précédemment54 que dans le cadre d’un environnement
non préparé, la réalité augmentée mobile fait face à certains écueils. En ce qui
concerne l’augmentation sonore, un problème apparaît rapidement : celui de la
nature des sons réels.
En ayant testé Oterp en de nombreux endroits, Antonin Fourneau
s’est aperçu qu’il est possible d’y jouer dans un lieu calme sans aucune gène. En
ce qui concerne le milieu urbain, au delà de vingt minutes les univers sonores
confrontés aux sons réels peuvent devenir fatiguant. A l’extrême, en le testant
en Chine, jouer à Oterp lui a été impossible car les univers sonores virtuels
entraient trop en conflit avec la réalité sonore des villes.
Générer une réalité augmentée audio mobile impose donc de se poser
la question des sons réels pouvant être rencontrés. Cela permet de s’assurer de la
compatibilité des sons virtuels avec eux et de la façon de faire face aux différentes
situations. Il faut prendre en compte le fait que l’environnement réel ne peut
être préparé. Se pose ainsi la question de l’adaptation de l’augmentation, c’est
à dire l’univers virtuel, aux espaces où elle peut avoir lieu. Il ne s’agit pas ici
d’imposer un univers en rapport avec le lieu, mais de réfléchir aux effets d’un
mélange sonore.
Une telle adaptation nécessite la mise en place d’une cartographie
repérant les différents espaces sonores réels et permettant d’y adapter les
paramètres de l’augmentation, ainsi que les effets et sons joués. Cependant ce
54 voir chapitre 1.3.2.
67
genre d’approche limite le cadre dans lequel notre application peut être employée,
ce qui est contraire au projet initial visant à découvrir des lieux nouveaux.
Nous pouvons donc observer certains paramètres afin à compenser
autant que possibles les effets potentiellement gênants de l’augmentation :
− Densité spectrale : viser à alléger les zones spectrales déjà chargées
dans l’environnement réel. Il s’agirait d’une égalisation agissant sur l’ensemble
des sons diffusés et paramétrée en fonction de l’analyse spectrale du signal
recueilli par le micro.
− Densité sonore : ne pas surcharger une ambiance sonore déjà
fournie. Différents paramètres comme les temps de réverbération, les taux
de réinjections dans des délais ou la fréquence d’occurrence des incrustations
peuvent être contrôlés par l’analyse des sons captés.
Ces questions sont d’autant plus importantes dans notre cas où aucune
médiation du réel n’est effectuée. Effectivement, seuls les sons virtuels nous sont
accessibles et nous n’avons aucun moyen d’action sur ceux réels. Dans l’idéal,
un système approprié et bien programmé permettrait d’isoler complètement
l’utilisateur des sons réels afin de nous permettre de les contrôler par le biais de
la médiation.
2 . 3 . pro gra m m at i o n à l ’a i d e d e l i b p d
Afin de se lancer dans la programmation, Android dispose d’un site :
developer.android.com. Il est possible d’y trouver le SDK, les API ainsi que
l’ensemble de la documentation nécessaire au développement. Le langage de
programmation est basé sur le Java ; il en reprend la syntaxe et la majorité des
bibliothèques. Android dispose de ses propres bibliothèques afin de pouvoir
exploiter les possibilités des différents hardwares, qu’ils soient des smartphones
ou des tablettes.
68
En ce qui concerne les bibliothèques relatives au son, celles fournies
par Android sont assez difficiles à exploiter pour de la réalité augmentée. On y
trouve celles de bases que sont « MediaPlayer » – permettant, comme son nom
l’indique, de mettre en place des lecteurs audio ou vidéo – et « MediaRecorder »
– permettant d’enregistrer des sons ou vidéos. Une autre bibliothèque nommée
« SoundPool » permet de mettre en place un lecteur audio adapté aux jeux.
Cependant, elle ne dispose pas d’outils pertinents pour l’augmentation.
En revanche une bibliothèque fondée sur PureData existe pour
Android : libpd55. Il ne s’agit pas d’une version dérivée mais d’un outil pour insérer
des patchs dans un autre environnement. Cela permet de créer les différents
traitements audio sur son ordinateur au travers de l’interface graphique de
PureData puis de les inclure dans le dossier ressource de l’application afin qu’elle
puisse les exploiter. En plus de disposer d’outils performants, la programmation
s’en trouve simplifiée.
L’avantage de libpd est de mettre à disposition de l’application
l’ensemble des fonctionnalités de pd vanilla, mais il faut savoir qu’elle ne prend
pas en compte les librairies complémentaires incluses dans pd-extended. Nous
l’avons choisie car en plus d’être simple d’utilisation et bien documentée, la
programmation sous PureData ne nécessite pas la prise en main d’un logiciel
nouveau.
Un exemple d’utilisation de libpd est détaillé dans l’annexe 1.
Cependant la bibliothèque fmod permettrait probablement un résultat
plus efficace pour ce projet. Elle dispose d’outils optimisés de spatialisation et
serait une piste à suivre pour développer plus avant l’application.
55 http://libpd.cc
69
ConClusion
Dans ce mémoire nous nous sommes intéréssé à l’emploi du smartphone
comme générateur de réalité augmentée sonore. Nous avons cherché à présenter
différents types d’augmentations et mettre en évidence les enjeux et concepts
sous-jacents à ce que nous pouvons appeler l’audition augmentée.
Concernant la réalité augmentée, nous avons cherché à présenter les
notions d’immersions et d’interactivités permettant de créer la sensation de
présence. Cette dernière est l’objectif de tout projet : une fusion homogène du
virtuel et du réel dans laquelle le procédé technologique s’efface au profit de
l’expérience sensorielle. J’ai ainsi cherché à souligner l’importance de l’interface
qui est garante de cette fusion.
Ces qualités se retrouvent dans les smartphones quand ceux-ci sont
employés à des fins d’augmentation sonore. L’étude de cette technologie en plein
développement a permis de mettre en avant plusieurs points la rendant attractive :
portabilité, réseau de communication, performances et fonctionnalités. Cela a
permis de mettre en avant leur capacité à générer une réalité augmentée mobile
et collaborative aisément accessible au grand public.
Sur cette base, nous avons proposé un ensemble de réflexions et de
pistes afin d’aborder l’audition augmentée. Au travers d’exemples, différentes
sortes d’augmentations ont été présentées. Principalement les incrustations,
la modification de sons réels et la génération de musique en fonction de
70
l’environnement. La présentation de la partie pratique, consistant en la
réalisation d’une application d’audition augmentée, a permis de mettre en avant
les contraintes de l’interface et de la gestion des sons réels et virtuels.
La réalisation de la partie pratique permettra d’illustrer ces différentes
réflexions en réalisant l’incrustation d’une source sonore virtuelle fixe par
rapport à laquelle il sera possible de se déplacer.
En conclusion, l’audition augmentée, comme tout type de réalité
augmentée, permet d’envisager un rapport au réel novateur. Son emploi dans
le domaine de l’art permet d’envisager des expériences accordant une place à
l’ensemble des sens. De ce travail de mémoire, deux pistes me paraissent mériter
une certaine attention. La première est celle de la réalité augmentée collaborative.
En plein essor, elle est au centre de la majorité des projet de réalité augmentée
sur smartphone. La seconde, piste est celle de la réalité mixte. Incluant la réalité
augmentée, elle permet un métissage plus complexe des environnement réels et
virtuel et adapté au technologies actuelles.
72
annexe 1 – utiliser libpd, un exemple simple .p.74
annexe 2 – Quelques applications .. . . . . . . . . . . . . . . . . . .p.77
annexe 3 – Débuter android quand on n’y connait rien .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .p.83
annexe 4 – lexique .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .p.85
annexe 5 – table des figures .. . . . . . . . . . . . . . . . . . . . . . . . . . . .p.86
annexe 6 – bibliographie .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .p.87
73
annexe 1 – utiliser libpd, un exemple simple
Afi n de créer le module permettant de guider l’utilisateur j’ai du passer par
l’apprentissage du langage propre à Android. Cette annexe présente un code que j’ai
écrit afi n d’utiliser un patch PureData à l’aide de libpd.
Le principe du patch est simple : générer un son que nous entendrons via le
casque du smartphone. Il s’agit la de travailler au module fi nal qui devra permettre la
lecture ou la génération de sons.
Ce patch permet d’une part de générer une fréquence, en lui
fournissant une valeur midi, et de l’autre d’appliquer une enveloppe à la sortie
de l’oscillateur. D’une simple pression sur l’écran du smartphone, l’utilisateur
déclenche le son.
Le code suivant permet d’intégréer le patch ci-dessus et de le mettre
en lien avec la plateforme.
75
Afin de l’expliciter, voici son fonctionnement :
− La fonction « onCreate() » est la partie de code exécutée à l’ouverture
du programme, « onPause() » s’effectue quand l’utilisateur change d’application
sans fermer la première, « onResume() » quand il revient dessus et « onDestroy() »
quand il la ferme
− « aButton » et « bButton » sont les deux bouttons accessible par
l’écran du smartphone
− « iniGui() » met en place l’affichage tel que le voit l’utilisateur.
− « initPd() » permet au programme de mettre en place les
fonctionnalités de PureData.
− « loadPatch() » permet d’ouvrir le patch « pd_android » présenté
plus haut et qui se trouve dans les resources du programme
− « onClick(View v) » permet de savoir quand un boutton est actionné.
La partie de code incluse dans cette méthode transmet au patch la note à jouer.
76
annexe 2 – Quelques applications
De nombreuses applications en réalité augmentée existent. Une simple
recherche contenant les termes « réalité augmentée » ou « augmented reality »
en dénombre plus de 300 sur Google plaie et au moins autant sur l’AppStore.
Est présenté ici un petit nombre d’entre elles, soit pour leur intérêt artistique,
pour les possibilités qu’elles offrent quand il s’agit de développer soit même de
la réalité augmentée ou simplement car elles sont amusantes.
• Wikitude - www.wikitude.com
Lancé en 2008, Wikitude est le premier navigateur en réalité
augmentée conçu pour smartphone. Il permet d’afficher des informations
sur l’environnement de l’utilisateur. Pour cela Wikitude exploite les données
de géolocalisation de l’utilisateur et de son environnement, principalement
les données issues du GPS, du WiFi et du compas. Les données sont ensuite
incrustées dans l’image obtenue par la caméra de l’appareil afin de permettre leur
visualisation à l’écran. Celles-ci sont extrêmement variées, aussi bien des articles
en provenance de Wikipedia que des informations laissées par les utilisateurs.
77
• Konstruct - apps.augmentic.co.uk/konstruct
Cette application permet de créer à partir de sons des sculptures en
réalité augmentée.
Elle est expliquée plus en détail au chapitre 4.1.2.
• RjDj - rijdj.me
Fonctionnant sur un principes de scènes, univers sonores créés par
certains utilisateurs, RjDj permet de générer de la musique en fonction de son
environnement
Pour plus d’informations, voir le chapitre 4.1.2.
78
• Layar - www.layar.com
Layar est un navigateur de réalité augmentée. Il permet gratuitement
à toute personne intéressée de créer des « layers », c’est à dire des univers en
réalité augmentée accessibles au travers du browser. Ces « layers » peuvent tout
aussi bien être des informations, comme le fait wikitude, que des jeux en réalité
augmentée, ou tout autre création imaginable et réalisable grâce aux APIs de
Layar.
Il s’agit du navigateur qui a été utilisé lors de l’exposition Augmented
Reality Art invasion décrite au chapitre 4.1.2.
79
• Junaio - www.junaio.com
Cet autre navigateur fournit des APIs gratuites afin de développer des
applications de réalité augmentée. Junaio se distingue de Layar par une meilleure
précision en ce qui concerne le géopositionnement là ou Layar dispose d’outils
plus puissants en terme de création d’objets 3D.
80
• The Night of the Living Dead Pixel - www.volumique.com
Les éditions volumiques travaillent sur de nombreux projets
d’augmentation du livre. Ils ont créé The Night of The Living Dead Pixel
comme un livre dont l’histoire qui y est racontée se prolonge sur son smartphone
en fonction de codes QR disséminés dans les images.On peut aussi citer (i)
Pirates qui est un jeu de plateau utilisant le téléphone portable comme un pion
interactif où l’on peut visualiser son bateau et les péripéties qui lui arrivent.
81
• AR.Drone - ardrone.parrot.com
La société Parrot, spécialisée dans les outils de navigation, a créé
une ligne de drones disposant de jeux en réalité augmentée sous iPhone. Les
différents jeux de la série permettent de piloter son drone par le biais de son
smartphone et de superposer des ennemis à abattre ou des obstacles sur les
images en provenance de la caméra du drone.
82
annexe 3 – Débuter android quand on n’y connait rien
La programmation sur Android est très séduisante, même pour
quelqu’un ne s’y connaissant pas. Les possibilités de cette plateforme ne sont pas
les mêmes que celles d’un ordinateur ; on a à portée de main quantité d’outils
propre à stimuler l’imagination et auxquels il n’est pas toujours facile d’avoir
accès. Sous plusieurs aspects Android est une plateforme bien plus amusante et
attrayante qu’un ordinateur de bureau. Cependant, comme chacune, elle exige
de savoir programmer. Pour les néophytes, cette annexe a pour but de souligner
quelques points qu’il peut être intéressant de connaître et qui répondent à
certaines questions que je me suis posées.
Pour commencer Android dispose d’un site : developer.android.com
. L’ensemble de ce qui est utile à la programmation y est présent. Le SDK et
les API y sont téléchargeables gratuitement et, hormis l’anglais et la quantité
impressionnante d’acronymes souvent inconnus, la démarche à effectuer est très
bien expliquée.
Android recommande l’utilisation d’Eclipse comme environnement de
programmation. De nombreux outils ont été spécialement conçus par Android
pour celui-ci, en tant que débutant, ils s’avèrent aussi utiles que performants.
Concernant la programmation même, Android est fondé sur le Java,
langage de programmation orientée objet. La syntaxe ainsi que la majorité des
bibliothèques sont identiques. En simplifiant grossièrement, programmer sous
Android revient à programmer sous Java. Ainsi il n’est pas inutile d’en apprendre
les bases ; de fait, bon nombre de livres et de tutoriels considèrent que l’on en
possède une expérience préalable. Cette absence de bases est surement le point
qui m’a fait perdre le plus de temps...
83
En ce qui concerne les tutoriels, deux sites sont particulièrement utiles :
www.siteduzero.com : ce site en français est dédié aux tutoriels
informatiques. Celui concernant Android est facile à lire et très décontracté,
on a parfois l’impression d’apprendre à programmer avec un ami. Il possède
cependant un défaut, celui d’être assez lent et parfois trop vulgarisé.
Mobile.tutsplus.com : en anglais, le site est dédié à la programmation
pour plateformes mobiles. Ses nombreux tutoriels possèdent l’avantage d’être
concis et précis.
Quoiqu’il arrive, il n’est pas inutile d’avoir à portée de main un livre
ou un site sur le java afin de répondre aux questions que l’on peut se poser.
Le site developer.android.com est quant à lui une mine de ressources
pour l’ensemble des objets présents sous Android. Il est extrêmement complet
et bien détaillé. Malgré son aspect abrupte au premier abords, il devient
rapidement indispensable.
Pour ceux qui le désirent, libpd – bibliothèque permettant d’insérer
des patchs PureData dans ses programmes – est disponible à l’adresse suivante :
https://github.com/libpd . Cela nécessite de s’y inscrire, gratuitement, puis de
chercher la section « help » pour paramétrer son compte et apprendre à utiliser
GitHub.
Voilà donc quelques points qui me paraissent importants et qui
découlent de mon propre apprentissage autodidacte d’Android. J’espère qu’ils
pourront être utile à quelqu’un !
84
annexe 4 – lexique
API : Application Programming Interface, interface fournie par un
programme informatique permettant l’interaction des programmes les uns avec
les autres.
CPU : Central Processing Unit, en français : processeur.
Feature Phone : téléphone mobile disposant de fonctionnalités
supplémentaires, typiquement un appareil photo ou un lecteur de musique.
GPS : Global Positionning System.
HMD : Head Mounted Device. Il s’agit des casque de réalité virtuelle
ou augmentée. Ils ont pour principales caractéristiques d’être munis de capteurs
de mouvement et de permettre une diffusion stéréoscopique de l’image afin de
permettre la 3D.
OS : Operating System, en français : système d’exploitation.
RAM : Random Access Memory.
SDK : Software Development Kit, ensemble d’outils permettant aux
développeurs de créer des applications pour des systèmes d’exploitations,
plateformes informatiques, programmes...
85
annexe 5 – table des figures
Fig.1 Continuum Réel-Virtuel simplifié p.13
Fig.2 Spectateur muni d’un HMD prenant part à Osmose p.18
Fig.3 Osmose, univers souterrain p.19
Fig.4 Augmented Reality Art Invasion ! , MoMA, octobre 2010 p.22
Fig.5 Part des smartphones dans téléphonie mobile, comS-core, Dec. 2011 p.34
Fig.6 Possesseurs de smartphones (en millions), comScore, Dec.2011 p.34
Fig.7 Vente mondiale de smartphones par systèmes d’exploi-tation, Gartner inc. p.35
Fig.8 Répartition française des différents systèmes d’exploita-tion, comScore, Dec.2011 p.36
Fig.9 Réseaux mobiles, débits théoriques (a : débit descen-dant ; b : débit montant) d’après Perez A. Architecture des réseaux de mobiles, p. 12 p.41
86
annexe 6 – bibliographie
livres
BENFORD S., GIANNACHI G., Performing Mixed Reality, The MIT Press, Massachusetts Institute of Technology, 2011
BIOCCA F., LEVY M.R., Communication in the Age of Virtual Reality, Hill-sdale, 1995
GIBSON W., Neuromancer, Editions Ace, juillet 1984
FORD R., Apps & contenus mobiles : études de cas:les coulisses et les statistiques de quelques-uns des projets mobiles les plus réussis, Taschen, Cologne (Allemagne), 2011
GARIN F., Android : concevoir et développer des applications mobiles et tactiles, Dunod, Paris, 2009, réed. 2011
GIBSON J., The Ecological Approach to Visual Perception, Houghton Mif-flin, Boston, 1979
GRAU O., Virtual Art From Illusion to Immersion, MIT Press, 2003, Trad. Custance G.
GUIGNARD D., CHABLE J., ROBLES E., Programmation Android, Ey-rolles, Paris, 2010
MIGEON A. (Dir.), Applications industrielles des capteurs 1, Lavoisier, Paris, 2009
MURPHY M., L’Art du développement sous Android, Pearson, Paris, 2009
PEREZ A., Architecture des réseaux mobiles, Lavoisier, Paris, 2011
RHEINGOLD H., Virtual Reality,Touchstone Edition, Etats-Unis d’Amé-rique, 1992
RYAN M.-L., Narrative as Virtual Reality, Immersion and Interactivity in Literature and Electronic Media, The Johns Hopkins Uni-versity Press, Baltimore, 2001
VINGE V., Rainbow’s End, Tor Books, mai 2008
87
WILSON S., Information Arts, The MIT Press, Massachusetts Institute of Technology, 2001, Réed. 2003
WACK M. (Dir.), NAIT-SIDI-Moh A. (Dir.), GABER J. (Dir.), GILLIERON P.-Y. (Dir.), ALEXANDRE Y. (Dir.), Géopositionnement et mobilité (GPS, Egnos et Galileo...), Université de tech-nologie de Belfort-Montbeliard, 2009
publications, articles, études, conférences
AZUMA R., « A Survey of Augmented Reality », Presence : Teleoperators and Virtual Environments 6, Aout 1997, p. 363-364
BALASUBRAMANIAN A., BALASUBRAMANIAN N., VENKATARAMANI A., Energy Consumption in Mobile Phones : A Measure-ment Study and Implications for Network Applications, University of Massachusetts Amherst, 2010
comScore, 2012 Mobile Futur In Focus, Février 2012
MA J.Y., CHOI J. S., « The Virtuality and Reality of Augmented Reality », Journal of Multimedia, vol. 2, n°1, février 2007, pp. 32-37
SUTHERLAND I. E., « The Ultimate Display », Proceedings of IFIP’65, pp. 506–508, 1965
MILGRAM P., TAKEMURA H., UTSUMI A., KISHINO F., Augmented Reali-ty : « A class of displays on the reality-virtuality conti-nuum », Proceedings of Telemanipulator and Telepre-sence Technologies, pp. 2351-34, 1994
Möhring, M., Lessig, C. and Bimber, O., « Video See‐Through AR on-Consumer Cell‐Phones », ISMAR ‘04 Proceedings of the 3rd IEEE/ACM International Symposium on Mixed and Augmented Reality. USA: IEEE Compute, 2004
SEFFAH A., BENN J., MAMAR H. H., « A Low-Cost Test Environmen for Usability Studies of Head-Mounted Virtual Reality Sys-tems », Journal of Usability Studies, Vol. 3, Issue 2, février 2008, pp. 60-73
STEUER J., « Defining Virtual Reality : Dimensions Determining Telepre-
88
sence », Journal of Communication 42, 1992, pp. 73-93
WEISER M., « The Computer for the twenty-first Century », Scientific Ame-rican, Septembre 1991, p94-104
WAGNER I., « On the rôle of Presence in Mixed Reality », Presence, vol.18, n°4, 2009, pp. 249-276
ZENBJEBIL I. M., ABABSA F., DIDIER J.-Y., VAIRION J., FRAUCIEL L., HACHET M., GUITTON P., DELMONT R., « Réalité Augmentée en Extérieur : Enjeux et Etat de l’Art », 10th ACM/IEEE Virtual Reality International Conference, La-val, 2008
sites internet
BENAYOUN M., « World Skin Documentation », http://www.benayoun.com
CARROLL A., HEISER G., «An Analysis of Power Consumption in a Smartphone », http://static.usenix.org/event/usenix10/tech/full_papers/Carroll.pdfhttp://static.usenix.org/event/usenix10/tech/full_papers/Carroll.pdf
DAVIS C., « Changing Space : VR as an Arena of Being », http://www.immersence.com/immersence_home.htmhttp://www.immersence.com/immersence_home.htm
KAGHAT F.-.Z., LE PRADOC., DAMALA A., CUBAUD P., « Experimen-ting with Sound Immersion in an Arts and Crafts Mu-seum », http://cedric.cnam.fr/index.php/publis/articla/view?id=1811http://cedric.cnam.fr/index.php/publis/arti-cla/view?id=1811
LOMBARD M., DITTON T., « At the Heart of It All : the Concept of Pre-sence », Journal of Compter Mediated Communication, vol. 3, num. 2, http://jcmc.indiana.edu/vol3/issue2/lom-bard.htmlhttp://jcmc.indiana.edu/vol3/issue2/lombard.html
MOTT I., SOSNIN J., « Sound Mapping an assertion of place », Interface, 1997, http://reverberant.com/sm/paper.htmhttp://reverbe-rant.com/sm/paper.htm
89
OBARZANEK G., « The Seymour Center presents Chunky Move - Glow » http://reviews.media-culture.org.au/modules.php?name=News&file=article&sid=4103http://reviews.media-culture.org.au/modules.php?name=News&file=article&sid=4103
SANDER V., « Press Release – Octobre 4th 2010 », http://www.sndrv.nl/moma/?page=presshttp://www.sndrv.nl/moma/?page=press
« ARQuake : Interactive Outdoor Augmented Reality Collaboration System », http://wearables.unisa.edu.au/projects/arquake/http://wearables.unisa.edu.au/projects/arquake/
« Topophonie », http://www.futur-en-seine.fr/evenement/topophonie/http://www.futur-en-seine.fr/evenement/topo-phonie/
http://research.microsoft.com/en-us/um/people/bibuxton/buxtoncollection/detail.aspx?id=40
http://www.openhandsetalliance.com/
http://www.apache.org/licenses/LICENSE-2.0.html
http://developer.android.com/guide/publishing/pu-blishing_overview.html
http://www.cnil.fr/en-savoir-plus/fiches-pratiques/fiche/article/la-realite-augmentee-en-questions/
http://apps.augmatic.co.uk/konstruct
http://rjdj.me
Http://Libpd.cc
films
BIGELOW K., Strange Days, Lighstorm Entertainment, octobre 1995
LISBERG S., Tron, Walt Disney Production, juillet 1982