Titel:  A  Mul+-­‐User  Augmented  Applica+onNaam:  Bart  GerardBegeleider:  Sten  GovaertsPromotor:  prof.  Erik  DuvalBlog:  hDp://bartgerard.wordpress.com/

Situering & Probleemstelling

Individualisering is een tendens kenmerkend voor de 20ste eeuw waarin het individu een centrale plaats krijgt in de samenleving. De laatste decennia wordt deze trend ook doorgezet in de technologische sector: Waar vroeger één toestel door een hele groep mensen werd gebruikt, zal nu één enkele gebruiker meerdere toestellen hanteren.

Recentere technologieën zoals tabletops proberen opnieuw meerdere gebruikers rond eenzelfde toestel te verzamelen. Een andere aanpak die ik in deze thesis zal beschouwen, is het samenbrengen van een aantal geïndividualiseerde toestellen in een gemeenschappelijke toepassing. De bedoeling is om opnieuw mensen fysiek bij elkaar te brengen. Dit kan op twee manieren:In een eerste optie houden we rekening met individualisering en voorzien we voor alle gebruikers persoonlijk aangepaste applicaties die een meerwaarde bieden voor die gebruikers tijdens een gemeenschappelijke activiteit. Een tweede optie bestaat erin een sociale constructie te voorzien waarin de verschillende gebruikers zich tijdelijk bij een reeks regels neerleggen en een gemeenschappelijk doel proberen te bereiken.

Om de kloof met de realiteit te verkleinen, is gekozen om rond het medium van augmented reality te werken. De toegevoegde waarnemingen zijn louter bedoeld als bindmiddel om mensen samen te brengen. De band met de werkelijkheid en medegebruikers mag niet verloren gaan door de applicatie. Dit betekent echter niet dat de applicatie niet onderdompelend (immersive) zou mogen zijn.

Voor deze thesis zijn drie scenario’s uitgewerkt, waarvan één enkele effectief geïmplementeerd zal worden. De drie mogelijkheden zijn alternate reality games, augmented tours en augmented boardgames.Het eerste scenario probeert verschillende vormen van augmented realities te laten communiceren in een zoektocht waar de verschillende gebruikers moeten samenwerken om te een spel te voltooien.Het tweede scenario brengt gebruikers samen tijdens een wandelactiviteit of een museumbezoek. Afhankelijk van de leeftijd van de gebruikers, zal de applicatie andere stromen van informatie tonen. Voor jongere leeftijden worden meer speelse applicaties voorzien. De moeilijkheid bestaat erin deze aparte applicaties toch met elkaar te laten communiceren en de gebruikers samen te laten werken.Het laatste scenario bestaat erin om een digitale variant van een gezelschapsspel te maken. De digitale ervaring zou natuurlijk een gewone bordspel ervaring moeten overstijgen, anders kunnen de gebruikers even goed op een traditionele manier gezelschapsspelen spelen.

Doelstellingen

De doelstellingen variëren naargelang het gekozen scenario. Toch hebben de drie scenario’s enkele gemeenschappelijke doelstellingen:• De uiteindelijke applicatie dient gebruikers samen te brengen op een ongedwongen

manier. Dit betekent dat de gebruikers de applicatie als aangenaam dienen te ervaren en graag willen gebruiken.

• De applicatie moet uitbreidbaar zijn. Het zou mogelijk moeten zijn om nieuwe zoektochten, routes of gezelschapsspelen toe te voegen.

• De ervaring moet onderdompelend zijn, maar de gebruiker mag geen grip verliezen met de werkelijkheid. In het geval van een wandeltocht willen we dat wanneer een gebruiker zich op de openbare weg begeeft, hij zich daarvan bewust is.

• De gebruikers moeten de applicatie meermaals willen gebruiken. Uitbreidbaarheid kan hierbij dienen om extra content toe te voegen. Zonder de extra content zou de applicatie voldoende uitdagend moeten blijven. Gamification kan hierbij helpen door gebruikers te laten dingen achter bijvoorbeeld de hoogste score of andere beloningen.

• De applicatie mag een innovatieve interface hebben, maar moet toch ook eenvoudig in gebruik te nemen zijn. Bij een innovatieve interface denk ik aan tangible interfaces en gestures.

Bij de eerste twee scenario’s hoort ook nog volgende doelstelling:• De applicatie moet een sociale dynamiek op gang brengen. Het zou niet mogen dat

gebruikers eenzelfde activiteit beleven zonder interactie met de medegebruikers.

Indien gekozen wordt voor het laatste scenario, kunnen volgende doelstellingen toegevoegd worden:• Het digitale bordspel moet beter zijn dan het echte spel. Indien gebruikers de digitale

variant verkiezen boven de traditionele versie, is deze doelstelling gehaald.• Mogelijk kan de digitale variant een ingebouwde speluitleg hebben. Deze speluitleg

moet vlugger gegeven kunnen worden dan dat nieuwe gebruikers de regels zouden kunnen lezen. De uitleg zou ook minstens even duidelijk en volledig moeten zijn dan wanneer deze uitleg door een ervaren speler wordt gegeven of wanneer de regels voorgelezen zouden worden.

• De applicatie zou automatisch de spelregels moeten checken zodat het onmogelijk wordt om vals te spelen of om accidentele fouten te maken. Omdat het spel zo dicht mogelijk zou moeten aansluiten bij een echt gezelschapsspel, zou de mogelijkheid moeten bestaan om eigen huisregels toe te voegen. Deze regels moeten wel aan het begin van het spel worden toegevoegd en moeten ook duidelijk gemaakt worden aan iedereen.

Geleverd werk & Resultaten

Tot hiertoe ben ik voornamelijk bezig geweest met de literatuurstudie. Daarnaast heb ik eerder vermelde scenario’s verder uitgewerkt en gezocht naar bestaande applicaties.

Binnen de literatuurstudie ben ik gelijktijdig op zoek gegaan naar enerzijds een goede definitie van augmented reality en anderzijds een taxonomie waarin de verschillende varianten ondergebracht kunnen worden.

De initiële zoektocht gaf voornamelijk definities die beperkt waren tot één of drie zintuigen. Later vond ik de definitie van Milgram die mij momenteel het meest omsluitend lijkt. Milgram beschrijft augmented reality als “Augmenting natural feedback to the operator with simulated cues.” Ik wil hier aan toevoegen dat minstens één van de inputs van een augmented reality systeem ook zelf zintuiglijk waarneembaar moet zijn. Het is discutabel of deze clause al verweven zit in de woorden “natural feedback”. Augmented reality kan dus niet alleen een keyboard als input hebben. De input van een device als Skinput kan daarentegen wel zintuiglijk waargenomen worden en kan binnen deze definitie wel als een enkele vorm van input worden gebruikt.

Zoals eerder vermeld heb ik gezocht naar een taxonomie. Een volledige taxonomie bleek echter te ontbreken en bijgevolg heb ik een eigen taxonomie opgesteld en onderbouwd met de gelezen papers.

Figuur 1 - Taxonomie voor AR input

Voor een eerste opdeling wordt gekeken naar wat de trigger is voor de input of welk zintuig geprikkeld wordt door de output. Daarna volgt een opdeling volgens de relatie tussen het device en de gebruiker. De gebruiker kan het device dragen in de hand (handheld). Bij deze vorm is augmented reality niet altijd aanwezig. De gebruiker dient het toestel op een bepaalde manier vast te houden om additionele waarnemingen te ervaren. Deze vorm verschilt van andere draagbare (wearable) devices omdat daar de gebruiker continu in de AR wereld vertoeft. Bij de ruimtelijke (spatial) vorm draagt de gebruiker

helemaal geen devices, maar zullen devices in zijn direct omgeving reageren op zijn acties. De derde opdeling plaats specifieke toestellen bij voorgaande categorieën. De vierde opdeling beschrijft welke vorm van informatie gebruikt wordt als in- of output. De laatste kolom bevat bij input welke informatie gehaald kan worden uit de input. Bij output bevat deze kolom de informatie die toegevoegd kan worden aan de werkelijkheid.

Figuur 2 - Taxonomie voor AR output

Op donderdag 3 november werd gekozen om het scenario rond bordspelen verder uit te werken. Naast mijn persoonlijke voorkeur, denk ik met dit scenario een betere toegang te hebben tot een testpubliek. Het scenario is ook minder leeftijd gebonden. Daarnaast denk ik een meer indringende ervaring aan te kunnen bieden met dit scenario. De belangrijkste reden achter mijn keuze, zijn de mogelijkheden. Bij de eerste twee scenario’s ben ik beperkt tot handheld devices of head mounted displays, terwijl dit laatste scenario alle richtingen uit kan. Meerdere vormen met elkaar te mengen en tangible user interfaces behoren tot de opties.

Planning

In deze nieuwe planning begin ik al eerder aan het schrijven van de thesis, dit zodat ik niet alleen maar in de laatste maand zou schrijven. Verder is nog een puntje “bedenk testroutine” toegevoegd waar ik zal nadenken over de manier van testen/evalueren. De rest van de planning is ongewijzigd gebleven.

WeekWanner?

DeadlinesWat? Wanneer? Wat?

26-sep.-20113-okt.-2011

10-okt.-201117-okt.-201124-okt.-201131-okt.-20117-nov.-2011

14-nov.-201121-nov.-201128-nov.-20115-dec.-2011

12-dec.-201119-dec.-201126-dec.-20112-jan.-20129-jan.-2012

16-jan.-201223-jan.-201230-jan.-20126-feb.-2012

13-feb.-201220-feb.-201227-feb.-20125-mrt.-2012

12-mrt.-201219-mrt.-201226-mrt.-20122-apr.-20129-apr.-2012

16-apr.-201223-apr.-201230-apr.-20127-mei-2012

14-mei-201221-mei-201228-mei-20124-jun.-2012

11-jun.-201218-jun.-201225-jun.-2012

Literatuur 30-sep.-2011 info sessie (12u30, 05.001)LiteratuurLiteratuurLiteratuurLiteratuurVerslag schrijven 4-nov.-2011 1ste tussentijds verslagOntwerp (werk geselecteerde case uit)Ontwerp (maak papieren prototype 1)Ontwerp (test papieren prototype 1)Ontwerp (evalueer papieren prototype 1 + maak papieren prototype 2)Ontwerp (evalueer papieren prototype 1 + maak papieren prototype 2)Ontwerp (evalueer papieren prototype 1 + maak papieren prototype 2)Ontwerp (test papieren prototype 2)Ontwerp (evalueer papieren prototype 2)Presentatie voorbereiden ??? 1ste tussentijdse presentatieImplementatie + Schrijf thesisImplementatieImplementatieImplementatie + ExamensImplementatie + ExamensImplementatie + Examens + Schrijf artikel// Kleine onderbrekingSchrijf artikelSchrijf artikel 24-feb.-2012 Wetenschappelijk artikelBedenk testroutine (vragen, opstelling, ...)Test applicatieEvalueer applicatieVerslag schrijven + Presentatie voorbereidenVerslag schrijven + Presentatie voorbereiden 30-mrt.-2012 2de tussentijds verslag/presentatieSchrijf thesis// Kleine onderbreking 7/04-14/04Pas applicatie aanMaak poster 27-apr.-2012 PosterTest applicatieEvalueer applicatie + Schrijf thesisSchrijf thesis 18-mei-2012 Vervolledig ontwerp van thesisVervolledig thesisVervolledig thesisVervolledig thesis + Examens 8-jun.-2012 D-day (Deadline thesis)Finale presentatie + ExamensFinale presentatie + ExamensFinale presentatie + Examens ??? Finale presentatie en verdediging

Legende: Literatuur / Verslag + Presentatie / Papieren prototype / Implementatie / Evaluatie + Adaptatie / Artikel / Poster / Thesis tekst / Exames + Onderbrekingen

Belangrijkste moeilijkheden

De belangrijkste moeilijkheid bestond erin een goed sluitende definitie te vinden voor augmented reality. De meeste definities zien enkel zicht als een vorm van augmented reality, terwijl recent meer exotische vormen de kop opsteken.

Het opstellen van een taxonomie was ook niet altijd even eenvoudig. Meeste papers hebben een eigen terminologie van andere papers verschillende terminologie. Een laatste voorbeeld hiervan zijn graspable en tangible user interfaces die beide hetzelfde beschrijven. Ook is het eenvoudiger om papers rond zicht in een AR context te vinden dan papers over smaak.

Dit werk verdient..

... een 14? Ik heb gedaan wat ik kon doen zonder andere vakken te verwaarlozen. Ik heb al veel gelezen, maar nog niet alles is even goed verwerkt. Ik denk aan papers over het verschil tussen augmented reality en augmented virtuality. Het probleem hierbij is dat grenzen of definities vaak troebel zijn. Vooraleer ik daar dieper op in ga, zou ik mij graag meer inlezen rondom deze grenzen en definities.

Bijlage 1: Statistieken

# blogposts

# comments op andere blogs

# tweets omtrent thesis

13

6

15

Tabel 1 - Enkele statistieken rond internet activiteit voor thesisLiteratuur

Verslag

Meeting

Bloggen, commenten, tweeten

Logistiek

82u 25m

15u 0m

1u 55m

8u 10m

1u 0m

Totaal 108u 30mTabel 2 - Uren gewerkt aan thesis

Bijlage 2: Bestudeerde literatuur & gerelateerd werk

Read[1] D. Wagner, T. Pintaric, F. Ledermann, and D. Schmalstieg, “Towards Massively Multi-User

Augmented Reality on Handheld Devices,” Communication.

[2] D. Schmalstieg and D. Wagner, “A HANDHELD AUGMENTED REALITY MUSEUM GUIDE,” Computing, pp. 295-296, 2005.

[3] H. Kato and M. Billinghurst, “Marker tracking and HMD calibration for a video-based augmented reality conferencing system,” Proceedings 2nd IEEE and ACM International Workshop on Augmented Reality (IWAR’99), pp. 85-94.

[4] W. Broll, E. Meier, and T. Schardt, “The virtual round table - a collaborative augmented multi-user environment,” Proceedings of the third international conference on Collaborative virtual environments - CVE  ’00, no. Cve, pp. 39-45, 2000.

[5] H. Kaufmann and M. Csisinko, “Multiple Head Mounted Displays in Virtual and Augmented Reality Applications,” International Journal, vol. 5, no. 3, pp. 1-8, 2006.

[6] A. Butz, C. Beshers and S. Feiner, “Of Vampire Mirrors and Privacy Lamps : Privacy Management in Multi-User Augmented Environments,” 1998.

[7] T. Narumi, S. Nishizaka, and T. Kajinami, “Augmented Reality Flavors  : Gustatory Display Based on Edible Marker and Cross-Modal Interaction,” System, pp. 93-102, 2011.

[8] G. Bianchi, “High Precision Augmented Reality Haptics,” Simulation.

[9] C. J. D. Boer and M. H. Lamers, “Electronic Augmentation of Traditional Board Games,” October.

[10] N. Whitton, “Motivation in alternate reality gaming environments and implications for learning,” Quest.

[11] C. T. Tan and D. Soh, “AUGMENTED REALITY GAMES  : A REVIEW,” Computer, 2010.

[12] N. Whitton, “Alternate reality games for developing student autonomy and peer learning Nicola Whitton Manchester Metropolitan University,” pp. 1-9, 2006.

[13] Y. Rogers, “Moving on from Weiser's Vision of Calm Computing: engaging UbiComp experiences,” 2006.

[14] J.-dominique Gascuel, A. Laboratoire, G. Imag, I. Rhone-alpes, and R. Grasset, “Réalité Augmentée et environnement collaboratif  : Un tour d ’ horizon.”

[15] Y. Nakazato, M. Kanbara, and N. Yokoya, “Using Invisible Visual Markers and an IR Camera,” Wearable Computers.

[16] L. Bonanni, C.-hsun Lee, R. Gens, and T. Selker, “Augmented Reality Kitchen  : Task-Specific Projection in a Multi-User Work Environment,” October.

[17] A. Benzina et al., “Phone-Based Motion Control in VR - Analysis of Degrees of Freedom,” Interfaces, pp. 1519-1524, 2011.

[18] M. Diaz, M. Alencastre-Miranda, L. Munoz-Gomez, and I. Rudomin, “Multi-User Networked Interactive Augmented Reality Card Game,” 2006 International Conference on Cyberworlds, pp. 177-182, 2006.

[19] P. Konopatzky, L. Markus, S. Reißig, and J. Sch, “xChase  : A Location-Based Multi-User Pervasive Game Using a Lightweight Tracking Framework,” 2008.

[20] E. H. Chi, M. Gumbrecht, and L. Hong, “Visual Foraging of Highlighted Text  : An Eye-Tracking Study,” pp. 589-598, 2007.

[21] C. Harrison and A. D. Wilson, “OmniTouch  : Wearable Multitouch Interaction Everywhere,” Human Factors, 2011.

[22] H. Nakamura, “Augmented Gustation using Electricity,” Computing Systems, 2011.

Skimmed[23] M. Adam, “Alternate Reality Games White Paper,” 2006.

[24] M. Hirzer, “Marker Detection for Augmented Reality Applications,” Image (Rochester, N.Y.), 2008.

[25] K. Tateno, I. Kitahara, and Y. Ohta, “A Nested Marker for Augmented Reality,” 2007 IEEE Virtual Reality Conference, pp. 259-262, 2007.

[26] M. Rohs, “Marker-Based Embodied Interaction for Handheld Augmented Reality Games Marker-Based Embodied Interac-,” Virtual Reality, vol. 4, no. 5, 2007.

[27] F. G. Hamza-lup, L. Davis, C. Hughes, and J. P. Rolland, “Marker Mapping Techniques for Augmented Reality Visualization,” Instrumentation, pp. 2-6.