università di verona facoltà di scienze mm.ff.nn. corso di...
TRANSCRIPT
![Page 1: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/1.jpg)
1
Complementi di Interazione Uomo-Macchina
Dr. Marco Cristanie-mail: [email protected]: Stanza 47, Ca Vignal 2
Università di VeronaFacoltà di Scienze MM.FF.NN.
Corso di Laurea Specialistica in Sistemi Intelligenti e Multimediali
Lezione 8 – The day after WIMP
![Page 2: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/2.jpg)
2
Preambolo• Legge di Moore
– 5 anni ~ 10x avanzamento– 10 anni ~ 100x avanzamento– 20 anni ~ 10000x avanzamento
• La legge di Moore non vale per le interfacceuomo-macchina
Prima motivazione:
![Page 3: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/3.jpg)
3
Preambolo (2)
• Non esiste legge di Moore per le persone…
Seconda motivazione:
![Page 4: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/4.jpg)
4
Evoluzione delle interfacce uomo-macchina
• Il fulcro di avanzamento in un’interfaccia è datodal meccanismo di interazione che essapropone
Numerose alternative, nessuna preponderantePost-WIMP interfaces
![Page 5: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/5.jpg)
5
Stato dell’arte
• Dal punto di vista commerciale
![Page 6: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/6.jpg)
6
The day after WIMP
• Starring:– Perceptual user interfaces
• Affective computing, Human-Robot Interaction, Social Computing
– Ambienti immersivi• Wearable computer, Realtà virtuale
– Ubiquitous computing• Realtà pervasiva
– Tangible UI• Realtà aumentata
![Page 7: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/7.jpg)
7
Perceptual user interfaces - Motivazione
• Recenti ricerche sociologiche e psicologiche hanno cercato dicapire come le personeinteragiscono con le macchine
• Risultato assodato: le interazioni con i computer tendono ad essere sociali e naturali[1] B. Reeves and C. Nass, The Media Equation: How People Treat Computers, Television, and NewMedia Like Real People and Places, Cambridge University Press, September 1996.
Find more...
![Page 8: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/8.jpg)
8
Verso l’interazione sociale
• Equazione fondamentale [Reeves and Nass]media = real-life
• Motivazione:– Per secoli, l’interazione su cui si è addestrato l’essere
umano è quella sociale (con altri esseri umani)motivazione d’istinto
• Sintesi del ragionamento– Rendere antropomorfe
• Le interfacce• Le interazioni
![Page 9: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/9.jpg)
9
Interfacce antropomorfe
• Interfacce “antropomorfe”– Cercano un omomorfismo tra uomo e interfaccia
AIBOQRIO
Courtesy of Sony
![Page 10: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/10.jpg)
10
Interfacce antropomorfe
• Possibile autogol [Schneidermann]:– Interfacce antropomorfe precludono all’utente umano un chiaro
modello mentale di ciò che è possibile proporre all’interfaccia e cosa aspettarsi dall’interfaccia in risposta a determinate azioni.
– Il test di Turing insegna…– Il golfo di esecuzione e valutazione diventano enormi (ovvero non
si ha più controllo e predizione)
• MA: – Per contro, valgono gli esperimenti di Wexemblat
• “Don’t anthropomorphize computers; they hate that!”B. Shneiderman, “A nonanthropomorphic style guide: overcoming the humpty dumpty syndrome,”The Computing Teacher, 16(7), (1989) 5.A. Wexelblat, “Don't Make That Face: A Report on Anthropomorphizing an Interface,” in IntelligentEnvironments, Coen (ed.), AAAI Technical Report SS-98-02, AAAI Press, 1998.
Find more...
![Page 11: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/11.jpg)
11
Interfacce antropomorfe
• Soluzione: – Computer come tool niente interfacce antropomorfe
• Vedi interfacce user pre-emptive– WIMP
– Computer come collaboratore antropomorfismo• Vedi interfacce system pre-emptive
– Bancomat– Foto tessere self-service
– mimesi
![Page 12: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/12.jpg)
12
• Favorire interazioni tra la semantica dell’utente e le potenzialità della macchina, tramite traduzioni fra diversi linguaggi
• Ciclo di Abowd e Meale, include in maniera esplicita la macchina, a differenza di quello di Norman
• 4 componenti:
• Ogni componente ha il suo proprio linguaggio
Il ruolo di un’interfaccia utente
![Page 13: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/13.jpg)
13
• Il ciclo interattivo è composto da 4 fasi1. Articolazione2. Prestazione3. Presentazione4. Osservazione
• Ogni fase sussiste nella traduzione tra i due linguaggi adiacenti
• I problemi nascono quando la traduzione è difficile o impossibile (vincoli di HW in 1,2, vincoli umani in 4)
4. Osservazione
1. Articolazione2. Prestazione
3. Presentazione
linguaggio base
linguaggio dei compiti
![Page 14: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/14.jpg)
14
4. Osservazione
1. Articolazione2. Prestazione
3. Presentazione
linguaggio base
linguaggio dei compiti
Dalla parte dell’uomo - tempistiche
• Che tempistiche devo usare per – D: trasmettere all’utente la sensazione di causalità ad un suo input?– R:
• MIN: Due stimoli all’interno dello stesso ciclo del perceptual processor (TP =~100ms) appaiono fusi, e la fusione è sinonimo di causalità(vedasi doppiaggio dei film: labbra contemporaneamente in movimento con lo speech determinano causalità)
• MAX: dopo 10 secondi, la memoria sensoriale si svuota (recency effect)
uomo = perceptual processor
recency effect
![Page 15: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/15.jpg)
15
4. Osservazione
1. Articolazione2. Prestazione
3. Presentazione
linguaggio base
linguaggio dei compiti
Dalla parte dell’uomo - tempistiche• Che tempistiche devo usare per
– D: aspettare una reazione causale da parte dell’utente ad un input della macchina?
– R: Dopo aver definito il movimento, applico la Legge di Fitts
Movimento•Tempo richiesto per rispondere ad uno stimolo = tempo di reazione + tempo di movimento•Il tempo di movimento dipende dall’età, dalla forma fisica, etc.•Il tempo di reazione dipende dal tipo di stimolo:
–visivo: 200 ms–uditivo: 150 ms–dolore: 700 ms
•la necessità di tempi di reazione brevi può limitare l’accuratezza in un operatore novizio, ma non in uno esperto.
![Page 16: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/16.jpg)
16
• La legge di Fitts descrive il tempo impiegato per colpire un obiettivo nello schermo Mt = a + b log2 (D/S +1)dove – a e b sono costanti determinate empiricamente – Mt è il tempo motorio– D è la distanza– S è la dimensione
DS
![Page 17: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/17.jpg)
17
• L’obiettivo in generale deve essere
– più largo possibile
– più vicino possibile
Il tempo necessario per raggiungere ilbottone è lo stesso nei due casi
STAR
T
![Page 18: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/18.jpg)
18
PUI - definizione
• Interfacce interattive, percettive e multimodalimodellate secondo il modello di interazione umano/umano
– percettive• Offrono capacità percettive simili
all’uomo– Cosa sta dicendo l’utente– Cosa sta facendo l’utente– Dov’è l’utente– Chi è l’utente
– multimodali• Accettano/producono modalità
multiple per lo scambio di informazioni
Contesto
Semantica offerta dall’utente
Organizzazione aree di ricerca
![Page 19: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/19.jpg)
19
Perceptual User Interface - definizione
• Interfacce interattive, percettive e multimodali modellate secondo il modello di interazione umano/umano
INTERAZIONE NATURALE PERCEPTUAL USER INTERFACEnostro corso
![Page 20: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/20.jpg)
20
Perceptual User Interface – problemi aperti
• l’interazione avviene tramite eventi percettivi– gesti con significato atomico (anche chiamati back channel)– sentenze analisi del linguaggio, area di ricerca a sé stante
• Problema: non esiste una definizione oggettiva di evento percettivo– gesti dipendenti dal contesto
• deittici, pittografici, cinetografici, metaforici
• Soluzioni– vincolare la gamma di gesti plausibili, per una gamma di
interazioni pre-fabbricate– creare interazioni ex-novo, previo learning (training di un
classificatore)
![Page 21: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/21.jpg)
21
Perceptual User Interface – 2 ostacoli
1. Tecnologia (ostacolo “facile” da superare)– Ricercatori ovunque e focalizzati su differenti aspetti– Interesse crescente – Progresso consistente– rimane il test di Turing…
2. Mercato (difficile)– PUI generalmente costose (necessità di sensori)– pragmaticamente, le PUI penetrano nel mercato grazie a
• biometria• sorveglianza• entertainment (poco)
![Page 22: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/22.jpg)
22
![Page 23: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/23.jpg)
23
• L’obiettivo è di creareuna interfaccia in gradodi trascrivere unavideoconferenza, aggiungendoinformazioni semantiche– back channel– gesti deittici
Perceptual User Interface per la trascrizione di conferenze
![Page 24: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/24.jpg)
24
• Importante• Continuo
– Indica interesse
• Sporadico– Trasmette senso di impegno– Indica presenza sociale
• La comunicazione non visiva perde questi input• Una comunicazione remota visiva poco accurata
peggiora la situazione
Il contatto visivohttp://research.microsoft.com/~larryz/GazeAwareness.pdf
![Page 25: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/25.jpg)
25
• La conversazione ha una struttura fondamentale: turn taking
• Il turn taking si struttura– tramite lo scambio reciproco di proposizione– tramite l’utilizzo di back channel
• Back Channel– Cenni, smorfie, scrollate di spalle, piccoli rumori– aiutano, rafforzano l’interpretazione semantica delle proposizioni– la sostituiscono– essenziali, provate...
Back channel, conferma e interruzioni
![Page 26: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/26.jpg)
26
Informatica pervasiva e realtàarricchita
![Page 27: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/27.jpg)
27
• Vuole rompere con il paradigma tradizionale dascrivania
• Sposta la potenza computazionale nell’ambiente
• E’ l’interfaccia che individua e serve l’utente
• Queste definizioni sono date da Mark Weiser
La ricerca sulle applicazioni dell’informatica pervasiva
http://www.cs.utah.edu/~sgoyal/pervasive/Find more...
![Page 28: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/28.jpg)
28
• Innumerevoli sinonimi, che testimoniano unabranca della scienza in sviluppo capillare e parallelo– Ubiquitous Computing (Mark Weiser, 1991)– The Invisible Computer (Don Norman, 1998)– Disappearing Computer (European IST, 2000)
• Termini in relazione:– Appliance Computing– Pervasive Computing– Situated Computing– Ambient Intelligence– Calm Computing– Ambient Displays– Context-Aware Computing
![Page 29: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/29.jpg)
29
• Tre problemi nella realizzazione diun’interfaccia pervasiva1. Definizione dell’esperienza d’interazione fisica
appropriata
2. Scoperta di temi applicativi
3. Presenza di teorie per progettare e valutarel’esperienza umana all’interno dell’informaticapervasiva
![Page 30: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/30.jpg)
30
• Principio fondamentale: abbandonare la scrivaniacome terreno di interazione
• Due concetti fondamentali: input e output impliciti
– Input implicito: sono azioni e comportamenti umaniche sono effettuati per raggiungere un goal e che non sono intesi primariamente come interazioni con computer, ma che dai computer sono catturati, riconosciuti ed interpretati come input
1.La definizione dell’esperienza d’interazione fisica
![Page 31: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/31.jpg)
31
– Output implicito: output di un computer chenon è relazionato ad un input esplicito e che èintegrato con l’ambiente e con gli scopidell’utente in maniera trasparente
![Page 32: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/32.jpg)
32
– le interazioni naturali con l’ambiente fisicoforniscono un input sufficiente a molti servizi
– l’interazione diviene cosi’• incidentale
• poco intenzionale
Obiettivo
Intenzione
Azione 1
Azione n
...
Stato del sistema
42
1 5=?
Azione 1
Azione n
...3
Stato del sistema67
![Page 33: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/33.jpg)
33
– le interazioni naturali con l’ambiente fisicoforniscono un input sufficiente a molti servizi
– l’interazione diviene cosi’• incidentale
• poco intenzionale
Obiettivo
Intenzione
Azione 1
Azione n
...
Stato del sistema
42
1 5=?
Azione 1
Azione n
...3
Stato del sistema67
Input implicito
Output implicito
![Page 34: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/34.jpg)
34
![Page 35: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/35.jpg)
35
• Esempi
http://www.bradleyrhodes.com/Papers/wearables-in-2005/Find more...
![Page 36: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/36.jpg)
36
• Non si parla più di interfacce interattive, ma di interfacce percettive
• Il compito principale è il riconoscimento– Esempi
• Interfacce a sfioramento
• Interfaccio a riconoscimento vocale
• Altri compiti sono: – l’acquisizione di dati multimodali
• Esempio: sensori RFID
l1
![Page 37: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/37.jpg)
Diapositiva 36
l1 Esempilinmi; 01/05/2006
![Page 38: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/38.jpg)
37
• Esempi:
http://www.hcilab.org/documents/UbiquitousComputingComputingAndInteractionInContext.pdfFind more...
![Page 39: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/39.jpg)
38
• Un’interfaccia pervasivaideale sarà quella chestabilirà l’identità, la posizione o l’attività di un utente attraverso la solapresenza e le interazioninaturali all’interno di un ambiente
• Interfacce con talicaratteristiche sono giàall’ordine del giorno
![Page 40: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/40.jpg)
39
• In certi casi non svolgono compiti per migliorare i compiti dell’uomo, ma per monitoraggio
• Si parla di interfacce di videosorveglianza
Hitachi’s 0.3 mm mu chip RFID tags in use at Extra “Future Store” in Rheinberg, Germany
![Page 41: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/41.jpg)
40
Esempi di interfacce pervasive di video sorveglianza
Tags could not be “killed” as promised
Benetton told consumers the tags could be “killed”at checkout, while Philips documentation revealed the tags could only be made “dormant.”
www.BoycottGillette.comFind more...
![Page 42: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/42.jpg)
41
• Requisito essenziale per l’invisibilitàdell’interfaccia è che deve cambiare aspetto
• Weiser ha definito una rozza tassonomia diinterfacce pervasive, basata sulle loro dimensioni1. il pollice (circa 2.5 cm)
2. il piede (circa 30 cm)
3. la iarda (circa 90 cm)
Verso l’output distribuito e sularga scala
![Page 43: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/43.jpg)
42
• Alla classe 1 appartengono i dispositivi recentid’interazione
– PDA, cellulari, cercapersone
• Alla classe 2 appartengono i dispositivi usualidell’interazione, con basso tasso di pervasività
– portatili, tastiere, schermi
• Alla classe 3 appartengono nuovi apparati– Video wall
– Specialmente per quest’ultima classe, l’ambito dellacomunicazione tra dispositivi è ambito di ricerca vergine ed in fermento (esempio)
![Page 44: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/44.jpg)
43
• Una soluzione all’invisibilità richiesta per le interfacce pervasive: integrare manufatticomputazionali con manufatti fisici
Integrazione tra mondo fisico e virtuale
![Page 45: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/45.jpg)
44
• In che ambiti investire nell’informatica pervasiva– Comunicazione interpersonale
– (Esempi)
• Oltre alla fusione fisica di mezzi computazionali con manufatti fisici, obiettivi astratti dell’informatica pervasivasono1. Utilizzo del contesto da parte dei dispositivi
2. Rilevamento e utilizzo di esperienze personali
• Si parla anche di informatica quotidiana
2. Temi applicativi per l’informatica pervasiva
![Page 46: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/46.jpg)
45
• Un informazione contestualesemplice ma effettiva è la posizione geografica, ossiadove– rispetto all’utente particolare,
vedi i sistemi di mappaggio GPS
– rispetto a più utenti, vediSentient Computing Project
Contesto nell’informatica pervasiva
• Il contesto è tutto ciò che aiuta un’interazione ad esserequanto più fruttuosa possibile per l’utente
![Page 47: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/47.jpg)
46
• quando– Ad oggigiorno, le applicazioni di informatica
pervasiva che tengono conto del tempo sonomolto poche• di nuovo, l’eccezione è composta dalla video
sorveglianza.
• che cosa• perché
![Page 48: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/48.jpg)
47
• Esempio: memex, Vannevar Bush
Registrazione e accesso automatici
• La raccolta di esperienze è essenziale nello sviluppodella persona
• Vi sono dei limiti umani alla raccolta di esperienze• L’informatica pervasiva vuole intervenire;
– la registrazione e l’accesso vengono effettuati su esperienze– il fine è quello di preservare la registrazione di un’esperienza di
vita in modo che possa essere riesaminata successivamente
![Page 49: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/49.jpg)
48
Verso l’interazione continua• Un’accezione di informatica pervasiva: informatica
quotidiana• L’informatica si sposta da uno strumento localizzato a
una presenza costante• Promuove attività, ossia insiemi di compiti ben definiti• Le attività sono differenti dai compiti, ai quali
corrispondono ben definiti cicli di interazione• Esempi di attività:
– Organizzazione della vita quotidiana– gestione delle informazioni personali
![Page 50: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/50.jpg)
49
• Caratteristiche delle attività:– raramente hanno un’inizio e una fine chiari;– raramente sono atomiche, ossia sono interrotte (da altre attività)– possono essere eseguite in maniera parallela, poco coordinata
• Riassumendo, le attività sono– composte da eventi– gli eventi producono, trasformano informazioni– gli eventi sono connessi tra di loro in maniera altamente non
lineare– da ciò ne consegue che le informazioni trattate devono poter
essere collegate tra di loro in maniera associativa
• l’informazione deve poter essere scritta in forma ipertestuale
![Page 51: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/51.jpg)
50
Comprensione dell’interazione nell’informatica pervasiva
• L’operazione fondamentale della comunicazione trauomo e macchina è dato da dei modelli ciclici– Modello di Abowd, Norman
• Nel caso di informatica pervasiva, tali modelli non valgono più.
• Ci sono altri modelli alternativi, forte intersezione allasociologia:– Teoria delle attività– Azione situata– Cognizione distribuita
![Page 52: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/52.jpg)
51
Capire il comportamento umano
• Crediamo che le persone vivano secondo le lororegole di comportamento e la conoscenzaimplicita, cosicchè le cose più potenti risultanoquelle effettivamente invisibili durante l’uso
• In pratica, un’interfaccia pervasiva si inserisce in un contesto di quotidianità
• Bisogna dare una definizione di quotidianità• Quotidianità = insieme ben definito di attività
effettuate regolarmente
![Page 53: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/53.jpg)
52
• La quotidianità si riferisce– rispetto ad un singolo soggetto– rispetto ad una comunità
• L’informatica pervasiva si rivolge allaquotidianità della comunità
• Per capire quali sono le attività tipiche di una comunità si usano metodi etnografici
• Si usano persone (sociologi), le sonde culturali
![Page 54: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/54.jpg)
53
3.Valutazione delle sfide per l’informatica pervasiva
• L’informatica pervasiva serve?• Per una risposta, servono tecniche di valutazione• Problema:
– le tecniche di valutazione controllano che soluzionideterminate risolvano problemi determinati
– un primo motivo dell’inesistenza di tecniche divalutazione per l’informatica pervasiva è che non si ha chiaro quali siano i problemi che essa debba risolvere
![Page 55: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/55.jpg)
54
– un secondo motivo è dato dalla limitatezza di possibilità di creazione di ambienti di laboratorio in cui valutare le interfacce di informatica pervasiva
– la creazione di ambienti di laboratorio annulla lo scopo principale dell’informatica pervasiva, ossia inserire dei manufatti computazionali negli ambienti quotidiani, per risolvere problemi quotidiani
– infatti i laboratori non sono ambienti quotidiani– l’unica possibilità di verifica rimane quella basata su
intervista
![Page 56: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/56.jpg)
55
la natura dell’esperienzaumana è basata sullapartecipazione all’internodell’ambiente (Heidegger)
![Page 57: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/57.jpg)
56
Realtà virtuale e arricchita• VR• si riferisce alla simulazione generata al computer di un
mondo, o di una parte di esso, in cui l’utente vieneimmerso
• permette all’utente di sperimentare situazioni che sono– troppo pericolose– troppo costose
da vivere “in carne ed ossa”
![Page 58: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/58.jpg)
57
• Che cosa viene inteso come realtà virtuale– uomo ricoperto di sensori: è una parte della
realtà virtuale, qualla più antica, ossia la realtà virtuale immersiva
• Che cosa è anche realtà virtuale– realtà virtuale da scrivania– situazioni di comando e controllo– realtà arricchita– telemedicina
![Page 59: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/59.jpg)
58
La tecnologia della realtàvirtuale
• Casco 3D• Guanto• Altro!
http://old.sydney.siggraph.org.au/conference/2002/html/extras.html
Find more...
http://www.cg.tuwien.ac.at/courses/SpecialTopicsVR/VU.htmlFind more...
![Page 60: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/60.jpg)
59
La realtà virtuale immersiva
• Scopi1. creare ambienti che
riproducono fedelmente ilmondo reale
2. creare visualizzazioni di oggettialtrimenti invisibili sovvrappostial mondo reale (correnti divento, correnti elettriche etc)
3. creare rappresentazionimanipolabili di oggettialtrimenti non visibili ne’manipolabili nel mondo reale.
http://www.viz-tek.com/index-main.htmlFind more...
![Page 61: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/61.jpg)
60
La realtà virtuale sulla scrivania e a casa
• Una branca sostanziale dell’industria videoludica creamondi virtuali
• La diffusione di tale fenomeno è grande• Necessità di inserimento di un linguaggio standard di
realtà virtuale– VRML (Virtual Reality Markup Language)– permette di creare mondi tridimensionali accessibili, trasportabili.
![Page 62: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/62.jpg)
61
Comando e controllo
• La realtà virtuale risulta utile nel momento in cui l’uomo si trovi ad esercitare comando e controlloin ambienti a rischio– simulatori di volo– simulatori di situazioni a rischio (applicazioni militari)
http://en.wikipedia.org/wiki/Virtual_realityFind more...
![Page 63: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/63.jpg)
62
La realtà arricchita
• Nei sistemi di realtà arricchita le immaginielettroniche vengono proiettate sul mondoreale
• La nostra capacità di percepire il mondoviene arricchita da input sovrapposti al mondo stesso– wearing computing– smart room
• Problema di allineamento o registrazione
![Page 64: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/64.jpg)
63
Applicazioni correnti e future della realtà virtuale
• Medicina– telemedicina– feedback basato sulla forza
• Psicologia– cura della fobia
![Page 65: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/65.jpg)
64
• Arte
http://www.netzwissenschaft.de/perfb.htmFind more...
![Page 66: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/66.jpg)
65
• La realtà virtuale è morta?– non direi...
• Technological development– 2010-2015: video-realistic graphics based on general-purpose stable
rendering systems. – 2015-2020: integrated persistent worlds. – 2015-2020: global physics with unlimited world complexity and
simulation of most physical aspects. – 2015-2020: sufficiently good non-human and domain specific human AI. – 2015-2025: programmatic sound. Most aspects of reality can be
simulated sufficiently well. – 2015-2025: realistic simulations of all senses (through brain-computer
interface). – 2030+ : good human-level artificial intelligence. – 2045+ : uploading and life in virtual reality
http://future.wikia.com/wiki/Virtual_reality
Find more...
![Page 67: Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani](https://reader034.vdocuments.mx/reader034/viewer/2022043010/5fa1df5c65625e5de825ff06/html5/thumbnails/67.jpg)
66
Visualizzazione delle informazioni e dei dati
• L’idea è che nel mondo virtuale possono essereinseriti e visualizzati dati astratti che diventanocosì tangibili
• Si ha la cosiddetta visualizzazione scientifica– dati 3D puri: galleria del vento– dati 2D + valore: immagini– dati vettoriali non spaziali