markerless tracking techniques for systems maintenance and assembly in augmented reality
TRANSCRIPT
Tecniche di tracking markerless per sistemi di manutenzione ed
assemblaggio in Realtà Aumentata
Candidato
Gino Farisano Matr. 0522500248
Relatori
Ch.mo Prof. Andrea Francesco AbateDott. Fabio Narducci
Dott. Stefano Ricciardi
OutlineL’AR nel settore
della manutenzione
Sistemi di tracking marker-less
Implementazione
Risultati
Conclusioni e
sviluppi futuri
“
Ronald Azuma
An AR system supplements the real world with virtual
(computer-generated) objects that appear to coexist in the same space as the real world
L’AR nel settore dell’assemblaggio e della manutenzione: riflessioni
◈ Alcune attività di assemblaggio richiedono ancora manodopera umana. La manutenzione è svolta in modo manuale
◈ Il mercato ha introdotto nuove necessità: elevata varietà dei prodotti, customizzazione, costi bassi
◈ Produzione agile I sistemi di produzione dovrebbero essere in grado di fornire capacità produttiva on demand
◈ La formazione di operai esperti richiede molto tempo e denaro
La realtà aumentata: produzione agile al minor costo
◈ La realtà aumentata è complementare ai processi cognitivi umani
◈ Progetto ARVIKA e ARTESAS: applicabilità della realtà aumentata nel settore industriale
◈ Numerosi studi confermano che l’AR può apportare dei benefici significativi nell’espletamento di procedure di manutenzione
Outline
Sistemi di tracking marker-
less
Implementazione
Risultati
Conclusioni e
sviluppi futuri
L’AR nel settore della
manutenzione
Sistemi di tracking marker
based
Sistemi di tracking marker-less
◈ Utilizzano le caratteristiche naturali degli oggetti come features◈ Non c’è bisogno di preparare la scena con marker intrusivi◈ Peggiore qualità di tracciamento e maggiore potenza di calcolo
richiestaMassima distanza
riconoscimento (cm)
Massima distanza
tracking (cm)Massima
occlusioneMinimo angolo
(gradi)Qualità
tracking (0-6)Falsi negativi
(0-6)Falsi positivi (0-
6)Tempo per il
riconoscimento (sec)
WikitudeSLAM 30 40 1/2 70 1 5 5 0
KudanSLAM 100 300 1 0 4 6 6 0
PTAM 55 110 1/2 60 3 1 2 2
Vuforia ObjectTarget 65 280 3/4 10 4 0 0 1
◈ Massima distanza tracking (cm): una volta che il target è stato riconosciuto quanto ci si può allontanare prima che il tracking fallisca?◈ Qualità del tracking: 0 – cattivo, 6 eccellente◈ Falsi negativi e falsi positivi: 0 - eccellente, 6 cattivo
Outline
Sistemi di tracking marker-less
Implementazione
Risultati
Conclusioni e
sviluppi futuri
L’AR nel settore della
manutenzione
Selezione delle componenti
VGA2 e RAM2 sono stati introdotti per confondere gli utenti
Ram2
Ram1 Scheda
madre
CPU
Giravite
VGA2
VGA1
Modem 56K PCI
Scansione della scheda madre da più punti di vista con Vuforia Scanner
Gli altri oggetti sono stati scansionati da un solo lato
Creazione di un motore AR con Unity3D e Vuforia Object Target
◈ Avvia tutti i trackers: ogni lato della scheda madre è osservato da un tracker differente.
◈ Acquisisci gli oggetti virtuali: preleva gli oggetti virtuali da Augmentations e gli assegna la componente Transform contenuta in AugmentationsPositions. Non consente agli altri trackers di accedere all’aumentazione corrente
◈ Rendi accessibile il controllo delle aumentazione: riporta gli oggetti virtuali nel contenitore Augmentations così che gli altri trackers possano accedervi
Inizio
Avvia tutti i trackers
FineL’utente
vuole abbandonare il programma?
Il target è stato
riconosciuto da un tracker?
Acquisisci gli oggetti virtuali
Mostra aumentazione
Il target è ancora
tracciato?
Rendi accessibile il controllo delle aumentazione
Si
No
No Si
SiNo
Analisi comparativa algoritmo con con cinque scansioni VS algoritmo con una sola scansione
Nulla è tracciat
o
Nulla è tracciat
o
Ad entrambi gli algoritmi è stato dato in pasto un video di 15 minuti in cui il target è osservato da tutte
le angolazioni
23%
21%
10%
15%
13%
18%
49%
51%
Creazione di modelli 3D con Blender
Nexus 5 - Nexus 5 + VR BoxFOV 70°, risoluzione (1920x1080)/2, 15-30 FPS
Outline
Sistemi di tracking marker-less
Implementazione
Risultati
Conclusioni e
sviluppi futuri
L’AR nel settore della
manutenzione
Sperimentazione: manuale tradizionale VS sistemi AR
◈ I test sono stati condotti in un quasi-experimet su campione di 18 persone
◈ Variabili indipendenti: tratment con manuale tradizionale, sistema AR hand held display e sistema AR utilizzante un Head Mounted Display
◈ Variabili dipendenti: tempo impiegato per eseguire i task di manutenzione richiesti, numero di errori commessi, workload soggettivo misurato con il NASA-TLX
◈ I task da eseguire sulla scheda madre sono 20. I primi due non sono stati oggetto di analisi
◈ Design principles: blocking e balancing
Sperimentazione: strumenti statistici utilizzati
◈ Analysis of variance (ANOVA): verifica della normalità dei dati con il test di Shapiro e Wilk; l’ipotesi di omoschedasticità è stata verificata con il test di Barlet
◈ Metodo di Kruskal-Wallis: corrispondente non parametrico dell’ANOVA. Consigliato quando il campione a disposizione è relativamente piccolo
◈ Alpha level fissato a 0.05
◈ Post hoc comparison: test delle differenze oneste di Tukey
Ipotesi nulla H0: Time(PaperManual)=Time(ARHHD)=Time(ARHMD)
Task 6, 11, 18, 21: localizzazione di componenti o operazioni molto sempliciTask 7 e 16: avvita e svita le vitiTask 9 e 14: operazioni complesseTask 20: operazione di precisione
35%Ipotesi nulla H0: accolta!
Ipotesi nulla H1: Error(PaperManual)=Error(ARHHD)=Error(ARHMD)
Task 3, 6, 11, 18, 21: localizzazione di componenti o operazioni molto sempliciTask 7 e 16: ordine prestabilitoTask 9 e 14: operazioni complesseTask 12: componente poco visibileTask 20: operazione di precisione
21%Ipotesi nulla H1: accolta!
NASA Task Load Index
Mental DemandQuanta attività mentale e percettiva era richiesta (es., pensare, decidere, calcolare, ricordare, osservare, cercare, ecc.)? Il compito era facile o difficile, semplice o complesso, impegnativo o leggero?
Physical DemandQuanta attività fisica era richiesta (es. spingere, tirare, girare, controllare, attivare, ecc,)? Il compito era facile o impegnativo, lento o rapido,leggero o pesante, riposante o faticoso?
Temporal DemandQuanta pressione temporale hai avvertito a causa della frequenza o del ritmo con cui i compiti, o le fasi del compito, si susseguivano? Il ritmo era lento e tranquillo o rapido e frenetico?
PerformanceQuanto pensi di aver raggiunto gli obiettivi del compito stabiliti dallo sperimentatore (o da te stesso)? Quanto sei soddisfatto della tua prestazione nel raggiungere questi obiettivi?
EffortQuanto hai dovuto impegnarti (mentalmente e fisicamente) per raggiungere il tuo livello di prestazione?
FrutrationDurante il compito, quanto ti sei sentito incerto, scoraggiato, irritato, stressato e infastidito rispetto a sicuro, gratificato, appagato, rilassato e soddisfatto?
Ipotesi nulla H2: WorkLoad(PaperManual)=WorkLoad(ARHHD)=WorkLoad(ARHMD)
0,3%Ipotesi nulla H2: respinta!
54%Post-hoc manuale tradizionale VS sistema AR HHD
2%Post-hoc manuale tradizionale VS sistema AR HMD
Post-hoc sistema AR HMD VS sistema AR HHD
Conclusioni
◈ Gli utenti hanno valutato positivamente la soluzione AR hand held display
◈ Alcuni task, difficili da comprendere con il manuale cartaceo, sono eseguiti in tempi più brevi e con meno errori se si utilizza la realtà aumentata
◈ Sono necessarie ulteriori analisi per comprendere se HMD di qualità superiore siano maggiormente accettati dagli utenti
◈ Al crescere della potenza di calcolo dei dispositivi mobile soluzioni marker-less dense (DTAM e LSD-SLAM) potranno essere impiegate efficientemente in applicazioni di realtà aumentata in real-time.
Thanks!