V Međunarodni simpozijum“TEHNOLOGIJA, INFORMATIKA I OBRAZOVANJE ZA

DRUŠTVO UČENJA I ZNANJA”Novi Sad, 19. i 20.06.2009. godine

Dr Milorad K. Banjanin, redovni professore-mail: banjanin@uns.ns.ac.yu

Mr Goran Drakuliće-mail: drakulic@hotmail.com

FAKULTET TEHNIČKIH NAUKA Novi Sad

Ajnštajn „okolina je sve ono što nisam ja”

Razlikovanje ambijentalne dimenzije okoline

(kontekst) od dimenzije šireg okruženja

U jednoj ili drugoj dimenziji okoline analizira se

konvencionalni prostor sa reaktivnim, proaktivnim i koaktivnim interakcijama

čoveka sa drugim sistemima (kompjuteri, automobili..) ili

objektima

Mi fokusiramo novu interakcionu paradigmu inteligentnog prostora ili ambijenta (AmI) u kome ljudi mogu voditi

višestruke-multimodalne dijaloge sa objektima koji imaju neke njihove osobine

InterakcijeNačini na koje objekti

komuniciraju u cilju ostvarivanja očekivanog ponašanja i

izvršavanja određenog zadatka

mogu se predstaviti specifikacijom poruka koje

međusobno prosleđujuObjekti se ponašaju kao inteligentna okolina čiji se konverzacioni interfejs kombinuje sa stvarnim

korisničkim interfejsom koji koristi situacioni kontekst

Informacije obezbeđene iz jednog ili više (multi) izvora mogu se koristiti za

rešavanje nejasnoća, prepoznavanje ili detekciju

neizvesnosti, redukciju grešaka u sistemskoj

interpretaciji korisničkih inputa i za korisničko

razumevanje sistemskih outputa

Interfejs predstavlja

skup operacija

koje definišu

neko ponašanje

Simetrična multi-modalnost sistema podrazumeva njegovu sposobnost da sve input metode može koristiti kao output

metode, i obrnuto

Simetrična multi-modalnost podržava

uzajamnu disambiguaciju modaliteta, kao i multi-

modalnu ili unakrsni model deixis i anaphora

rezoluciju

Simetrični multi-modalni dijalog sistemi kao SmartKom i MSA (Mobile Shop Assist) stvaraju prirodan doživljaj korisniku u obliku svakodnevne komunikacije čovek-

čovek, dopuštajući korisnicima i sistemu da kombinuje iste spektre za inpute kao i za outpute

MSA predstavlja novu generaciju multi-modalnog dijaloga sistema koji posedujejednostavan način

integracije i sinhronizacije, i pokriva ceo spektar dijaloga

fenomena koji su povezani sa simetričnom multi-modalnošću

MSA je demonstrator koji obezbeđuje

bogatu simetričnu višestruku

interakciju i mogućnost da korisnici vrše

direktnu konverzaciju sa

drugim sistemima ili objektima

Raspoređena arhitektura MSA u inteligentnoj okolini prodavnice

Glavne komponente infrastrukture koje postoje u inteligentnoj okolini prodavnica uključuju mobilne uređaje, koji se koriste kao komunikacioni kanal, i kontejnere, npr. police, kolica i druga

svojina prodavnice

Uređaji u inteligentnoj okolini prodavnic

e

Multi-modalna interakcija u inteligentnoj okolinije zasnovana na 23 kombinacije sledećih

modaliteta: govor, rukopis, intra i ekstra gestovi

Modaliteti uključuju unimodal (samo govor) i multi-modal

(govor i gestovi) kombinacije, kao i kombinacije sa preklapanjem i bez

preklapanja modaliteta.Output govora je predstavljen korisniku kao ugrađen uređaj za

sintezu, koji omogućava manipulaciju glasovnim karakterima

kao što su starost i polOutput jednak rukopisu je sistemski font prikazan na prethodno

definisanom mestu displeja mobilnog uređaja, npr. PDAOutput intra-gestova za izabrane objekte

ostvarljiv je crtanjem ivica oko svakog objekta, dok je output intra-gestova za izabrane osobine ostvarljiv osvetljenjem ključne reči sa vizuelnim WCIS tekst barom, pomeranjem preko donjeg

dela ekrana displeja mobilnog uređaja, npr. PDA

Output ekstra-gestova je omogućen kroz upotrebu promenjivog usmerenja

projektora koji je osposobljen za stvaran odabir proizvoda postavljanjem

proizvoda ispod reflektora

Sistemi koji podržavaju multi-modalne interakcije kao što su: govor, rukopis, i gestovi, zahtevaju uspešno sredstvo za

sjedinjenje interakcija u jedinstven nedvosmislen oblik, koji može biti savršen

za sledeći modalitet u sistemu koji pronalazi komponente

Inputi korisnika u multi-modalnim interakcijama u inteligentnoj okolini se obično sastoje od pojedinačnih osobina i jedne ili više referenci objekta

Pre nego što se interakcija raščlani, mora se prvo pretvoriti u jezik slobodnog-modaliteta, koji je formatiran u XML

formatu i veoma je sličan W3C EMMA standardu

Kod objekata sa ljudskim osobinama multi-modalni outputi mogu obezbediti vredne podatke za vreme

reprodukovanja osobina i informacija o samom objektu, i dovoljno su fleksibilni za pružanje oba pri

direktnoj interakciji

Iz mogućeg opsega kombinacija modaliteta koji postoje kao inputi korisnika i outputi objekata sa ljudskim osobinama, kada se koriste modaliteti govor (S), rukopis (H), intra-gestovi

(I), i ekstra-gestovi (E), za inpute su moguće sledeće kombinacije: SS, SH, SI, SE, HS, HH, HI, HE, IS, IH, II i IE

Simetrične kombinacije multi-modalnih interakcija u inteligentnoj okolini prodavnice

Nisu uključeni objekti koji su sastavljeni iz

više delova, tj. inputi koji se preklapaju

Odgovoran za prepoznavanje i interpretiranje interakcija korisnika

sa sistemomOdgovoran za kordiniranje izlaza za

prezentacionu podršku korisnika

Izlaz mora biti dosledan tačnim podacima u odgovorima za korisnike koji

se dvoume, ali takođe i izabrana kombinacija modaliteta koja je

korišćena za prikaz podataka

Na kraju INTERAKCIONOG DIJALOGA, korisniku će biti predstavljena ista informacija na dva načina (govor i rukopis) i

deo modaliteta gestova

Aktuelna strategija izlaza je

upravo ona sa nekoliko

mogućnosti.

Druge strategije izlaza uključuju npr.tačno

ponavljanje modaliteta korišćenih za izlaze kao za

outpute (oponašanje), definisan profil korisnika, ili profil koji ograničava

posrednika na tip koji treće lice ne može primetiti (npr.

rukopis, intra-gestove, i govorni izlaz kroz PDA

preko slusalica), ili kada se ne zahteva mobilni uređaj – PDA (npr. govor serverske

strane i ekstra-gestovi)

HVALA NA

PAŽNJIDr Milorad Banjanin