Kompjuterska vizija u interakciji čoveka i

kompjutera

MENTOR: Prof. Dr Milorad Banjanin

Marijana Đoković S3946

STUDENT:

Prepoznavanje radnje u emitovanju video snimka

tenisa

Istraživački izazovi

Optički protok je prostorna šemaometanog merenja umesto preciznog razmeštanja piksela

Predstavljanje pokreta

optičkim protokom

Prepoznavanje akcija mašinom podrške vektora

Mašina podrške vektora se koristi za treniranje klasifikatora

Prema stopi pojavljivanja terena u jednom frejmu,frejmove emitovanja video snimka tenisa delimo na:

Pogled iz daljine Pogled iz bliza

Figura igrača uglavnom 30 piksela

Figura igrača uglavnom 300 piksela

Lako obeležavanje i segmentiranje delova tela kao što su: glava,

torzo, udovi

Lako obeležavanje i segmentiranje delova tela kao što su: glava,

torzo, udovi

• Detalji pokreta su mutni• Igrač se može pratiti kao tačka• Teško je odrediti odvojene pokrete

Naučne predpostavke

Mijamori i Isaki

• Automatski sistem za objašnjavanje teniskih pokreta, uključujući forhand, backhand i udarac preko ramena• Zasnovan na promenama siluete

Efros i drugi

• Razvili su opšti pristup za prepoznavanje pokreta u “srednjem polju”

Snimci nisu bili za emitovanje

Izgled nije uvek očuvan Manje je pogodan za klasifikaciju

Bazira se na periodičnosti i tako ograničen na periodične pokrete

Dijagram toka

Emitovanje video snimka

Sekvenca centralizivane figure Opisivač pokreta

Baza podataka Nadgledano učenjeKlasifikator

radnji

Označavanje radnji

Praćenje igrača i stabilizacija figure

Izračunavanje optičkog protoka, ispravljanje, izglađivanjei predstavljanje pokretaMetoda za analizu pokreta za prepoznavanje pokreta

igrača izdaleka u emitovanim video snimcima

Praćenje igrača i stabilizacijaPraćenje igrača i stabilizacija

Praćenje oblasti igrača kandidata

Praćenje oblasti igrača kandidata

Konstruisanjem prozora u svakom frejmu

centriranom na oblasti igrača

Konstruisanjem prozora u svakom frejmu

centriranom na oblasti igrača

• Izdržljivo za bučne okolnosti, tako da prati osobu određene telesne konfiguracije do približno iste stabilizovane slike

• Prozor za praćenje igrača se uvećava do određene skale u jedinici piksela• Koristi sofisticiranu strategiju –SVR filter česticaKoristi metodu izračunavanja centroida oblasti igrača

Koordinate centroida oblasti :

,

,

x f x y

x f x y

x R y Rm

x R y R

,

,

y f x y

y f x y

x R y Rm

x R y R

R oblast zauzeta objektom u ravni slike i f(x, y) sivi nivo na lokaciji (x,y).

Izračunavanje opisivača pokreta

!

Različiti igrači mogu imati različite položaje za istu radnju i različiti položaji mogu biti snimljeni na različitim video snimcimačak i za istu radnju.

opisivač nije izdržljiv niti može da razdvaja prepoznavanjeradnje i klasifikaciju.

Najintuitivnija tehnika za snimanje pokreta nezavisno od izgleda

Izvođenje osobine o pikselima optičkog toka

tretiranje polja optičkog toka kao prostornu šemu bučnih mera koje se prikupljaju korišćenjem našeg opisivača pokreta umesto preciznih pomeranjapiksela po tačkama.

pokret nastaje zbog relativnih pokreta izazvanih različitim delovima tela igrača, koji su različite oblasti koje se označavaju na ravni slike.

Jedan od način za lokalizaciju pokretaje da se polje optičkog toka podeli na različite pod - oblasti nazvane komadi.

!

Izračunavanje optičkog toka i eliminacija ometanja

Izvođenje osobine optičkog toka ljudske centrične figure

Algoritam za eliminisanje ometanja u polju toka

Frejmovi uzoraka GMMs model rast oblasti

Adaptivno izdvajanje pozadine

Stabilizivana sekvenca

centrične figure

Figura izdvojene pozadine

izračunavanje polja optičkog

toka

polutalasno ispravljanje

OFFx+

OFFx-

OFFy+

OFFy-

Gaussian izglađivanje

Reforma polja optičkog toka

Horn- Šunk algoritam

Četiri ne- negativna kanala

Ima uticaj na izračunavanje optičkog

protoka unutar ljudske oblasti

Cilj:

konačan kanal

Predstavljanje lokalnih pokretaglobalne

lokalne

Metode za

predstavljanje pokreta

.

Uzima u obzir celu sliku ili sekvencu

Fokusiraju se na odredjene delove slike ili video podataka

• Pokret ljudsko centrične figure nastaje zbog relativnog pokretanja različitih delova tela koji se vide u različitim oblastima figure.

• Visina komada jednaka je visini figure, a širina se može podesiti prema prostornoj strukturi objekta

Metode zasnovane na histogramu

Usvajamo jednostavan ali efektivan stil oblast koji se naziva komad

Klasifikacija radnji

SVM (podrška vektora mašine)Uspešno primenjen na širok opseg prepoznavanja šema i probleme klasifikacije

Prednosti u odnosu na veštačke nervne mreže (ANNs)

Prednost SVM nad drugim metodama

brži bolji za interpretaciju i odredjivanje sposobnosti da tačno klasifikuje nevidjene podatke

pružanja boljih predvidjanja nevidjenih test podataka pružanja jedinstvenih optimalnih rešenja za problem u treniranju sadržavanje manje parametara u poredjenju sa drugim metodama

Eksperimenti :

dve osnovne radnje: levi udarac i desni udarac

zauzimaju oko 90% ponašanja u teniskim mečevima.

Test podaci se izvode iz video snimaka zabeleženih iz uživo emitovane televizije

jednog od mečeva turnira

Video je kompresovan u MPEG-2 standard

Rezolucija frejma od 352x288.5 sekvenci , izvlači se iz celog videa čiji ukupan broj frejmova je 6035

56 radnji levog udarca i 49 radnji desnogudarca je uključeno u test sekvence.

Implementirana su dva eksperimenta

jedan za prepoznavanje radnje frejmova udaraca

drugi za prepoznavanje klipova radnji udaraca

Ocena učinka :

RPA

Opoziv

Preciznost

Tačnost

Zaključci: Pristup prepoznavnja radnje je predstvljen za analizu pokreta teniskih igrača u emitovanom video snimku Predložena je grupa histograma skraćenih na S-OFHs,

na osnovu izgladjivanja i prikupljanja mera optičkog toka Bučni optički protok se tretira kao prostorna šema ometanih mera umesto preciznog premeštanja piksela

S-OFHs se izvode kao šeme prostornog predstavljanja

Za prepoznavanje radnje koju obavlja ljudska figura u jednom frejmu, koristimo mašinu podrške

LiceMiš: Ljudsko-kompjuterski interfejs za tetraplegične osobe

Ko su tetraplegičari ? Ljudi sa hendikepom !

Ovi ljudi, zapravo, mogu da koriste samo svoju glavu (a i to uz teškoće) da vrše interakciju sa okolinom i zahtevaju specijalnu adaptaciju.

Sistem LiceMišImplementirani algoritam je zasnovan na podudarnosti šablona za praćenje nosa korisnikai na medjusobnoj korelaciji za izračunavanje najboljeg podudaranja.

Koristi :

Standardnu Web kameruTehnike za praćenje nosa

Pokazivač miša

Podela interfejsa između ljudi i kompjutera:

2D sinoptički interfejsi

3D virtuelni svetski sistemi

klasični grafički interfejs

korisnik može da aktivira udaljene uredjaje birajući odredjenu ikonu

simuliraju navigaciju i interakciju sa stvarnim svetom

zasnovan na prozorima

praćenje određenih delova tela :• praćenju oka • praćenju glave• kontroli gledanja (piljenja)

Koristi paradigmu pokazivača

„ono što pogledam

to želim“

Derivativna paradigma

„tamo gde pogledam, tamo želim da idem“

Sistem LiceMiš koristi: Jeftinu Web kameru da snimi sliku

• Tehnike kompjuterskog gledanja za identifikaciju različitih delove lica korisnika• Iskoriste za pomeranje pokazivača miša ili izvršavanje klika mišem

Metoda praćenja zasnovana na podudaranju šablona

razdaljina izmedju delovasadašnje slike ili šablona izračunata korišćenjem unakrsno-korelativne funkcije

zasnovana na koeficijentu normalizovane korelacije pošto pokreti ljudi sa Hendikepom ne prate neki predvidljivi model kretanja

HCI koji se lako koristi

PROBLEMI• pokazati preciznu poziciju i održati je neko vreme

• opseg pokreta udova i glave može biti ograničen Derivativna paradigmaREŠENJE

Označava smer duž kog se miš treba pomerati

Omogućavainterakciju čak i ako nema precizne kontrole glave,jer može da pravi samo male pokrete

ljudsko-kompjuterski interfejs

• osobina se izvlači putem polu-automatske metode

Korisnik je zamoljen da lice drži što mirnijim a operater(koji može da koristi standardne uredjaje miša) bira tačkuna trenutnoj slici koja je usredsredjena na izabranu osobinulica (na primer, centar nosa).

• Kvadratni šablon centriran na ovoj tački se koristi kao model i čuva za dalje podudaranje

• I ako korisnik održi osobinu u toj oblasati duže od definisanog vremena T click, vrši se pritisak klika na dugme.

• Ako je centar osobine detektovan unutar centralne oblasti (označen sa „SW klik“ gde SW znači „statični prozor“) to odgovara zahtevima ne pomeranja pokazivača miša.

r1 r2 r3

r4

r5r6r7

r8 SW click

HCI koji se lako koristi

• dinamičnost uz konstatnu brzinu• dinamičnost sa konstatnim ubrzanjem• dinamičnost u kojoj je brzina funkcija pomeranja iz centra mreže.

Tri različita tipa dinamike miša :

NO spead variation

SWclick

Th1

Th2

V= (v.., v..) brzina pomeranja koja se treba odrediti za pokazivač miša,

V= (0, 0) ako korisnik pokaže na „SW klik“ zonu

max

1 1 1 1 2

max max2 1 2 2 2

, ,

, ,

osnovax x

x

f V a v if Th d Th

x f V a V if Th d wV

f1 i f2 dve funkcije koje se sastoje od konstatnog ubrzanja počevši od prvog parametra

Ako se korisnik pomera u drugom prozoru (rl.....r8) pokazivač miša se pomera u odgovarajućem smeru.

kada korisnik želi da klikne na tačku naekranu, mora da pozicionira pokazivačmiša na željenu tačku,vrati se u statični prozor SW i ostane u toj oblasti

ovaj pristup ne radi dobro zakorisnike koji ne mogu tačnoda pomeraju glavu u svim pravcima

alternativno rešenje: tokom faze podešavanja korisnk (uz pomoć operatera) bira skup tačaka koje predstavljaju pozicije koje korisnik može zauzeti a koje odgovaraju smerovima (gore, dole, levo, desno) i centralnu poziciju

Praćenje nosa

Faza inicijalizacije

• operator će odabrati za hendikepiranog korisnika „dobru“ osobinu na njegovom licu

• mora biti nedvosmisleno detektujuća, i nepromenljiva rotacija, interpretacija i promena skale

jedini konveksni oblik na ljudskom licu koji je lako vidljiv je vrh nosa

Predpostavke:svetlosni uslovi konstantni izmedju dva uzastopna frejma

normalizovana unakrsna korelacija može se koristiti da obavlja u vremenu t podudaranje šablona s obzirom na šablon

1tT u vreme t – 1 Zadaci

poboljšanja za povećanje pouzdanosti i izdržljivosti ovog sistema

normalizovana unakrsna korelacija zadržava samo „dovoljno dobre“ parove koji se podudaraju

Da bi smanjili lažna podudaranja, prethodni šablon se ponovo poravnanva sa početnim šeblonom

Aplikacije :

Tipovi • korišćenje sinoptičkih interfejsa za kontrolisanje kuće• primena za medjusobnu komunikaciju i pisanje• opšte Microsoft Windows aplikacije

Vrata Telefon

Prozor Svetlo

RadioKlima uređaj

Tv

Mašina Alarm

Peć

Korisnik pomera prozor koji odgovara odabranom uredjajui miruje neko vreme da bi izvršio klik i otvara novi interfejs sa specifičnim komandama za taj uredjaj.

Oni se mogu jednostavno otvarati ili zatvarati pritiskanjem odgovarajuće dugmadi, ili ručno otvarati donekle pomeranjem klizećih poluga.

interfejsa za kontrolisanje kuće

Prednosti sistema LiceMiš :• nema potrebu za operatorom• upotrebljava interfejs lakši za korisnika• zasnovan na virtuelnoj tastaturi

A B F G

E J

O < .

Q P T

dva poboljšanja su uključena u sistem

• ne zahteva od korisnika da se vrati u statični prozor

• predlaganje sledećeg najverovatnijeg karaktera, uz dati trenutno izabran karakter

Virtuelna tastatura LiceMiš

Eksperimentalni zaključci

testiranje sa desettetraplegičnih osoba

1. Korišćenjem predloženog sistema, korisnici mogu da pišu više od dva puta (bez predvidjanja) ili više od tri puta (sa predvidjanjem) brže nego koristeći tradicionalni sistem

2. Najbolji učinak može se postići korišćenjem predvidjanja i brzine u zavisnosti od pozicije pokazivača

3. Sa sistemom predvidjanja korisnik može da ubrza proces pisanja (za 59% i za 25% za dinamičnost 1, odnosno 2) uzimajući u obzir slučaj bez predvidjanja.

Tip pokretaSa predvidjanjem Bez predvidjanja

Ukupno vreme

Karakt/min

Ukupno vreme

karakt/min

Sistem„scansion“ 6’06’’ 4.1 ---

--- Ubrzavanje

LiceMiš sa konstatnim ubrzavanjem

3’03’’ 8.2 1’55’’ 13.1 59%

LiceMiš sa funkcijom

brzine pozicije

2’19’’ 10.8 1’51’’ 13.5 25%

Zaključci:

- ljudsko-mašinski interfejs za pomoć tetraplegičarima

- Sistem je zasnovan na tehnikama kompjuterskog vida, zato nije neophodno primeniti senzore na telo korisnika,

Sistem LiceMiš

- omogućava korisniku da piše više od tri puta brže nego sa tradicionalnim sistemima.

Povraćaj objekata putem ispitivanja sa osetljivošću zasnovanom na skali KANSEI-rečnika

KANSEI na japanskom jeziku znači osetljivost, osećati, prisetiti se, želeti i misliti o lepoti u stvarima

izražava se uglavnom emotivnim rečima na primer:lepo, romantično, fantastično, udobno

Koncept KANSEI- je usko povezan sa konceptom ličnosti i osećajnosti

KANSEI informacija je polje koje cilja na obradu i razumevanje kako ljudska inteligencija obradjujesubjektivne informacije ili dvosmislenu osećajnosti i kako informacije mogu da se izvrše od strane kompjutera

KANSEI informacija je polje koje cilja na obradu i razumevanje kako ljudska inteligencija obradjujesubjektivne informacije ili dvosmislenu osećajnosti i kako informacije mogu da se izvrše od strane kompjutera

U fokusu je studija KANSEI-zasnovanih alata povraćaja slika

je ograničena i zasnovana na sadržaju koristeći vizuelne osobine kao što su tekstura, oblik, šema i naročito boja

najpopularniji izvori za eksperiment, ili zasnovani na osobinama kao i sistemi koji koriste prepoznavanje

imaju teškoće u proveravanju i prepoznavanju slika koje odgovaraju svrhama ili ukusima korisnika u višem značenju

povežemo vizuelne informacije sa osećanjima ljudskih bića preko skale relacionih uzoraka

skale relacionih uzoraka

Vizulenih informacija

( boje, oblika )

KANSEI-rečnikom ljudi

za skalu smo sakupili i klasifikovalinajuobičajenije oblike i definisali koji

su najstandardniji oblici

našli smo vezu izmedju oblikai KANSEI rečnika.

KANSEI skala rečnika za oblike i povezani KANSEI rečnik.

rezultat

Konačna svrha

kreiranje KANSEI skale rečnika zasnovane na vizuelnim informacijama kao što su boja,

oblik, tekstura i šema

Definicija oblika

znači ravan dvodimenzionalnog obllika napravljen linijama koji pokazuje ili „siluetu“ ili „okvir“

Oblik

dvodimenzionalandužina i širina

oblik stvari, njen izgled i držanje, ili telo i figura, i toje jedinstvo, ujedinjena celina, ili organizacija kojakreira delimični red za celo telo stvari.

Forma

je prirodna metafora ili prefinjena formakreirana ideološkim mislima ljudi

Geometrijska forma

sadrži konceptualne elemente,vizuelne elemente relacione elemente i konstrukcione elemente

Dizajn -

Elementi forme Sastavni elementi Konceptualni elementi Tačka, linija, ravan, obim

Vizuelni elementi Oblik, veličina, boja, tekstura

Relacioni elementi Pozicija, smer, prostornost, gravitacija

Kontruktivni elementi Verteks, ivica, lice

Vizuelne informacije

Tri forme

konceptualna

geometrijska

prirodna

veštačka apstraktna forma promenjenakroz formu u jednostavnost

nemaju definisan standard

oblik i forma se kreiraju ravnima

ravni oblika se staljaju u glavne elemente

Mekan Tvrd Kombinacija

RavanHladan Krug

TrougaoJednakostranični trougaoJednakokraki trougaoJednakokraki pravilan trougao,tup trougaoČetverougao,KvadratPravougaonikRomb, TrapezParalelogram

Odsečak krugaPolu krugKruzni isečakUpisani trougaoUpisani četverougao

Topao Elipsa Mnogougao Upisani mnogougao

Kocka

HladanLoptaPolulopta

KockaTrokraka piramidaČetverokraka piramidaPetougaona piramidaTrougaona prizmaPetougaona prizmaTrougaona odsečena piramidaKupoidČetverougaona odsečena piramidaPetougaona odsečena piramida

KupaEliptična kupaValjakEliptični valjak

Topao ValjakPrizmaPiramidaOdsečena piramida

Pravilan oblikSuprotan oblikOštar oblik

Tehnika aplikacije povraćaja objekta (GVF) i (TSR)

Počinje kalkulacijom polja sila, GVF sile, nad domenom slika

Izračunavaju se primenom opštedifuzijske jednačine na obe komponente gradacije mape ivica slike.

Produžava „obim snimanja“

mogu da nadju objekte koji su dosta daleko od prvobitne pozicije zmije

Gradacijski Vektor toka, zmija za detekciju kontura oblika

Tangentna preznetacija prostora za meru sličnosti oblika:

Alternativna prezentacija

Digitalna kriva linija C je predstavljena u tangentnom prostoru grafikom funkcije koraka

GVF GVF

Merenje KANSEI-rečnika skale prema obliku

1. korak 2. korak• Grupi subjekata sastavljene od 280 ljudi se pokažu slike oblika da opišu svoja osećanja pridevima gledajući u svaku datu sliku

• svi pridevi sakupljeni u koraku 1 su klasifikovani prema njihovoj učestalosti korišćenja.

• reči koje ne pokazuju osećanja ili nisu demonstrativne reči se odstranjuju

Druga grupa uzorka od 250 ljudi se koristi za merenje stepena KANSEI-a

Standard je bio 5 intervala skale Efekti veličine, boje, pratećeg efekta i spoljašnjeg okruženja su kontrolisani da izmere KANSEI skale za svaku sliku oblika ili linije

Obilan, balansiran, udoban, fleksibilan, slobodouman, mekan, nežan

nejasan, zbunjen, nervozan, stran, jedinstven, nestabilan, neodređen, zabrinut

Neprijatan, hladan, iskrivljen, vrtoglav, iritirajući, stran, neprijatan

bogat, pun, slab, perfektan, relaksirajući, siguran, zadovoljan, topao

KANSEI- RečnikSlikaoblika

Deo prvog KANSEI-rečnika prema obliku

100 75 50 25 0

Primer KANSEI-rečnika skale

raskošno

nema razlike izmedju KANSEI stepena i date KANSEI reči

analizira odnose izmedju svih reči KANSEI rečnika i odnosa izmedju svakog oblika i njegovog odgovarajućeg KANSEI rečnika

KANSEI rečnik skale prema obliku

osobine svakog

oblika usko

povezane sa

osećajnošću ljudi i

odlučuju o

razdaljini

dimenzija medju

rečima KANSEI

rečnika

ljudi iz grupe uzorka

osetljiviji na oble oblike

nego na druge oblike i

osetili su slična osećanja

prema datim oblicima

Arhitektura i eksperimenti sistema povraćaja objekata

Interfejs

Agent istraživanja(Sličnost između oblika)

Objekat otkrivanja

KANSEI- rečnik skale oblika

Geometrijski oblik

TSR GVF zmija

ispitivanje

Feedback u istraživanju

Ispitivanje (KANSEI rečnik)

Selektovana slika

Dokazni podaci

Slika postavljenog zadatka

Pojam :UDOBAN

Eksperiment: Ispitivanje KANSEI rečnika

, ,TSR TSRF VMin a S F I Min D S F I

uredno vraćamo slike pominimumu vrednosti zbogniže vrednosti, i veće sličnosti

sličnost koja koristi TSR izmedju F i I

slika geometrijskog oblika

slika objekta

Razdaljina između F i V

Zadatak: Povraćaj objekta koji je “Udoban”

Rezultat originalne slike Rezultat detekcije kontura

Slike detekcije kontura

Levi prozor Desni prozor

Slika je formirana kao vizuelna informacija poboji, obliku, teksturi i šemi

Stopa zadovoljstva Korisnika zavisi od drugih faktora

Zaključci:

KANSEI rečnik skale se koristi za povraćaj slika prema nameri korisnika

Koristi se za ocenjivanje zadovoljstva korisnika prema obliku

U dizajnu proizvoda i proizvodnji proizvoda

U budućnosti : inteligentni povraćaj slika ,znanja, informacija na osnovu ontologije osećajnosti

Sofisticirana strategija praćenja- SVR filter čestica

SVR filtar čestica- poboljšani filter čestica

1. Optičko polje se izvodi• Post- obradom ispravljanjem plutalasa

• Izglađivanjem metodom “Gaussian”

2. Optičko polje se deli u komade• na osnovu odnosa između pokretačkih delova tela i oblasti figure

Ubacuje se u okvir za učenje Za obezbeđivanje kompaktnog

Predsta vljanja prostorne šeme bučnog optičkog protoka

S- OFH

Podudaranje šablona SVR- filter česticaPostojeće metode

Osetljvost pratioca na buku, deformaciju igrača i pozadinsko zagušenje izazvano nejasnioblicima

Poboljšava učinak klasičnog Filtera čestica sa malimskupom uzoraka i dovoljno je izdržaljiv za ometanje u emitovanom snimku

Poboljšava učinak klasičnog Filtera čestica sa malimskupom uzoraka i dovoljno je izdržaljiv za ometanje u emitovanom snimku

Jednom kad se video sekvenca stabilizuje, pokret u video emitovanju izazvan ponašanjem kamere može se smatrati otklonjenim. Ovo odgovara veštom kretanju kamermana koji zadržava figuru u pokretu u centru gledišta. Svaki zaostali pokreti u okviru ljudske centrične figure postoje zbog relativnog pomeranja različitih delova tela kao što su udovi, glava, torzo, i reket kojim igrač igra.

Polje igre kao pozadina ljudske centrične figure

Adaptivna metoda detekcije polja

Detekcija piksela pozadine Rastuća tehnika oblasti

Post obrada koja povezuje pozadinske piksele u oblasti

Eliminiše buku i izglađuje graice

Za prostorno prepoznavanje

Metode zasnovane na histogramu

PREDNOST

• pružaju mnogo informacija koristeći veoma kompaktne opise ako su dimenzije histograma male

Grupa histograma optičkog toka zasnovanih na komadu (S-OFH).

Motivisana centralnom procenom gustine za distribuciju boje

( ) 1,...,b p m skup indeksa histograma povezanog sa vektorom optičkog toka f na lokaciji p

u

q OFF p R q

h C k p q b p u

verovatnoća skupa u=1,...,m u histogramu OFF

C je constantan normalizacije

δ- Kronekerova delta funkcija

k je konveksni i monotoni opadajući centralni profil

iOFF

,i jOFF

,

,

i j

i ju

q OFF p R q

h C k p q b p u

za polje optičkog toka i figuru Fi

i=1, ....N gde je N ukupni broj figura

je pod- polje optičkog toka u j-tom komadu, j=1,.....L i ovde je L=3

,i jS OFH se definiše

1. Klasifikacija 2170 frejmova udaraca u dve katogorije radnje

Eksperimentalni rezultati prepoznavanja u frejmovima

# Frejm Opoziv (%) Preciznost(%) Tačnost (%)

Levi udarac 1099 84.08 89.80

Desni udarac 1071 90.20 84.66

Ukupno 2170 87.10

tačnost prema iskustvu

Netačno prepoznavanje !

87.10

Igrač objekat koji se deformiše i njegovi ekstremiteti se slobodno kreću tokom prikazivanja radnje.

Ovo uznemirava regularnu distribuciju optičkog toka i učiniće da S- pogrešno obaveste o karakteristikama pokreta figure.

SOFH

56 radnji levih udaraca

49  desnih udaraca klasifikovano u dve kategorije

metod zasnovan na audio modalitetima detektujemo udaranje lopte da bi

locirali klip radnje na video snimku

hitting point – tačka udarca

Okvir koji odgovara pojavljivanju udaranjabiranje grupe frejmova u

susednom prozoru pre tačke udaranja

Dužina prozora se odredjuje na osnovu iskustvuna 25 frejmova u eksperimentu:

1 Re

1 Re

i

i

if g hc ievo udarac

iif g hc desno udarac

Glas f

je i-ti frejm u video klipu Vif

je ljudska centrična figura ihcReg(.) se odnosi na naš pristup prepoznavanju radnje.

0

0

ifi V

if Vi

levo udarac if Glas f

desno udarac if Glas fKategorija V

Konačna prepoznata kategorija radnje se odredjuje kao: