billedgenkendelse - neurale netværkakira.ruc.dk/~torben/profilgenkendelse.pdf · 4.5 konklusion...

Billedgenkendelse - Neurale Netværk_____________________________________________________________________________________________________

1

Billedgenkendelse - Neurale Netværk- Ansigtsprofil –

Udarbejdet af:Rasmus M. F. Hansen

Thomas SchultzFró_i Samuelsen

Svein Waagstein Rasmussen

Roskilde uddannelsescenterNaturvidenskabelig basisuddannelse

2.semester forår 2003Gruppe 5 Hus 13.2

VejlederTorben Bräuner


2

Indholdsfortegnelse:1. INTRODUKTION.....................................................................................................................................................4

1.1 ABSTRAKT ..............................................................................................................................................................41.2 LÆSEVEJLEDNING: ..................................................................................................................................................41.3 FORORD ...................................................................................................................................................................51.4 INDLEDNING ............................................................................................................................................................51.5 PROBLEMFORMULERING .........................................................................................................................................61.6 SEMESTERBINDING..................................................................................................................................................61.7 MÅLGRUPPE ............................................................................................................................................................61.8 PROJEKTMETODE....................................................................................................................................................7

1.8.1 Fremskaffelse af billeder ...................................................................................................................................7

2. TEORI.........................................................................................................................................................................8

2.1 BIOMETRI.................................................................................................................................................................82.1.1 Indledning ..........................................................................................................................................................8

2.2 NEURALE NETVÆRK................................................................................................................................................92.2.1 Indledning ..........................................................................................................................................................92.2.2 Den biologiske neuron.......................................................................................................................................92.2.3 Den biologiske neuron i forhold til den kunstige neuron...............................................................................112.2.4 Den kunstige neuron........................................................................................................................................122.2.5 Baggrund for neurale netværk.........................................................................................................................152.2.6 Typer af neurale netværk.................................................................................................................................162.2.7 Netværksudregninger.......................................................................................................................................182.2.8 Backwards Propagation...................................................................................................................................192.2.9 Momentum.......................................................................................................................................................232.2.10 Bias..............................................................................................................................................................242.2.11 Vores neurale netværk................................................................................................................................25

2.3 BILLEDBEHANDLING .............................................................................................................................................262.3.1 Indledning ........................................................................................................................................................262.3.2 Indledende analyse af billederne.....................................................................................................................272.3.3 Videre analyse af billedet ................................................................................................................................292.3.4 Vores billedbehandling....................................................................................................................................30

2.4 EKSEMPLER PÅ ANVENDELSE AF TEORI ................................................................................................................34

3. PROGRAMMET:....................................................................................................................................................35

4. EKSPERIMENTER................................................................................................................................................36

4.1 EKSPERIMENT STRATEGI:......................................................................................................................................364.2 EKSPERIMENT LÆSEVEJLEDNING..........................................................................................................................364.3 SAMLEDE RESULTATER FRA EKSPERIMENTERNE: ................................................................................................364.4 KONKLUSION PÅ EKSPERIMENT I..........................................................................................................................384.5 KONKLUSION PÅ EKSPERIMENT II ........................................................................................................................394.6 KONKLUSION PÅ EKSPERIMENT III.......................................................................................................................40

5. KONKLUSION........................................................................................................................................................40

6. PERSPEKTIVERING ............................................................................................................................................41

7. ORDFORKLARING...............................................................................................................................................42

8. LITTERATURLISTE: ...........................................................................................................................................44

9. BILAG.......................................................................................................................................................................45

9.1 EKSEMPLER PÅ ANVELDELSE AF TEORI ................................................................................................................459.1.1 XORproblemet.................................................................................................................................................45


3

9.1.2 Orddelingsproblemet .......................................................................................................................................469.1.3 Genkendelse af musebevægelser.....................................................................................................................48

9.2 UDDRAG FRA EKSPERIMENT DATA.......................................................................................................................499.2.1 Eksperiment I – To personer ..........................................................................................................................499.2.2 Eksperiment II – Tre personer........................................................................................................................579.2.3 Eksperiment III – Med to personer, hvor af det ene er spejlvendt.................................................................60

9.3 FULD EKSPERIMENTDATA .....................................................................................................................................729.3.1 Eksperiment I - Eksperiment med 2 personer.................................................................................................729.3.2 Eksperiment II - Eksperiment med 3 personer ...............................................................................................849.3.3 Eksperiment III - Eksperiment med 2 personer, et normalt og et spejlvendt..............................................90

9.4 KILDEKODE .........................................................................................................................................................109


4

1. INTRODUKTION

1.1 ABSTRAKTDenne rapport omhandler eksperimentel billedgenkendelse ved hjælp af neuralt netværk. Derimplementeres tre forskellige måder at omdanne et billede til input til det neurale netværk. Derbenyttes koordinatsæt, vektorer mellem koordinater og vinkler mellem vektorer som input.Vi startede med at tage billeder med et digitalt kamera og behandlede dem i etbilledbehandlingsprogam for at få sort-hvide profiler. Vi udførte derefter eksperimenter hvor virepræsenterede en profil med enten punkter, vektorer eller vinkler mellem vektorer for at sehvilken represæntation der gav den mest præcise genkendelse.Eksperimenterne har vist os at den mest effektive billedbehandling er vinkler mellem vektorer.Denne metode gav mulighed for at skelne mellem 2 personer med en 90-95% sikkerhed. Det varikke muligt at skelne mellem 3 personer med acceptabel nøjagtighed i dette projekt.

ABSTRACTThis report is about experimental picturerecognition using a neural network. There areimplemented three different methods for converting a picture to input to the neural network. Asinput to the network, coordinates, vectors between coordinates and angles between vectors willbe used.We started by taking pictures with a digital camera and processed them in a picture editingprogram in order to get black and white profiles. We then conducted experiments, in which werepresented the profiles by their coordinates, vectors and angles between vectors in order todetermine which method provided the most precise recognition.The experiements show that the most efficient picture processing method is the angles betweenvectors. This method was able to distinguish between two persons with a 90-95% probability. Itwas not possible to distinguish between 3 persons, with an acceptable precision in this project.

1.2 LÆSEVEJLEDNING:Rapporten er opdelt i overordnede grupper Introduktion, teori, , program, eksperiment,konklusion og bilag.. Introduktionsafsnittet indeholder bl.a. problemformulering ogprojektmetode.Teori indeholder en grundig generel beskrivelse af de emner og områder derbliver taget op i vores projekt. Eksperiment afsnittet beskriver forskellige kombinationer afbilledbehandling og neurale netværk vi har prøvet. Dette munder ud i en optimal model forprofilkenkendelse med neurale netværk som vi har beskrevet i konklusions afsnittet. Programafsnittet beskriver kort det udarbejde program. Bilags afsnittet indeholder udover forskelilgebaggrundsvidensafsnit, data fra de udførte eksperimenter, samt kildekoden til programmet, kildekoden har sin egen sidenummerering.

Vi bestræber os generelt på at anvende danske ord, men da meget litteratur indenfor datalogienkun forefindes på engelsk, vil vi de steder, hvor vi anser danske oversættelser formeningsforstyrrende, beholde de engelske ord, en ordforklaring kan findes i afsnit 7.


5

Den vedlagte CDPå den vedlagte cd findes kildekoden til det udarbejde program og billedmaterialet der blev brugttil eksperimenterne.

1.3 FORORDDenne rapport er blevet udarbejdet ved 2. semester på Nat-Bas, RUC i foråret 2003. Vi vil gernetakke vores vejleder Torben Braüner og vores opponentgruppe samt deres vejleder JohnMortensen.

1.4 INDLEDNINGI dagens samfund hvor computere og andre elektroniske apparater er blevet mere udbredte er detinteressant at finde nye måder at identificere os over for disse. Et af de områder der er på vejfrem er biometrik hvor en persons fysiske karakteristika bruges som identifikation. Områder der idag benyttes er f.eks. fingreaftryk-, nethinde- og stemme-genkendelse.

Neurale netværk er en måde at løse forskellige datalogiske problemer på. Neurale netværk harværet kendt siden 1940´erne og dens metoder har siden dengang udviklet sig til i dag at væreanerkendt som en præcis og effektiv måde at genkende visse mønstre i datamængder.I dag bruges neurale netværk som løsning til mange forskellige problemer, hvor man står med enstor datamængde, og har brug for at klassificere disse data.

Vi skal i vores projekt lave et neuralt netværk program til billedgenkendelse. Helt specifikt skalvi lære programmet at skelne imellem forskellige ansigtsprofiler. Dette skal ske ved at vi førstfodrer netværket, med billeder af personernes profiler. Netværket skal derefter selv være i standtil at afgøre hvorvidt nye billeder tilhører en af de oprindelige personer der blev trænet med.


6

1.5 PROBLEMFORMULERING

Er det muligt at bruge neurale netværk til at identificere personer ud fra billeder af deresansigtsprofiler? Hvilken form for billedbehandling og neuralt netværk fungerer bedst?

Udgangspunktet for dette projekt er, at det er muligt, at isolere specielle særpræg ved en personsansigt, nærmere bestemt ansigtsprofilen og ud fra disse identificere personen.

Hypotesen er at ethvert menneskes profil er forskellige fra alle andre og at et computerprogramkan udarbejdes til at genkende personer ud fra deres profiler, ved brug af et neuralt netværk.

1.6 SEMESTERBINDING

På 2. semester lyder semesterbindingen ”Modeller, teorier og eksperimenter i naturvidenskab”.Vores projekt overholder denne semesterbinding, da vi ud fra teori omkring billedbehandling oggenerelle neurale netværk kan opstille en model (vores neurale netværk) der kan identificerepersoner. Den optimale billedbehandling og det optimale netværk vil blive fundeteksperimentielt. På baggrund af disse eksperimenter vil vi nå frem til en model der beskriver denmest velfungerende kombination af billedbehandlings- og neurale netværkstyper for pålideligidentifikation.

1.7 MÅLGRUPPEMålgruppen for denne rapport er personer med en interesse for identifikationsteknologi,biometrik, neurale netværk og c++ programmering. Rapporten er skrevet for studerende på dennaturvidenskabelige basisuddannelse eller andre med samme faglige baggrund.


7

1.8 PROJEKTMETODEFor at finde et svar på vores problemformulering er det nødvendigt at vi sætter os ind i teorienbag såvel billedbehandling som neurale netværk.

Teoriafsnittet indholder et afsnit der omhandler neurale netværk. Deri beskrives kort denbiologiske neuron og sammenhængen mellem den og et kunstigt neuralt netværk. Herefterbeskrives det kunstige neurale netværk i detaljerDerudover er det nødvendigt at vi programmerer et stykke software der kan udføre bådebilledbehandlingen samt træningen og testningen af det neurale netværk. Dette program erudarbejdet i C++.Både den benyttede billedbehandling samt det designede neurale netværk står beskrevet i teoriafsnittet.Som billedmateriale anvendes profiler af hele ansigtet, fra toppen af panden til bunden af hagen.Alle billeder bliver taget med digitalt kamera. Profilen er valgt for at simplificere problemet iforhold til f.eks. et frontalt billede af et ansigt.

Teoriafsnittet indeholder også et afsnit der omhandler billedbehandling. Deri beskriver vi kortteorien bag detect edge algoritmen Canny, samt en beskrivelse af vores 3 forskellige tilgange tilrepræsentationen af den fundne kant, punkter, vektorer og vinkler.

Billedet behandles først i programmet Photoshop for at gøre det nemmere at arbejde videre med.Billederne redigeres til at være udelukende sort/hvide profiler. Derefter bliver det indlæst i det tilformålet skrevne program og kanten af profilen findes.

Kanten repræsenteres på en af tre forskellige måder, enten som en liste af punkter I etkoordinatsystem, en liste af vektorer mellem punkter eller en liste af vinkler mellem vektorene.Disse data læses ind i det neurale netværk og bruges enten til at optræne netværket, eller til atteste det.

Det endelige mål vil være at finde ud af hvilken form for datarepræsentation og hvilken form fornetværk der giver den mest optimale identifikation og optræning af netværket.Vi vil således udføre sideløbende eksperimenter med forskellige datarepræsentationer ognetværk.

1.8.1 Fremskaffelse af billeder

Alle billeder er taget med Olympus C3020 digitalt kamera. Billederne er i 640x480 opløsning oglav farvedybde. De overføres til computeren via et USB kabel og er derefter klar til initialbilledbehandling.


8

2. TEORI

2.1 BIOMETRI

2.1.1 IndledningDette afsnit forklarer kort baggrund og anvendelse af biometri.

Biometri betyder videnskaben om måling og anvendelse af biologiske data der bruges til atfastlæggelse karakteristika af en person. Denne metode af identifikation bliver normaltforetrukket frem for den traditionelle metode der involverer password og pinkoder.Passwords og pinkoder er meget lettere at stjæle/forfalske end f.eks. DNA-profil,øjenhindescanning, fingeraftryk osv.Ved at erstatte Pin koder med biometri teknologien kan man forbygge at uautoriserede personerkan få adgang til f.eks. bankautomater, mobiltelefoner og computer netværk. Der er et utal afforskellige muligheder hvor det ville være smart at bruge denne teknologi.Der eksisterer allerede mange biometri systemer, der bliver brugt til real-time identifikation. Demest populære systemer er baseret på ansigtsgenkendelse og fingeraftryk genkendelse.Derudover findes også systemer der anvender iris, nethinde scanning, stemmegenkendelse,ansigts termogram og håndens geometri.Et biometri system er i bund og grund et mønster genkendelses system, som laver en personligidentifikation ved at bestemme ægtheden af et specifikt fysiologisk eller adfærds karakteristik,besat af brugeren af systemet.


9

2.2 NEURALE NETVÆRK

2.2.1 IndledningDette afsnit forklarer den teoretiske baggrund for neurale netværk. Der redegøres for denbiologiske neuron, dens virkemåde og egenskaber. Det næste afsnit redegør for hvorfor manbruger den biologiske neuron som model og udgangspunkt til et ”kunstigt” neuralt netværk.Siden redegøres der for baggrunden for neurale netværk, dens historie og udvikling.Resten af afsnittet forklarer, i dybden, egenskaberne ved neurale netværk og hvordan de virkerog kan anvendes.Slutningen af afsnittet omhandler det netværk vi har valgt at bruge i vores projekt.

2.2.2 Den biologiske neuronI menneskets hjerne findes 1110 neuroner1. Neuroner er små nervecentre, der transportererinformationer i hjernen. Neuroner findes i en masse forskellige former og størrelser. På billedetses i midten selve neuronen. Omkring hver neuron findes forskellige tråde eller nerver dertilhører neuronen, som den bruger til at kommunikere med andre neuroner. På billedet ses en

nerve som kaldes en dendrit. Dendritter er neuronens inputnerve. Når neuronen modtager informationer fra andreneuroner er det igennem denne dentritt.Ud fra det input, neuronen får, beslutter den sig for, om denskal give et signal videre eller ikke. Dette kaldes også atneuronen fyrer eller ikke.Når en neuron sender et signal videre, gøres dette vedneuronens neurit. Neuritten er neuronens output nerve. Etsignal der skal videre, sendes vha. neuritten.2

Når signalet når enden af neuritten og skal over i en anden neurons dendrit, er der en lilleforhindring. Neuritten og dendritten rører nemlig ikke hinanden. For at sende et signal videre tilen dendrit må signalet sendes over den lille kløft der er mellem de to tråde. Denne kløft bliverkaldt en synapse. Signalet der sendes stimulerer enden af neuritten og denne begynder at dannesmå cellemembran-poser med neurohormoner. Disse bliver sendt over synapsen og starter enirritation, der starter et nyt signal i dendritten. Signalet transporteres siden videre til den næsteneuron. Synapsen svækker desuden signalet så meget, at små signaler (eventuelt fejlsignaler)ikke passerer. Hvis modtagerneuronen får nok støtteimpulser vil den udsende et signal, der såigen kan gå videre til en anden neuron.I starten af et menneskes liv laver neuronerne flere og flere synapser. I en nyfødt baby bliver deri løbet af de første 2 leveår lavet omtrent 86 milliarder synapser hver dag3. Dette giver til slut det

1 Russell and Norvig, kap 19 Side 566 – 5682 Billedet er fra Lademans Leksikon3 Russell and Norvig, kap 19 Side 566 – 568

Figur 1 - Den biolgiske neuron


10

enorme antal nervetråde. Når hjernen først har lavet tilstrækkeligt med synapser, bliverproduktionen sat lidt i stå og der bliver fundet andre metoder hjernen kan lære på.Hjernen lærer, eller husker, ved at neuronernes indbyrdes forhold enten svækkes eller forstærkes.En neurons synapse, har en vis indflydelse på modtagerneuronen, enten positiv eller negativ. Vedat ændre lidt på disse indflydelser, eller synapsestyrker som det mere populært hedder, kanhjernen huske et bestemt fyringsmønster og der er derfor større chance for at det sammefyringsmønster opstår igen. Når to neuroner fyrer på samme tid bliver deres indbyrdessynapsestyrker forstærket, og der er en større chance for at netop de to neuroner fyrer på sammetid igen4. Dette svarer til at en person udfører et stykke arbejde flere gange, og bliver derfor istand til at udføre dette mekanisk. Omvendt beskæftiger hjernen sig ikke med en bestemt ting ilang tid, forværres dens evne til at udføre dette stykke arbejde. Dette svarer til at synapsestyrkenmellem nogle neuroner er svækket.

4 Simon Haykin 1994 www.Encarta.com Søgeord “Biologic Neuron” Hvordan hjernen virker


11

2.2.3 Den biologiske neuron i forhold til den kunstige neuron

Der er opstillet biologiske modeller af hvordan man mener at hjernens neuroner står i forbindelsemed hinanden. Den samlede ”sum” af disse neuron forbindelser udgør på denne måde denerfaring en person har.Et neuralt netværk består, som det biologiske, også af neuroner. Neuronerne i det kunstigenetværk er dog forskellige fra det biologiske. Neuronerne i hjernen samarbejder ved at sendekemiske signaler via synapser. I det datalogiske netværk repræsenteres neuronerne sominformationsbearbejdende enheder der er forbundet til hinanden. Neuronerne i hjernen brugerikke den simple struktur, som der bruges i det datalogiske netværk.Et kunstigt netværks neuroner er struktureret sådan at det er nemt at se, hvor informationer skalind, og hvor resultater aflæses.Der er dog egenskaber ved netværkerne der er ens. Begge netværker starter med at være”dumme”, utrænede. Kun ved træning ændres forholdet mellem neuroner, og derved ændres ogsåresultatet.

For at få en grundlæggende idé om et netværks opbygning og overordnede virkemåde, vises pånedenstående tegning, et simpelt problem, der kan løses ved et neuralt netværk5.

.

Figur 2 - Eksempel på et neuralt netværk

På tegningen ses et neuralt netværk med tre lag neuroner. Det første lag, inputlaget, består af 5neuroner. Det næste lag, mellemlaget, består af 4 neuroner. Det sidste lag, outputlaget bestårogså af 4 neuroner. I mellem de tre lag neuroner, findes to lag vægte.

5 Billede er fra http://www.astrology.dk/3hus/er/0110x_intro_neurale_netvaerk.htm. Kun billede er taget som kildefra denne side.


12

I den biologiske neuron er det synapsestyrken der er afgørende for det signal der sendes viderefra en neuron. I et neuralt netværk er det styrken på vægten imellem to neuroner der afgør hvorkraftigt signalet mellem neuronerne er. Jo stærkere vægten mellem neuronerne, jo kraftigerebliver signalet der sendes videre fra afsender-neuronen. De varierende styrker mellemneuronerne, gør at netværket giver forskellige output alt after hvad input er. I dette tilfælde skalnetværket, ud fra oplysninger om farve og størrelse udregne og gætte hvilken grøntsag er denrette. Ud fra de oplysninger netværket får, udregner det et svar. I de tilfælde hvor netværketgætter forkert, kan det trænes til at give et bedre gæt næste gang. Dette er selve grundtanken vedneurale netværk.

2.2.4 Den kunstige neuronNedenstående tegning viser hvordan en kunstig neuron kan opfattes. En neuron kan forstås sombestående af alle de input der tilhører neuronen. Disse input er 1x , 2x ,…, nx . Disse input ganges

med deres tilhørende vægte 1kw , 2kw ,…, knw , der peger på netop denne neuron.(på Figur 3

kaldes vægterne synapsestyrker)

SumfunktionSumfunktionen sidder i neuronen og tæller inputtet til neuronen. Det samlede input til Neuronener summen af alle input. I dette tilfælde summerer funktionen over 1x * 1kw + 2x * 2kw + … +

nx * knw . Dette er det samlede input for en neuron. Summeringen gentages for alle neuroner i et

lag.

Figur 3 - En model af den kunstige neuron6

6 http://www2000198.thinkquest.dk/intro/kunstige.html


13

Aktiveringsfunktion.Når det samlede input er talt op, sendes det igennem en aktiveringsfunktion.Aktiveringsfunktionen afgør hvorvidt et signal skal sendes videre, og i det tilfælde hvor kraftigtdet skal være. Der findes flere slags aktiveringsfunktioner. Vi viser herunder to forskelligefunktioner, Threshold og Sigmoid.Threshold er den ”hårde” funktion, der returnerer enten 1 eller 0. Sigmoid funktionen er ensåkaldt ”blød” aktiveringsfunktion. Den returnerer altid et tal, som ligger mellem 0 og 1.

Threshold aktiveringsfunktionen

En threshold aktiveringsfunktion sender enten et 1 eller 0 videre. Enten fyrer funktioneneller også fyrer den ikke.

På figur 47 ses et netværk med to input, to mellemlag neuroner og en output neuron.Neuronerne i mellemlaget og outputlaget bruger threshold værdier til at afgøre hvorvidtaktiverings- funktionen skal fyre. Threshold værdierne er her 2,0 og -0,1.Threshold værdien for output laget er -0,8. Input til neuron A og B er 0 eller 1. Input ganges med tilhørende vægte og der summeres for neuronen. Hvis det samlede input forneuronen, er lig med eller højere, end thresholdværdien, fyrer neuronen. Når en neuron fyrersendes 1 videre. Ellers sendes 0 videre.

7 Kap 8 D.E Rumelhart, G.E Hinton

A B

Q

Mellemlag

Inputlag

Resultat

-2,0 8,0

4,3 9,2

-0,12,0

-4,5 5,3

-0,8Output

Figur 4 - Netværk med Threshold værdier


14

Sigmoid aktiveringsfunktionSigmoid aktiveringsfunktionen er ikke en ”ja/nej”funktion. et samlede input til neuronen puttesind I Sigmoidfunktionen, og resultatet sendes videre. Som det ses på figur 5 varierer funktionensværdi mellem 0 og 1. Givet et input fra minus uendeligt til plus uendeligt, giver sigmoid etoutput mellem 0 og 1.

Figur 5 - Sigmoid funktionen.


15

2.2.5 Baggrund for neurale netværk

Ikke alle forskere er enige, men forskningen indenfor neurale netværk siges at være begyndt daWarren S. McCulloch og Walter Pitts i 19438 publicerede deres meget kendte, og banebrydendeafhandling "A logical calculus of the ideas immanent in nervous activity"McCulloch og Pitts' afhandling viste at det kunne lade sig gøre at konstruere et neuralt netværkved hjælp af matematik og algoritmer. Deres svar på et neuralt netværk var at man ved hjælp afet sæt af binære beslutningsenheder kunne lave et netværk der kunne udføre de flesteberegninger. McCulloch og Pitts' netværk havde egenskaber der lignede dem, der i virkelighedenfindes i hjernen. Selvom deres neurale netværk på ingen måde var i den størrelsesorden var idéender dog alligevel, og der blev diskuteret meget om man også kunne opstille en model formenneskets tanker ved hjælp af et kunstigt neuralt netværk9. Træning af neurale netværk blev introduceret, men dog kun på psykologisk niveau, da Hebb i1949 udgav bogen "The Organization Of Behavior". Hebb foreslog at hjernen hele tiden ændrersig og derved lærer nye opgaver. Når to neuroner forbundet til hinanden samarbejder, bliverderes forbindelse styrket og derved er der større sandsynlighed for at de samme neuroner fyrerigen. Hebb's bog blev brugt meget af psykologer, men desværre havde den, hos ingeniører,næsten ingen succes10.Man fik først rigtigt øjnene op for mulighederne med træning da Frank Rosenblatt i 1962 viste atman kunne træne et netværk ved hjælp af neuronernes indbyrdes styrke på hinanden også kaldetvægten af forbindelsen. For at træne netværket kunne Rosenblatt, når netværket gav et forkertsvar, ændre en lille smule på vægtene og derved tilpasse netværket så det gav et rigtigt svar.Det var nu muligt at bygge store netværk og derefter træne dem til opgaver der før var umuligemed konventionel programmering11.

Det neurale netværk var uovertruffent når det galt mønstergenkendelse, men til simple logiskeopgaver haltede det bagud. I 1969 viste Marvin Minsky og Seymour Papert i en afhandling at detneurale netværk ikke kunne lære en XOR (eksklusiv eller) logisk operation. Dette problem blevløst med indførelsen af de ”skjulte” neuroner. Et nyt ekstra lag af neuroner, hvis output kun deassocierede neuroner og ikke omverdenen kunne læse. Minsky og Papert viste dog fleresvagheder ved det kunstige neurale netværk. Især den før så populære træning af netværkene varet problem. Hvis antallet af input steg, ville tiden det tog at træne netværket også stige drastiskog derved give en grænse for hvor effektivt et neuralt netværk ville kunne løse en opgave medmange input. Opdagelsen af disse problemer stoppede den forskningsbølge der ellers havdeværet indenfor emnet12.Problemet med at træne de skjulte neuroner blev effektivt løst med introduktionen af den bagud-udbredende algoritme (backwards propagation algorithm). Denne algoritme, der blevintroduceret af Paul Werbos i 1974, gav en neuron lov til at give sin fejl videre til tidligere lag inetværket. Med denne form for træning kunne man løse endnu større problemer og neuralenetværk blev af industriel interesse13. 8 Simon Haykin: Neurale Networks – A comperehensive foundation9 McCullogh og Pitts, 194310 Hebb, 194911 Frank Rosenblatt,i 196212 Minsky og Papert, 196913 Paul Werbos, 1974


16

2.2.6 Typer af neurale netværk

Der findes mange forskellige slags neurale netværk. Hvert netværk har sin egen måde at fungerepå, og de trænes på forskellige måder.Antallet af lag I et neuralt netværk hentyder antallet af lag af vægte, ikke antallet af lag afneuroner. Figur 2, fødevareklassifikation, har tre lag neuroner, og to lag vægte. Derfor kaldesdet et to lags netværk.Den type netværk vi har valgt at arbejde med kaldes feed-forward netværk. Man kalder det etfeed-forward netværk, fordi informationerne kun udbredes fra input mod output. Ser vi igen påFigur 2, fødevareklassifikation, ses det at vægte går fra alle input neuroner til alle mellemneuroner, og fra alle mellem neuroner til alle output neuroner. Neuroner i det samme lag er aldrigdirekte forbundet.

2.2.6.1 Single layer feed-forward netværk

Disse netværk består af to lag neuroner. Et input og output lag. I mellem de to lag neuroner erder et lag med vægte. Derfor kaldes det et enkelt lags netværk.Da netværket kun har et lag vægte er det let at oplære, men det kan ikke klare enhver opgave detbliver stillet overfor. Minsky og Papert14 viste at det såkaldte XOR15 problem var umuligt at løsehvis man ikke havde endnu et lag. Løsningen herpå var multi lags netværk, der har to eller endnuflere lag.

Figur 6 - Single Layer netværk

14 Russell and Norvig , S.57715 XOR problemet er forklaret i detaljer i bilag 8.1.1.


17

2.2.6.2 Multilayer feedforward netværkSom Minsky og Papert gjorde klart, var kompleksiteten af enkelt lags netværk ikke stor nok til athåndtere komplekse problemer16. Problemet med f.eks. XOR17 er at det ikke er en kontinuerfunktion.

Løsningen på dette er, at opbygge netværket med flere mellem lag, også kaldet skjulte lag. De erskjulte, fordi de hverken er input- eller outputneuroner og dermed ikke har kontakt medomverdenen. Disse netværk kan håndtere alle funktioner, givet et passende antal neuroner og lagvægte.Den mest brugte netværksarkitektur er typen med et enkelt skjult lag neuroner, som er placeretmellem input og output. Her er der ikke nogen forbindelse mellem neuroner i input ogoutputlaget.

Antal neuroner og vægte i et netværkVægte I et 2 lags netværk går fra alle neuroner i input laget, til alle neuroner i mellem laget, ogfra alle neuroner i mellem laget til alle neuroner i output laget. Derfor afhænger antallet af vægtei et netværk af hvor mange neuroner netværket har. For at klare den givne kompleksitet, er detvigtigt at netværket har tilstrækkeligt mange neuroner. Indeholder netværket for få skjulteneuroner, vil netværket bestå af for få vægte til at opnå en ønsket præcision.

Antallet af input og output neuroner vil altid afhænge af det givne problem. Der er ikke nogenfast regel for hvor mange skjulte neuroner et netværk skal have, men en tommelfingerregel sigerat18,

Antal skjulte neuroner = (antal inputneuroner + antal outputneuroner) * 2/3

16 Russell and Norvig S.57717 XOR problemet er forklaret i detaljer i bilag 8.1.1.18 http://www.ipd.uka.de/~prechelt/FAQ/nn2.html#A7

Figur 7 - Multi Layer netværk


18

2.2.7 NetværksudregningerHovedsagligt kan man dele udregninger i et neuralt netværk op i to. Den første del er den direkteudregning, også kaldet, forward propagation, hvor man på baggrund af netværkts nuværendevægte, givet et input udregner et output.Den anden del kaldes backwards propagation. I backwards propagation udregnes først en errorværdi for alle neuroner i outputlaget. Error værdien for en neuron, er afvigelsen mellem detforventede resultat og det faktiske resultat den gav efter forward propagation. På baggrund aferror værdierne, ændres vægtene mellem neuronerne således at de giver et bedre resultat næstegang. Når dette er udført tilstrækkeligt mange gange, og error værdierne er blevet acceptabeltlave, siges netværket at være trænet.

Normalt foregår træning af et netværk, ved at man på baggrund af et givet datasæt, udregner etresultat, og sammenligner det med de ønskede værdier. Så længe afvigelsen mellem resultatet ogden ønskede værdi er for stor, trænes netværket til at opnå et bedre resultat. Netværket trænesmed backwards propagation algoritmen. Denne algoritme forklares senere. Her under følger enbeskrivelse af forward propagation algoritmen.

Når et netværk initialiseres, sættes vægtene til vilkårlige værdier mellem -1 og 1. Dette gørnaturligvis at netværket ikke kan give et kvalificeret gæt de første gange.

2.2.7.1 Forward PropagationDe data man har valgt at bruge som input sættes lig med inputneuronerne i netværket.Efter at inputneuronerne er initialiseret med deres inputværdier, kører forward propagationalgoritmen.

Forward propagation algoritmenAlgoritmen udregner for hver neuron i et lag, startende med mellem laget, det samlede input tilden givne neuron. Det samlede input til en neuron sendes siden igennem aktiveringsfunktionen.Det der kommer ud af aktiveringsfunktionen bruges som grundlag til udregning af det samledeinput til neuroner i det næste lag.Grunden til at inputværdierne ikke sendes igennem aktiveringsfunktionen, er at de skal opfattessom resultater af udregninger fra et tidligere lag. Hvis netværket havde haft et lag før input laget,ville værdierne for hver neuron i inputlaget have været output af aktiveringsfunktionen i det

forrige lag. I formlen nedenunder er ja aktiveringsværdien til neuronen. Denne formel gælder

for alle lag, men for inputneuronerne skal aktiveringsværdierne opfattes som de faktiske input.

Det samlede input for en neuron skrives som formel19:

Â=j

jiji aWIN *,

(i og j er indeks værdier der refererer til neuroner)

19 Russell and Norvig s.567


19

Aktiveringsværdien fra den j´te neuron ( ja ) bliver ganget med den aktuelle vægt mellem den og

den i´te neuron jiW . Værdien af alle vægte gange input, lagt sammen, og danner det samlede

inputværdi for den i´te neuron.

Efter at det samlede input er beregnet for alle neuroner i et lag, sendes alle disse værdier, hver især, igennem aktiveringsfunktionen20:

)( ii INga ¨

hvor g aktiveringsfunktionen, kan være f.eks. threshold eller sigmoid og ia er outputtet af

aktiveringsfunktionen. Outputtet af aktiveringsfunktionen bruges nu som input til udregning afdet samlede input til neuronerne i det næste lag.

Denne algoritme kan udregne værdier for vilkårligt mange lag. Når værdierne i det sidste lag harværet igennem aktiveringsfunktionen, er de at betragte som det relle output af forwardpropagation algoritmen. Det er disse værdier man bruger som output af netværket.

2.2.8 Backwards PropagationNår et givet input mønster har været igennem en forward propagation, som en del af træningen afnetværket, og resultatet ikke var tilfredsstillende, trænes netværket. At et netværks resultater ertilfredsstillende, betyder at en maxafvigelsesgrænse er opnået, og netværket nu i alle tilfældegiver et svar der ligger indenfor en bestemt afvigelsesprocent. Til at træne netværket brugesbackwards propagation algoritmen.

Backwards Propagation algoritmenAlgoritmen kan hovedsagligt deles op i to dele. Første del består i at udregne errorværdier foralle neuroner. Siden opdateres alle vægte i netværket.

Udregning af error værdier i outputlaget

20Russell and Norvig s.569

1

Figur 8 - Udregning af samlet input til neuron 1 i mellem laget


20

For at udregne errorværdierne i outputlaget, udregnes først error på alle neuroner:iiiErrTO=-

hvor iT er det forventede output og iO er det observerede værdi. iErr er errorsignalet.

Når errorværdien for neuronerne I outputlaget er udreget, kan vi udregne deltaværdierne forneuronerne I outputlaget. Errorværdierne for outputlaget er afvigelsen mellem en faktisk måltværdi og en ønsket værdi.

Siden udregnes de såkaldte D værdier. Når alle delta værdier er udregnet, opdateres vægtene inetværket.21.Dette gores ved følgende formel.

)('* iii ingErr=D

Deltaværdierne bruges til at ændre vægtene i netværket. Bemærk at denne regneregel fordeltaværdierne kun gælder for outputlaget. En anden regneregel gælder for Delta værdier for alleandre lag.

Udregning af Delta værdier i øvrige lagDelta værdierne, afvigelserne i neuronerne, for de øvrige lag udregnes ved følgende formel22:

Â D=Di

iijjj Wing *)(' ,

Hvor jin er aktiveringsværdien for den j´te neuron, 'g er den afledte aktiveringsfunktion,

ijW , er vægten mellen den j´te og i´te neuron. iD er delta værdien for den i´te neuron. Grunden

til at man bruger en anden udregningsregel til Deltaværdierne i de øvrige lag er, at man retterfejlen der hvor den kom fra. Delta værdierne fra outputlaget deles efter styrken af vægten mellemoutput neuronen og mellem neuronen23.

Opdatering af vægte i netværketOpdatering af vægte foregår på samme måde i alle lag i netværket.Når Delta værdier for alle lag er udregnet, er algoritmen klar til opdatere vægterne i netværket

For at opdatere en bestemt vægt, bruges formlen24:

ijijij aWW D+¨ **,, a

21Russell and Norvig s.57622 Russell and Norvig s.58023Russell and Norvig s.58024 Russell and Norvig s.579


21

hvor ijW , er den nuværende vægt, a er indlæringsraten, ja er aktiveringsværdien til den j´te

neuron, og iD er Delta værdien for den i´te output neuron.

Indlæringsraten er et fast tal, der sættes til en værdi mellem 0 og 1. Indlæringsraten bestemmerhvor meget af den fundne rettelse der skal påføres vægten ved opdatering. Indlæringsraten børjusteres til at være så høj som muligt, uden at netværket begynder at oscillere. At netværketoscillerer, betyder at ændringen i vægten er for stor, og derved findes aldrig den bedsteindstilling for vægten. På den anden side må indlæringsraten heller ikke være for lav, da det vilføre til langsom træning af netværket.

Steepest DescentBackwardspropagation algoritmen svarer til teorien om steepest descent. Backwardpropagationmetoden bygger på, at man efter hvert gennemløb af forward propagation udregner errorværdierne og justerer vægterne i den retning, der minimerer fejlen mest.Steepest Descent opdaterer altid vægterne ved at vælge den stejleste nedstigning i errorfladen,deraf ordet steepest descent.Målet er således at minimere fejlen mellem det faktiske output og det forventede output

Vi opstiller fejlfunktionen25 for Fejlen E

Â --=j

mjmjm otE 21

2)(

hvor m er det input mønster vi træner med, mjt er target værdien for den j´te output neuron,

mjO er det faktiske output for den j´te neuron.

Error funktionen er således afhængig af de vægte der er i netværket. Målet er at minimere denneerror funktion ved at justere vægterne således at netværket giver den minimale error.Error funktionen E er kontinuer og har derfor en gradient(hældningspunkt) for alle vægtværdier.Funktionen er således i stand til at justere vægterne således at de repræsenterer funktionenslokale eller globale minimum.Da vi i dette projekt ikke fokuserer på den matematiske side af teorien om steepest descent, vil viikke udlede formlen her. For at få en forståelse af teorien bag Steepest Descent vil vi dog skitsereteorien på en figur hvor vi viser hvordan en errorflade ser ud.

En errorflade med n dimensioner, udspænder en error flade med n dimensioner. Da der erumuligt at vise figurer med mere end 3 dimensioner, viser vi på figur 9 et eksempel med en errorflade udspændt af 2 vægte I et 3d-rum.

25 D.E Rumelhart, Kap8. (2)


22

Den faldende gradient ses på figur 10, hvor hældningen på errorfuktionen nærmer sig 0, tættereman kommer på de optimale vægtværdier. Figuren afbilleder den differentierede fejlfunktioen.Når den har hældningen = 0, er vægterne i netværket optimalt indstillet.

Når netværket er trænet ligger man nede på bunden af fejl-kurven, hvor netværket ikke længereer i stand til at blive bedre.

E

Hældning = 0

Ønskede vægtværdier

W

Err

1w a

b globalt minimum

2w

Figur 9 - 3DError flade udspændt af to vægte. Error fladen når sit minimum, nårW1= a, og W2= b.

Figur 10 - Differentieret error funktion med hældning = 0. Ønsket vægtværdi


23

2.2.9 MomentumIndlæringsraten, som vi før har nævnt, bestemmer hvor hurtigt netværket skal lære. Sættesindlæringsraten for lavt, lærer netværket for sent og sættes den for højt, risikerer vi at vægternestår og vipper frem og tilbage hen over minimumfejlværdierne for vægterne. Dette kaldes atvægterne oscillerer over minimumspunktet. En måde at afhjælpe dette problem, er at indføre enekstra faktor når vægterne opdateres.Oven i den aktuelle vægtændring, indføres nu en del af den forrige vægtændring. Denne forrigevægtændring fortæller, i hvilken retning, vægten ændrede sig sidste gang, og fremskynder dervedvægtændringen, ved at lægge den forrige vægtændring til den aktuelle vægtændring. Denneforrige vægtændring kaldes momentum.

Vi gentager for sikkerheds skyld den gamle vægt opdaterings regel:

jkjkjk aww D+¨ **,, a

Ændringen af den forrige vægt beskrives ved jka D**a

Det er den forrige ændring vi nu skal tilføje til den aktuelle vægtændring.

Den nye vægtopdaterings regel med momentum er følgende26:

jkjkjk awnw D+¨+ **)1( ,, a + )(** naS jk D ,

hvor (n+1) er den nye vægt, og (n) er vægt ændringen fra sidste runde. a er indlæringsraten,

ka er aktiveringsværdien for den k´te neuron, jD er delta værdien for den j´te neuron, S er den

styrke man tildeler momentum..

Denne formel gælder for alle vægte i netværket og vægtændringerne udføres på samme mådesom den simple vægtændring.

Ved at bruge momentum tillægger man vægtændringen større betydning. Dette kan ogsåillustreres ved et andet eksempel.

På figur 11 ses en graf der illustrerer hvordan et netværks errorværdi falder i takt med antaltrænings iterationer. Jo mere netværket trænes, jo mindre bliver den samlede error værdi, jo merepræcist er vægterne i netværket indstillet.På figur 11 vises en bold, der triller ned ad en flade. Problemet er at hvis bolden ikke har entilstrækkelig fart, vil bolden ikke have frt nok til at trille hen over den første bølge. Fysisk set kandette sammenlignes med at bolden befinder sig i et miljø uden gravitations kræfter, og boldenderfor ikke tilføres nogen acceleration. Bolden triller hen over fladen uden at accelerere. At 26 D.E Rumelhart. Learning internal Representation by Error propagation. Formel (16)


24

bolden fanges i en såden bølge svarer til at backwardspropagationsalgoritmen stagnerer i etlokalt minimum.Ved at indføre momentum, befinder bolden sig i et fysisk normalt miljø, med gravitationskræfterog acceleration. Bolden triller hurtigere og hurtigere ned at fladen. Den forøgede fart gør, atsandsynligheden for at den lægger sig i et lokalt minimum er mindre.

Ved at bruge momentum, forøges netværkets chance for ikke at falde i et lokalt minimum. Etlokalt minimum er en uheldig indstilling af vægterne, som tilsyneladende er acceptabel. Ivirkeligheden kunne netværket trænes, så at den samlede errorværdi for vægterne kom ned på etglobalt minimum, men i uheldige situationer bliver vægterne liggende i et lokalt minimum, istedet for det globale minimum. Et globalt minimum er den optimale indstilling af vægterne.

2.2.10 BiasSer vi igen på figur 3, ser vi øverst i tegningen et ekstra input til neuronen, kaldet bias, kb . Bias

værdien er en ekstra vægt til neuronen, der hjælper neuronen at fyre(nå sin aktiveringsværdi ellerforhøje den). Ligesom momentum, er meningen med denne ekstra funktion at gøre træningen afnetværket hurtigere. Bias styrker neuronens input, og forøger derved neuronens chance for at

Errorværdi Lokalt minimum

Lokalt minimum

Iterationer

Figur 11 - Bolden illustrerer den faldende error værdi. Med momentum har boldenstørre fart, og kan derfor hoppe over de små bølger, som er lokale minimum.Errorværdien for netværket falder i takt med antallet af trænings iterationer.


25

fyre. Bias værdien styrer neuronen i en bestemt retning, ved at hjælpe den med at opnå et højeresamlet input. Bias sættes normalt som en værdi mellem 0 og 1.

2.2.11 Vores neurale netværk

Vi har valgt at implementere vores neurale netværk som et to lags netværk. Det vil sige at vi hartre lag neuroner og to lag vægte imellem neuronerne. Vi bruger forward propagation til atudregne resultater. Netværket bruger backpropagation algoritmen til at træne netværket.

Ud fra de udregninger vi har gjort vedrørende billedbehandlingen, er vi kommet frem til at hvertbillede, der skal behandles i netværket, repræsenteres af ca. 36 punkter. Hvert punkt errepræsenteret af to koordinater(x og y). Således er vores netværk implementeret med 72 inputneuroner.Som eksempel kan det antages at netværket skal kende forskel på imellem 5-10 personersprofiler. Dette fortæller os at antallet af outputneuroner skal være 5-10.

Grundet tidspres, har vi valgt ikke at implementere bias eller momentum i netværket.

Netværket er således et standard neuralt netværk der bruger forward propagation som udregningsmetode, og backwards propagation til at træne netværket med.


26

2.3 BILLEDBEHANDLING

2.3.1 IndledningFormålet med dette afsnit er at give en generel beskrivelse billedbehandlingen I projektet.Beskrivelse af detect edge algoritmen samt vores valg af disse beskrives

2.3.1.1 Initial billedbehandlingDette afsnit beskriver den initielle billedhandling, som udføres inden billederne indlæses I voressystem. For at gøre det lettere for systemet at finde den nøjagtige kant på ansigtsprofilen, vil vigøre baggrunden på billedet hvid og ansigtsprofilen sort. Dette gør vi i billedbehandlingsprogrammet Adobe Photoshop.

Fremgangsmåde:

Figur 12 - Originalt billedeVi starter med at bruger en funktion der finder kant området. Derefter inverteres området, så detikke er selve profilen der er markeret, men hele området uden for profilen. Det markerede udenom profilen farves hvid og billedet inverters igen og selve profilen males sort. Dervedfremkommer slutresultatet som det ses nedenfor.

Figur 13 – Redigeretbillede


27

2.3.2 Indledende analyse af billederneFor at indsætte et billede i det neurale netværk, skal der findes en egnet metode til atrepræsentere profilen på. Der findes en række forskellige algoritmer til at finde kanten. Vi harvalgt at bruge Canny detect edge 27algoritmen som vi finder mest brugbar i vores projekt.

27 http://www.dai.ed.ac.uk/HIPR2/canny.htm


28

Beskrivelse af Canny detect edge algoritmen:

Canny metoden er designet til at være en optimal edge detektor efter følgende kriterier:• Opdagelses kriterium – vigtige kanter må ikke overses. Der må ikke være falske kanter.• Respons kriterium – algoritmen minimerer mangfoldige svar til en enkelt kant.• Canny arbejder kun med grå tonede billeder.

Canny metoden fungerer som en flere trins proces.• Først bliver billedet udjævnet med en blur funktionen.• Blur funktion fungerer som et kamera der går ud af fokus.• Billedet bliver uklart, men samtidigt mere udjævnet og ryddet for evt. støj.• Algoritmen ser på de stærkeste kontrastændringer i det sort hvide billedet.• Der hvor de mest markante ændringer findes, tegner algoritmen de punkter som en kant.

Fordele ved Canny• Algoritmen er god til at skelne imellem den hvide overgang til sort, hvor den kun finder

en kant. Evt. mulige grå toner overses.• Dette er vigtigt for at opnå en præsis profil, som er vigtigt i vores projekt.


29

2.3.3 Videre analyse af billedet

Efter at canny metoden har fundet profilens kant, finder programmet de punkter der skalrepræsentære kanten. Denne metode er delt op i 6 trin

1. Gennemsøg billedet for kant.• Programmet gennemløber billedet horisontalt fra venstre til højre, startende fra

oven og tjekker for hver tredje pixel om der findes en kant. På denne mådereduceres antallet af punkter hvorved kanten repræsenteres. På dette tidspunktligger punkterne usorteret.

2. Sorter punkter.• Programmet finder det første punkt og sorterer derefter punkterne ved at finde det

første punkts nærmeste nabopunkt. Der tegnes en linie mellem de to punkter ogprogrammet søger siden efter det næste nabopunkt, osv. Et punkt kan kun besøgesengang, derved kommer programmet rundt til alle punkter i billedet. Allepunkterne i billedet udgør nu profilens kant.

3. Udregn vinkler mellem vektorer.• Udfra de tegnede liner mellem punkterne, vektorer, udregnes vinklerne mellem

disse linier(vektorer).

4. Fjern overskydende punkter• Programmet sammenligner alle efterfølgende vektorer for at tjekke for ens

vinkler. At to vektorer har ens vinkler betyder de ligger i forlængelse af hinandenog ikke ændrer retning. Derfor bruges 3 punkter i stedet for to. Det midterestepunkt fjernes og de to yder punkter udgør nu én samlet vektor. Fjernelse afunødvendige punkter er nødvendig for at alle profiler repræsenteres med sammeantal punkter. Det kan diskuteres om det er bedre at fjerne punkter eller at tilføjepunkter, for at opnå samme antal punkter for hver profil.

5. Udregn vinkler mellem vektorer.• Da nogle punkter evt. nu er fjernet, udregnes vinklerne på ny.

Efter at analysen af billederne er færdig, kan billederne nu repræsenteres på følgende 3 måder:

• Punkter – x, y koordinater.• Vektorer mellem punkterne.• Vinkler mellem punkterne.

Disse tre måder bruges hver i sær som input til at repræsentere profilerne i det neurale netværk.Forskellen mellem disse 3 måder at repræsentere profilen på, testes i eksperiment afsnittet, hvorvi undersøger hvilken repræsentations form er den bedste til profil genkendelse.


30

2.3.4 Vores billedbehandling

2.3.4.1 IndledningDette afsnit beskriver de tre forskellige billedbehandlingsmetoder der bruges til at repræsenterekanten af profilen, som er input til vores neurale netværk.

Figur 14 - Orginalt billede før punkter findes.


31

2.3.4.2 Repræsentations form 1: Punkter - x, y koordinater som input

De fundne punkter der repræsenterer profilen, sendes ind i det neurale netværk, i sæt af x, y,koordinater. Inputtet til netværket består i dette tilfælde at alle disse x,y koordinater

nn yxyxyx ,,,,, 2211 , hvor er n er antallet af punkter. Hvert punkt repræsenteres med to

neuroner. Dvs. at en profil der har 40 punkter repræsenteres med 80 input neuroner.Inputtet til det neurale netværk kræver et input værdi som ligger mellem -1 og 1 (decimal).Detteer nødvendigt, da sigmoid funktionen er mest følsom for disse værdier. For at input værdier skalligge mellem -1 og 1, divideres x værdierne med bredden og y værdierne med højden på billedet.

Figur 15 - Billede med fundne punkter. Tallene angiver punkternes rækkefølge.


32

2.3.4.3 Repræsentations form 2: Vektorer som inputDen sorterede liste af punkter langs profilens kant benyttes til at danne vektorer mellem toefterfølgende punkter. Når der findes en vektor mellem punkterne (335, 512) og (341, 502), erresultatet af vektoren )10,6(),( 2121 -=-- yyxx . Inputtet til netværket består i dette tilfælde af

startpunktet ),( startstart yx og alle efterfølgende vektorer nnstartstart yxyxyxyx ,,,,,, 221,1 , hvor er n

er antallet af punkter. Der tages højde for sigmoid funktionens følsomhed, hvor x og y værdiernedivideres med 10, da de fleste vektorer har denne størrelsesorden.

Figur 16 - Billede med punkter og vektorer.


33

2.3.4.4 Repræsentations form 3: Vinkler mellem vektorer som inputUd fra den sorterede liste af vektorer udregnes vinkler imellem vektorene. Har man to vektorerA ),( 21 aa og B ),( 21 bb gøres det ved formlen,

hvorved cosinus til vinklen findes. Da vinklen mellem to vektorer repræsentæres både af cos ogsin værdier, udregnes også sinus værdien. Dette gøres ud fra formlen,

12)(sin2)(cos =+ qq

Inputtet til netværket består i dette tilfælde af cosinus og sinus par til vinklerne mellemvektorerne. nn sin,cos,sin,cos,sin,cos 2211 , hvor er n er antallet af punkter. Der tages højde for

sigmoid funktionens følsomhed, hvor x og y værdierne ligger mellem –1 og 1.

Ved brug af vinkler mellem vektorer opnås en større sikkerhed, da metoden tager højde fordistance afvigelser, Dvs. om billedet er taget fra tæt eller lang afstand. Metoden tager også højdefor profilens hældning, dog ikke drejning.


34

2.4 EKSEMPLER PÅ ANVENDELSE AF TEORIDette afsnit er med til at give en grundig beskrivelse af hvad man kan bruge de såkaldte neuralenetværk til. De følgende eksemplerforklarer 3 udvalgte situationer.

Vi har som en del af arbejdet med neurale netværk sat os ind i 3 eksempler på praktisk af neuralenetværk. Disse eksempler er:

• Løsning af XOR Bilag 10.1.1• Orddeling Bilag 10.1.2• Mouse Gesture recognition Bilag 10.1.3


35

3. PROGRAMMET:Programmet er implementeret i Visual Studio C++ .Net. Programmet indeholder enbrugergrænseflade, der er delt op i to vinduer; venstre- og højre- vindue. Venstre vindueindeholder en menu, opbygget med som en træstruktur. Menuen har knapper med mulighed forat klikke sig igennem de forskellige egenskaber for programmet. F.eks. der er mulighed for atoprette/slette personer eller objekter hvor man kan tilføje billeder. Alle billeder der er tilføjet tilpesoner eller objekter kan ses i højre vindue, samt de fundne punkter og vektorer for dissebilleder.

Der er mulighed for at justere i det neurale netværks egenskaber, såsom antal epoker,indlæringsrate, inputneuroner, mellem neuroner, output neuroner.

Da projektets fokus ikke har været at implementere brugerfladen, er den på nuværende tidspunktikke færdigt implementeret. Netværkets egenskaber, såsom input neuroner, mellem neuroner,indlæringsrate, epoker sættes manuelt i kildekoden. Billede egenskaber såsom antal fundnepunkter sættes også manuelt i kildekoden.

Resultaterne af eksperimenterne skrives til en tekst fil og kan desværre ikke læses direkte frabruger fladen.

Kildekoden til programmet er vedlagt som bilag og findes også på den vedlagte cd.


36

4. EKSPERIMENTERFormålet med dette afsnit er at beskrive resultaterne af de eksperimenter vi har udført i løbet afprojektet.

4.1 EKSPERIMENT STRATEGI:Vi vil redegøre for selve formålet med eksperimenterne og derefter konkludere på hvordanudfaldet at eksperimenterne bliver.

Eksperimenterne er delt op i to overordnede grupper, en gruppe hvor der eksperimenteres medændringer i metoden for repræsentering af data i det neurale netværk, så som punkter, vektorerog vinkler. Derudover vil der blive eksperimenteret med antal af billeder og antal af personer.Den anden del er opsætning af det neurale netværk, hvor der vil blive eksperimenteret medIndlæringsrate, antal af skjulte nuroner, og antal epoker.

4.2 EKSPERIMENT LÆSEVEJLEDNINGDe samlede resultater fra de udførte eksperimenter ses i tabellen ”Samlede resultater fraeksperimenterne” i afsnit 5.3. I bilag 9.1 findes en kort beskrivelse af de mest interessante datafor hvert eksperiment samt en kort indledning og konklusion. I 9.2. findes de komplette data foralle eksperimenter, disse data danner grundlag for tabellen i 5.3For hvert billede I eksperimentdata tabellerne, står der værdier af 3 output værdier. Dette gælderogså i de eksperimenter, hvor der skelnes mellem 2 personer. Når resultatet står i kolonne 1 aftabellen, er det output neuron 1 der helst skal fyre, kolonne 2 svarer til output neuron 2 osv. I detabeller hvor der kun er 2 kolonner er den 3 output neuron irrelevant. Outputtet fra de neuronerder repræsenterer det korrekte resultat er markeret. Det er disse værdier der skal være nær 1 ogresten skal være nær 0

4.3 SAMLEDE RESULTATER FRA EKSPERIMENTERNE:

Eksperiment I - Eksperiment med 2 personer

Netværkinput Epoker Alpha

Inputneuroner

Gemteneuroner

Antalbilleder

tiltræning

Antalukendtebilleder

Genkendelseaf ukendte

billeder

Genkendelseaf kendtebilleder i

procent %

Genkendelseaf kendtebilleder


procent %

1.1 Koordinater 5000 0,5 72 72 30 10 30 100 9 90

1.2 Koordinater 1000 0,5 72 72 30 10 30 100 7 70

1.3 Vektor 1000 0,5 72 72 20 20 20 100 13 65

1.4 Vektor 1000 0,5 72 72 30 10 30 100 5 50

1.5 Vinkler 1000 0,5 72 72 20 20 20 100 18 90

1.6 Vinkler 1000 0,5 72 50 20 20 20 100 19 95


37

Eksperiment II - Eksperiment med 3 personer


Inputneuroner

Gemteneuroner

Antalbilleder

tiltræning



billeder


procent %



procent %

2.1 Koordinater 1000 0,5 56 56 45 15 45 100 10 67

2.2 Vektor 1000 0,5 56 72 45 15 45 100 5 33

2.3 Vinkler 1000 0,5 56 72 45 15 45 100 8 53

Eksperiment III - Eksperiment med 2 personer, et normalt og et spejlvendt


Inputneuroner

Gemteneuroner

Antalbilleder

tiltræning



billeder


procent %



procent %

3.1 Koordinater 1000 0,5 56 56 20 20 20 100 20 100

3.2 Koordinater 1000 0,5 56 56 30 10 30 100 10 100

3.3 Vektor 1000 0,5 56 56 20 20 20 100 15 75

3.4 Vektor 1000 0,5 56 56 30 10 30 100 9 90

3.5 Vinkler 1000 0,5 56 56 20 20 20 100 17 85

3.6 Vinkler 1000 0,5 56 56 30 10 30 100 10 100

3.7 Vinkler 5000 0,5 56 56 30 10 30 100 10 100

3.8 Vinkler 50 0,1 56 56 30 10 30 100 10 100

3.9 Vinkler 50 0,5 56 56 30 10 30 100 10 100

3.10 Vinkler 50 0,8 56 56 30 10 30 100 10 100


38

4.4 KONKLUSION PÅ EKSPERIMENT I

Resultaterne i eksperiment I viser at netværket er i stand til at genkende profiler af to personermed god nøjagtighed. Resultaterne viser dog at genkendelsen med vektorer ikke er lige vellykketsom med punkter og vinkler. Nøjagtigheden med vektorer ligger på 50 –65 %, for punktermellem 70 – 90 % og for vinkler mellem 90 – 95 %. Den bedste genkendelse fik vi ved brug afvinkler, som også var forventet. Dog var det ikke forventet at punkterne gav et bedre resultat endvektorerne. En mulig fejlkilde til dette, er at personers profiler muligvis overlapper hinanden.Dette vil vi prøve at vise på nedenstående billede, hvor vi har lagt samtlige kendte profiler ovenihinanden. Dette viser at de billeder netværket brugte til at træne med, har tendens til atoverlappe, derfor det usikre resultat.

Figur 17 - 2 personers profiler overlapper hinandenPå figur 17 ses til venstre 10 profiler af person 1 lagt sammen. I midten ses 10 profiler af person2 lagt sammen. Til højre ses de 20 profiler lagt sammen. Som det ses på figuren forsvinder megetaf det distinktive ved en persons profil. Det er ikke længere muligt entydigt af sige hvilkenperson billedet til højre tilhører.


39

4.5 KONKLUSION PÅ EKSPERIMENT II

Lige som i eksperiment I, giver vektorene de dårligste resultater, 33%. Omvendt giver punkternei eksp. II et bedre resultat end for vinklerne. Vinklerne giver 53% og punkterne, et acceptabelt67%.Eksperimentet viser dog at netværket ikke entydigt er i stand til skelne imellem tre personer.Igen viser vi et billede, hvor alle tre personers profiler er blevet lagt oveni hinanden, hvor detgiver et stort overlap.

Figur 18 – 3 personers profiler overlapper hinanden

På figur 18 ses til venstre 10 profiler af person 1 lagt sammen. Næst til venstre ses profiler afperson 2 lagt sammen. Næste fra højre ses en persons 10 profiler lagt sammen. Længst til højreses de 30 profiler lagt sammen. De 30 billeder oveni hinanden, svarer til det input netværketmodtager.Som det ses på figuren forsvinder denne gang næsten hele distinktionen af alle personersprofiler. Det er ikke længere muligt at uddrage specifikke kendeteegn fra denne sammenlagteprofil.


40

4.6 KONKLUSION PÅ EKSPERIMENT III

Eksperiment III foretog vi for at se hvorvidt programmet var i stand til at skelne imellem toprofiler, hvoraf den ene var spejlvendt. Resultaterne viser at netværket ikke har nogen problemermed at skelne imellem to personer, når den ene er spejlvendt. Dette bekræfter vores idé om atproblemerne i vores eksperimenter ikke er selve netværket, men hellere personers profiler derikke er specifikke nok til at foretage en entydig profil identifikation

Igen må vi konkludere at vektorerne klarede sig dårligst, med 75% nøjagtighed.

Andre eksperimenter

Som det kan ses på eksperiment I til III, har vi også testet med learningraten og antallet afepoker. Disse faktorer gjorde ringe eller ingen udslag, og kan derfor ikke siges at være en vigtigfaktor i træningen. F.eks. i eksperiment III giver en træning med learningrate 0,1 og epoker = 50en 100% nøjagtighed. Træningen med 0,5 og epoker = 5000 giver også en nøjagtighed på 100%.Det fremgår dog ikke af resultaterne at træningen med 5000 epoker gav et mere nøjagtigt resultatend ved 50 epoker. Dette gør dog ingen forskel da man kun ser på hvad netværket ultimativtgætter på.

5. KONKLUSION

Vi har i vores projekt påvist at genkendelse af ansigtsprofiler er muligt med et neuralt netværk.Vi må dog sige at svaret på første spørgsmål i vores problemformulering:

Er det muligt at bruge neurale netværk til at identificere personer ud fra billeder af deresansigtsprofiler?Hvilken form for billedbehandling og neuralt netværk fungerer bedst?

må være et begrænset ja. Programmet kunne kun skelne imellem to personer, og det må siges atikke at være tilstrækkeligt at bruge som personidentifikation. Svaret til spørgsmål to, må udfraeksperimenterne være, at vi konkluderer at billedgenkendelse med vinkler er den mest effektive,hvilket også var det vi forventede.

Den fremkomne model består af et neuralt netværk og en billedbehanling. Det mest optimalenetværk til at genkende ansigtsprofiler er et netværk det bruger vinkler mellem vektorer, ved1000 epoker, læringsraten = 0,5, 72 inputneuroner og 50 mellem neuroner .Denne opsætning af netværket gav en nøjagtighed på 95 %.


41

6. PERSPEKTIVERING

Set ud fra resultaterne af vores eksperimenter, må vi sige at vi muligvis ikke har valgt den mestoptimale billedbehandling, ej heller neuralt netværk.En bedre billedbehandling kunne muligvis være at analysere et helt ansigt, i stedet for kun enprofil. En persons ansigt indeholder meget mere karakteristika end profilen gør.

Brug af andre typer netværk, f.eks. klassifikations netværk, ville muligvis også have bidraget tilbedre resultater.

Selvom vores genkendelsesprogram ikke var særligt effektivt til at genkende profiler, testede vimed andre typer objekter(som desværre ikke er blevet dokumenteret), f.eks. blade og svampe.Ved objekter med distinktive træk, var netværket velegnet til at skelne imellem disse objekter.

Fejlkilder:

• Personers profiler er generelt meget ens, og er derfor ikke optimale at bruge somidentifikation

• En drejning af personens hoved resulterer i at profilen ændrer sig relativt meget frabillede til billede.

• Ansigtsprofiler er meget ens. Dette gør at netværket må trænes meget præcist. Det gør detsværere for netværket at genkende de nye billeder, der muligvis afviger en smule fratræningsbillederne. Dette at netværket ”overtrænes” kaldes også overfitting.


42

7. ORDFORKLARINGDette afsnit indeholder en kort forklaring af forskellig udtryk brugt i rapporten.

Aktiveringsfunktion• Indbygget i en neuron, afgører om den skal fyre eller ej. Der findes mange forskellige

typer af aktiveringsfunktioner f.eks. Threshold og Sigmoid

Backwardpropagation• Justering af vægte baglæns i et neuralt netværk baseret på træning.

Bias• Værdi der kan benyttes i neurale netværk til at gøre det nemmere for neuroner at fyre

Biologisk neuron• De grundlæggende celler i nervesystemet og hjernen.

Biometri• Den menneskelige krop brugt som identifikation, f.eks. øjenhinde, stemme eller

fingeraftryk

Deltaværdi• Værdi en given vægt skal justeres med i en backwards propagation

Dendrit• Fiber forbundet til en biologisk neuron, fragter nerveimpulser til og fra neuronen

Detect Edge Algoritmer• Algoritmer designet til at finde kanter i et billede og returnere punkterne i disse kanter

Errorværdi• Forskellen mellem en given outputneuron efter forwardpropagation og det tilsvarende

target-mønster. Bruges til backwardspropagation.

Forward propagation• Fremadskubningen af værdier igennem det neurale netværk fra input-laget til output

laget.

Indlæringsrate• Værdi der afgører hvor stor del af deltaværdien der bliver påført en vægt, altid et tal

mellem 0 og 1.

Inputværdier• Værdier der bliver sat i inputlaget af det neurale netværk


43

Kunstig neuron• En efterligning af den biologiske neuron til brug i neurale netværk. Har en

Aktiveringsværdi der afgører om den skal fyre eller ej.

Lokalt minimum• En tilstand netværker kan komme i under backpropagation træning, hvor det fejlagtigt

antages at den lavest mulige errorværdi er fundet og træningen derfor ophører.

Momentum• Værdi der kan benyttes i neurale netværk. Momentumværdier der er mellem 0 og 1,

afgør hvor meget af den forrige vægtændring der skal tillægges den nuværende.

Neuralt Netværk• En kunstig efterligning af det den menneskelige hjernes opbygning, kendt for at være

godt til identifikation og indlæring. Består af et input lag, et output lag og et vilkårligtantal skjulte lag

Outputværdier• Værdier der fremkommer i outputlaget efter forward propagation

Photoshop• Billedbehandlingsprogram udviklet af Adobe, se www.adobe.com.

Pixel• Prikker der opbygger et billede på en computerskærm. En pixels farvedybde afhænger

af hvor mange bits den er. En 2 bits pixel kan repræsentere 2 farver, 4 bits kanrepræsentere 16 farver osv.

Steepest Descent• Teorien der svarer til vores backpropagation algoritme. BP. Svæver hen over

errorfladen, og finder hele tiden den stejleste nedstigning i fladen.

Synapse• Stedet hvor en elektrisk nerveimpuls udveksles mellem to neuroner eller en neuron og

en muskel

Vægt• Forbindelse mellem neuroner i forskellige lag af det neurale netværk. Værdien af

vægten beskriver hvor betydningsfuld forbindelsen er.

XOR – problem• Logisk operator der modtager to binære inputs og giver resultatet 1 hvis de to input er

forskellige fra hinanden, hvis ikke giver den resultatet 0


44

8. LITTERATURLISTE:Bøger:1. Simon Haykin, "Neural Networks - A comperehensive Foundation", Prentice Hall, ISBN:0-

02-352761-7 1994

2. Russell and Norvig, ”Learning in Neural and Belief Networks”

3. Ole Sørensen, “Neural Networks in Control Applications”, Aalborg universitet, ISSN:09081208

4. Søren Brunak og Benny Lautrup, ”Neurale Networks: Computers with Intuition” ISBN:9971-50-939

5. Astrids Hauglands, ”Digitale Billeder: Billedbehandling på pc”, ISBN 87-7843-458-0

6. Ole Fogh Kirkeby og Torben Tambo, ”Gudsur: Kunstig intelligens og neurale netværk” ISBN:87-00-06603-6

7. William F. Allman, ”Vidunderets lærling: Introduktion til neurale netværk” ISBN 87-01-34362-9

8. D.E Rumelhart, J.L. McClelland (Eds.), ”Parallel Distributed Processing” 1986

Rapporter:1. Kunstig intelligens & vand, Nat Bas 2001/02:77 IDNR: x515214859

Hjemmesider / Adobe PDF-filer:1. http://www2000198.thinkquest.dk/main.html - Neurale netværk

2. http://www.codeproject.com/cpp/gestureapp.asp#xx82869xx) - Mouse gestures recognition afKonstantin Boukreev.

3. http://www.generation5.org- Kunstig intelligen.

4. Handbook of neural computation (http://www.oup-usa.org/acadref/ncg8_1.pdf) - NeuraleNetværk.

5. http://www.astrology.dk/3hus/er/0110x_intro_neurale_netvaerk.htm

Leksikon:1. Lademanns Multimedia Leksikon '98, Lademann A/S, ISBN: 87-15-06354-2

2. Microsoft Encarta ´98, Retail Box, Pc, Part nr: 196-00138


45

9. BILAG

9.1 EKSEMPLER PÅ ANVELDELSE AF TEORI9.1.1 XORproblemet

Et klassik problem er XOR problemet hvor vi har to input og et resultat, se nedenståendesandhedstabel for en XOR funktionen:

Input A Input B Resultat Q0 0 00 1 11 0 11 1 0

XOR funktionen giver kun true hvis der er forskel på de to indgange.

Den simpleste måde at repræsentere XOR funktionen til et neuralt er at have to input neuroner,en mellem neuron og en output neuron, se Figur 2. Ved at træne netværket kan man eks. fåfølgende vægte der er angivet på figur 3.

B

Q

Mellemlag

Inputlag

Resultat

1,0 1,0-2

1,5

0,5

1,0 1,0

A

Figur 19: Netværk arkitektur med en mellemneuron, hvor input neuronerne er direkteforbundet til output laget.

Figur 20: Netværk arkitektur for løsning afXOR, vi kan se at input neuronerne ikke erdirekte forbundet til output laget.

Output

A B

Q

Mellemlag

Inputlag

Resultat

-2,0 8,0

4,3 9,2

-0,12,0

-4,5 5,3

-0,8Output


46

En anden løsning er illustreret på figur 2, hvor man har to neuroner i mellemlaget og hvor manikke har direkte forbindelse fra input laget til output laget. Efter at netværket på figur 2 er trænet6587 gange har man fået vægterne der er angivet på figuren.Man kan sige at flere mellem neuroner at der ligger i mellemlaget jo flere gange skal netværkettrænes.

9.1.2 Orddelingsproblemet(Uddrag og sammenfatning fra kapitlet om Worddivision - bogen Neurale Networks: Computers withIntuition af Søren Brunak og Benny Lautrup ISBN: 9971-50-939=

Grunden til at vi har valgt orddelingsproblemet, er at det har en generel interesse når manarbejder med neurale netværk, idet at det drejer sig om hvordan man skal repræsentere detkonkrete problem. Men i dette afsnit vil vi opsummere om orddelings problemet fra bogen(Neurale Networks computers with Intuition: Af Brunak og Lautrup)

Når man skriver en tekst i et tekstbehandlingsprogram vil man på et tidspunkt komme til endenaf linien, hvor der måske ikke er plads til et helt ord, men kun dele af ordet. Da det ikke erprofessionelt af lade et ord stikke ud i marginen eller at lade ordene flyde ud så det fylder helelinien, bruger man orddeling. Dette gøres oftest ved at sætte en bindestreg, som viser at ordet forenden af linien ikke er hele ordet.Det har været nævnt før at, det at sætte bindestregen kræver intelligens og at dette problem ikkeer let at løse, bare ved at sætte et sæt regler for hvordan det gøres.Forfatter ved hvordan man deler ordene, men hvorimod dem som ikke skriver ret meget måskehar problemer med hvordan ordene skal deles. Selv de mest erfarings rige forfatter kansommetider have problemer med nogle specielle ord.Problemet med orddeling har en karakter som gør det naturligt at prøve at bruge de neuralenetværk til at løse dette problem, ved hjælp af de såkaldte perceptroner, og dette blev også udførtaf Søren Brunak og Benny Lautrup i 1988. Det er nemlig deres løsning vi vil prøve at beskrivefor at få et indblik i hvordan man kan løse et reelt problem med neurale netværk.

Hvordan skal bogstaverne repræsenteres som udtryk af neural aktivitets mønstre oghvordan skulle netværket se ud?Klassifikationen som perceptronen er påkrævet at udføre, er at vælge om det enten er eller ikkeer korrekt at dele ordet imellem de udvalgte bogstaver i ordet. Denne beslutning skal laves ud frakonteksten af bogstaverne om det specifikke punkt. Denne kontekst bliver valgt til at væretemmelig begrænset, indeholder typisk fire bogstaver på hver side af det mulige delings punkt.Således ses ordet gennem et vindue af i alt otte bogstaver.I det engelske sprog er der 26 forskellige bogstaver som netværket skulle kunne kende forskelpå. Dette kræver at der skal være en signifikant forskel mellem aktivitetsmønstret, somrepræsentere bogstaverne i input laget af netværket. Derfor har Brunak og Lautrup valgt at have8 bogstaver repræsenteret i input vinduet og derved indeholder perceptronen bestå af 8 blokkemed hver 26 neuroner, i alt 208 neuroner. På figuren kan ses hvordan perceptronen er opbygget.


47

Figur 21 Neuralt netværk - Orddelingsproblemet

Perceptronen har kun to output neuroner, hver især repræsenteret to kategorier af svar: ja hvisordet kan blive delt og nej hvis det ikke kan. Svaret bliver givet af perceptronen, men bliver valgtaf den output neuronen som har den højeste aktivitet.Det skjulte lag er opbygget af 100 gemte neuroner og dette medføre at perceptronen indeholder100 * 208 + 2 * 100 = 21000 ”synaptic strengths” og 100 + 2 = 102 thresholds. Alt i altindeholder netværket 21102 justerbare parameter.For at kunne træne perceptronen må det præsenteres for en masse ord der er rigtigt orddelt. For attræne netværket brugte Brunak og Lautrup 15699 tilfældige valgte ord fra den engelske ordbogDisse ord blev præsenteret til netværket ved at trække ordene i gennem input vinduet bogstav forbogstav. Ordene indeholdte i alt 120203 forskellige trænings eksempler, hvert ord medfragmenter af 8 bogstaver. Alle ordene skulle præsenteres mange gange, i alt ca. 300 gange forhver enkelt ord og ca. 36 millioner gange i alt.

I begyndelsen var netværket givet tilfældigt vægte og thresholds og orddelingen var dermedfuldstændig tilfældige og meningsløs. For hver præsentation af et fragment af et ord, blev fejleneopsamlet og brugt til at ændre knuderne, på sådan en måde at netværket senere kan genkende detsamme fragment og give et svar tætter på det ønskede. Efter 36 millioner præsentationer affragmenter, vil perceptronen kunne dele 99,8 % af ordene rigtigt.


48

9.1.3 Genkendelse af musebevægelser(kilde: ”Mouse gestures recognition” af Konstantin Boukreev,http://www.codeproject.com/cpp/gestureapp.asp#xx82869xx)

Gesture recognition omhandler oversættelsen af musebevægelser ”gestures” til kommandoercomputeren kan forstå.

Anvendelsesområder er f.eks. browsere som Opera, hvor mouse gestures bruges til bl.a.navigationskommandoer som ”frem”, ”tilbage” og ”åbn nyt vindue”. Typiske gestures som kanbenyttes (da de jo ikke kan være for komplekse) er:

Figur 22 - Mouse gestures

Som det ses er det relativt simple figurer så det er begrænset hvor mange gestures der kanimplementeres. Typisk vil der ikke kunne implementere mere end 30-40 forskellige gestures førkompleksiteten i udførelsen modvejer selve ideen i gestures som genvej til funktioner.

Den typiske måde at implementere mouse gestures er, at lade højre museknap være ”optage”knappen. I det øjeblik brugeren holder højre museknap nede begynder applikationen at optagemusens bevægelser og stopper når knappen ikke længere er trykket ned (1).

Figur 23 - Input omsat til punkter


49

Dette resulterer i en liste med positioner. Disse positioner omsættes til ”base-points”. Base pointser punkter i 2D. Et punkt oprettes når musens bevægelsesretning ændres (2&3). Base pointsomsættes til vektorer og der udregnes sinus og cosinus til vektorerne. Disse værdier indsættes idet neurale netværk.

Netværket der skal benyttes til gesture recognition bør have et enkelt mellem-lag, antallet afinput neuroner afhænger af den ønskede præcision af optagelsen af musens bevægelser og er enfunktion af antallet af base points. Antallet af mellem-neuroner er det samme som input-neuronerog antallet af output-neuroner afhænger af antallet af gestures applikationen skal genkende.

9.2 UDDRAG FRA EKSPERIMENT DATA9.2.1 Eksperiment I – To personer

Formål:Formålet med det første eksperiment er at se om det neurale netværk kan genkende en ansigtsprofil, når det bliver trænet med billeder af to forskellige personer.

Eksperimentet består af i alt seks forskellige deleksperimenter.

• 2 med Koordinater• 2 med Vektorer• 2 med Vinklen


50

9.2.1.1 Eksperiment 1.1Formål:Formålet med dette deleksperiment er at bestemme det neurale netværks evne til at opfyldeformålet for hovedeksperiment 1 med brug af koordinater som input.

Neurale netværk:Input neuroner: 36*2 = 72Gemte neuroner: 72

Epoker: 1000Learning Rate: 0.5

Billeder af hver person:Træning: 15Ukendte 5

Eksperimentel data:

Ukendte billeder Ukendte billederSvein16Output Værdi 1: 0.97136Output Værdi 2: 0.035264Output Værdi 3: 0.00200364Svein17Output Værdi 1: 0.980266Output Værdi 2: 0.0198454Output Værdi 3: 0.00155803Svein18Output Værdi 1: 0.0393608Output Værdi 2: 0.950499Output Værdi 3: 0.00111151Svein19Output Værdi 1: 0.221374Output Værdi 2: 0.7894Output Værdi 3: 0.00133652Svein20Output Værdi 1: 0.205555Output Værdi 2: 0.833223Output Værdi 3: 0.000869286

Rasmus16Output Værdi 1: 0.00719221Output Værdi 2: 0.992475Output Værdi 3: 0.000775199Rasmus17Output Værdi 1: 0.00129864Output Værdi 2: 0.998701Output Værdi 3: 0.000933987Rasmus18Output Værdi 1: 0.00926299Output Værdi 2: 0.99009Output Værdi 3: 0.000888175Rasmus19Output Værdi 1: 0.00255345Output Værdi 2: 0.997351Output Værdi 3: 0.000652294Rasmus20Output Værdi 1: 0.00531636Output Værdi 2: 0.994313Output Værdi 3: 0.000817682

Konklusion:Netværket har genkendt 7 ud af 10 billeder og har en genkendelsesprocent på 70. Yderligere erdet værd at bemærke at for den ene person blev 2 ud af 5 billeder genkendt mensgenkendelsesraten var 5 ud af 5 for den anden person


51

9.2.1.2 Eksperiment 1.2Formål:Formålet for eksperiment 1.2 er det sammen som eksperiment 1.1, bortset fra at antallet afepoker er hævet til 5000



Billede af hver personr:Træning: 15Ukendte 5

Eksperimentel data:



Konklusion:Netværket har genkendt 9 ud af 10 billeder, hvilket giver en genkendelsesprocent på 90.


52

9.2.1.3 Eksperiment 1.3Formål:Formålet med dette eksperiment er at undersøge netværkets evne til at opfylde hovedeksperiment1’s formål, med vektorer som input.




Eksperimentel data:Ukendte billeder Ukendte billederSvein16Output Værdi 1: 0.988146Output Værdi 2: 0.0141795Output Værdi 3: 0.000213799Svein17Output Værdi 1: 0.590968Output Værdi 2: 0.686405Output Værdi 3: 0.0037155Svein18Output Værdi 1: 0.00266468Output Værdi 2: 0.997785Output Værdi 3: 0.000996404Svein19Output Værdi 1: 0.0241296Output Værdi 2: 0.957622Output Værdi 3: 0.000655604Svein20Output Værdi 1: 0.0681099Output Værdi 2: 0.912495Output Værdi 3: 0.00188332


Konklusion:Netværket har genkendt 5 ud af 10 billeder og har derved en genkendelsesprocent på 50.


53

9.2.1.4 Eksperiment 1.4Formål:Formålet med dette eksperiment er at se om man kan forbedre genkendelses procenten fraeksperiment 1.3, ved at trænet netværket med flere billeder.




Eksperimentel data:Ukendte billeder Ukendte billederSvein16Output Værdi 1: 0.988146Output Værdi 2: 0.0141795Output Værdi 3: 0.000213799Svein17Output Værdi 1: 0.590968Output Værdi 2: 0.686405Output Værdi 3: 0.0037155Svein18Output Værdi 1: 0.00266468Output Værdi 2: 0.997785Output Værdi 3: 0.000996404Svein19Output Værdi 1: 0.0241296Output Værdi 2: 0.957622Output Værdi 3: 0.000655604Svein20Output Værdi 1: 0.0681099Output Værdi 2: 0.912495Output Værdi 3: 0.00188332


Konklusion:Ud fra de eksperimentelle data kan vi konkludere at det ikke gjorde nogen forskel at trænenetværket med flere billeder, da det stadig kun kan genkende 5 ud ad 10 (50 %) ukendte billeder.Allerede nu kan vi se at vektorer ikke er det optimale som input til netværket.

9.2.1.5 Eksperiment 1.5Formål:


54

Formålet med dette eksperiment er at undersøge netværkets evne til at opfylde hovedeksperiment1’s formål med vinkelværdier som input.



Billede af hver person:Træning: 10Ukendte 10

Eksperimentel data:Ukendte billeder Ukendte billederSvein11Output Værdi 1: 0.970446Output Værdi 2: 0.031045Output Værdi 3: 0.00168741Svein12Output Værdi 1: 0.921971Output Værdi 2: 0.0788823Output Værdi 3: 0.000263769Svein13Output Værdi 1: 0.999988Output Værdi 2: 1.01693e-005Output Værdi 3: 0.000637781Svein14Output Værdi 1: 0.98102Output Værdi 2: 0.0157689Output Værdi 3: 0.000435106Svein15Output Værdi 1: 0.999754Output Værdi 2: 0.000138144Output Værdi 3: 0.000743787Svein16Output Værdi 1: 0.00177248Output Værdi 2: 0.998631Output Værdi 3: 0.0042391Svein17Output Værdi 1: 0.684779Output Værdi 2: 0.209795Output Værdi 3: 0.000750411Svein18Output Værdi 1: 0.199201Output Værdi 2: 0.767189Output Værdi 3: 0.000300758Svein19Output Værdi 1: 0.872591Output Værdi 2: 0.161557

Rasmus11Output Værdi 1: 0.0352484Output Værdi 2: 0.963262Output Værdi 3: 0.000297134Rasmus12Output Værdi 1: 0.0857839Output Værdi 2: 0.914403Output Værdi 3: 0.000362628Rasmus13Output Værdi 1: 0.030443Output Værdi 2: 0.970518Output Værdi 3: 0.000919502Rasmus14Output Værdi 1: 0.00113552Output Værdi 2: 0.998859Output Værdi 3: 0.000769498Rasmus15Output Værdi 1: 6.14075e-005Output Værdi 2: 0.999922Output Værdi 3: 0.000836488Rasmus16Output Værdi 1: 0.101963Output Værdi 2: 0.863426Output Værdi 3: 0.00067299Rasmus17Output Værdi 1: 3.93568e-005Output Værdi 2: 0.999932Output Værdi 3: 0.00141062Rasmus18Output Værdi 1: 0.0063069Output Værdi 2: 0.990492Output Værdi 3: 0.000698323Rasmus19Output Værdi 1: 0.328745Output Værdi 2: 0.608252


55

Output Værdi 3: 0.000875328Svein20Output Værdi 1: 0.999543Output Værdi 2: 0.000319717Output Værdi 3: 0.000749532

Output Værdi 3: 0.000524926Rasmus20Output Værdi 1: 0.0182083Output Værdi 2: 0.979274Output Værdi 3: 0.00047877

Konklusion:Ud fra de eksperimentelle data kan vi her ved se at netværket har genkendt 18 ud ad 20 ukendtebilleder, og det giver en genkendelse procent på 90 %.

9.2.1.6 Eksperiment 1.6Formål:Formålet med dette eksperiment er at se hvordan det vil påvirke netværket at sætte de gemteneuroner ned til 50 i stedet for de 72 vi har haft i alle de andre eksperimenter.




Eksperimentel data:Ukendte billeder Ukendte billederSvein11Output Værdi 1: 0.978936Output Værdi 2: 0.021235Output Værdi 3: 0.002446Svein12Output Værdi 1: 0.958844Output Værdi 2: 0.0525685Output Værdi 3: 0.00106518Svein13Output Værdi 1: 0.999695Output Værdi 2: 0.000257159Output Værdi 3: 0.000544906Svein14Output Værdi 1: 0.952824Output Værdi 2: 0.0454453Output Værdi 3: 0.000448648Svein15Output Værdi 1: 0.97763Output Værdi 2: 0.0333251Output Værdi 3: 0.00108863Svein16Output Værdi 1: 0.591787

Rasmus11Output Værdi 1: 0.0101504Output Værdi 2: 0.987491Output Værdi 3: 0.000563419Rasmus12Output Værdi 1: 0.08187Output Værdi 2: 0.913102Output Værdi 3: 0.00102058Rasmus13Output Værdi 1: 0.0432082Output Værdi 2: 0.961103Output Værdi 3: 0.000793756Rasmus14Output Værdi 1: 0.0546835Output Værdi 2: 0.955485Output Værdi 3: 0.00181763Rasmus15Output Værdi 1: 0.0052575Output Værdi 2: 0.992343Output Værdi 3: 0.00159868Rasmus16Output Værdi 1: 0.027344


56

Output Værdi 2: 0.674858Output Værdi 3: 0.00225311Svein17Output Værdi 1: 0.642047Output Værdi 2: 0.260451Output Værdi 3: 0.00115162Svein18Output Værdi 1: 0.989328Output Værdi 2: 0.00519312Output Værdi 3: 0.00114168Svein19Output Værdi 1: 0.877648Output Værdi 2: 0.0802494Output Værdi 3: 0.00222407Svein20Output Værdi 1: 0.760566Output Værdi 2: 0.226257Output Værdi 3: 0.00120987

Output Værdi 2: 0.950484Output Værdi 3: 0.000733091Rasmus17Output Værdi 1: 0.0501574Output Værdi 2: 0.922347Output Værdi 3: 0.00147852Rasmus18Output Værdi 1: 0.0195304Output Værdi 2: 0.965942Output Værdi 3: 0.000978635Rasmus19Output Værdi 1: 0.094796Output Værdi 2: 0.772576Output Værdi 3: 0.00123575Rasmus20Output Værdi 1: 0.110596Output Værdi 2: 0.839587Output Værdi 3: 0.00169527

Konklusion:Ud fra de eksperimentelle data kan vi her ved se at netværket har genkendt 19 ud ad 20 ukendtebilleder, og det giver en genkendelse procent på 95 %. Derved kan vi se at ved at sætte antalet afneuroner ned i dette eksempel kan vi forhøje genkendelsens procenten.


57

9.2.2 Eksperiment II – Tre personerFormål:Formålet med det andet eksperiment er at se om det neurale netværk kan genkende en ansigtprofil, når det bliver trænet med billeder af tre forskellige personer.

Eksperimentet består af i alt tre forskellige deleksperimenter• 1 med Koordinater som input• 1 med Vektorer som input• 1 med Vinklen som input

9.2.2.1 Eksperiment 2.1Formål:Formålet med dette eksperiment er undersøge netværkets evne til at genkende 3 personer, medkoordinater som repræsentation.




Eksperimentelle data:Ukendte billeder Ukendte billeder Ukendte billederSvein16Output Værdi 1: 0.588093Output Værdi 2: 0.0180828Output Værdi 3: 0.00397281Svein17Output Værdi 1: 0.938651Output Værdi 2: 0.00152857Output Værdi 3: 0.0911638Svein18Output Værdi 1: 0.116963Output Værdi 2: 0.599964Output Værdi 3: 0.000126271Svein19Output Værdi 1: 0.00963767Output Værdi 2: 0.0109895Output Værdi 3: 0.96605Svein20Output Værdi 1: 0.741633Output Værdi 2: 0.628105Output Værdi 3: 6.77065e-006

Rasmus16Output Værdi 1: 0.0573273Output Værdi 2: 0.996135Output Værdi 3: 4.13275e-006Rasmus17Output Værdi 1: 0.00428535Output Værdi 2: 0.99808Output Værdi 3: 5.86395e-006Rasmus18Output Værdi 1: 0.0206501Output Værdi 2: 0.97471Output Værdi 3: 0.000147485Rasmus19Output Værdi 1: 0.0204494Output Værdi 2: 0.999098Output Værdi 3: 4.60987e-007Rasmus20Output Værdi 1: 0.0810821Output Værdi 2: 0.995546Output Værdi 3: 1.49304e-006

Thomas16Output Værdi 1: 0.68883Output Værdi 2: 0.00868072Output Værdi 3: 0.0641739Thomas17Output Værdi 1: 0.841415Output Værdi 2: 0.000107219Output Værdi 3: 0.934671Thomas18Output Værdi 1: 0.750313Output Værdi 2: 0.000411871Output Værdi 3: 0.666421Thomas19Output Værdi 1: 0.0351137Output Værdi 2: 0.00317403Output Værdi 3: 0.824445Thomas20Output Værdi 1: 0.969454Output Værdi 2: 0.000676239Output Værdi 3: 0.0267089


58

Konklusion:

Ud fra de eksperimentelle data kan vi her ved se at netværket har genkendt 10 ud ad 15 ukendtebilleder, og det giver en genkendelse procent på 66,67% %.

9.2.2.2 Eksperiment 2.2Formål:Formålet med dette eksperiment er undersøge netværkets evne til at genkende 3 personer, medvektorer som repræsentation.




Eksperimentelle data:Ukendte billeder Ukendte billeder Ukendte billederSvein16Output Værdi 1: 0.52765Output Værdi 2: 0.00910877Output Værdi 3: 0.302841Svein17Output Værdi 1: 0.00511374Output Værdi 2: 0.000477809Output Værdi 3: 0.971953Svein18Output Værdi 1: 1.79751e-006Output Værdi 2: 0.147658Output Værdi 3: 0.742788Svein19Output Værdi 1: 4.60432e-005Output Værdi 2: 0.995814Output Værdi 3: 0.0455599Svein20Output Værdi 1: 0.000945255Output Værdi 2: 2.86906e-006Output Værdi 3: 0.999008

Rasmus16Output Værdi 1: 6.12389e-006Output Værdi 2: 0.99808Output Værdi 3: 0.00538449Rasmus17Output Værdi 1: 0.999973Output Værdi 2: 0.00496849Output Værdi 3: 2.45132e-005Rasmus18Output Værdi 1: 0.000489461Output Værdi 2: 0.999976Output Værdi 3: 5.63539e-005Rasmus19Output Værdi 1: 0.000175456Output Værdi 2: 0.00565098Output Værdi 3: 0.300463Rasmus20Output Værdi 1: 0.344136Output Værdi 2: 0.411935Output Værdi 3: 0.000189581

Thomas16Output Værdi 1: 0.998138Output Værdi 2: 0.000117654Output Værdi 3: 0.0339011Thomas17Output Værdi 1: 0.000557754Output Værdi 2: 0.994129Output Værdi 3: 0.186661Thomas18Output Værdi 1: 0.849411Output Værdi 2: 0.000492493Output Værdi 3: 0.16072Thomas19Output Værdi 1: 6.2338e-005Output Værdi 2: 0.0147Output Værdi 3: 0.996479Thomas20Output Værdi 1: 0.00761067Output Værdi 2: 0.0193058Output Værdi 3: 0.00526498



59

9.2.2.3 Eksperiment 2.3

Formål:Formålet med dette eksperiment er undersøge netværkets evne til at genkende 3 personer, medvinkelværdier som repræsentation.




Eksperimentelle data:Ukendte billeder Ukendte billeder Ukendte billederSvein16Output Værdi 1: 0.857567Output Værdi 2: 0.933522Output Værdi 3: 0.0304995Svein17Output Værdi 1: 7.20357e-007Output Værdi 2: 0.0900692Output Værdi 3: 0.45765Svein18Output Værdi 1: 0.00286249Output Værdi 2: 0.832457Output Værdi 3: 0.0277267Svein19Output Værdi 1: 0.00493904Output Værdi 2: 0.437435Output Værdi 3: 0.00061298Svein20Output Værdi 1: 0.297531Output Værdi 2: 0.00306971Output Værdi 3: 0.0266581

Rasmus16Output Værdi 1: 0.0344955Output Værdi 2: 0.99656Output Værdi 3: 5.05668e-005Rasmus17Output Værdi 1: 0.0162706Output Værdi 2: 0.943957Output Værdi 3: 1.09569e-005Rasmus18Output Værdi 1: 0.232339Output Værdi 2: 0.888197Output Værdi 3: 4.68981e-005Rasmus19Output Værdi 1: 0.00704399Output Værdi 2: 0.98182Output Værdi 3: 0.000110431Rasmus20Output Værdi 1: 0.00316063Output Værdi 2: 0.996559Output Værdi 3: 2.44944e-005


Konklusion:Ud fra de eksperimentelle data kan vi her ved se at netværket har genkendt 8 ud ad 15 ukendtebilleder, og det giver en genkendelse procent på 53,4 %.


60

9.2.3 Eksperiment III – Med to personer, hvor af det ene er spejlvendt.Formål:Formålet med det andet eksperiment er at se om det neurale netværk kan genkende en ansigtprofil, når det bliver trænet med billeder af to personer, hvoraf den en er spejlvendt.

Eksperimentet består af i alt 10 forskellige opsætninger.• 2 med Koordinater som input• 2 med Vektorer som input• 6 med Vinklen som input

Med forskellige indlæringsværdier og antal epoker

9.2.3.1 Eksperiment 3.1Formål:Formålet med dette eksperiment er at bestemme det neurale netværks evne til at genkende 2personer, hvoraf den ene er spejlvendt. Som repræsentation benyttes koordinater.




Eksperimentelle data:Ukendte billeder Ukendte billederSvein11Output Værdi 1: 0.984745Output Værdi 2: 0.0175764Output Værdi 3: 0.00105436Svein12Output Værdi 1: 0.978193Output Værdi 2: 0.0185194Output Værdi 3: 0.00114065Svein13Output Værdi 1: 0.995631Output Værdi 2: 0.00543103Output Værdi 3: 0.0011758Svein14Output Værdi 1: 0.993673Output Værdi 2: 0.0072469Output Værdi 3: 0.00128398Svein15Output Værdi 1: 0.992485Output Værdi 2: 0.00782959

Rasmus11Output Værdi 1: 0.022261Output Værdi 2: 0.979353Output Værdi 3: 0.000753786Rasmus12Output Værdi 1: 0.00291157Output Værdi 2: 0.997491Output Værdi 3: 0.000958405Rasmus13Output Værdi 1: 0.00838616Output Værdi 2: 0.991402Output Værdi 3: 0.000729333Rasmus14Output Værdi 1: 0.0125193Output Værdi 2: 0.987127Output Værdi 3: 0.000965556Rasmus15Output Værdi 1: 0.00822063Output Værdi 2: 0.991491


61

Output Værdi 3: 0.00145825Svein16Output Værdi 1: 0.991557Output Værdi 2: 0.0105076Output Værdi 3: 0.00121074Svein17Output Værdi 1: 0.995944Output Værdi 2: 0.00460646Output Værdi 3: 0.00153353Svein18Output Værdi 1: 0.98236Output Værdi 2: 0.0240781Output Værdi 3: 0.00133993Svein19Output Værdi 1: 0.963955Output Værdi 2: 0.0301058Output Værdi 3: 0.00138033Svein20Output Værdi 1: 0.976075Output Værdi 2: 0.0320784Output Værdi 3: 0.00130778

Output Værdi 3: 0.000893335Rasmus16Output Værdi 1: 0.00421923Output Værdi 2: 0.996017Output Værdi 3: 0.000940778Rasmus17Output Værdi 1: 0.00707509Output Værdi 2: 0.993643Output Værdi 3: 0.000896594Rasmus18Output Værdi 1: 0.00510624Output Værdi 2: 0.995454Output Værdi 3: 0.000886116Rasmus19Output Værdi 1: 0.0060468Output Værdi 2: 0.993733Output Værdi 3: 0.00084055Rasmus20Output Værdi 1: 0.00508517Output Værdi 2: 0.995271Output Værdi 3: 0.000859176



62

9.2.3.2 Eksperiment 3.2Formål:Formålet med dette eksperiment er at bestemme det neurale netværks evne til at genkende 2personer, hvoraf den ene er spejlvendt. Som repræsentation benyttes koordinater. Forskellen forden forrige eksperiment er at vi nu bruger 15 billeder til at træne netværket med.




Eksperimentelle data:Ukendte billeder Ukendte billederSvein16Output Værdi 1: 0.989649Output Værdi 2: 0.0284363Output Værdi 3: 0.00259313Svein17Output Værdi 1: 0.996096Output Værdi 2: 0.00631612Output Værdi 3: 0.00407549Svein18Output Værdi 1: 0.980239Output Værdi 2: 0.0184869Output Værdi 3: 0.00171667Svein19Output Værdi 1: 0.977126Output Værdi 2: 0.0231293Output Værdi 3: 0.00150151Svein20Output Værdi 1: 0.983003Output Værdi 2: 0.0188592Output Værdi 3: 0.00184711




63

9.2.3.3 Eksperiment 3.3Formål:Formålet med dette eksperiment er at bestemme det neurale netværks evne til at genkende 2personer, hvoraf den ene er spejlvendt. Som repræsentation benyttes vektorer.




Eksperimentelle data:Ukendte billeder Ukendte billederSvein11Output Værdi 1: 0.952274Output Værdi 2: 0.0118636Output Værdi 3: 0.000367258Svein12Output Værdi 1: 0.00739232Output Værdi 2: 0.944523Output Værdi 3: 0.00083995Svein13Output Værdi 1: 0.762179Output Værdi 2: 0.100793Output Værdi 3: 0.000347956Svein14Output Værdi 1: 0.791312Output Værdi 2: 0.330878Output Værdi 3: 0.000117314Svein15Output Værdi 1: 0.42697Output Værdi 2: 0.668908Output Værdi 3: 0.000134445Svein16Output Værdi 1: 0.909699Output Værdi 2: 0.016407Output Værdi 3: 0.000382424Svein17Output Værdi 1: 0.618814Output Værdi 2: 0.440436Output Værdi 3: 0.000515387Svein18Output Værdi 1: 0.0188396Output Værdi 2: 0.984888Output Værdi 3: 0.000908622Svein19

Rasmus11Output Værdi 1: 0.633741Output Værdi 2: 0.183837Output Værdi 3: 0.00371559Rasmus12Output Værdi 1: 0.00730882Output Værdi 2: 0.982388Output Værdi 3: 0.000794153Rasmus13Output Værdi 1: 0.0327286Output Værdi 2: 0.949128Output Værdi 3: 0.00159047Rasmus14Output Værdi 1: 0.020725Output Værdi 2: 0.989828Output Værdi 3: 0.000291868Rasmus15Output Værdi 1: 0.176791Output Værdi 2: 0.901355Output Værdi 3: 0.00171297Rasmus16Output Værdi 1: 0.00542217Output Værdi 2: 0.995601Output Værdi 3: 0.000442514Rasmus17Output Værdi 1: 0.0147767Output Værdi 2: 0.986894Output Værdi 3: 0.000388017Rasmus18Output Værdi 1: 0.0013248Output Værdi 2: 0.996698Output Værdi 3: 0.000941476Rasmus19


64

Output Værdi 1: 0.973532Output Værdi 2: 0.0252919Output Værdi 3: 0.000397952Svein20Output Værdi 1: 0.595814Output Værdi 2: 0.636506Output Værdi 3: 0.000170881

Output Værdi 1: 0.162085Output Værdi 2: 0.803195Output Værdi 3: 0.00209268Rasmus20Output Værdi 1: 0.0374246Output Værdi 2: 0.864732Output Værdi 3: 0.000935028

Konklusion:Ud fra de eksperimentelle data ses det at netværket har genkendt 15 ud ad 20 ukendte billeder, ogdet giver en genkendelse procent på 75 %.

9.2.3.4 Eksperiment 3.4Formål:Formålet med dette eksperiment er at bestemme det neurale netværks evne til at genkende 2personer, hvoraf den ene er spejlvendt. Som repræsentation benyttes vektorer. Forskellen for detforrige eksperiment er at vi træner netværket med 15 billeder i sted for 10.



Billede af hver personr:Træning: 15Ukendte 5Eksperimentelle data:Ukendte billeder Ukendte billederSvein16Output Værdi 1: 0.756222Output Værdi 2: 0.344497Output Værdi 3: 0.00602611Svein17Output Værdi 1: 0.995724Output Værdi 2: 0.00198303Output Værdi 3: 0.000339361Svein18Output Værdi 1: 0.0223735Output Værdi 2: 0.972649Output Værdi 3: 0.00113962Svein19Output Værdi 1: 0.995723Output Værdi 2: 0.00500404Output Værdi 3: 0.000124265Svein20Output Værdi 1: 0.961549Output Værdi 2: 0.061181Output Værdi 3: 0.00416936



65

Konklusion:Ud fra de eksperimentelle data kan vi her ved se at netværket har genkendt 9 ud ad 10 ukendtebilleder, og det giver en genkendelse procent på 90 %. Derved har det hjulpet af træne netværketmed ekstra billeder.

9.2.3.5 Eksperiment 3.5Formål:Formålet med dette eksperiment er at bestemme det neurale netværks evne til at genkende 2personer, hvoraf den ene er spejlvendt. Som repræsentation benyttes vinkler.




Eksperimentelle data:Ukendte billeder Ukendte billederSvein11Output Værdi 1: 0.124922Output Værdi 2: 0.962853Output Værdi 3: 0.000453916Svein12Output Værdi 1: 0.194021Output Værdi 2: 0.909079Output Værdi 3: 0.000382905Svein13Output Værdi 1: 0.960866Output Værdi 2: 0.0286639Output Værdi 3: 0.000644706Svein14Output Værdi 1: 0.953743Output Værdi 2: 0.0529414Output Værdi 3: 0.000811236Svein15Output Værdi 1: 0.629194Output Værdi 2: 0.239396Output Værdi 3: 0.00138104Svein16Output Værdi 1: 0.0763757Output Værdi 2: 0.991118Output Værdi 3: 0.000119735Svein17Output Værdi 1: 0.961912

Rasmus11Output Værdi 1: 0.0625235Output Værdi 2: 0.965387Output Værdi 3: 0.000427096Rasmus12Output Værdi 1: 0.00695441Output Værdi 2: 0.9944Output Værdi 3: 0.000782752Rasmus13Output Værdi 1: 0.0037313Output Værdi 2: 0.998008Output Værdi 3: 0.00111402Rasmus14Output Værdi 1: 0.00996784Output Værdi 2: 0.991341Output Værdi 3: 0.00053673Rasmus15Output Værdi 1: 0.00286298Output Værdi 2: 0.998727Output Værdi 3: 0.000767596Rasmus16Output Værdi 1: 0.00100372Output Værdi 2: 0.999419Output Værdi 3: 0.000808477Rasmus17Output Værdi 1: 0.00666551


66

Output Værdi 2: 0.00532501Output Værdi 3: 0.00266529Svein18Output Værdi 1: 0.631826Output Værdi 2: 0.43538Output Værdi 3: 0.00258528Svein19Output Værdi 1: 0.996424Output Værdi 2: 0.00863236Output Værdi 3: 0.000184986Svein20Output Værdi 1: 0.921933Output Værdi 2: 0.0565729Output Værdi 3: 0.00178053

Output Værdi 2: 0.990482Output Værdi 3: 0.000708919Rasmus18Output Værdi 1: 0.000756507Output Værdi 2: 0.999713Output Værdi 3: 0.00129959Rasmus19Output Værdi 1: 0.00505679Output Værdi 2: 0.996698Output Værdi 3: 0.00166269Rasmus20Output Værdi 1: 0.00626579Output Værdi 2: 0.99149Output Værdi 3: 0.000951053

Konklusion:Ud fra de eksperimentelle data kan vi her ved se at netværket har genkendt 17 ud ad 20 ukendtebilleder, og det giver en genkendelse procent på 76,5 %.

9.2.3.6 Eksperiment 3.6Formål:Formålet med dette eksperiment er at bestemme det neurale netværks evne til at genkende 2personer, hvoraf den ene er spejlvendt. Som repræsentation benyttes vinkler. Forskellen fra detforrige eksperiment er at vi nu træner netværket med 15 billeder i stedet for 10.




Eksperimentelle data:Ukendte billeder Ukendte billederSvein15Output Værdi 1: 0.981442Output Værdi 2: 0.0220102Output Værdi 3: 0.00103466Svein16Output Værdi 1: 0.989673Output Værdi 2: 0.00214212Output Værdi 3: 0.000856313Svein17Output Værdi 1: 0.992737Output Værdi 2: 0.0128766

Rasmus15Output Værdi 1: 0.00045097Output Værdi 2: 0.999338Output Værdi 3: 0.00165755Rasmus16Output Værdi 1: 0.000822286Output Værdi 2: 0.999436Output Værdi 3: 0.00100462Rasmus17Output Værdi 1: 0.00224113Output Værdi 2: 0.997606


67

Output Værdi 3: 0.000521321Svein18Output Værdi 1: 0.889974Output Værdi 2: 0.0410074Output Værdi 3: 0.000558585Svein19Output Værdi 1: 0.998305Output Værdi 2: 0.00495501Output Værdi 3: 0.000744422Svein20Output Værdi 1: 0.998234Output Værdi 2: 0.00163411Output Værdi 3: 0.00140712

Output Værdi 3: 0.00128858Rasmus18Output Værdi 1: 0.00061247Output Værdi 2: 0.999536Output Værdi 3: 0.00133981Rasmus19Output Værdi 1: 0.000287079Output Værdi 2: 0.999868Output Værdi 3: 0.00147193Rasmus20Output Værdi 1: 0.000658304Output Værdi 2: 0.999099Output Værdi 3: 0.00127867


9.2.3.7 Eksperiment 3.7Formål:Formålet med dette eksperiment er at prøve at optimer netværkets ydeevne i forhold tileksperiment 3.6 ved at sætte epokerne op til 5000




Eksperimentelle data:Ukendte billeder Ukendte billederSvein16Output Værdi 1: 0.928031Output Værdi 2: 0.0408469Output Værdi 3: 0.000232765Svein17Output Værdi 1: 0.896406Output Værdi 2: 0.0177386Output Værdi 3: 0.000668566Svein18Output Værdi 1: 0.989411Output Værdi 2: 0.00723913Output Værdi 3: 0.000316565Svein19

Rasmus16Output Værdi 1: 0.000140857Output Værdi 2: 0.999759Output Værdi 3: 0.000309694Rasmus17Output Værdi 1: 5.9064e-005Output Værdi 2: 0.999926Output Værdi 3: 0.00145474Rasmus18Output Værdi 1: 0.000501758Output Værdi 2: 0.999507Output Værdi 3: 0.000265629Rasmus19


68

Output Værdi 1: 0.993435Output Værdi 2: 0.00486403Output Værdi 3: 0.000424245Svein20Output Værdi 1: 0.994494Output Værdi 2: 0.00499004Output Værdi 3: 0.000645494

Output Værdi 1: 2.27566e-005Output Værdi 2: 0.999978Output Værdi 3: 0.000356033Rasmus20Output Værdi 1: 0.00262665Output Værdi 2: 0.998868Output Værdi 3: 0.00059835


9.2.3.8 Eksperiment 3.8Formål:Formålet med dette eksperiment er at se hvilken forskel indlæringsrater gør. I dette forsøg A =0,1Neurale netværk:Input neuroner: 28*2 = 56Gemte neuroner: 56






69



70

9.2.3.9 Eksperiment 3.9Formål:Formålet med dette eksperiment er at se hvilken forskel indlærings rater gør. I dette forsøg A =0,5








71

9.2.3.10 Eksperiment 3.10Formål:Formålet med dette eksperiment er at se hvilken forskel indlærings rater gør. I dette forsøg A =0,8








72

9.3 FULD EKSPERIMENTDATA9.3.1 Eksperiment I - Eksperiment med 2 personer9.3.1.1 Koordinater som input – Epoker = 5000, A = 0.5, 15 K, 5 Uk

Netværk input:Koordinater som inputInput neuroner: 36*2 = 72Gemte neuroner: 72

Epoker: 5000Learning Rate: 0.5Personer: 2

Trænings billeder Trænings billederSvein01Output Værdi 1: 0.990064Output Værdi 2: 0.0100571Output Værdi 3: 0.000361146Svein02Output Værdi 1: 0.989947Output Værdi 2: 0.00943752Output Værdi 3: 0.000462834Svein03Output Værdi 1: 0.999032Output Værdi 2: 0.00079583Output Værdi 3: 0.000565045Svein04Output Værdi 1: 0.914047Output Værdi 2: 0.0862703Output Værdi 3: 0.000440335Svein05Output Værdi 1: 0.875071Output Værdi 2: 0.126674Output Værdi 3: 0.000403807Svein06Output Værdi 1: 0.92679Output Værdi 2: 0.0757878Output Værdi 3: 0.000400224Svein07Output Værdi 1: 0.896259Output Værdi 2: 0.103931Output Værdi 3: 0.000441608Svein08Output Værdi 1: 0.969633Output Værdi 2: 0.029171Output Værdi 3: 0.000510697Svein09Output Værdi 1: 0.987305Output Værdi 2: 0.0134284Output Værdi 3: 0.000450912Svein10

Rasmus01Output Værdi 1: 0.0106884Output Værdi 2: 0.990338Output Værdi 3: 0.000337535Rasmus02Output Værdi 1: 0.0367312Output Værdi 2: 0.966089Output Værdi 3: 0.000416255Rasmus03Output Værdi 1: 0.137434Output Værdi 2: 0.86205Output Værdi 3: 0.000343918Rasmus04Output Værdi 1: 0.108576Output Værdi 2: 0.890084Output Værdi 3: 0.000534329Rasmus05Output Værdi 1: 1.54741e-005Output Værdi 2: 0.999984Output Værdi 3: 0.000327829Rasmus06Output Værdi 1: 0.0176371Output Værdi 2: 0.982627Output Værdi 3: 0.000462249Rasmus07Output Værdi 1: 0.0011606Output Værdi 2: 0.999005Output Værdi 3: 0.000349776Rasmus08Output Værdi 1: 1.0818e-005Output Værdi 2: 0.999992Output Værdi 3: 0.000386614Rasmus09Output Værdi 1: 2.67594e-007Output Værdi 2: 1Output Værdi 3: 0.000313909Rasmus10


73

Output Værdi 1: 0.76322Output Værdi 2: 0.239898Output Værdi 3: 0.000471758

Svein11Output Værdi 1: 0.905915Output Værdi 2: 0.0940158Output Værdi 3: 0.000960407Svein12Output Værdi 1: 0.962785Output Værdi 2: 0.043002Output Værdi 3: 0.000765223Svein13Output Værdi 1: 0.98677Output Værdi 2: 0.0146426Output Værdi 3: 0.00048198Svein14Output Værdi 1: 0.999907Output Værdi 2: 9.23043e-005Output Værdi 3: 0.000713378Svein15Output Værdi 1: 0.999849Output Værdi 2: 0.000145946Output Værdi 3: 0.000760709

Output Værdi 1: 9.88723e-007Output Værdi 2: 0.999999Output Værdi 3: 0.000325336

Rasmus11Output Værdi 1: 0.000141655Output Værdi 2: 0.999863Output Værdi 3: 0.000567498Rasmus12Output Værdi 1: 0.00360555Output Værdi 2: 0.996433Output Værdi 3: 0.000296064Rasmus13Output Værdi 1: 0.00070647Output Værdi 2: 0.999449Output Værdi 3: 0.000360001Rasmus14Output Værdi 1: 2.24054e-006Output Værdi 2: 0.999998Output Værdi 3: 0.000293495Rasmus15Output Værdi 1: 1.10626e-005Output Værdi 2: 0.999989Output Værdi 3: 0.000291998




74

9.3.1.2 Koordinater som input – Epoker = 1000, A = 0.5, 15 K, 5 Uk

Netværk input:Koordinater som inputInput neuroner: 36*2 = 72Gemte neuroner: 72


Trænings billeder Trænings billederSvein01Output Værdi 1: 0.940454Output Værdi 2: 0.0589169Output Værdi 3: 0.00136201Svein02Output Værdi 1: 0.896201Output Værdi 2: 0.108439Output Værdi 3: 0.00132538Svein03Output Værdi 1: 0.99212Output Værdi 2: 0.010114Output Værdi 3: 0.00142052Svein04Output Værdi 1: 0.800297Output Værdi 2: 0.31781Output Værdi 3: 0.00135505Svein05Output Værdi 1: 0.891216Output Værdi 2: 0.327046Output Værdi 3: 0.00118219Svein06Output Værdi 1: 0.840442Output Værdi 2: 0.474406Output Værdi 3: 0.00151707Svein07Output Værdi 1: 0.891864Output Værdi 2: 0.532188Output Værdi 3: 0.00108584Svein08Output Værdi 1: 0.561634Output Værdi 2: 0.444949Output Værdi 3: 0.00134506Svein09Output Værdi 1: 0.929137Output Værdi 2: 0.0709486Output Værdi 3: 0.00146561Svein10Output Værdi 1: 0.937384Output Værdi 2: 0.593292Output Værdi 3: 0.00150047

Rasmus01Output Værdi 1: 0.00320788Output Værdi 2: 0.99713Output Værdi 3: 0.00106083Rasmus02Output Værdi 1: 0.0588172Output Værdi 2: 0.942753Output Værdi 3: 0.00113908Rasmus03Output Værdi 1: 0.202935Output Værdi 2: 0.794642Output Værdi 3: 0.00111081Rasmus04Output Værdi 1: 0.132674Output Værdi 2: 0.863162Output Værdi 3: 0.00132826Rasmus05Output Værdi 1: 0.000368999Output Værdi 2: 0.999653Output Værdi 3: 0.000709108Rasmus06Output Værdi 1: 0.0257733Output Værdi 2: 0.974463Output Værdi 3: 0.00122207Rasmus07Output Værdi 1: 0.00509129Output Værdi 2: 0.99497Output Værdi 3: 0.000868141Rasmus08Output Værdi 1: 0.000192811Output Værdi 2: 0.999805Output Værdi 3: 0.000773573Rasmus09Output Værdi 1: 0.000106997Output Værdi 2: 0.999896Output Værdi 3: 0.000584377Rasmus10Output Værdi 1: 0.00014218Output Værdi 2: 0.999863Output Værdi 3: 0.000694816


75

Svein11Output Værdi 1: 0.826481Output Værdi 2: 0.422006Output Værdi 3: 0.00114553Svein12Output Værdi 1: 0.898038Output Værdi 2: 0.0971294Output Værdi 3: 0.00153311Svein13Output Værdi 1: 0.881415Output Værdi 2: 0.134485Output Værdi 3: 0.00127331Svein14Output Værdi 1: 0.975721Output Værdi 2: 0.0332525Output Værdi 3: 0.00134909Svein15Output Værdi 1: 0.983335Output Værdi 2: 0.0232563Output Værdi 3: 0.00158816





76

9.3.1.3 Vektor som input – Epoker = 1000, A = 0.5, 10 K, 10 Uk

Netværk input:Vektor som inputInput neuroner: 36*2 = 72Gemte neuroner: 72





77

Ukendte billeder Ukendte billederSvein11Output Værdi 1: 0.999436Output Værdi 2: 0.0035338Output Værdi 3: 0.00481523Svein12Output Værdi 1: 0.0425522Output Værdi 2: 0.952944Output Værdi 3: 0.00301549Svein13Output Værdi 1: 0.00312229Output Værdi 2: 0.999041Output Værdi 3: 0.00179671Svein14Output Værdi 1: 0.0284706Output Værdi 2: 0.980954Output Værdi 3: 0.00119776Svein15Output Værdi 1: 0.979812Output Værdi 2: 0.0163567Output Værdi 3: 0.000791922Svein16Output Værdi 1: 0.999308Output Værdi 2: 0.00444874Output Værdi 3: 0.00316036Svein17Output Værdi 1: 0.898528Output Værdi 2: 0.0930917Output Værdi 3: 0.00315401Svein18Output Værdi 1: 0.00307011Output Værdi 2: 0.988223Output Værdi 3: 8.48645e-005Svein19Output Værdi 1: 0.0801828Output Værdi 2: 0.557741Output Værdi 3: 0.00266302Svein20Output Værdi 1: 0.765398Output Værdi 2: 0.590633Output Værdi 3: 0.00047546



78


Netværk input:Vektor som inputInput neuroner: 36*2 = 72Gemte neuroner: 72


Trænings billeder Trænings billederSvein01Output Værdi 1: 0.993698Output Værdi 2: 0.00772269Output Værdi 3: 0.00259695Svein02Output Værdi 1: 0.991415Output Værdi 2: 0.0227284Output Værdi 3: 0.000814946Svein03Output Værdi 1: 0.976338Output Værdi 2: 0.0249428Output Værdi 3: 3.53288e-005Svein04Output Værdi 1: 0.9644Output Værdi 2: 0.0350645Output Værdi 3: 0.000149948Svein05Output Værdi 1: 0.999292Output Værdi 2: 0.000621099Output Værdi 3: 0.00135189Svein06Output Værdi 1: 0.980902Output Værdi 2: 0.0158263Output Værdi 3: 0.000338396Svein07Output Værdi 1: 0.960516Output Værdi 2: 0.0392491Output Værdi 3: 0.000442704Svein08Output Værdi 1: 0.950293Output Værdi 2: 0.0482491Output Værdi 3: 0.000141045Svein09Output Værdi 1: 0.996084Output Værdi 2: 0.00263934Output Værdi 3: 0.000747264Svein10Output Værdi 1: 0.957441Output Værdi 2: 0.0414459Output Værdi 3: 0.000104828

Rasmus01Output Værdi 1: 0.0340347Output Værdi 2: 0.966685Output Værdi 3: 4.16906e-005Rasmus02Output Værdi 1: 0.0269232Output Værdi 2: 0.978583Output Værdi 3: 9.4516e-005Rasmus03Output Værdi 1: 0.0271763Output Værdi 2: 0.974592Output Værdi 3: 9.00285e-005Rasmus04Output Værdi 1: 0.0127088Output Værdi 2: 0.98566Output Værdi 3: 0.000683799Rasmus05Output Værdi 1: 0.00258452Output Værdi 2: 0.992372Output Værdi 3: 0.000620949Rasmus06Output Værdi 1: 0.0285137Output Værdi 2: 0.96949Output Værdi 3: 0.00148487Rasmus07Output Værdi 1: 0.00478867Output Værdi 2: 0.99509Output Værdi 3: 0.000111498Rasmus08Output Værdi 1: 0.0326366Output Værdi 2: 0.968215Output Værdi 3: 8.85228e-005Rasmus09Output Værdi 1: 0.0323693Output Værdi 2: 0.967131Output Værdi 3: 0.00076599Rasmus10Output Værdi 1: 0.0203416Output Værdi 2: 0.975132Output Værdi 3: 0.000278543


79






80

9.3.1.5 Vinkel som input – Epoker = 1000, A = 0.5, 10 K, 10 UkNetværk input: sin og cos værdier for vektorerneInput neuroner: 36*2 = 72Gemte neuroner: 72Epoker: 1000Learning Rate: 0.5Personer: 2

Trænings billeder Trænings billederSvein01Output Værdi 1: 0.96583Output Værdi 2: 0.029279Output Værdi 3: 0.000168377Svein02Output Værdi 1: 0.935761Output Værdi 2: 0.0660821Output Værdi 3: 0.000836488Svein03Output Værdi 1: 0.99928Output Værdi 2: 0.00035905Output Værdi 3: 0.000674621Svein04Output Værdi 1: 0.920679Output Værdi 2: 0.0784016Output Værdi 3: 0.000925272Svein05Output Værdi 1: 0.99999Output Værdi 2: 1.05531e-005Output Værdi 3: 0.000322805Svein06Output Værdi 1: 0.941912Output Værdi 2: 0.0592139Output Værdi 3: 0.0009968Svein07Output Værdi 1: 0.96926Output Værdi 2: 0.0318647Output Værdi 3: 0.000438462Svein08Output Værdi 1: 0.964489Output Værdi 2: 0.0353536Output Værdi 3: 0.00137297Svein09Output Værdi 1: 0.999992Output Værdi 2: 9.16394e-006Output Værdi 3: 0.000854408Svein10Output Værdi 1: 0.946833Output Værdi 2: 0.0508033Output Værdi 3: 0.00125075

Rasmus01Output Værdi 1: 0.00332158Output Værdi 2: 0.996368Output Værdi 3: 0.00151716Rasmus02Output Værdi 1: 0.00442787Output Værdi 2: 0.994637Output Værdi 3: 0.000674312Rasmus03Output Værdi 1: 0.0293842Output Værdi 2: 0.969788Output Værdi 3: 0.000612648Rasmus04Output Værdi 1: 0.040875Output Værdi 2: 0.958567Output Værdi 3: 0.00113317Rasmus05Output Værdi 1: 0.00019084Output Værdi 2: 0.999472Output Værdi 3: 0.00117482Rasmus06Output Værdi 1: 0.0382791Output Værdi 2: 0.961181Output Værdi 3: 0.000772055Rasmus07Output Værdi 1: 0.000747709Output Værdi 2: 0.998664Output Værdi 3: 0.000999769Rasmus08Output Værdi 1: 0.0279064Output Værdi 2: 0.972227Output Værdi 3: 0.00122701Rasmus09Output Værdi 1: 0.0318768Output Værdi 2: 0.971432Output Værdi 3: 0.000473263Rasmus10Output Værdi 1: 1.30052e-006Output Værdi 2: 0.999988Output Værdi 3: 0.00173611


81

Ukendte billeder Ukendte billederSvein11Output Værdi 1: 0.970446Output Værdi 2: 0.031045Output Værdi 3: 0.00168741Svein12Output Værdi 1: 0.921971Output Værdi 2: 0.0788823Output Værdi 3: 0.000263769Svein13Output Værdi 1: 0.999988Output Værdi 2: 1.01693e-005Output Værdi 3: 0.000637781Svein14Output Værdi 1: 0.98102Output Værdi 2: 0.0157689Output Værdi 3: 0.000435106Svein15Output Værdi 1: 0.999754Output Værdi 2: 0.000138144Output Værdi 3: 0.000743787Svein16Output Værdi 1: 0.00177248Output Værdi 2: 0.998631Output Værdi 3: 0.0042391Svein17Output Værdi 1: 0.684779Output Værdi 2: 0.209795Output Værdi 3: 0.000750411Svein18Output Værdi 1: 0.199201Output Værdi 2: 0.767189Output Værdi 3: 0.000300758Svein19Output Værdi 1: 0.872591Output Værdi 2: 0.161557Output Værdi 3: 0.000875328Svein20Output Værdi 1: 0.999543Output Værdi 2: 0.000319717Output Værdi 3: 0.000749532

Rasmus11Output Værdi 1: 0.0352484Output Værdi 2: 0.963262Output Værdi 3: 0.000297134Rasmus12Output Værdi 1: 0.0857839Output Værdi 2: 0.914403Output Værdi 3: 0.000362628Rasmus13Output Værdi 1: 0.030443Output Værdi 2: 0.970518Output Værdi 3: 0.000919502Rasmus14Output Værdi 1: 0.00113552Output Værdi 2: 0.998859Output Værdi 3: 0.000769498Rasmus15Output Værdi 1: 6.14075e-005Output Værdi 2: 0.999922Output Værdi 3: 0.000836488Rasmus16Output Værdi 1: 0.101963Output Værdi 2: 0.863426Output Værdi 3: 0.00067299Rasmus17Output Værdi 1: 3.93568e-005Output Værdi 2: 0.999932Output Værdi 3: 0.00141062Rasmus18Output Værdi 1: 0.0063069Output Værdi 2: 0.990492Output Værdi 3: 0.000698323Rasmus19Output Værdi 1: 0.328745Output Værdi 2: 0.608252Output Værdi 3: 0.000524926Rasmus20Output Værdi 1: 0.0182083Output Værdi 2: 0.979274Output Værdi 3: 0.00047877


82

9.3.1.6 Vinkel som input – Epoker = 1000, A = 0.5, 10 K, 10 Uk

Netværk input:sin og cos værdier for vektorerneInput neuroner: 36*2 = 72Gemte neuroner: 50





83

Ukendte billeder Ukendte billederSvein11Output Værdi 1: 0.978936Output Værdi 2: 0.021235Output Værdi 3: 0.002446Svein12Output Værdi 1: 0.958844Output Værdi 2: 0.0525685Output Værdi 3: 0.00106518Svein13Output Værdi 1: 0.999695Output Værdi 2: 0.000257159Output Værdi 3: 0.000544906Svein14Output Værdi 1: 0.952824Output Værdi 2: 0.0454453Output Værdi 3: 0.000448648Svein15Output Værdi 1: 0.97763Output Værdi 2: 0.0333251Output Værdi 3: 0.00108863Svein16Output Værdi 1: 0.591787Output Værdi 2: 0.674858Output Værdi 3: 0.00225311Svein17Output Værdi 1: 0.642047Output Værdi 2: 0.260451Output Værdi 3: 0.00115162Svein18Output Værdi 1: 0.989328Output Værdi 2: 0.00519312Output Værdi 3: 0.00114168Svein19Output Værdi 1: 0.877648Output Værdi 2: 0.0802494Output Værdi 3: 0.00222407Svein20Output Værdi 1: 0.760566Output Værdi 2: 0.226257Output Værdi 3: 0.00120987



84

9.3.2 Eksperiment II - Eksperiment med 3 personer9.3.2.1 Koordinater som input – Epoker = 1000, A = 0.5, 15 K, 5 Uk

Netværk input:Vektor værdier som inputInput neuroner: 28*2 = 56Gemte neuroner: 56


Trænings billeder Trænings billeder Trænings billederSvein01Output Værdi 1: 0.999541Output Værdi 2: 0.306907Output Værdi 3: 1.73016e-007Svein02Output Værdi 1: 0.931271Output Værdi 2: 0.285142Output Værdi 3: 0.000100541Svein03Output Værdi 1: 0.995343Output Værdi 2: 0.017268Output Værdi 3: 8.76247e-005Svein04Output Værdi 1: 0.686303Output Værdi 2: 0.0605715Output Værdi 3: 0.00428676Svein05Output Værdi 1: 0.941539Output Værdi 2: 0.405905Output Værdi 3: 1.0279e-005Svein06Output Værdi 1: 0.872094Output Værdi 2: 0.0457223Output Værdi 3: 0.00330743Svein07Output Værdi 1: 0.808124Output Værdi 2: 0.032097Output Værdi 3: 0.0037021Svein08Output Værdi 1: 0.794997Output Værdi 2: 0.578283Output Værdi 3: 2.6698e-005Svein09Output Værdi 1: 0.93706Output Værdi 2: 0.0498581Output Værdi 3: 0.000527182Svein10Output Værdi 1: 0.86355Output Værdi 2: 0.484314

Rasmus01Output Værdi 1: 0.00884311Output Værdi 2: 0.958672Output Værdi 3: 0.00131237Rasmus02Output Værdi 1: 0.0434524Output Værdi 2: 0.902168Output Værdi 3: 0.0184292Rasmus03Output Værdi 1: 0.367066Output Værdi 2: 0.904149Output Værdi 3: 1.26448e-005Rasmus04Output Værdi 1: 0.091661Output Værdi 2: 0.852367Output Værdi 3: 5.29733e-005Rasmus05Output Værdi 1: 0.00050823Output Værdi 2: 0.992225Output Værdi 3: 0.000750361Rasmus06Output Værdi 1: 0.00545416Output Værdi 2: 0.721217Output Værdi 3: 0.0495468Rasmus07Output Værdi 1: 0.0286925Output Værdi 2: 0.939272Output Værdi 3: 0.000229527Rasmus08Output Værdi 1: 0.000514431Output Værdi 2: 0.985239Output Værdi 3: 0.000712518Rasmus09Output Værdi 1: 3.03954e-005Output Værdi 2: 0.963061Output Værdi 3: 0.03863Rasmus10Output Værdi 1: 0.00177022Output Værdi 2: 0.998913

Thomas01Output Værdi 1: 0.00644839Output Værdi 2: 0.000868351Output Værdi 3: 0.984142Thomas02Output Værdi 1: 1.19534e-005Output Værdi 2: 0.00119499Output Værdi 3: 0.999988Thomas03Output Værdi 1: 7.60339e-005Output Værdi 2: 0.103009Output Værdi 3: 0.981076Thomas04Output Værdi 1: 4.72283e-006Output Værdi 2: 0.0562593Output Værdi 3: 0.994544Thomas05Output Værdi 1: 1.98544e-006Output Værdi 2: 0.192704Output Værdi 3: 0.998065Thomas06Output Værdi 1: 0.000993546Output Værdi 2: 0.00478118Output Værdi 3: 0.997114Thomas07Output Værdi 1: 0.000157639Output Værdi 2: 0.011848Output Værdi 3: 0.998535Thomas08Output Værdi 1: 7.5093e-005Output Værdi 2: 0.00180849Output Værdi 3: 0.999871Thomas09Output Værdi 1: 4.83633e-005Output Værdi 2: 0.00341218Output Værdi 3: 0.999878Thomas10Output Værdi 1: 1.13297e-005Output Værdi 2: 0.000666319


85

Output Værdi 3: 0.00035523Svein11Output Værdi 1: 0.993337Output Værdi 2: 0.292157Output Værdi 3: 5.53724e-007Svein12Output Værdi 1: 0.531033Output Værdi 2: 0.00597056Output Værdi 3: 0.0293263Svein13Output Værdi 1: 0.912355Output Værdi 2: 0.0322166Output Værdi 3: 0.00222809Svein14Output Værdi 1: 0.980023Output Værdi 2: 0.000713157Output Værdi 3: 0.0304214Svein15Output Værdi 1: 0.948764Output Værdi 2: 0.000538094Output Værdi 3: 0.0534122

Output Værdi 3: 8.651e-006Rasmus11Output Værdi 1: 0.0282246Output Værdi 2: 0.948398Output Værdi 3: 1.1856e-005Rasmus12Output Værdi 1: 0.0978816Output Værdi 2: 0.991324Output Værdi 3: 3.97413e-006Rasmus13Output Værdi 1: 0.0536796Output Værdi 2: 0.960107Output Værdi 3: 1.30906e-005Rasmus14Output Værdi 1: 0.000181278Output Værdi 2: 0.99916Output Værdi 3: 5.69579e-005Rasmus15Output Værdi 1: 0.00669669Output Værdi 2: 0.999623Output Værdi 3: 4.59625e-007

Output Værdi 3: 0.999999Thomas11Output Værdi 1: 0.00450651Output Værdi 2: 0.00481616Output Værdi 3: 0.983856Thomas12Output Værdi 1: 0.0110035Output Værdi 2: 0.00435128Output Værdi 3: 0.966126Thomas13Output Værdi 1: 0.0203566Output Værdi 2: 0.000170824Output Værdi 3: 0.998217Thomas14Output Værdi 1: 0.160191Output Værdi 2: 0.000726067Output Værdi 3: 0.969591Thomas15Output Værdi 1: 0.131109Output Værdi 2: 0.000198583Output Værdi 3: 0.964556

Ukendte billeder Ukendte billeder Ukendte billederSvein16Output Værdi 1: 0.588093Output Værdi 2: 0.0180828Output Værdi 3: 0.00397281Svein17Output Værdi 1: 0.938651Output Værdi 2: 0.00152857Output Værdi 3: 0.0911638Svein18Output Værdi 1: 0.116963Output Værdi 2: 0.599964Output Værdi 3: 0.000126271Svein19Output Værdi 1: 0.00963767Output Værdi 2: 0.0109895Output Værdi 3: 0.96605Svein20Output Værdi 1: 0.741633Output Værdi 2: 0.628105Output Værdi 3: 6.77065e-006

Rasmus16Output Værdi 1: 0.0573273Output Værdi 2: 0.996135Output Værdi 3: 4.13275e-006Rasmus17Output Værdi 1: 0.00428535Output Værdi 2: 0.99808Output Værdi 3: 5.86395e-006Rasmus18Output Værdi 1: 0.0206501Output Værdi 2: 0.97471Output Værdi 3: 0.000147485Rasmus19Output Værdi 1: 0.0204494Output Værdi 2: 0.999098Output Værdi 3: 4.60987e-007Rasmus20Output Værdi 1: 0.0810821Output Værdi 2: 0.995546Output Værdi 3: 1.49304e-006

Thomas16Output Værdi 1: 0.68883Output Værdi 2: 0.00868072Output Værdi 3: 0.0641739Thomas17Output Værdi 1: 0.841415Output Værdi 2: 0.000107219Output Værdi 3: 0.934671Thomas18Output Værdi 1: 0.750313Output Værdi 2: 0.000411871Output Værdi 3: 0.666421Thomas19Output Værdi 1: 0.0351137Output Værdi 2: 0.00317403Output Værdi 3: 0.824445Thomas20Output Værdi 1: 0.969454Output Værdi 2: 0.000676239Output Værdi 3: 0.0267089


86




Trænings billeder Trænings billeder Trænings billederSvein01Output Værdi 1: 0.999966Output Værdi 2: 0.000117718Output Værdi 3: 3.58496e-005Svein02Output Værdi 1: 0.962093Output Værdi 2: 0.0417371Output Værdi 3: 0.00165315Svein03Output Værdi 1: 0.957543Output Værdi 2: 0.0467478Output Værdi 3: 1.3319e-005Svein04Output Værdi 1: 0.953806Output Værdi 2: 0.030261Output Værdi 3: 0.000491292Svein05Output Værdi 1: 0.995512Output Værdi 2: 0.00168894Output Værdi 3: 0.00154133Svein06Output Værdi 1: 0.971467Output Værdi 2: 0.0319036Output Værdi 3: 0.00109409Svein07Output Værdi 1: 0.981823Output Værdi 2: 0.0369491Output Værdi 3: 0.00513523Svein08Output Værdi 1: 0.971145Output Værdi 2: 0.0517855Output Værdi 3: 7.79015e-005Svein09Output Værdi 1: 0.964064Output Værdi 2: 0.0624057Output Værdi 3: 0.000266335Svein10Output Værdi 1: 0.958329Output Værdi 2: 0.0351867Output Værdi 3: 5.93335e-005

Rasmus01Output Værdi 1: 0.0369415Output Værdi 2: 0.958005Output Værdi 3: 0.000261694Rasmus02Output Værdi 1: 0.000120553Output Værdi 2: 0.981707Output Værdi 3: 0.00787939Rasmus03Output Værdi 1: 0.0415944Output Værdi 2: 0.977742Output Værdi 3: 1.59999e-005Rasmus04Output Værdi 1: 0.0102164Output Værdi 2: 0.958335Output Værdi 3: 0.00634178Rasmus05Output Værdi 1: 0.0210455Output Værdi 2: 0.956559Output Værdi 3: 0.00609092Rasmus06Output Værdi 1: 0.0270559Output Værdi 2: 0.962197Output Værdi 3: 2.3302e-005Rasmus07Output Værdi 1: 0.00242894Output Værdi 2: 0.975579Output Værdi 3: 0.00775138Rasmus08Output Værdi 1: 0.036982Output Værdi 2: 0.981488Output Værdi 3: 4.07416e-005Rasmus09Output Værdi 1: 0.036147Output Værdi 2: 0.958134Output Værdi 3: 0.00735193Rasmus10Output Værdi 1: 0.000685673Output Værdi 2: 0.998694Output Værdi 3: 0.0021001

Thomas01Output Værdi 1: 6.41708e-006Output Værdi 2: 0.00125631Output Værdi 3: 0.998593Thomas02Output Værdi 1: 1.83041e-006Output Værdi 2: 0.00074473Output Værdi 3: 0.999879Thomas03Output Værdi 1: 0.000212876Output Værdi 2: 2.17149e-006Output Værdi 3: 0.998289Thomas04Output Værdi 1: 0.000477775Output Værdi 2: 7.04202e-008Output Værdi 3: 0.999234Thomas05Output Værdi 1: 0.000461044Output Værdi 2: 6.22869e-006Output Værdi 3: 0.992972Thomas06Output Værdi 1: 0.0206743Output Værdi 2: 6.14972e-006Output Værdi 3: 0.994203Thomas07Output Værdi 1: 0.00742125Output Værdi 2: 3.48703e-005Output Værdi 3: 0.991492Thomas08Output Værdi 1: 1.0077e-005Output Værdi 2: 0.00147177Output Værdi 3: 0.992649Thomas09Output Værdi 1: 0.0209078Output Værdi 2: 1.15892e-005Output Værdi 3: 0.996747Thomas10Output Værdi 1: 3.21606e-010Output Værdi 2: 0.0455664Output Værdi 3: 0.992529


87


Rasmus11Output Værdi 1: 0.0293158Output Værdi 2: 0.00041387Output Værdi 3: 0.00463192Rasmus12Output Værdi 1: 0.0182052Output Værdi 2: 0.992735Output Værdi 3: 0.00217303Rasmus13Output Værdi 1: 0.0396587Output Værdi 2: 0.931136Output Værdi 3: 0.0072358Rasmus14Output Værdi 1: 5.25837e-007Output Værdi 2: 0.999768Output Værdi 3: 0.00765117Rasmus15Output Værdi 1: 3.64597e-007Output Værdi 2: 0.999997Output Værdi 3: 0.00240049

Thomas11Output Værdi 1: 0.0156553Output Værdi 2: 2.64553e-006Output Værdi 3: 0.991979Thomas12Output Værdi 1: 0.000297995Output Værdi 2: 5.80716e-005Output Værdi 3: 0.99513Thomas13Output Værdi 1: 6.64899e-007Output Værdi 2: 0.000133778Output Værdi 3: 0.999816Thomas14Output Værdi 1: 8.42046e-007Output Værdi 2: 0.0198606Output Værdi 3: 0.98856Thomas15Output Værdi 1: 0.00690324Output Værdi 2: 0.0143401Output Værdi 3: 0.989063

Ukendte billeder Ukendte billeder Ukendte billederSvein16Output Værdi 1: 0.52765Output Værdi 2: 0.00910877Output Værdi 3: 0.302841Svein17Output Værdi 1: 0.00511374Output Værdi 2: 0.000477809Output Værdi 3: 0.971953Svein18Output Værdi 1: 1.79751e-006Output Værdi 2: 0.147658Output Værdi 3: 0.742788Svein19Output Værdi 1: 4.60432e-005Output Værdi 2: 0.995814Output Værdi 3: 0.0455599Svein20Output Værdi 1: 0.000945255Output Værdi 2: 2.86906e-006Output Værdi 3: 0.999008

Rasmus16Output Værdi 1: 6.12389e-006Output Værdi 2: 0.99808Output Værdi 3: 0.00538449Rasmus17Output Værdi 1: 0.999973Output Værdi 2: 0.00496849Output Værdi 3: 2.45132e-005Rasmus18Output Værdi 1: 0.000489461Output Værdi 2: 0.999976Output Værdi 3: 5.63539e-005Rasmus19Output Værdi 1: 0.000175456Output Værdi 2: 0.00565098Output Værdi 3: 0.300463Rasmus20Output Værdi 1: 0.344136Output Værdi 2: 0.411935Output Værdi 3: 0.000189581



88


Netværk input:sin og cos værdier for vektorerneInput neuroner: 36*2 = 72Gemte neuroner: 72


Trænings billeder Trænings billeder Trænings billederSvein01Output Værdi 1: 0.974745Output Værdi 2: 0.0306887Output Værdi 3: 0.000121977Svein02Output Værdi 1: 0.926322Output Værdi 2: 0.0902902Output Værdi 3: 4.76261e-006Svein03Output Værdi 1: 0.938483Output Værdi 2: 0.0887673Output Værdi 3: 3.9116e-005Svein04Output Værdi 1: 0.947989Output Værdi 2: 0.104255Output Værdi 3: 6.33996e-005Svein05Output Værdi 1: 0.99955Output Værdi 2: 0.0340948Output Værdi 3: 1.55193e-005Svein06Output Værdi 1: 0.910918Output Værdi 2: 0.134526Output Værdi 3: 0.000510273Svein07Output Værdi 1: 0.963658Output Værdi 2: 0.0879341Output Værdi 3: 0.00234426Svein08Output Værdi 1: 0.9457Output Værdi 2: 0.0444938Output Værdi 3: 8.89266e-006Svein09Output Værdi 1: 0.994283Output Værdi 2: 0.0835304Output Værdi 3: 0.000165956Svein10Output Værdi 1: 0.957918Output Værdi 2: 0.000473273Output Værdi 3: 0.00298244

Rasmus01Output Værdi 1: 0.0418327Output Værdi 2: 0.00146373Output Værdi 3: 0.00944879Rasmus02Output Værdi 1: 8.01106e-005Output Værdi 2: 0.995764Output Værdi 3: 0.00396504Rasmus03Output Værdi 1: 0.0222452Output Værdi 2: 0.951461Output Værdi 3: 0.00359205Rasmus04Output Værdi 1: 0.0355677Output Værdi 2: 0.978237Output Værdi 3: 1.79039e-005Rasmus05Output Værdi 1: 0.000167757Output Værdi 2: 0.980568Output Værdi 3: 0.00431347Rasmus06Output Værdi 1: 0.0529493Output Værdi 2: 0.931507Output Værdi 3: 0.00014143Rasmus07Output Værdi 1: 0.00946357Output Værdi 2: 0.996953Output Værdi 3: 6.92397e-005Rasmus08Output Værdi 1: 0.000591411Output Værdi 2: 0.9794Output Værdi 3: 0.00673656Rasmus09Output Værdi 1: 0.0524915Output Værdi 2: 0.91658Output Værdi 3: 0.0146684Rasmus10Output Værdi 1: 1.11621e-005Output Værdi 2: 0.997628Output Værdi 3: 0.010954

Thomas01Output Værdi 1: 9.01323e-006Output Værdi 2: 0.00124Output Værdi 3: 0.99941Thomas02Output Værdi 1: 3.48597e-009Output Værdi 2: 0.00105022Output Værdi 3: 0.999992Thomas03Output Værdi 1: 4.96065e-007Output Værdi 2: 0.00567781Output Værdi 3: 0.996611Thomas04Output Værdi 1: 3.9514e-007Output Værdi 2: 0.00658685Output Værdi 3: 0.999944Thomas05Output Værdi 1: 5.0626e-009Output Værdi 2: 0.0621772Output Værdi 3: 0.990268Thomas06Output Værdi 1: 1.01522e-005Output Værdi 2: 0.0221301Output Værdi 3: 0.98847Thomas07Output Værdi 1: 3.55658e-006Output Værdi 2: 0.00576935Output Værdi 3: 0.99778Thomas08Output Værdi 1: 1.07133e-005Output Værdi 2: 2.81684e-005Output Værdi 3: 0.996577Thomas09Output Værdi 1: 2.371e-006Output Værdi 2: 0.000805004Output Værdi 3: 0.997461Thomas10Output Værdi 1: 3.92682e-010Output Værdi 2: 0.0267456Output Værdi 3: 0.997447


89

Svein11Output Værdi 1: 0.999991Output Værdi 2: 0.0048923Output Værdi 3: 1.48689e-005Svein12Output Værdi 1: 0.918219Output Værdi 2: 0.0819427Output Værdi 3: 0.00941721Svein13Output Værdi 1: 0.945255Output Værdi 2: 0.00100781Output Værdi 3: 0.0108881Svein14Output Værdi 1: 0.914133Output Værdi 2: 0.00569246Output Værdi 3: 0.00230352Svein15Output Værdi 1: 0.981714Output Værdi 2: 1.60317e-005Output Værdi 3: 0.0143461

Rasmus11Output Værdi 1: 0.0374864Output Værdi 2: 0.95422Output Værdi 3: 0.0096962Rasmus12Output Værdi 1: 0.0576477Output Værdi 2: 0.915194Output Værdi 3: 0.000599746Rasmus13Output Værdi 1: 0.0785712Output Værdi 2: 0.925122Output Værdi 3: 0.000197759Rasmus14Output Værdi 1: 0.0016184Output Værdi 2: 0.930924Output Værdi 3: 0.00136526Rasmus15Output Værdi 1: 0.00255197Output Værdi 2: 0.998202Output Værdi 3: 5.55249e-005

Thomas11Output Værdi 1: 0.000997196Output Værdi 2: 0.0111388Output Værdi 3: 0.988471Thomas12Output Værdi 1: 0.000132671Output Værdi 2: 0.0504881Output Værdi 3: 0.985716Thomas13Output Værdi 1: 3.28548e-006Output Værdi 2: 0.000867998Output Værdi 3: 0.993423Thomas14Output Værdi 1: 3.2488e-005Output Værdi 2: 0.000142754Output Værdi 3: 0.98863Thomas15Output Værdi 1: 0.00306567Output Værdi 2: 6.38331e-005Output Værdi 3: 0.986352

Ukendte billeder Ukendte billeder Ukendte billederSvein16Output Værdi 1: 0.857567Output Værdi 2: 0.933522Output Værdi 3: 0.0304995Svein17Output Værdi 1: 7.20357e-007Output Værdi 2: 0.0900692Output Værdi 3: 0.45765Svein18Output Værdi 1: 0.00286249Output Værdi 2: 0.832457Output Værdi 3: 0.0277267Svein19Output Værdi 1: 0.00493904Output Værdi 2: 0.437435Output Værdi 3: 0.00061298Svein20Output Værdi 1: 0.297531Output Værdi 2: 0.00306971Output Værdi 3: 0.0266581

Rasmus16Output Værdi 1: 0.0344955Output Værdi 2: 0.99656Output Værdi 3: 5.05668e-005Rasmus17Output Værdi 1: 0.0162706Output Værdi 2: 0.943957Output Værdi 3: 1.09569e-005Rasmus18Output Værdi 1: 0.232339Output Værdi 2: 0.888197Output Værdi 3: 4.68981e-005Rasmus19Output Værdi 1: 0.00704399Output Værdi 2: 0.98182Output Værdi 3: 0.000110431Rasmus20Output Værdi 1: 0.00316063Output Værdi 2: 0.996559Output Værdi 3: 2.44944e-005



90

9.3.3 Eksperiment III - Eksperiment med 2 personer, et normalt og et spejlvendt.9.3.3.1 Koordinater som input – Epoker = 1000, A = 0.5, 10 K, 10 UkNetværk input:Vektor værdier som inputInput neuroner: 28*2 = 56Gemte neuroner: 56





91




92

9.3.3.2 Koordinater som input – Epoker = 1000, A = 0.5, 15 K, 5 Uk






93






94




Trænings billeder Trænings billederSvein01Output Værdi 1: 0.9875Output Værdi 2: 0.01334Output Værdi 3: 0.00409711Svein02Output Værdi 1: 0.980113Output Værdi 2: 0.0189977Output Værdi 3: 0.000868505Svein03Output Værdi 1: 0.987943Output Værdi 2: 0.0101376Output Værdi 3: 9.63883e-005Svein04Output Værdi 1: 0.994279Output Værdi 2: 0.00712896Output Værdi 3: 0.000476771Svein05Output Værdi 1: 0.985413Output Værdi 2: 0.0160489Output Værdi 3: 0.000137654Svein06Output Værdi 1: 0.986882Output Værdi 2: 0.014765Output Værdi 3: 0.000270763Svein07Output Værdi 1: 0.976687Output Værdi 2: 0.022862Output Værdi 3: 0.00053562Svein08Output Værdi 1: 0.998071Output Værdi 2: 0.00434899Output Værdi 3: 0.000593102Svein09Output Værdi 1: 0.981222Output Værdi 2: 0.0166244Output Værdi 3: 0.000227513Svein10Output Værdi 1: 0.989966Output Værdi 2: 0.0103554Output Værdi 3: 0.0015241



95




96




Trænings billeder Trænings billederSvein01Output Værdi 1: 0.999992Output Værdi 2: 1.72429e-005Output Værdi 3: 0.00095609Svein02Output Værdi 1: 0.99704Output Værdi 2: 0.00175748Output Værdi 3: 0.00127652Svein03Output Værdi 1: 0.979881Output Værdi 2: 0.0206808Output Værdi 3: 0.00187806Svein04Output Værdi 1: 0.982428Output Værdi 2: 0.0132402Output Værdi 3: 0.000445562Svein05Output Værdi 1: 0.996928Output Værdi 2: 0.00490267Output Værdi 3: 0.0014319Svein06Output Værdi 1: 0.997957Output Værdi 2: 0.00484191Output Værdi 3: 0.000319076Svein07Output Værdi 1: 0.998441Output Værdi 2: 0.000975106Output Værdi 3: 0.000171458Svein08Output Værdi 1: 0.998692Output Værdi 2: 0.000776867Output Værdi 3: 0.0011413Svein09Output Værdi 1: 0.996313Output Værdi 2: 0.00474846Output Værdi 3: 0.00062534Svein10Output Værdi 1: 0.977538Output Værdi 2: 0.0226681Output Værdi 3: 0.000648247

Rasmus01Output Værdi 1: 0.0142585Output Værdi 2: 0.985766Output Værdi 3: 0.000760039Rasmus02Output Værdi 1: 0.0072897Output Værdi 2: 0.991984Output Værdi 3: 0.000241837Rasmus03Output Værdi 1: 0.00539852Output Værdi 2: 0.994303Output Værdi 3: 0.000978651Rasmus04Output Værdi 1: 0.0199416Output Værdi 2: 0.979237Output Værdi 3: 0.000430159Rasmus05Output Værdi 1: 0.0111353Output Værdi 2: 0.993293Output Værdi 3: 0.0010824Rasmus06Output Værdi 1: 0.0338954Output Værdi 2: 0.966686Output Værdi 3: 0.000954563Rasmus07Output Værdi 1: 0.000155595Output Værdi 2: 0.999853Output Værdi 3: 0.000649786Rasmus08Output Værdi 1: 0.020331Output Værdi 2: 0.980733Output Værdi 3: 9.75363e-005Rasmus09Output Værdi 1: 0.000670984Output Værdi 2: 0.998996Output Værdi 3: 0.00215046Rasmus10Output Værdi 1: 0.0168811Output Værdi 2: 0.983585Output Værdi 3: 0.000385685


97






98







99




100







101

Svein11Output Værdi 1: 0.993956Output Værdi 2: 0.00331022Output Værdi 3: 0.000809016Svein12Output Værdi 1: 0.981278Output Værdi 2: 0.0187468Output Værdi 3: 0.00089498Svein13Output Værdi 1: 0.983901Output Værdi 2: 0.0148917Output Værdi 3: 0.000677463Svein14Output Værdi 1: 0.989767Output Værdi 2: 0.0101258Output Værdi 3: 0.000616949

Rasmus11Output Værdi 1: 0.016954Output Værdi 2: 0.98411Output Værdi 3: 0.000596924Rasmus12Output Værdi 1: 0.000223282Output Værdi 2: 0.999594Output Værdi 3: 0.00149413Rasmus13Output Værdi 1: 0.00273952Output Værdi 2: 0.998247Output Værdi 3: 0.00110525Rasmus14Output Værdi 1: 0.00336925Output Værdi 2: 0.996066Output Værdi 3: 0.000874005

Ukendte billeder Ukendte billederSvein15Output Værdi 1: 0.981442Output Værdi 2: 0.0220102Output Værdi 3: 0.00103466Svein16Output Værdi 1: 0.989673Output Værdi 2: 0.00214212Output Værdi 3: 0.000856313Svein17Output Værdi 1: 0.992737Output Værdi 2: 0.0128766Output Værdi 3: 0.000521321Svein18Output Værdi 1: 0.889974Output Værdi 2: 0.0410074Output Værdi 3: 0.000558585Svein19Output Værdi 1: 0.998305Output Værdi 2: 0.00495501Output Værdi 3: 0.000744422Svein20Output Værdi 1: 0.998234Output Værdi 2: 0.00163411Output Værdi 3: 0.00140712

Rasmus15Output Værdi 1: 0.00045097Output Værdi 2: 0.999338Output Værdi 3: 0.00165755Rasmus16Output Værdi 1: 0.000822286Output Værdi 2: 0.999436Output Værdi 3: 0.00100462Rasmus17Output Værdi 1: 0.00224113Output Værdi 2: 0.997606Output Værdi 3: 0.00128858Rasmus18Output Værdi 1: 0.00061247Output Værdi 2: 0.999536Output Værdi 3: 0.00133981Rasmus19Output Værdi 1: 0.000287079Output Værdi 2: 0.999868Output Værdi 3: 0.00147193Rasmus20Output Værdi 1: 0.000658304Output Værdi 2: 0.999099Output Værdi 3: 0.00127867


102





Rasmus01Output Værdi 1: 0.00100174Output Værdi 2: 0.998277Output Værdi 3: 0.000375759Rasmus02Output Værdi 1: 0.00194446Output Værdi 2: 0.998103Output Værdi 3: 0.000300175Rasmus03Output Værdi 1: 0.00114408Output Værdi 2: 0.99915Output Værdi 3: 0.000175185Rasmus04Output Værdi 1: 2.83029e-005Output Værdi 2: 0.999963Output Værdi 3: 0.0014739Rasmus05Output Værdi 1: 0.00492403Output Værdi 2: 0.994545Output Værdi 3: 0.000731573Rasmus06Output Værdi 1: 0.0140114Output Værdi 2: 0.985935Output Værdi 3: 0.000570105Rasmus07Output Værdi 1: 0.000176092Output Værdi 2: 0.999853Output Værdi 3: 0.000275282Rasmus08Output Værdi 1: 0.00343951Output Værdi 2: 0.996721Output Værdi 3: 0.000388617Rasmus09Output Værdi 1: 0.0144511Output Værdi 2: 0.985176Output Værdi 3: 0.000264299Rasmus10Output Værdi 1: 0.000575831Output Værdi 2: 0.999595Output Værdi 3: 0.000476203


103

Svein11Output Værdi 1: 0.992348Output Værdi 2: 0.00754006Output Værdi 3: 8.86616e-005Svein12Output Værdi 1: 0.988027Output Værdi 2: 0.011852Output Værdi 3: 0.000226867Svein13Output Værdi 1: 0.997588Output Værdi 2: 0.0032577Output Værdi 3: 0.000531267Svein14Output Værdi 1: 0.996455Output Værdi 2: 0.00385616Output Værdi 3: 0.000302731Svein15Output Værdi 1: 0.994037Output Værdi 2: 0.00587422Output Værdi 3: 0.000752392



Rasmus16Output Værdi 1: 0.000140857Output Værdi 2: 0.999759Output Værdi 3: 0.000309694Rasmus17Output Værdi 1: 5.9064e-005Output Værdi 2: 0.999926Output Værdi 3: 0.00145474Rasmus18Output Værdi 1: 0.000501758Output Værdi 2: 0.999507Output Værdi 3: 0.000265629Rasmus19Output Værdi 1: 2.27566e-005Output Værdi 2: 0.999978Output Værdi 3: 0.000356033Rasmus20Output Værdi 1: 0.00262665Output Værdi 2: 0.998868Output Værdi 3: 0.00059835


104







105






106







107






108







109





9.4 KILDEKODE

billedgenkendelse - neurale netværkakira.ruc.dk/~torben/profilgenkendelse.pdf · 4.5 konklusion...

Documents