sisteme cu ia rnaiota.ee.tuiasi.ro/~mgavril/sia/sia_05.pdf · 2010-04-18 · relatiilor spatiale...

1

SISTEME CU SISTEME CU IAIA

RNA RNA PENTRUPENTRU CLASIFICARECLASIFICARE SISI

RECUNOASTERERECUNOASTERE

ReteleRetele competitivecompetitive

ArhitecturaArhitectura de de principiuprincipiu

ModululModulul competitivcompetitiv –– reţelereţeleMaxNetMaxNet / / MinNetMinNet

2

AlgoritmAlgoritm generic generic pentrupentruantrenareaantrenarea reţelelorreţelelor competitivecompetitive

1Date de intrare: modelele de antrenare, sub forma vectorilor deintrare x(m) (m = 1,…,M); numărul de clase C; rata de învățare ηc;factorul de adaptare Fc .

2 Inițializarea prototipurilor rețelei:2 Inițializarea prototipurilor rețelei:for c = 1 to C do

wc = random( )3 Adaptarea prototipurilor neuronilor‐clasă:

form = 1 toM do

// Pentru fiecare model de antrenare …

for c = 1 to C do

Dm,c = || x(m) – wc||

AlgoritmAlgoritm generic generic pentrupentruantrenareaantrenarea reţelelorreţelelor competitivecompetitive

// c* este neuronul clasă câştigător// Adaptarea prototipurilorp p p

for c = 1 to C dowc = wc + ηc ⋅ Fc ⋅ (x(m) – wc)

4. Criteriul de oprire: dacă criteriul de oprire este satisfăcut, algoritmul se încheie; în caz contrar, se revine la pasul 3.

RNA pentru clasificare si RNA pentru clasificare si recunoastererecunoastere

RRETELEETELE KKOHONENOHONEN

3

ReteleRetele KohonenKohonen

TreiTrei tipuritipuri importanteimportante

(a) reţeaua cuantificator vectorial sau VQ (vector(a) reţeaua cuantificator vectorial sau VQ (vector quantization);

(b)reţeaua LVQ (Learning Vector Quantization) şi

(c) reţeaua pentru hărţi de trăsături cu auto-organizare sau SOFM (Self-OrganizingFeature Maps).

ReteleRetele KohonenKohonen -- reteauareteaua VQVQ

Algoritmul VQ se aplică unor reţele competitive in care fiecare neuron corespunde unei clase şi este caracterizat printr-un prototip format din ponderile p p p pconexiunilor care îl leagă de neuronii de intrare.Pentru fiecare model de antrenare aplicat pe inrarea reţelei se determină prototipul câştigător şise deplasează acest prototip către modelul respectiv:

ReteleRetele KohonenKohonen -- reteauareteaua VQVQ

Algoritmul VQ este foarte asemănător cu algoritmul c-medii , cea mai importantă excepţie fiind că, în ultimul caz rata de învăţare este , ţînlocuită de inversa numărului de modele care au fost asociate prototipului câştigător. În plus, calculul prototipului se face direct, folosind toate modelele asociate lui:

4

ReteleRetele KohonenKohonen -- reteauareteaua LVQLVQ

Pentru prima data, algoritmul LVQ a fost folositpentru comprimarea imaginilor si a informatiei, in general.g

Se spune că o categorie de informaţii caracterizată de un vector cu N1 componente este comprimatădacă unei clase de informaţii de acest tip îi poate fi asociată o clasă descrisă de un alt vector cu N2componente, cu proprietatea N2 < N1.


Reţelele de tip LVQ sunt similare reţelelor Kohonen SOFM, cu deosebirea că folosesc o antrenare supravegheată.p g

Pentru fiecare vector de intrare x(m) se cunoaşte clasa căreia aparţine acesta c* sau un vector de ieşire dorit d(m). Astfel, se realizează comprimarea vectorului x(m) de dimensiune N1, în vectorul d(m)

de dimensiune N2 (N2 < N1).

PrincipiuPrincipiu


Pentru fiecare model de antrenare x(m) se calculează distanţele faţă de prototipurile existente:ţ ţ p p

Dm,c = ||x(m) – wc|| (c = 1,…,C) şi se alege distanţa minimă Dm,c*, corespunzătoare neuronului clasă c* căreia aparţine modelul x(m).

Clasa c* este comparată cu valoarea dorită d (m) şipe baza acestei comparatii se realizeaza adaptareaprototipurilor.

5

PrincipiuPrincipiu -- continuarecontinuare


Dacă c* = d (m), prototipul wc* este adaptat pozitiv.Dacă dimpotrivă, c* ≠ d (m), prototipul wc* este p , , p p cadaptat negativ.

Adaptarea pozitiva (apropierea prototipului wc* de modelul curent x(m)):

wc* = wc* + η⋅ (x(m) – wc*)Adaptarea negativa(indepartarea prototipului wc*de modelul curent x(m)):

wc* = wc* – η⋅ (x(m) – wc*)

AlgoritmAlgoritm


1. Date de intrare: modelede antrenare ‐ vectori de intrare x(m) şi claseasociate d (m),m = 1,…,M; numărul de clase C; rata de învățare η.

2 I iți li t ti i ț i l C d l di t l d t2. Inițializare prototipuri rețea ‐ primele Cmodele din setul de antrenare:for c = 1 to C dowc = x(c)

3. Adaptarea prototipurilor neuronilor‐clasă:form = 1 toM do

// Calculul distanțelor de la modelul x(m) la prototipurile wc

for c = 1 to C doDm,c = ||x(m) – wc||

// Selectarea neuronului‐clasă câştigătorDmin = Dm,1; c* = 1;

for c = 2 to C do


AlgoritmAlgoritm -- continuarecontinuare

for c = 2 to C do

if Dm,c < Dmin thenDmin = Dm,cc* = c

// Compară c* cu d (m) şi adaptează prototipurile

if c* = d (m) thenwc* = wc* + η⋅ (x(m) – wc*)else wc* = wc* – η⋅ (x(m) – wc*)

4. Criteriul de oprire: dacă criteriul de oprire este satisfăcut, algoritmulse încheie; în caz contrar, se revine la pasul 3.

6

InspiratieInspiratie biologicabiologica

ReteleRetele KohonenKohonen -- reteauareteaua SOFMSOFM

Maparea segmentelor senzoriale in creier :

Relatiilor spatiale intre stimuli lecorespund relatii spetiale intre neuroni.

Pe cortex se formeaza o imagine deformata a corpului uman





7


Reţelele SOFM au fost concepute pentru învăţarea nesupravegheată, numită uneori şi auto-organizare.

AutoAuto--organizareaorganizarea

Setul de date de antrenare conţine numai mărimi de intrare, iar reţeaua SOFM învaţă structura datelor de intrare.

… capacitatea unui sistem de a descoperi şi învăţa structura datelor de intrare, chiar şi în absenţa unor informaţii despre această structură.


Reţeaua Kohonen (SOFM) este o extindere a învăţării competitive standard la noţiunea de hărţi de trăsături.

O hartă de trăsături se obţine dacă la neuronii dintr-o reţea cu învăţare competitivă se adaugă o anumită formă de organizare topologică.

Neuronii se dispun în nodurile unei grile suport, de obicei bi-dimensionale, dar uneori uni-dimensională sau chiar tri şi chiar multi-dimensională.

GrilaGrila suportsuport sisi neuroniineuronii --clasaclasa


8

ParticularitateParticularitate SOFM SOFM vsvs VQ (LVQ)VQ (LVQ)


Adaptarea prototipurilor are loc nu numai pentru l â ti ăt i i t t di iineuronul câştigător, ci şi pentru o parte din neuronii-

clasă din reţea, care se află într-o anumită vecinătate a neuronului câştigător.

Vecinătatea unui neuron-clasă c, notată Vcmulţimea neuronilor-clasă dispuşi în nodurile grilei-suport la o distanţă faţă de neuronul-clasă c mai mică decât o anumită valoare prag.

InvatareaInvatarea –– 2 2 strategiistrategii complementarecomplementare::-- competitiacompetitia -- cooperareacooperarea


CompetitiaCompetitiaToţi neuronii-clasă concurează pentru dreptul de a învăţa. Implementarea competiţiei se face ca în orice alt algoritm competitiv: fiecare vector x(m) din setul de antrenare este comparat cu prototipurile wcasociate neuronilor-clasă şi se determină neuronul câştigător c* şi poziţia acestuia pe grila-suport.

InvatareaInvatarea –– 2 2 strategiistrategii complementarecomplementare::-- competitiacompetitia -- cooperareacooperarea


CooperareaCooperarea

După stabilirea neuronului câştigător c*, acesta nu îşi adaptează prototipul de unul singur, ci împreună cu neuronii-clasă care se situează în vecinătatea sa Vc*.

9

TipuriTipuri de de vecinatativecinatati-- discretediscrete -- continuecontinue


VecinatatiVecinatati discretediscreteSe foloseste direct positia in grila suport.

TipuriTipuri de de vecinatativecinatati-- discretediscrete -- continuecontinue


VecinatatiVecinatati continuecontinueSe foloseşte o funcţie de vecinătate, având de regulă o formă gaussiană:

unde σ 2 - dispersie, ρc -distanţa dintre neuronul-clasă c şi neuronul câştigător c*:

AdaptareaAdaptarea ponderilorponderilor::-- unilateralaunilaterala -- bilateralabilaterala


AdaptareaAdaptarea unilateralaunilateralaAdaptareaAdaptarea unilateralaunilateralaSe face adaptarea ponderilor numai pentru neuronii din vecinătatea Vc*, prin apropierea prototipurilor acestora de modelul curent x(m).

10

AdaptareaAdaptarea ponderilorponderilor::-- unilateralaunilaterala -- bilateralabilaterala


AdaptareaAdaptarea unilateralaunilateralaAdaptareaAdaptarea unilateralaunilateralaNeuronii-clasă din vecinătatea neuronului câştigător sunt stimulaţi, iar neuronii-clasă care rămân în afara vecinătăţii neuronului câştigător sunt penalizaţi:

InhibareInhibare lateralalaterala


AdaptareaAdaptarea vecinatatilorvecinatatilor –– fazafaza initialainitiala


Iniţial ecinătatea fiecăr i ne ron este foarte largăIniţial, vecinătatea fiecărui neuron este foarte largă, cuprinzând deseori practic toţi neuronii-clasă din reţea. În aceasta fază, vecinătăţile sunt relativ largi,astfel incat prototipurile unui număr mare de neuroni-clasă sunt apropiate, iar neuronii-clasă vecini acţionează asemănător.

11

AdaptareaAdaptarea vecinatatilorvecinatatilor –– fazafaza intermediaraintermediara


Dupa depasirea fazei initiale, aceste vecinătăţi sunt diminuate treptat. Pe măsură ce vecinătăţile se micşorează, prototipurile încep să se diferenţieze şi se formează un model de organizare a informaţiei de intrare.

AdaptareaAdaptarea vecinatatilorvecinatatilor –– fazafaza finalafinala


Spre finalul procesului, când vecinătăţile scad la 0 (fiecare vecinătate conţine numai neuronul-clasă central), adaptarea prototipurilor se face la un număr din ce în ce mai mic de neuroni-clasă, iar procesul de diversificare se accentuează.

AdaptareaAdaptarea rateiratei de de invatareinvatare


Iniţial, în faza de ordonare, rata de învăţare se menţine la valori ridicate apropiate de unitatemenţine la valori ridicate, apropiate de unitate, pentru a permite orientarea de principiu a tuturor prototipurilor din reţea către diferitele modele din setul de antrenare. Ulterior, în etapa de convergenţă, când modificarea prototipurilor trebuie să se facă în zone din ce în ce mai apropiate de centrul grupării de vectori asociaţi unui neuron-clasă, rata de învăţare se reduce.

12


1.Date de intrare: modelele de antrenare x(m), m = 1,…,M; numărul deneuroni‐clasă C; rata de învățare η şi dispersia σ 2; factorii de

AlgoritmAlgoritm

neuroni‐clasă C; rata de învățare η şi dispersia σ ; factorii dedescreştere pentru rata de învățare (δη) şi dispersie (δσ).

2. Inițializarea prototipurilor rețelei cu valori aleatorii, în intervalul (0 , 1):for c = 1 to C do wc = random( )

3. Adaptarea prototipurilor neuronilor‐clasă:form = 1 toM do

// Calculul distanțelor de la modelul x(m) la prototipurile wc

for c = 1 to C doDm,c = ||x(m) – wc||


// Selectarea neuronului‐clasă câştigătorDmin = Dm,1; c* = 1;f 2 t C d

AlgoritmAlgoritm

for c = 2 to C doif Dm,c < Dmin then

Dmin = Dm,c

c* = c// Calculul funcției de vecinătate pentru neuronii‐clasă

for c = 2 to C doif c ≠ c* then

// Adaptarea prototipurilorfor c = 1 to C do

wc = wc+ η⋅ Vc ⋅ ( x(m) – wc )

( )


4. Criteriul de oprire: dacă condiția de oprire este satisfăcută, algoritmul

î h i Î t t l l 5

AlgoritmAlgoritm

se încheie. În caz contrar, se trece la pasul 5.

5. Îngustarea vecinătăților în etapa de ordonare:

σ 2 = σ 2 ⋅ δσ6. Reducerea ratei de învățare în etapa de convergență:

η = η ⋅ δη7. Se revine la pasul 3.

sisteme cu ia rnaiota.ee.tuiasi.ro/~mgavril/sia/sia_05.pdf · 2010-04-18 · relatiilor spatiale...

Documents