1

OptimizareaOptimizarea rereţţelelorelelorOptimizare (DEX) Optimizare (DEX) –– alegerea alegerea şşi aplicarea solui aplicarea soluţţiei optime dintre iei optime dintre

mai multe variante posibilemai multe variante posibile

Exemple:Exemple:--aalegerealegerea topologiei retopologiei reţţelei locale private a unei mari firmeelei locale private a unei mari firme--atribuirea canalelor de frecvenatribuirea canalelor de frecvenţţă utilizatorilor simultani ă utilizatorilor simultani îîntrntr--o o

rereţţea de comunicaea de comunicaţţii mobilăii mobilă

TTrebuierebuie satisfăcute mai multe constrângeri satisfăcute mai multe constrângeri -- există un număr există un număr mare de candidamare de candidaţţi ce satisfac cerini ce satisfac cerinţţele de proiectare.ele de proiectare.

Există o singură variantă optimăExistă o singură variantă optimă

SoluSoluţţii obii obţţinute prin:inute prin:-- variante elaborate ale unor tehnici clasicevariante elaborate ale unor tehnici clasice-- tehnici inteligentetehnici inteligente

Tehnici inteligenteTehnici inteligente

Programe de inteligenPrograme de inteligenţţă artificială ă artificială ––sisteme expertsisteme expertSistemeSisteme fuzzyfuzzy, , bazate pe mulbazate pe mulţţimi vagi imi vagi ReReţţele neuronaleele neuronaleAlgoritmi bazaAlgoritmi bazaţţi pe căutări i pe căutări îîntrntr--o populao populaţţie de ie de variante, cum sunt variante, cum sunt algoritmii genetici algoritmii genetici şşi algoritmii i algoritmii evolutivievolutivi

Caracteristica esenCaracteristica esenţţială a problemelor din comunicaială a problemelor din comunicaţţiile moderne iile moderne este caracterul este caracterul DINAMIC DINAMIC ((îîntrntr--o permanentă schimbareo permanentă schimbare))

Tehnicile de optimizare Tehnicile de optimizare ––care trebuie să găsească o solucare trebuie să găsească o soluţţie rapidă ie rapidă şşi eficientă i eficientă îîntre numeroase soluntre numeroase soluţţii posibile ii posibile

TREBUIE fie ADAPTIVETREBUIE fie ADAPTIVE –– să furnizeze o solu să furnizeze o soluţţie corectă ie corectă aproape instantaneuaproape instantaneu

OptimizareaOptimizarea rereţţelelorelelorObiectiveleObiectivele cursuluicursului

Conturarea problemelor care pot apare Conturarea problemelor care pot apare îîn n comunicacomunicaţţii ii şşi a direci a direcţţiilor posibile de optimizareiilor posibile de optimizarePrezentarea unor arhitecturi de rePrezentarea unor arhitecturi de reţţele neuronale ele neuronale şşi a i a algoritmilor uzuali de antrenament.algoritmilor uzuali de antrenament.Expunerea unor aplicaExpunerea unor aplicaţţii de optimizare a traficului ii de optimizare a traficului utilizând reutilizând reţţele neuronale . ele neuronale . Crearea bagajului de cunoCrearea bagajului de cunoşştintinţţe teoretic e teoretic şşi practic i practic necesar pentru identificarea aplicanecesar pentru identificarea aplicaţţiilor posibile de iilor posibile de optimizare a telecomunicaoptimizare a telecomunicaţţiilor, pentru optimizarea iilor, pentru optimizarea dimensiunii,dimensiunii, proiectării proiectării şşi utilizării unei rei utilizării unei reţţele de ele de comunicacomunicaţţiiii

2

CCerinerinţţeeDorinDorinţţa de a a de a îînvănvăţţaaPrezenPrezenţţă efectivă ă efectivă Minte deschisăMinte deschisăSeriozitateSeriozitateSă vă străduiSă vă străduiţţi să comunicai să comunicaţţi corect cu cadrul didactic,i corect cu cadrul didactic, pornind pornind de la premiza că el chiar vrea să vă de la premiza că el chiar vrea să vă îînvenveţţe ceva utile ceva util

CCe să nu facee să nu faceţţiiSă nu dormiSă nu dormiţţi i îîn timpul orelorn timpul orelorAltceva decât ceea ce vi se cereAltceva decât ceea ce vi se cereSă nu Să nu îîncercancercaţţi să fraierii să fraieriţţi cadrul didactic i cadrul didactic Să nu Să nu ((văvă) min) minţţiiţţii

PremizePremize

Rezultate Rezultate aaşşteptateteptate

3

ConConţţinutul cursuluiinutul cursuluiIntroducere Introducere

Caracteristicile reCaracteristicile reţţelelor moderne de telecomunicaelelor moderne de telecomunicaţţii ii şşi ale traficului manipulat.i ale traficului manipulat.Sistemul global de comunicaSistemul global de comunicaţţii 4Gii 4GModelul unui sistem de transmisie prin satelitModelul unui sistem de transmisie prin satelitDirecDirecţţii de optimizare a reii de optimizare a reţţelelor de comunicaelelor de comunicaţţii cu ii cu rereţţele neuronaleele neuronaleArgumente ale utilizării reArgumente ale utilizării reţţelelor neuronale elelor neuronale îîn n optimizarea reoptimizarea reţţelelor elelor

Problema clasificării de semnale cu reProblema clasificării de semnale cu reţţele neuronaleele neuronaleComponenteleComponentele rereţţelelorelelor neuronale : modele de neuroni, neuronale : modele de neuroni, reguli de reguli de îînvănvăţţare, funcare, funcţţii de activareii de activareLimitele unui neuron Limitele unui neuron şşi ale rei ale reţţelelor neuronale cu un stratelelor neuronale cu un strat

ReReţţele neuronale multistrat tip ele neuronale multistrat tip feedfeed--forwardforwardAlgoritmul propagării inverse a erorii Algoritmul propagării inverse a erorii îîn ren reţţelele multistratelele multistratAspecte importante ale Aspecte importante ale îînvănvăţţării algoritmului propagării ării algoritmului propagării inverse a erorii inverse a erorii îîn ren reţţelele multistratelele multistrat

Caracterizarea Caracterizarea şşi predici predicţţia traficuluiia traficuluiAplicaAplicaţţie a uneiie a unei rereţţele neuronale cu mai multe straturi de tip ele neuronale cu mai multe straturi de tip spre spre îînaintenainte

Egalizarea adaptivă a canalelor de comunicaEgalizarea adaptivă a canalelor de comunicaţţiiiicu recu reţţele neuronale multistrat de tip spre ele neuronale multistrat de tip spre îînaintenaintecu recu reţţele neuronale pe bază de funcele neuronale pe bază de funcţţii radialeii radialecu recu reţţele neuronale recurente ele neuronale recurente

Controlul apelului Controlul apelului şşi admisiei conexiuniii admisiei conexiuniiControlul apelului Controlul apelului şşi admisiei conexiunii pe baza i admisiei conexiunii pe baza caracterizării caracterizării şşi predici predicţţiei parametrilor traficului de iei parametrilor traficului de comunicacomunicaţţii ii Controlul traficului pe baza lăControlul traficului pe baza lăţţimii de bandă necesare pentru imii de bandă necesare pentru un serviciuun serviciuControlul apelului Controlul apelului şşi admisiei conexiunii pe baza evaluării i admisiei conexiunii pe baza evaluării calităcalităţţii serviciuluiii serviciului

Comutarea de pachete de dateComutarea de pachete de datecu recu reţţele competitive ele competitive

cu recu reţţele neuronale cu reacele neuronale cu reacţţieie

4

Controlul fluxului Controlul fluxului şşi i rutarearutarea dinamică dinamicăAplicaAplicaţţii le reii le reţţelei elei HopfieldHopfield îîn rezolvarea problemelor de n rezolvarea problemelor de

optimizareoptimizare

RecunoaRecunoaşştere de formetere de formeRecunoaRecunoaşştere de caractere cu retere de caractere cu reţţele ele HopfieldHopfield şşi rei reţţele ele

competitivecompetitive

AplicaAplicaţţii ale reii ale reţţelelor neuronale celulareelelor neuronale celulareÎÎn procesarea de imaginin procesarea de imagini

ÎÎn rezolvarea unor probleme de optimizare a traficuluin rezolvarea unor probleme de optimizare a traficului

Bibliografie selectivăBibliografie selectivă

[[P.BourretP.Bourret, 91] ., 91] .ReggiaReggia,,M.SamuelidesM.Samuelides," ," RRééseauxseaux neuronauxneuronaux, , uneuneaprocheaproche connexionisteconnexioniste de de ll’’IntelligenceIntelligence ArtificielleArtificielle",",TekneaTekneaToulouse,1991Toulouse,1991[C.Botoca,04] [C.Botoca,04] RRééseauxseaux de de neuronesneurones. . ApplicationsApplications dans le dans le traitementtraitementdu signal Editura Politehnica, 200du signal Editura Politehnica, 20066[M. [M. BuleaBulea, 04], 04]““Prelucrarea imaginilor Prelucrarea imaginilor şşi recunoai recunoaşşterea formelorterea formelor””, , Editura Academiei Române, 2004Editura Academiei Române, 2004[[I.CiocoiuI.Ciocoiu, 00] "Re, 00] "Reţţele neurale artificiale", Editura CANTES, ele neurale artificiale", Editura CANTES, IAIAŞŞI, 2000I, 2000[[L.O.ChuaL.O.Chua, 97] , 97] T.RoskaT.Roska ""CellularCellular Neural Neural NetworksNetworks. . PremiriesPremiries andandFoundationsFoundations ", Notes ", Notes coursecourse Berkeley,1997Berkeley,1997[R. [R. DogaruDogaru, 99] , 99] OvOv. Grigore, . Grigore, ““Sisteme neurale si cu logică Sisteme neurale si cu logică fuzzyfuzzy. . Implementări informatice Implementări informatice şşi aplicai aplicaţţiiii””, Ed. , Ed. PrintechPrintech, Bucure, Bucureşşti, 1999ti, 1999[R. [R. DogaruDogaru, 03] , 03] ““UniversalityUniversality andand Emergent Emergent ComputationComputation in in CellularCellularNeural Neural NetworksNetworks”” ,,WorldWorld ScientificScientific, 2003, 2003[[D.DumitrescuD.Dumitrescu, 96] , 96] H.CostinH.Costin, ", "ReteleRetele Neuronale", Editura Neuronale", Editura TeoraTeora, , 19961996[[S.HaykinS.Haykin, 94], 94] "Neural "Neural NetworksNetworks" " McmillanMcmillan PublishingPublishingCo.,Co.,EnglewoodEnglewood Cliffs,1994Cliffs,1994

[[R.HechtR.Hecht--NielsenNielsen, 90] ", 90] "NeurocomputingNeurocomputing" " AddisonAddison--WesleyWesleyPublishingPublishing CompanyCompany, 1990, 1990[[T.KohonenT.Kohonen, 89] , 89] T.KohonenT.Kohonen ““SelfSelf--organisationorganisation andandAssociativeAssociative MemoryMemory””, , SpringerSpringer VerlagVerlag, Berlin , Berlin HeidelbergHeidelberg, , 19891989[[B.KoskoB.Kosko, 92.1] , 92.1] B.KoskoB.Kosko "Neural "Neural NetworksNetworks andand FuzzyFuzzySystemsSystems",",PrenticePrentice HallHall Inc., Inc., EnglewoodEnglewood CliffsCliffs, NJ,1992, NJ,1992[[B.KoskoB.Kosko, 92.2] , 92.2] B.KoskoB.Kosko "Neural "Neural NetworksNetworks for Signal for Signal ProcessingProcessing",",PrenticePrentice HallHall HallHall Inc, Inc, EnglewoodEnglewood CliffsCliffs, NJ,1992, NJ,1992[A. Moise, 05][A. Moise, 05] A. Moise, A. Moise, ““ReReţţele neuronale pentru ele neuronale pentru recunoarecunoaşşterea formelorterea formelor””, Editura , Editura MatrixRomMatrixRom, , BucurestiBucuresti, 2005, 2005[H.N. [H.N. TeodorescuTeodorescu, 04], 04] H.N. H.N. TeodorescuTeodorescu ““IntelligentIntelligentSystemsSystems in in MedicineMedicine””, , Editura Editura PerformanticaPerformantica IasiIasi, 2004, 2004[S. [S. ZahanZahan, 99], 99] S. S. ZahanZahan, , ““ReReţţeleele neuronale neuronale îîn n telecomunicatelecomunicaţţii.Aplicaii.Aplicaţţiiii Editura Albastra, ClujEditura Albastra, Cluj--Napoca, Napoca, 19991999

5

RevisteReviste

" " IEEE IEEE CommunicationsCommunications Magazine"Magazine"" IEEE " IEEE TransactionsTransactions onon CommunicationsCommunications""" IEEE " IEEE TransactionsTransactions onon CircuitsCircuits andand SystemsSystems""" IEEE " IEEE TransactionsTransactions onon Neural Neural NetworksNetworks"""Neural "Neural ComputationComputation""" IEEE " IEEE TransactionsTransactions onon NetworkingNetworking""

[[I.ZuradaI.Zurada, 92] , 92] I.ZuradaI.Zurada " " IntroductionIntroduction toto Artificial Neural Artificial Neural SystemsSystems. . LearningLearning andand ApplicationsApplications””,,WestWest PublishingPublishing Co.,Co.,WienWien,1992,1992[***, 95] [***, 95] Student Student EditionEdition of of MathlabMathlab V4, V4, User'sUser's GuideGuide, , PrenticePrenticeHallHall, , EnglowoodEnglowood CliffsCliffs, NJ, 1995, NJ, 1995[Y.H. [Y.H. HuHu, 02], 02] YuYu HenHen HuHu, , JengJeng--NengNeng HwangHwang, , HandbookHandbook of Neural of Neural NetworksNetworks. Signal . Signal ProcessingProcessing, CRC Press, 2002, CRC Press, 2002

1.1. Introducere1.1. IntroducereÎÎn 1876 experimentul lui n 1876 experimentul lui AlexanderAlexander Graham Bell naGraham Bell naşşterea terea telecomunicatelecomunicaţţiilor. Duiilor. După pă 10 ani 155.000 de telefoane 10 ani 155.000 de telefoane îîn uz n uz îîn n SUA. SUA.

TelecomunicaTelecomunicaţţiile au avut o evoluiile au avut o evoluţţie fără precedent ie fără precedent îîn n şştiintiinţţăă::de la comutarea de circuite la comutarea de pachete de mare de la comutarea de circuite la comutarea de pachete de mare

vitezăviteză, , de la transmisiile prin cablurile de cupru la cele prin fibre de la transmisiile prin cablurile de cupru la cele prin fibre

optice, prin satelit optice, prin satelit şşi comunicai comunicaţţiile mobile. iile mobile.

RevoluRevoluţţie tehnologică ie tehnologică --ÎÎnlocuireanlocuirea rereţţelei de elei de telecomunicatelecomunicaţţii cu un sistem digital avansat Bii cu un sistem digital avansat B--ISDN ISDN ((BroadbandBroadband IntegratedIntegrated ServicesServices DigitalDigital NetworkNetwork) a) a fost fost determinată dedeterminată de: :

crecreşşterea volumului de informaterea volumului de informaţţii vehiculate pe canalele de ii vehiculate pe canalele de comunicacomunicaţţii, ii,

cererea de noi servicii necesitatea realizării unor aplicacererea de noi servicii necesitatea realizării unor aplicaţţii la ii la viteze din ce viteze din ce îîn ce mai mari, de ordinul n ce mai mari, de ordinul gigabigigabiţţilorilor pe secundă pe secundă (sau chiar (sau chiar TbiTbiţţilorilor) )

Exemple de servicii care necesită integrarea reExemple de servicii care necesită integrarea reţţelelor elelor telefonice cu retelefonice cu reţţelele de calculatoare, pentru a se elele de calculatoare, pentru a se putea asigura transmisia atât a semnalelor continue putea asigura transmisia atât a semnalelor continue video /audio cât video /audio cât şşi a celor numerice:i a celor numerice:

videoteleconferinvideoteleconferinţţaa , , comunicacomunicaţţiile multimedia, iile multimedia, televiziunea de televiziunea de îînaltă defininaltă definiţţie, ie, comunicacomunicaţţiile la distaniile la distanţţă interumane ă interumane îînsonsoţţite de ite de

realitate virtuală realitate virtuală ((telemedicinătelemedicină, , îînvănvăţţământul la ământul la distandistanţţăă) )

servicii de comunicaservicii de comunicaţţii personale ii personale

6

1.2. Caracteristicile re1.2. Caracteristicile reţţelelor moderne de elelor moderne de comunicacomunicaţţiiii

ReReţţelele moderne de comunicaelele moderne de comunicaţţii au :ii au :un număr de mii de noduriun număr de mii de noduridiferite tipuri de surse, diferite tipuri de surse, diferite tipuri de trafic, diferite tipuri de trafic, care deservesc un număr variabilcare deservesc un număr variabil, foarte mare de utilizatori, foarte mare de utilizatori

INIINIŢŢIAL orientate pe IAL orientate pe îîmbunătămbunătăţţirea serviciilor vocale reirea serviciilor vocale reţţelele elele au evoluat spre deservirea comunicaau evoluat spre deservirea comunicaţţiilor multimedia. iilor multimedia. ÎÎN PREZENT comunicaN PREZENT comunicaţţiile multimedia iile multimedia şşi videoconferini videoconferinţţele ele reprezintă preponderent traficul reprezintă preponderent traficul -- necesită o bandă largă de necesită o bandă largă de frecvenfrecvenţţe ocupate. e ocupate.

Bazele de date Bazele de date geospageospaţţialeiale care consumă chiar mai multă bandă care consumă chiar mai multă bandă decât comunicadecât comunicaţţiile multimedia. iile multimedia.

ComunicaComunicaţţiile interumane iile interumane -- îînvănvăţţămămâântulntul la distanla distanţţă ă şşi i telemedicinatelemedicina, , îînsonsoţţite de realitate virtualăite de realitate virtuală, n, necesită nu numai ecesită nu numai o bandă foarte mare dar o bandă foarte mare dar şşi parametrii care definesc calitatea i parametrii care definesc calitatea serviciului satisfăcători serviciului satisfăcători ((QoSQoS qualityquality of service).of service).

Scopul BISDN este să ofere Scopul BISDN este să ofere o paletă largă de servicii unui număr cât mai mareo paletă largă de servicii unui număr cât mai mare, variabil , variabil de utilizatori de utilizatori la diferite viteze (rate de bit) la diferite viteze (rate de bit) îîntrntr--o manieră eficientă o manieră eficientă la un prela un preţţ accesibil. accesibil.

BISDN trebuie să asigure integrarea reBISDN trebuie să asigure integrarea reţţelelor prin satelit cu elelor prin satelit cu rereţţelele mobile, celulare elele mobile, celulare şşi cu rei cu reţţelele terestre.elele terestre.

BISDN trebuie să garanteze BISDN trebuie să garanteze compatibilitatea componentelorcompatibilitatea componentelorconectivitate totală conectivitate totală (global (global roamingroaming) ) îîn condin condiţţiile:iile:

-- unei capacită unei capacităţţi cât mai mari de transmisiei cât mai mari de transmisie-- a unei viteze de procesare a unei viteze de procesare îîn timp real n timp real -- satisfacerii parametrilor QOS. satisfacerii parametrilor QOS.

ÎÎn n prezentprezent -- generageneraţţiiaa 3 a 3 a sistemelorsistemelor de de transmisietransmisie, , se se prefigureazăprefigurează dejadeja generageneraţţiaia 4G4G, o, operabilă din perabilă din 20102010. .

SistemeleSistemele de de comunicacomunicaţţieie curentecurente suportăsuportă atât atât aplicaaplicaţţiiiilelemultimedia multimedia ccâât t şşii internetinternetulul. .

ExempluExemplu-- ssistemulistemul SpacewaySpaceway ce ce asigurăasigură o o legăturălegătură de de transmisietransmisie îînn josjos cu cu vitezeviteze de de pânăpână la 100Mb la 100Mb pepe secundăsecundă şşii o o capacitate capacitate totalătotală de 4,4 de 4,4 Gb/sGb/s. .

7

ATM ATM ((AsynchronusAsynchronus Transfer ModeTransfer Mode) ) --tehnologietehnologie cheie pentru cheie pentru BB--ISDNISDN-- informainformaţţia este segmentată ia este segmentată îîn pachete de lungime fixăn pachete de lungime fixă, , numite celule, ceeanumite celule, ceea ce facilitează comutarea de mare viteză ce facilitează comutarea de mare viteză. .

Fiecare celulă are un antet care determină destinaFiecare celulă are un antet care determină destinaţţia, ia, permipermiţţând astfel o ând astfel o rutarerutare transparentă prin re transparentă prin reţţea. ea.

Celula conCelula conţţine ine şşi alte informai alte informaţţii necesare pentru o mai bună ii necesare pentru o mai bună circulacirculaţţie a acesteia prin canalul de comunicaie a acesteia prin canalul de comunicaţţie. ie.

Celulele sunt asignate Celulele sunt asignate şşi transmise prin multiplexare i transmise prin multiplexare îîn timp n timp la cererea utilizatorului. la cererea utilizatorului.

Transmisia ATM poate fi utilizată Transmisia ATM poate fi utilizată îîn toate mediile de n toate mediile de comunicacomunicaţţie existente:ie existente:

cablu coaxialcablu coaxialcablu torsadat cablu torsadat fibre optice fibre optice

OrganizaOrganizaţţia ATM Forum recomandă utilizarea ia ATM Forum recomandă utilizarea următoarelor interfeurmătoarelor interfeţţe fizice pentru ATM: FDDI, e fizice pentru ATM: FDDI, FiberFiber ChannelChannel, SONET, , SONET, FrameFrame RelayRelay şşi X.25.i X.25.

Tehnologia ATM Tehnologia ATM îîndeplinendeplineşşte câteva dintre te câteva dintre obiectivele majore ale BISDN: obiectivele majore ale BISDN:

suportă toate serviciile existente suportă toate serviciile existente îîn prezent,n prezent, asigură o utilizare eficientă a resurselor reasigură o utilizare eficientă a resurselor reţţelei, elei, minimizează timpul de procesare minimizează timpul de procesare îîn nodurile n nodurile

intermediare, intermediare, suportă viteze mari de transmisiesuportă viteze mari de transmisie, , garantează performangarantează performanţţele necesare pentru aplicaele necesare pentru aplicaţţiile iile

existente.existente.

Pentru dezvoltarea rePentru dezvoltarea reţţelelor de comunicaelelor de comunicaţţii există mai multe ii există mai multe scenarii scenarii -- toate au la bază transmisiile prin satelit toate au la bază transmisiile prin satelit--fiefie că utilizează tehnica ATM că utilizează tehnica ATM, fie protocoalele INTERNET. , fie protocoalele INTERNET.

ReReţţeaua globală trebuie să integreze reeaua globală trebuie să integreze reţţele ATM cu Internetul.ele ATM cu Internetul.

1.3. Caracteristicile traficului 1.3. Caracteristicile traficului îîntrntr--o reo reţţea ea modernă de comunicamodernă de comunicaţţiiii

ToToţţi parametrii traficului săi variazăi parametrii traficului săi variază::numărul utilizatorilornumărul utilizatorilor, , topologia retopologia reţţelei, elei, ratele de transfer ale informaratele de transfer ale informaţţiei, iei, lălăţţimea de bandă necesarăimea de bandă necesară

8

CerinCerinţţele transmisiei diferă ele transmisiei diferă îîn funcn funcţţie de serviciile oferite ie de serviciile oferite utilizatorilor.utilizatorilor.--Vocea Vocea îîmpachetată mpachetată --bandăbandă relativ redusă relativ redusă, d, dată de o viteză de ată de o viteză de transmisie de aproximativ 8 transmisie de aproximativ 8 kbkb//ss--6464kbkb/s, /s, dar necesită o dar necesită o îîntârziere redusă pentru a asigura calitate la destinantârziere redusă pentru a asigura calitate la destinaţţie.ie.--Traficul video Traficul video -- bandă mai largă bandă mai largă, d, dată de o transmisie de ată de o transmisie de 128128--384 384 kbkb/s /s şşi o i o îîntârziere redusă ntârziere redusă îîn transmisie.n transmisie.--Traficul de date, respectiv de fiTraficul de date, respectiv de fişşiere sau email, poate accepta iere sau email, poate accepta latenlatenţţă ă îîn transmisie fără deprecierea parametrilor QOSn transmisie fără deprecierea parametrilor QOS. . Emailul necesită bandă redusăEmailul necesită bandă redusă, dar transmisia de fi, dar transmisia de fişşiere iere necesită bandă largănecesită bandă largă..Traficul se desfăTraficul se desfăşşoară oară îîn rafale n rafale şşi modelarea sa este posibilă i modelarea sa este posibilă doar doar îîn anumite condin anumite condiţţii de constrângere ii de constrângere şşi pentru aplicai pentru aplicaţţii ii specifice.specifice.Domină modelele exponenDomină modelele exponenţţiale, care iale, care îînsă snsă s--au demonstrat a fi au demonstrat a fi adecvate doar la o scară limitată de timpadecvate doar la o scară limitată de timp. N. Nici unul dintre ici unul dintre aceste modele nu este capabil să ilustreze exact proprietăaceste modele nu este capabil să ilustreze exact proprietăţţile ile traficului real.traficului real.

Limitările algoritmilor convenLimitările algoritmilor convenţţionali se datorează ionali se datorează necesitănecesităţţii ii modelării modelării matematicematematice exacte a problemeiexacte a problemei--dificil de realizat dificil de realizat îîn n condicondiţţiile complexe ale traficului real.iile complexe ale traficului real.

Traficul PoissonTraficul Poisson se netezese netezeşşte pe măsură ce intervalul te pe măsură ce intervalul de timp crede timp creşşte. te. Traficul realTraficul real este este şşi la o scală de timp mai mare tot i la o scală de timp mai mare tot îîn n rafale, arafale, aşşa cum era la scală redusă a cum era la scală redusă -- ca formă ca formă traficului real a rămas neschimbattraficului real a rămas neschimbat. .

Obiectivul strategiei administrării eficiente ATM Obiectivul strategiei administrării eficiente ATM -- un un îînalt grad de utilizare, cu satisfacerea parametrilor de nalt grad de utilizare, cu satisfacerea parametrilor de calitate a serviciilor. calitate a serviciilor. Proiectarea unei astfel de strategii utilizând tehnicile Proiectarea unei astfel de strategii utilizând tehnicile de programare tradide programare tradiţţionale nu poate fi eficientă ionale nu poate fi eficientă datorită gradului mare de complexitatedatorită gradului mare de complexitate. . Este necesară o schimbare radicală de opinieEste necesară o schimbare radicală de opinie, , îîn n sensul abandonării teoriei asensul abandonării teoriei aşşteptăriiteptării, c, cu o matematică u o matematică exactăexactă..

9

Sunt necesare metode noi Sunt necesare metode noi şşi complexe de abordare, i complexe de abordare, cu o uriacu o uriaşşă capacitate de procesareă capacitate de procesare, v, viteză de calcul iteză de calcul şşi i control control îîn timp real.n timp real.

ReReţţelele de comunicaelele de comunicaţţii ale viitorului trebuie să fieii ale viitorului trebuie să fie: : sisteme adaptive sisteme adaptive şşi inteligentei inteligente, pentru a asigura: , pentru a asigura:

flexibilitatea flexibilitatea şşi fiabilitatea rei fiabilitatea reţţelei, predicelei, predicţţia exactă ia exactă a parametrilor traficului,a parametrilor traficului,

utilizarea eficientă a canalului disponibilutilizarea eficientă a canalului disponibil, , administrarea optimizată administrarea optimizată îîn raport cu diferite n raport cu diferite

medii, medii,

Nu modelarea stohastică Nu modelarea stohastică şşi analiza cozii de ai analiza cozii de aşşteptare teptare reprezintă răspunsul problemelor complexe pe care le reprezintă răspunsul problemelor complexe pe care le ridică traficul modernridică traficul modern, ci tehnicile inteligente., ci tehnicile inteligente.

--definidefiniţţi de Forumul ATMi de Forumul ATM--suntsunt parametrii tehnici asociaparametrii tehnici asociaţţi unei conexiuni pentru un bun i unei conexiuni pentru un bun control al traficului. control al traficului.

Cei mai importanCei mai importanţţi :i :rata de pierdere a celulelor (CLR rata de pierdere a celulelor (CLR cellcell lossloss rate) rate)

procentul de celule care nu au fost livrate la destinaprocentul de celule care nu au fost livrate la destinaţţie, ie, fiind pierdute fiind pierdute îîn ren reţţea datorită congestiei ea datorită congestiei şşi suprai supraîîncărcării ncărcării cozilor de acozilor de aşşteptare;teptare;

rata de vârf a celulelor (PCR rata de vârf a celulelor (PCR peakpeak cellcell rate rate) ) rata maximă de celule la care rata maximă de celule la care se se poate transmite ;poate transmite ;

rata rata îîntrentreţţinută a celulelor inută a celulelor (SCR (SCR sustainedsustained cellcell rate) rate) rata medie de transmisie a celulelor pe durata unei rata medie de transmisie a celulelor pe durata unei

conexiuni;conexiuni;

1.4. Parametrii de calitate ai serviciilor1.4. Parametrii de calitate ai serviciilor

îîntârzierea celulei datorată transferului ntârzierea celulei datorată transferului (CTD (CTD cellcell transfer transfer delaydelay) )

suma tuturor suma tuturor îîntârzierilor unei celule de la intrarea ntârzierilor unei celule de la intrarea îîn n rereţţea până la punctul de ieea până la punctul de ieşşire (ire (îîntârzieri de propagare ntârzieri de propagare îîn n cozile de acozile de aşşteptare);teptare);

variavariaţţia ia îîntârzierii unei celule (CDV ntârzierii unei celule (CDV cellcell delaydelay variationvariation) ) variavariaţţia ia îîntârzierilor ntârzierilor îîn transferul unei celule de la intrarea n transferul unei celule de la intrarea îîn n

rereţţea până la punctul de ieea până la punctul de ieşşire;ire;

Există serviciiExistă servicii: : garantate garantate -- rereţţeaua garantează parametrii diferieaua garantează parametrii diferiţţilor ilor utilizatori, adiutilizatori, adică minimulcă minimul, maximul, un prag specificat. , maximul, un prag specificat. cu "cu "bestbest efforteffort""-- parametrii QOS sunt parametrii QOS sunt îîn funcn funcţţie de starea ie de starea rereţţelei. elei.

Nu există nici o garanNu există nici o garanţţie a parametrilor ie a parametrilor serviciilorTransmisiaserviciilorTransmisia emailuemailu--lui este astfel asiguratălui este astfel asigurată. .

10

1.5. Sisteme de comunica1.5. Sisteme de comunicaţţii prin satelitii prin satelitTendinTendinţţe e îîn sistemele 4Gn sistemele 4G

OO rereţţea globală ce oferă servicii multimedia ea globală ce oferă servicii multimedia cu cu parametriiparametrii QOS QOS conform cerinconform cerinţţelorelor, in mod , in mod flexibil utilizatorilor, la cerere, flexibil utilizatorilor, la cerere, oricând oricând şşi oriundei oriunde, la un p, la un prereţţ accesibilaccesibil

Noi servicii, compatibilitate Noi servicii, compatibilitate îîntre sisteme diferitentre sisteme diferite

Capacitate mai mare 10x cea a sistemelor 3GCapacitate mai mare 10x cea a sistemelor 3G

Cost 1Cost 1//10 10 -- 11//100 din cel curent per bit100 din cel curent per bit

procesare procesare îîn timp real, pentru serviciile multimedia n timp real, pentru serviciile multimedia interactive, deci mai puinteractive, deci mai puţţine toleranine toleranţţe la erori e la erori şşi i îîntârzieri (mai ntârzieri (mai mici decmici decâât 50 ms)t 50 ms)

Sisteme de transmisie de bandă largăSisteme de transmisie de bandă largă, prin satelit , prin satelit bazate pe bazate pe tehnologia ATM, cu OBPtehnologia ATM, cu OBP (onboard processing unit) (onboard processing unit) şşi OBSi OBS(onboard switch)(onboard switch) sofisticate sofisticate şşi legături i legături intersateliintersateliţţii

Implică Implică şşi utilizarea altor tehnologii moderne ca i utilizarea altor tehnologii moderne ca modulamodulaţţiile multiple de amplitudine, CDMA iile multiple de amplitudine, CDMA şşi i turbocodurileturbocodurilepe pe transponderetranspondere ((bentbent--pipepipe transpondertransponder relaysrelays). ).

Factorii de care depinde proiectarea: Factorii de care depinde proiectarea: acoperireacoperirecerincerinţţele traficuluiele traficuluicerincerinţţele utilizatorului ele utilizatorului costcost

Amplasarea sistemelor prin satelit Amplasarea sistemelor prin satelit --pepe orbite: orbite: geostageostaţţionare GEO (ionare GEO (geostationarygeostationary orbit) , orbit) , medii MEO (medii MEO (mediummedium sau sau midlemidle earthearth orbit) orbit) joase LEO (joase LEO (lowlow earthearth orbit), sau combinaorbit), sau combinaţţii, ii,

dependent de acoperirea dependent de acoperirea şşi serviciile prestate. i serviciile prestate.

Satelitul GEO (Satelitul GEO (geostationarygeostationary orbit) amplasat la 22300 orbit) amplasat la 22300 mile (35786 km) distanmile (35786 km) distanţţă de suprafaă de suprafaţţa pământului a pământului şşi i se rotese roteşşte odată cu acestate odată cu acesta.1 .1 milă este milă este 1,5 km. 1,5 km. StaStaţţia terestră ia terestră ţţinteinteşşte un singur punct te un singur punct îîn span spaţţiu. iu.

Sistemele viitorului vor folosi sateliSistemele viitorului vor folosi sateliţţi MEO i MEO şşi LEO. i LEO.

11

Satelitul MEO Satelitul MEO -- amplasat la o distanamplasat la o distanţţă ă îîntre 1000 ntre 1000 şşi 22300 mile i 22300 mile (35786 km) de suprafa(35786 km) de suprafaţţa pământuluia pământului..

Satelitul LEO Satelitul LEO --amplasatamplasat la o distanla o distanţţă ă îîntre 400 ntre 400 şşi 1000 mile de i 1000 mile de suprafasuprafaţţa pământului se deplasează cu viteze maria pământului se deplasează cu viteze mari, , îîn jur de 8n jur de 8 km pe secundăkm pe secundă, s, sau 27au 27400 km 400 km pe orăpe oră, a, adică o revoludică o revoluţţie ie completă la completă la 90 mi90 min. n.

Nu sunt necesare legături Nu sunt necesare legături îîntre satelintre sateliţţi i şşi sistemele sunt adecvate i sistemele sunt adecvate pentru zone izolate.pentru zone izolate.

DeDeşşi gradul de acoperire GEO este un avantaj fai gradul de acoperire GEO este un avantaj faţţă de MEO ă de MEO şşi i LEO, timpul de LEO, timpul de îîntârziere mai mare al transmisiilor le face ntârziere mai mare al transmisiilor le face mai pumai puţţin adecvate pentru aplicain adecvate pentru aplicaţţiile interactive multimedia iile interactive multimedia ale sistemelor 4G.ale sistemelor 4G.

pentru LEO pentru LEO îîntârzierea este de ordinul a 10 msntârzierea este de ordinul a 10 msptrptr. MEO 8o ms . MEO 8o ms ptrptr. GEO 250. GEO 250--270 ms. 270 ms.

Alte Alte îîntârzieri datorate procesării ntârzieri datorate procesării şşi transmisiei sunt i transmisiei sunt de ordinul a 80de ordinul a 80--100 ms 100 ms ptrptr. traficul regional . traficul regional şşi 250i 250--270 ms 270 ms ptrptr. traficul interna. traficul internaţţional pot fi limitative ional pot fi limitative ptrptr. . calitatea transmisiei. calitatea transmisiei.

CarenCarenţţele sistemelor LEO ele sistemelor LEO şşi MEO :i MEO : datorită deplasării rapide există datorită deplasării rapide există îîntreruperi ntreruperi îîntre ntre terminal terminal şşi satelit (i satelit (handoverhandover) ) ptrptr. o. o perioadă scurtă perioadă scurtă de timp. de timp.

Mobilitatea mare determină schimbări regulate Mobilitatea mare determină schimbări regulate îîn n topologia retopologia reţţelei elei şşi transmisia este supusă efectului i transmisia este supusă efectului DopplerDoppler şşi atenuărilor i atenuărilor datoratedatorate transmisiilortransmisiilor pe căi pe căi multiple (multiple (multipathmultipath fading)fading)

Sistemele LEO Sistemele LEO şşi MEO depind de legăturile i MEO depind de legăturile intersatelitintersatelit pentru asigurarea acoperirii pentru asigurarea acoperirii. E. Există astfel xistă astfel riscul să apară erori de jitter care alterează vocea riscul să apară erori de jitter care alterează vocea şşi i performanperformanţţele QOS. ele QOS.

12

Primele sisteme prin satelit erau Primele sisteme prin satelit erau îîn banda C (n banda C (2,42,4--4,2GHz)4,2GHz)

Proiectarea curentă Proiectarea curentă -- orientată spre banda K orientată spre banda K (Ku (Ku şşi i KaKa). ). Aceasta a permis Aceasta a permis şşi răspândirea terminalelor cu apertură i răspândirea terminalelor cu apertură redusă redusă şşi i îîn zonele n zonele îîn care sistemele celulare nu existăn care sistemele celulare nu există, , implementarea lor fiind prea scumpăimplementarea lor fiind prea scumpă. .

ÎÎn viitor n viitor -- frecvenfrecvenţţe din ce e din ce îîn ce mai mari pe măsură ce n ce mai mari pe măsură ce spectrul de frecvenspectrul de frecvenţţă devine tot mai redusă devine tot mai redus.. ..

Utilizarea unei modulaUtilizarea unei modulaţţii de amplitudine ii de amplitudine îîn cuadratură n cuadratură 256256--QAM QAM îîn sistemul n sistemul SpacewaySpaceway îîn locul modulan locul modulaţţiei QPSK iei QPSK →→crecreşşterea vitezei de transmisie la 400Mb/s terea vitezei de transmisie la 400Mb/s şşi la o capacitate i la o capacitate totală de totală de 17,6 17,6 GbGb/s pentru o aceea/s pentru o aceeaşşi bandă ocupată ca i bandă ocupată ca îîn n prezent.prezent.

Fig.1.2 Atribuirea benzilor de frecvenţă din domeniul microundelor industrială şi IEEE; zonele haşurate indică variaţii întâlnite în

literatură, zonele înnegrite indică frecvenţele ptr. care există un consens larg; săgeţile indică definiţiile curente IEEE

13

Fig.1.3 Tipuri de arhitecturi pentru sistemele de transmisie prin satelit

a) b)

Fig. 1.4 Detaliu ptr. tipul b) de arhitectură a unei reţelei globale prin satelit

NCS NCS NetworkNetwork Control Control StationStation este staeste staţţia de control care ia de control care asigură controlul general al resurselor reasigură controlul general al resurselor reţţelei elei şşi operai operaţţiile de iile de rutarerutare;;GTWGTW((GatewayGateway stationsstations)) StaStaţţiile poartă sunt staiile poartă sunt staţţii terestre ii terestre care asigură conectivitatea cu recare asigură conectivitatea cu reţţelele terestre;elele terestre;SAUSAU ((SateliteSatelite adaptationadaptation unit) staunit) staţţia de adaptare a satelitului ia de adaptare a satelitului este o unitate specială care asigură accesul la reeste o unitate specială care asigură accesul la reţţeaua prin eaua prin satelit;satelit;IWU IWU ((InterworkingInterworking unitsunits) ) furnizezăfurnizeză roamingroaming îîntre rentre reţţele ele şşi i diferite standarde pentru a evita diferite standarde pentru a evita îîntreruperea recepntreruperea recepţţiei unui iei unui anumit serviciu. anumit serviciu. OBS OBS ((OnboardOnboard switchswitch) respectiv ) respectiv OBP OBP ((OnboardOnboard processingprocessingunit)unit) asigură asigură multiplexarea, demultiplexarea, codarea multiplexarea, demultiplexarea, codarea de canal / de canal / decodarea, comutaredecodarea, comutarea rapidă a rapidă . . ININ ((IntelligentIntelligent NetworkNetwork) e) este platforma de protocoale ste platforma de protocoale inteligente care asigură localizarea informainteligente care asigură localizarea informaţţiei, funciei, funcţţionarea ionarea şşi i îîntrentreţţinerea inerea îîntregului sistemntregului sistem

14

StaStaţţia de controlia de control ((NetworkNetwork ControlControl StationStation) este ) este îîn n sistemele geostasistemele geostaţţionare, ionare, îîn mod uzual, câte una pe satelit. n mod uzual, câte una pe satelit.

--asigurăasigură controlul general al operacontrolul general al operaţţiilor iilor şşi resurselor rei resurselor reţţelei. elei. StaStaţţia de control asigură resursele radio staia de control asigură resursele radio staţţiilor poartă iilor poartă conform unei strategii de planificare a resurselor pe termen conform unei strategii de planificare a resurselor pe termen lung. Nodul de control este responsabil cu lung. Nodul de control este responsabil cu rutarearutarea şşi i administrarea accesului. Ca de exempadministrarea accesului. Ca de exemplu, alu, actualizează ctualizează localocaţţiile, autiile, autentificăentifică, , îînregistreazănregistrează, , şşterge terge şşi plătei plăteşşte, ate, adică dică contorizează apelulcontorizează apelul. .

--îînn sistemele non geostasistemele non geostaţţionare aceste operaionare aceste operaţţii se realizează ii se realizează îîn n mai multe stamai multe staţţii poartăii poartă, , îîn mod distribuit.n mod distribuit.StaStaţţiile poartăiile poartă GTWGTW((GatewayGateway stationsstations)) sunt stasunt staţţii terestre ii terestre care asigură conectivitatea cu recare asigură conectivitatea cu reţţelele terestre;elele terestre;

--ÎÎntrntr--unun sistem pe orbită geosta sistem pe orbită geostaţţionară plasamentul acestor staionară plasamentul acestor staţţii ii şşi numărul lor depinde doar de solicitările traficuluii numărul lor depinde doar de solicitările traficului. A. Acolo colo unde traficul este intens numărul staunde traficul este intens numărul staţţiilor terestre este mare. iilor terestre este mare.

--ÎÎnn sistemele non geostasistemele non geostaţţionare numărul ionare numărul şşi amplasamentul i amplasamentul stastaţţiilor poartă depinde iilor poartă depinde şşi de unele caracteristici de i de unele caracteristici de proiectare. De exemplu , proiectare. De exemplu , îîntrntr--un sistem pe orbită medieun sistem pe orbită medie, , fără fără legătură legătură îîntre satelintre sateliţţi un număr mai mic de zece stai un număr mai mic de zece staţţii poate ii poate asigura conectivitatea totală a utilizatorilor asigura conectivitatea totală a utilizatorilor îîn majoritatea n majoritatea timpului timpului

Un sistem pe orbită joasă necesită zeci până la sute Un sistem pe orbită joasă necesită zeci până la sute de stade staţţii terestre, ii terestre, dar numărul lor poate fi redus dar numărul lor poate fi redus utilizând legături utilizând legături îîntre satelintre sateliţţi. Toate terminalele i. Toate terminalele folosesc aceeafolosesc aceeaşşi schemă de acces i schemă de acces şşi stivă de i stivă de protocoale.protocoale.StaStaţţia de adaptare a satelituluiia de adaptare a satelitului SAUSAU ((SateliteSatelite adaptationadaptation unit) estunit) este o unitate specială care asigură accesul la ree o unitate specială care asigură accesul la reţţeaua eaua prin satelit. Eaprin satelit. Ea realizează toate adaptările de protocoale realizează toate adaptările de protocoale necesare de la terminalul utilizatorului la platforma de necesare de la terminalul utilizatorului la platforma de protocoale a satelitului. Include toate funcprotocoale a satelitului. Include toate funcţţiile nivelului fizic iile nivelului fizic ale transmisiilor, aale transmisiilor, adică codarea de canaledică codarea de canale, modula, modulaţţia / ia / demodulademodulaţţia, procesarea semnalului de ia, procesarea semnalului de radofrecvenradofrecvenţţăă. E. Ea a furnizează o interfafurnizează o interfaţţă de acces similară UNI ă de acces similară UNI ((useruser networknetworkinterfaceinterface) ) ptrptr. ATM. Re. ATM. Reţţeaua prin satelit trebuie să opereze eaua prin satelit trebuie să opereze cu diferite tipuri de terminale cu diferite tipuri de terminale şşi cerini cerinţţe de transmisie, de la e de transmisie, de la viteze de 8viteze de 8÷÷16 16 kbkb/s /s până la până la 144 144 kbkb/s (sau 384 /s (sau 384 kbkb/s) /s) pentru pentru terminale de uz personal, pâterminale de uz personal, până la nă la 2048 2048 kbkb/s sau mai mari, /s sau mai mari, pentru restul utilizatorilor.pentru restul utilizatorilor.

OBS OBS ((OnboardOnboard switchswitch) respectiv ) respectiv OBP OBP ((OnboardOnboard processingprocessingunit)unit) asigură multiplexareaasigură multiplexarea, demultiplexarea, codarea de , demultiplexarea, codarea de canal / deccanal / decodarea, comutodarea, comutarea rapidă area rapidă . .

Tehnologia ATM este uneori utilizatăTehnologia ATM este uneori utilizată. U. Unitănităţţile de ile de comutare ATM sunt experimentale comutare ATM sunt experimentale şşi includ doar pări includ doar părţţi ale i ale funcfuncţţiilor pe care ar trebui să le iilor pe care ar trebui să le îîndeplinească comutarea ndeplinească comutarea ATM terestrăATM terestră. Majoritatea opera. Majoritatea operaţţiilor ce necesită o mare iilor ce necesită o mare putere de procesare sunt realizate terestru, ca de exemplu putere de procesare sunt realizate terestru, ca de exemplu controlul admisiei controlul admisiei şşi terminarea apelului.i terminarea apelului.

Tehnologiile de vârf ale OBP trebuie să asigure Tehnologiile de vârf ale OBP trebuie să asigure integrarea integrarea îîn acelan acelaşşi sistem a terminalelor mobile ieftine cu i sistem a terminalelor mobile ieftine cu aplicaaplicaţţiile de mare vitezăiile de mare viteză. A. Aceasta permite reducerea ceasta permite reducerea complexităcomplexităţţii ii şşi numărului stai numărului staţţiilor terestre, utilizarea de iilor terestre, utilizarea de emiemiţţătoareătoare, r, receptoare de dimensiune redusăeceptoare de dimensiune redusă, u, uşşoare oare şşi i mobile. Se pomobile. Se poate separa astfel legătura de transmisie ate separa astfel legătura de transmisie îîn sus de n sus de cea de transmisie cea de transmisie îîn jos, n jos, îîn scopul optimizării separaten scopul optimizării separate. Astfel . Astfel îîncât este posibilă utilizarea unei puteri de emisie mai mici ncât este posibilă utilizarea unei puteri de emisie mai mici şşi i reducerea efectului neliniarităreducerea efectului neliniarităţţilor introduse de ilor introduse de transponderetransponderesau de canalele adiacente. sau de canalele adiacente.

15

Caracteristicile esenCaracteristicile esenţţiale ale OBP iale ale OBP îîn transmisiile de mare viteză n transmisiile de mare viteză ale viitorului sunt flexibilitatea ale viitorului sunt flexibilitatea şşi i reconfigurabilitateareconfigurabilitatea şşi se i se referă lareferă la ::Reprogramarea memoriilor de controlReprogramarea memoriilor de control ;;Reconfigurarea staReconfigurarea staţţiilor terestreiilor terestre ;;Asigurarea comutării de pachete Asigurarea comutării de pachete şşi de circuitei de circuite ;;Adoptarea a diferite strategii de control, Adoptarea a diferite strategii de control, şşi de flux i de flux ptrptr. zone . zone diferite dependent de diferite dependent de îîncărcarea ncărcarea şşi de tipul traficuluii de tipul traficului ;;

OBP trebuie să asigure servicii compatibile cu structura OBP trebuie să asigure servicii compatibile cu structura BISDN/TCP/ IP, servicii compatibile BISDN/TCP/ IP, servicii compatibile ptrptr. aplica. aplicaţţiile de date iile de date şşi cele video la cerere, servicii punct la punct i cele video la cerere, servicii punct la punct şşi servicii i servicii multipunct.multipunct.

Comutarea poate fi integral pe satelit sau comutare parComutarea poate fi integral pe satelit sau comutare parţţial asistată de staial asistată de staţţiile iile terestre. terestre. ÎÎn primul caz,n primul caz, pe satelit se face toată procesarea pe satelit se face toată procesarea şşi comutarea, i comutarea, echipamentul de pe satelit devine complicat echipamentul de pe satelit devine complicat şşi scump, dar stai scump, dar staţţiile terestre iile terestre sunt simplificate. sunt simplificate. ÎÎn al doilea caz, stan al doilea caz, staţţiile terestre asistă procesarea iile terestre asistă procesarea şşi i comutarea de pe satelit, a comutarea de pe satelit, a cărui echipament se simplificăcărui echipament se simplifică. Siguran. Siguranţţa a îîn n funcfuncţţionare este astfel crescutăionare este astfel crescută..

OBP se poate realiza cuOBP se poate realiza cu ::Procesare Procesare şşi comutare i comutare îîn banda de bazăn banda de bază ;;Cu comutare pe frecvenCu comutare pe frecvenţţa intermediarăa intermediară ;;Cu comutare rapidă de pacheteCu comutare rapidă de pachete;;Cu comutatoare fotonice Cu comutatoare fotonice îîn banda de bazăn banda de bază ;;Cu comutatoare ATMCu comutatoare ATM ;;Dependent de tipul traficului, comutarea Dependent de tipul traficului, comutarea îîn banda de bază poate fi n banda de bază poate fi orientată spre circuit sau spre pacheteorientată spre circuit sau spre pachete..O provocare O provocare ptrptr. t. tehnologiile viitorului o reprezintă procesarea ehnologiile viitorului o reprezintă procesarea îîn timp n timp real, efireal, eficientăcientă. A. Astfel de tehnologii au apărut dejastfel de tehnologii au apărut deja, ca de exemplu , ca de exemplu modulamodulaţţia adaptivă ia adaptivă şşi CDMA code i CDMA code divisiondivision multiple acces .multiple acces .

Toate componentele sistemului de comunicaToate componentele sistemului de comunicaţţii prin satelit ii prin satelit colaborează colaborează îîntre ele ntre ele ptrptr. a asigura mobilitatea . a asigura mobilitatea şşi suportul i suportul rutăriirutării, la parametrii QOS necesari., la parametrii QOS necesari.

TerminaleleTerminalele utilizatorilor funcutilizatorilor funcţţionează pe baza mai multor ionează pe baza mai multor protocoale standard, ATM sau protocoale standard, ATM sau INTERNET, prin INTERNET, prin intermediul cărora se pot conecta la staintermediul cărora se pot conecta la staţţia de adaptare a ia de adaptare a satelitului:satelitului:ATM ATM UserUser NetworkNetwork InterfaceInterface;;NarrowNarrow BandBand--ISDNISDN;;TransmisionTransmision Control Protocol / Internet Protocol Control Protocol / Internet Protocol (TCP/IP);(TCP/IP);FrameFrame RelayRelay UNI;UNI;Public Public SwitchedSwitched TelephoneTelephone NetworkNetwork ( (PSTN);PSTN);Interconexiunile spre alte părInterconexiunile spre alte părţţi ale rei ale reţţelei terestre de la elei terestre de la unitatea de control sunt realizate prin protocoalele aferente unitatea de control sunt realizate prin protocoalele aferente sistemului de semnalizare sistemului de semnalizare NrNr 7 (7 (SignalingSignaling SystemSystem 7).7).

16

ReReţţeaua inteligentăeaua inteligentă (IN (IN IntelligentIntelligent NetworkNetwork) e) este platforma ste platforma de protocoale inteligente care asigură localizarea informade protocoale inteligente care asigură localizarea informaţţiei, iei, funcfuncţţionarea ionarea şşi i îîntrentreţţinerea inerea îîntregului sistem. Ea rezntregului sistem. Ea rezolvă olvă problemele legate de problemele legate de rutarearutarea apelului apelului şşi mobilitatea personală i mobilitatea personală şşi de terminal.i de terminal.TendinTendinţţa actuală este spre sisteme ce a actuală este spre sisteme ce îîncorporează terminale ncorporează terminale compatibile ATM, cu mari viteze de transmisie a datelor, compatibile ATM, cu mari viteze de transmisie a datelor, astfel astfel îîncât infrastructura unei rencât infrastructura unei reţţele BISDN devine esenele BISDN devine esenţţialăială

Traficul de comunicaTraficul de comunicaţţii este asimetric ii este asimetric ptrptr. l. legătura egătura îînspre nspre satelit satelit şşi dinspre satelit.i dinspre satelit.

Legătura Legătura îîn jos necesită mai multe resurse n jos necesită mai multe resurse îîn ceea ce priven ceea ce priveşşte te banda alocatăbanda alocată, viteza de transmisie , viteza de transmisie şşi puterea necesarăi puterea necesară. .

Sistemele mobile de transmisie prin satelit ce furnizează Sistemele mobile de transmisie prin satelit ce furnizează servicii Internet de mare viteză ce permit utilizatorilor accesuservicii Internet de mare viteză ce permit utilizatorilor accesul l la date multimedia, la date multimedia, ceea ce necesită o capacitate ceea ce necesită o capacitate şşi o viteză i o viteză mare de transmisie. mare de transmisie.

1.6 1.6 Modelul unui sistem de transmisie prin Modelul unui sistem de transmisie prin satelitsatelit

Transmiţător şicanal de transmisieîn sus

Amplificatorde putere

Umbrire,Transmisiemulticanal

Receptor∑

Secvenţăinformaţie

zgomotaditiv

Legătura de transmisie Legătura de transmisie îîn sus necesită o capacitate mai mică n sus necesită o capacitate mai mică şşi i viteze mai mici, deoaviteze mai mici, deoarece utilizatorii transmit cantitărece utilizatorii transmit cantităţţi mici de i mici de informainformaţţie, ca de exemplu: email, cereri de acces la informaie, ca de exemplu: email, cereri de acces la informaţţiiii

Pentru a crePentru a creşşte puterea semnalului satelite puterea semnalului sateliţţii se echipează cu ii se echipează cu amplificatoare de putere echipate cu tuburi cu undă progresivă amplificatoare de putere echipate cu tuburi cu undă progresivă sau amplificatoare cu dispozitive semiconductoare sau amplificatoare cu dispozitive semiconductoare –– cu o cu o caracteristică de transfer neliniară caracteristică de transfer neliniară îîn amplitudine n amplitudine şşi faza.i faza.

Distorsiunile introduse de neliniarităDistorsiunile introduse de neliniarităţţi sunt importante i sunt importante îîn n special special îîn schemele de modulare n schemele de modulare multinivelmultinivelexemplu Mexemplu M--QAM (M QAM (M arrayarray quadraturequadrature amplitudeamplitudemodulationmodulation). Semnalele M). Semnalele M--QAM sunt mai eficiente din punct QAM sunt mai eficiente din punct de vedere spectral.de vedere spectral.

17

Fig.1.7 Caracteristica de amplitudine a) respectiv de fază b) a unui tub cu undă progresivă

Fig.1.8 constelaFig.1.8 constelaţţia unui semnal 64ia unui semnal 64--QAM la intrarea, respectiv la ieQAM la intrarea, respectiv la ieşşirea irea unui canal neliniar.unui canal neliniar.

Efectul de umbrireEfectul de umbrireimportant la un unghi de incidenimportant la un unghi de incidenţţă ă θθ mic, apmic, apare datorită are datorită efectului de umbrire geometrică efectului de umbrire geometrică -- unda incidentă nu poate unda incidentă nu poate ilumina porilumina porţţiunile umbrite de obiecte iunile umbrite de obiecte îînaltenalte

18

Propagarea undei pe căi multiplePropagarea undei pe căi multiple ((multipathmultipath propagationpropagation) ) -- pe diferite traiectorii de la emipe diferite traiectorii de la emiţţător la receptorător la receptor..

Există Există 2 2 căi de propagare a undeicăi de propagare a undei::directă prin atmosferă directă prin atmosferă indirectă prin reflexie indirectă prin reflexie şşi refraci refracţţie la suprafaie la suprafaţţa de separare a de separare îîntre ntre

atmosferă atmosferă şşi pământ i pământ

Undele se pot propaga deasupra pământului Undele se pot propaga deasupra pământului îîn mai n mai multe moduri ilustrate multe moduri ilustrate şşi i îîn figurăn figură::

Straturi ale atmosferei importante Straturi ale atmosferei importante ptrptr. propagarea undelor . propagarea undelor radioradio::Troposfera este regiunea atmosferei Troposfera este regiunea atmosferei neionizatăneionizată, ce se , ce se îîntinde ntinde de la suprafade la suprafaţţa pământului până la a pământului până la 15 km. La f. radar 15 km. La f. radar (100MHz(100MHz--300GHz) influen300GHz) influenţţează semnificativ propagarea ează semnificativ propagarea undelor. undelor.

Ionosfera este stratul superior al atmosferei, de la altitudineaIonosfera este stratul superior al atmosferei, de la altitudinea de 50de 50 km până la raza pământului km până la raza pământului, aprox 6370 km , aprox 6370 km --aiciaiciionizarea influenionizarea influenţţează propagareaează propagarea..

ClasificareaClasificarea undelorundelor radioradiounde de suprafaunde de suprafaţţă sau terestreă sau terestre ((surfacesurface wavewave) ) -- radiate radiate orizontal, care se orizontal, care se propagă depropagă de--a lungul suprafea lungul suprafeţţei Pământuluiei Pământului, , îîn păturile inferioare ale atmosferei n păturile inferioare ale atmosferei unde unde radiate sub un unghi oarecare faradiate sub un unghi oarecare faţţă de suprafaă de suprafaţţa a pământuluipământului, , carecare se se subsubîîmpartmpart îînn::..

19

unde unde troposfericetroposferice, (, (spacespace wavewave) c) care se propagă prin are se propagă prin troposferă troposferă repectândrepectând legea varialegea variaţţiei câmpului iei câmpului electromagnetic cu distanelectromagnetic cu distanţţa a ==unde ionosfericeunde ionosferice, (, (skysky wavewave) care sunt absorbite slab ) care sunt absorbite slab îîn n păturile pupăturile puţţin ionizate ale atmosferei in ionizate ale atmosferei şşi ajung la i ajung la ionosferă unde se produce refracionosferă unde se produce refracţţia loria lor

DeoareceDeoarece îînălnălţţimeaimea şşi i gradulgradul de de ionizareionizare ale ale păturilorpăturilorionosfereiionosferei variazăvariază funcfuncţţieie de de zizi, , noaptenoapte, , anotimpurianotimpuri, , precipitaprecipitaţţii, ii, drumuldrumul undelorundelor spaspaţţialeiale variazăvariază şşi i elel, , ceeaceea cece explică explică fenomenulfenomenul de de extincextincţţieie al al semnaluluisemnalului ((fenomenulfenomenul de de „„fadingfading””).).

Atenuarea Atenuarea îîn atmosferăn atmosferă variază aleator variază aleator îîn timp de la zero n timp de la zero îîn n atmosferă atmosferă idealăideală ((limpedelimpede) ) pânăpână lala zecizeci de de dBdB. . NNivelulivelulsemnaluluisemnalului receprecepţţionationat suferăsuferă modificărimodificări, , fluctuafluctuaţţiiii rapiderapide, , numitenumite scintilascintilaţţiiii şşi lente (fading). i lente (fading).

să se bazeze pe o estimare precisă să se bazeze pe o estimare precisă şşi o modelare statistică a i o modelare statistică a propagăriipropagării

să consă conţţină efectele combinate ale atenuării datorate ină efectele combinate ale atenuării datorate precipitaprecipitaţţiilor, propiilor, propagării pe căi multiple agării pe căi multiple şşi umbririii umbririi

să ia să ia îîn considerare schimbările de staren considerare schimbările de stare, d, de exemplu cu sau e exemplu cu sau fără umbrirefără umbrire

să fie adecvat procesării să fie adecvat procesării îîn timp realn timp realModelarea Modelarea şşi estimarea corectă i estimarea corectă şşi eficientă este i eficientă este f.importanf.importantătă pentru tehnicile noi:pentru tehnicile noi:

Procesarea adaptivă de semnalProcesarea adaptivă de semnalModularea adaptivă codatăModularea adaptivă codatăProiectarea Proiectarea crosscross--layerlayer

Caracteristicile modelului de canal ale viitoruluiCaracteristicile modelului de canal ale viitorului

Cercetările viitoare vor include Cercetările viitoare vor include şşi i exploatarea unor exploatarea unor noi benzi de frecvennoi benzi de frecvenţţăă ptrptr. a face fa. a face faţţă cantităă cantităţţii tot ii tot mai mari de date ce trebuie vehiculatămai mari de date ce trebuie vehiculată..

Tehnicile moderne au ca obiectiv Tehnicile moderne au ca obiectiv crecreşşterea eficienterea eficienţţei ei spectrale spectrale şşi de putere.i de putere.

EficienEficienţţa spectralăa spectrală –– abilitatea unui sistem de a opera abilitatea unui sistem de a opera eficient eficient îîntrntr--o bandă de frecveno bandă de frecvenţţă alocatăă alocatăEficienEficienţţa de puterea de putere -- abilitatea unui sistem de a abilitatea unui sistem de a transmite informatransmite informaţţie la un nivel cât mai mic de ie la un nivel cât mai mic de putereputere

20

Sunt sisteme neliniare formate dintrSunt sisteme neliniare formate dintr--un un număr mare de procesoare elementarenumăr mare de procesoare elementare, , relativ simple care operează relativ simple care operează îîn paralel. n paralel.

Procesoarele interacProcesoarele interacţţionează ionează îîntre ele prin ntre ele prin intermediul conexiunilor: excitatorii intermediul conexiunilor: excitatorii şşi i inhibitorii, inhibitorii, cărora le sunt asociate pondericărora le sunt asociate ponderi. .

ÎÎnvănvăţţarea se realizează prin modificarea area se realizează prin modificarea ponderilor conform unei reguli de ponderilor conform unei reguli de îînvănvăţţare.are.

ReReţţelele neuronaleelele neuronale

NeuronulNeuronul biologicbiologic

Intrări

Ponderi

Funcţie de activare

Ieşirey

x1

x2

xm

w2

wm

w1

M M∑ )(−f

w0x0 = ±1

Un model de neuron artificialUn model de neuron artificial

21

Structura unei RN multistratStructura unei RN multistrat

ImplicaImplicaţţiile neurologiei iile neurologiei îîn modelarea n modelarea

rereţţelelor neuronaleelelor neuronaleNeuronii sunt foarte Neuronii sunt foarte îîncenceţţiiTimpul de procesare pentru un neuron Timpul de procesare pentru un neuron --milisecundemilisecunde, de 10, de 10--66 mai lente decât procesoarele mai lente decât procesoarele digitale. digitale.

Oamenii pot face prelucrări complexe in intervale de Oamenii pot face prelucrări complexe in intervale de timp de o suta de milisecundetimp de o suta de milisecunde (recunoa(recunoaşşterea unei terea unei fefeţţe)e)Materia cenuMateria cenuşşie umana are un număr foarte mare ie umana are un număr foarte mare de neuronide neuroni..--aproximativaproximativ 10101111neuroni in creierul uman neuroni in creierul uman şşi 60 i 60 trilioane de interconexiuni.trilioane de interconexiuni.--esteeste improbabil ca neuronul sa proceseze mai mult improbabil ca neuronul sa proceseze mai mult decât o instrucdecât o instrucţţie in procesoarele digitale. ie in procesoarele digitale. --explicaexplicaţţiaia -- cooperarea unor procesoare elementare cooperarea unor procesoare elementare f i l f i l l i l l l ă i l l

Neuronii primesc intrări de la un număr foarte mare de Neuronii primesc intrări de la un număr foarte mare de alalţţi neuroni.i neuroni. Se estimează de la Se estimează de la 1000 pâ1000 până la nă la 100 000 nu100 000 numărul mărul conexiunilor unei celuleconexiunilor unei celule nervoasenervoaseNeuronii comunica prin mesaje de excitare si de inhibiNeuronii comunica prin mesaje de excitare si de inhibiţţie ie Viteza de transmisie este de ordinul a câtorva biViteza de transmisie este de ordinul a câtorva biţţi pe secunda. i pe secunda. InvăInvăţţareaarea are loc prin modificarea conexiunilorare loc prin modificarea conexiunilorSimplitatea si uniformitatea acestui proces stau la baza unui Simplitatea si uniformitatea acestui proces stau la baza unui potenpotenţţial de prelucrare extraordinar.ial de prelucrare extraordinar.In creierul uman, distrugerea patologica a unei zone nu In creierul uman, distrugerea patologica a unei zone nu duce la blocarea sistemului. duce la blocarea sistemului. ÎÎn timp, alte zone devin capabile sa preia, cu o marja de n timp, alte zone devin capabile sa preia, cu o marja de eroare, funceroare, funcţţiile zonelor afectate. iile zonelor afectate. FuncFuncţţiile creierului rămân nealterateiile creierului rămân nealterate, d, datorita compensării atorita compensării prin structura. Acprin structura. Acest proces este valabil până la un pragest proces este valabil până la un prag..Pierderea difuza de neuroni din Pierderea difuza de neuroni din îîntreaga materie cenuntreaga materie cenuşşie este ie este continua (zilnic pierdem zeci de mii de neuroni).continua (zilnic pierdem zeci de mii de neuroni).

22

Controlul funcControlul funcţţiilor creierului este distribuitiilor creierului este distribuit. . -- Nu exista nici o parte in creier de care depinde Nu exista nici o parte in creier de care depinde

esenesenţţial funcial funcţţionarea celorlalte parionarea celorlalte parţţi, dei, deşşi ele sunt i ele sunt îînalt specializate. nalt specializate.

-- Fiecare zona de neuroni contribuie la performanFiecare zona de neuroni contribuie la performanţţa a totalătotală..Procesarea evoluează prin satisfacerea iterativa a Procesarea evoluează prin satisfacerea iterativa a unui mare număr de constrângeriunui mare număr de constrângeri. . -- îîn procesoarele digitalen procesoarele digitale--crecreşşterea numărului de terea numărului de constrângeri creconstrângeri creşşterea timpului de procesare, terea timpului de procesare, datorita secvendatorita secvenţţialităialităţţiiii--îînn creier crecreier creşşterea numărului de constrângeriterea numărului de constrângeri, deci , deci de informade informaţţii ii →→ la scăderea timpului de procesare la scăderea timpului de procesare..

--SistemulSistemul se stabilese stabileşşte intrte intr--o soluo soluţţie printrie printr--un proces un proces de relaxare. de relaxare.

Scurt istoricScurt istoric

Conceptul de "neuron" introdus Conceptul de "neuron" introdus îîn 1943 de n 1943 de McCullochMcCulloch etet PittsPitts, ca un model matematic , ca un model matematic pentru neuronul elementar biologic.pentru neuronul elementar biologic.

ÎÎn 1957 n 1957 RosenblattRosenblatt --perceptronulperceptronul, primul , primul model operamodel operaţţional cu capabilităional cu capabilităţţi de i de îînvănvăţţare, are, capabil să solucapabil să soluţţioneze probleme de clasificare. ioneze probleme de clasificare.

ÎÎn 1958 a fost proiectat primul n 1958 a fost proiectat primul neurocomputerneurocomputerMarkMark I. I. PerceptronulPerceptronul care a funccare a funcţţionat cu ionat cu succes succes îîn recunoan recunoaşşterea de caractere. terea de caractere.

23

ÎÎn 1969, n 1969, M.MinskyM.Minsky şşi i S.PapertS.Papert printrprintr--un studiu un studiu riguros publicat sub numele de "riguros publicat sub numele de "PerceptronsPerceptrons" " demonstrează limitările majore ale demonstrează limitările majore ale arhitecturilorarhitecturilorneuronale cu un strat. neuronale cu un strat.

Neexistând Neexistând îîn acel moment nici o teorie referitoare la n acel moment nici o teorie referitoare la rereţţelele multistrat cei doi cercetători au lansat ideea ca elele multistrat cei doi cercetători au lansat ideea ca limitările se extind limitările se extind şşi asupra i asupra rereţţelorelor multistrat. multistrat.

PuPuţţini au fost cercetătorii care ini au fost cercetătorii care şşii--au continuat studiile au continuat studiile îîn domeniu. n domeniu.

ÎÎn 1960 n 1960 WidrowWidrow şşi colaboratorii săi i colaboratorii săi --ADALINE (ADALINE (ADaptiveADaptiveLInearLInear NEuronNEuron) ) şşi MADALINE (more ADALINE) pentru i MADALINE (more ADALINE) pentru rezolvarea unor probleme filtrare, de recunoarezolvarea unor probleme filtrare, de recunoaşştere a tere a formelor. formelor.

SpecialiSpecialişştii au emis ipoteza că tii au emis ipoteza că şşi alte procese asociate cu i alte procese asociate cu inteligeninteligenţţa a şşi memoria umană pot fi modelate prin rei memoria umană pot fi modelate prin reţţele ele neuronale.neuronale.

La La îînceputul anilor 80 descoperirile teoretice cât nceputul anilor 80 descoperirile teoretice cât şşi progresul i progresul tehnologic au dus la un reviriment al domeniului. tehnologic au dus la un reviriment al domeniului.

Au fost descoperite Au fost descoperite şşi implementate reguli de i implementate reguli de îînvănvăţţare noi are noi (ca de exemplu bine cunoscuta regula a (ca de exemplu bine cunoscuta regula a retropropagăriiretropropagării erorii erorii pentru repentru reţţelele multistrat) care au pus elele multistrat) care au pus îîn valoare potenn valoare potenţţialul ialul aplicativ al reaplicativ al reţţelelor neuronale.elelor neuronale.

1

ÎÎn 1982 J.J n 1982 J.J HopfieldHopfield introduce un punct de vedere introduce un punct de vedere elegant asupra reelegant asupra reţţelelor neuronale, care permite elelor neuronale, care permite interpretarea lor ca sisteme energetice cărora li se interpretarea lor ca sisteme energetice cărora li se poate asocia o funcpoate asocia o funcţţie de energie. Evoluie de energie. Evoluţţia ia sistemului este spre minimizarea funcsistemului este spre minimizarea funcţţiei de energie iei de energie similara unei funcsimilara unei funcţţii de cost specifică aplicaii de cost specifică aplicaţţiei. iei. Prima conferinPrima conferinţţă internaă internaţţională consacrată reională consacrată reţţelelor elelor neuronale are loc neuronale are loc îîn 1987 la n 1987 la SanSan DiegoDiego (SUA). (SUA). ÎÎn următorii ani apar primele organizan următorii ani apar primele organizaţţii de profil ii de profil şşi i primele reviste dedicate domeniului.primele reviste dedicate domeniului.ÎÎn prezent majoritatea universităn prezent majoritatea universităţţilor au grupuri de ilor au grupuri de cercetare cercetare heterogeneheterogene, incluzând ingineri, , incluzând ingineri, matematicieni, informaticieni, psihologi, medici, matematicieni, informaticieni, psihologi, medici, biologibiologi

CursulCursul 22

Aproximare de funcAproximare de funcţţiiii

2

PredicPredicţţiaia concentraconcentraţţiei de ozon din ziua următoare iei de ozon din ziua următoare pe baza datelor măsurate pe baza datelor măsurate îîn ultimii 3 ani (n ultimii 3 ani (CanuCanu

1999)1999)

Grupare Grupare îîn categoriin categorii

ProiecProiecţţie neliniarăie neliniară

3

Memorii asociativeMemorii asociative

AplicaAplicaţţii industrialeii industriale

RecRecuunnoaoaşştereaterea codurilor pocodurilor poşştaletale (AT&T, la (AT&T, la Poste)Poste)Controlul parametrilor procesului industrial de Controlul parametrilor procesului industrial de fabricare a hârtiefabricare a hârtiei i (Siemens)(Siemens)PrPredicedicţţiaia consumului de apă consumului de apă (G(Géénnéérale des Eaux)rale des Eaux)PrPreviziunieviziuni meteorologice meteorologiceUn detector pe scară largă de fraudă telefonicăUn detector pe scară largă de fraudă telefonică, , produs de firma NORTEL, este produs de firma NORTEL, este îîn prezent n prezent utilizatutilizat cu deosebit succes cu deosebit succes

4

Neliniaritatea Neliniaritatea ReReţţelele neuronale elele neuronale -- sisteme cu intrări sisteme cu intrări şşi iei ieşşiri multipleiri multiple--pot pot

îînvănvăţţa o relaa o relaţţie neliniară ie neliniară îîntre intrare ntre intrare şşi iei ieşşireireRN RN ––aproximatoare universale aproximatoare universale –– pot implementa orice pot implementa orice

funcfuncţţie neliniarăie neliniară, c, cu orice precizie,u orice precizie, dacă numărul neuronilor dacă numărul neuronilor este adecvat ales (demonstrat teoretic)este adecvat ales (demonstrat teoretic)

ReReţţelele neuronale nu au nevoie de modelul traficuluielele neuronale nu au nevoie de modelul traficuluirezolvă probleme complexe fără cunorezolvă probleme complexe fără cunoşştintinţţe exacte sau e exacte sau

experienexperienţţă apriori ă apriori îînvanvaţţă din exempleă din exemple, de tipul model de intrare, de tipul model de intrare--model de iemodel de ieşşire ire

dorit nu este necesar un model al traficului ci o bună dorit nu este necesar un model al traficului ci o bună reprezentare a problemei.reprezentare a problemei.

1. 7. Argumente pentru utilizarea re1. 7. Argumente pentru utilizarea reţţelelor elelor neuronale neuronale îîn comunican comunicaţţiiii

Generalizarea Generalizarea a generaliza (DEX) a extrage reguli, din a generaliza (DEX) a extrage reguli, din experienexperienţţă ă --sese adaptează adaptează şşi intrărilor afectate de zgomot i intrărilor afectate de zgomot şşi i incomplete, furnizând incomplete, furnizând şşi i îîn această situan această situaţţie răspunsul corectie răspunsul corect. .

generează solugenerează soluţţia corectă ia corectă şşi i îîn cazul n cazul îîn care la intrare se aplică n care la intrare se aplică date noi care nu au fost experimentate date noi care nu au fost experimentate îîn timpul n timpul antrenamentului. antrenamentului.

RN (uneori acompaniate de logica RN (uneori acompaniate de logica fuzzyfuzzy) s) sunt capabile să unt capabile să aproximeze relaaproximeze relaţţii complicate intrareii complicate intrare--ieieşşire selectând intrările ire selectând intrările semnificative semnificative şşi obi obţţinând parametri caracteristici. inând parametri caracteristici.

Flexibilitatea Flexibilitatea fiecare componentă a RN fiecare componentă a RN ( n( numită neuronumită neuron, , perceptronperceptron sau sau

unitate) este uunitate) este un procesor ce operează independent de celelalte n procesor ce operează independent de celelalte procesoare din sistemprocesoare din sistem

PtrPtr. . rezolvarea unor probleme mai complexe, sistemul se rezolvarea unor probleme mai complexe, sistemul se poate extinde poate extinde îîntrntr--o manieră modularăo manieră modulară, p, prin adăugarea de rin adăugarea de procesoare fără a fi necesară reproiectareaprocesoare fără a fi necesară reproiectarea

ToleranToleranţţa la deteriorarea la deterioraresimilar sistemului nervos uman, performansimilar sistemului nervos uman, performanţţele sistemului ele sistemului neuronal se degradează treptat neuronal se degradează treptat îîn funcn funcţţie de deteriorarea ie de deteriorarea interconexiunilor sau a funcinterconexiunilor sau a funcţţionării neuronilorionării neuronilor. . Datorită procesării paralele Datorită procesării paralele şşi distribuite, rei distribuite, reţţeaua va continua eaua va continua să funcsă funcţţioneze chiar ioneze chiar şşi i îîn condin condiţţii de deteriorare până la ii de deteriorare până la pragul de avarie majoră pragul de avarie majoră ––Model Model ptrptr. studiile neurologice. studiile neurologice

Viteza de procesare Viteza de procesare Datorită paralelismului Datorită paralelismului şşi posibilităi posibilităţţii de implementare hard, ii de implementare hard, inclusiv implementări opticeinclusiv implementări optice, re, reţţelele neuronale au o viteză elele neuronale au o viteză extraordinară de procesareextraordinară de procesare. . SS--au raportat viteze de au raportat viteze de TerraTerra operaoperaţţii pe secundă pentru un ii pe secundă pentru un chip de 1 cmchip de 1 cm22..

5

PotenPotenţţialul de procesareialul de procesare -- este extraordinar este extraordinar datorită caracterului neliniar datorită caracterului neliniar şşi vitezei de i vitezei de procesare RN au un potenprocesare RN au un potenţţial de aplicabilitate ial de aplicabilitate deosebit, practic deosebit, practic îîn toate domeniile de n toate domeniile de activitate umană apar activitate umană apar îîn permanenn permanenţţă noi ă noi aplicaaplicaţţiiii--aproximareaproximare de funcde funcţţiiii--clasificareclasificare--recunoarecunoaşştereaterea formelor (vorbirii, imaginilor)formelor (vorbirii, imaginilor)--predicpredicţţieie--memoriimemorii asociativeasociative--controlulcontrolul roboroboţţilorilor

Datorită tuturor acestor caracteristici RNDatorită tuturor acestor caracteristici RN::

pot pot îînvănvăţţa variaa variaţţiile traficului din experieniile traficului din experienţţăă; ; se pot adapta la solicitările dinamice ale rese pot adapta la solicitările dinamice ale reţţelei;elei;prezice comportarea ulterioară a traficuluiprezice comportarea ulterioară a traficuluiasigură o asigură o îîmbunătămbunătăţţire a funcire a funcţţionării ionării şşi sigurani siguranţţei procesului ei procesului de comunicade comunicaţţieie

Utilizarea RN se recomandă Utilizarea RN se recomandă îîn special n special îîn probleme care:n probleme care:nu pot fi modelate prin metode clasice datorită cantitănu pot fi modelate prin metode clasice datorită cantităţţii mari ii mari de date ce trebuie manipulate sau complexităde date ce trebuie manipulate sau complexităţţii, respectiv ii, respectiv îîn n probleme pentru care tehnicile convenprobleme pentru care tehnicile convenţţionale nionale n--au soluau soluţţii;ii;implicăimplică proceseprocese aleatoriialeatorii;;nunu necesitănecesită explicareaexplicarea deciziilordeciziilor, , deoarecedeoarece RN RN suntsunt ca ca şşii o o "cutie "cutie neagrăneagră", ", imposibilitateaimposibilitatea de a de a dada răspunsurirăspunsuri legate de legate de modulmodul îînn care au care au găsitgăsit solusoluţţiaia fiindfiind unauna dintredintre carencarenţţeleele lorlor;;

modelarea canalului de comunicamodelarea canalului de comunicaţţii; ii; egalizarea canalului de comunicaegalizarea canalului de comunicaţţii;ii;caracterizarea caracterizarea şşi predici predicţţia traficului (eia traficului (estimarea stimarea

calităcalităţţii serviciilor);ii serviciilor);controlul admiterii conexiunii;controlul admiterii conexiunii;controlul fluxului controlul fluxului şşi congestiei;i congestiei;rutarearutarea dinamică dinamică;;controlul comutăriicontrolul comutării;;proiectarea de reproiectarea de reţţea;ea;atribuirea de canal atribuirea de canal îîn ren reţţelele de comunicaelele de comunicaţţii ii

mobile;mobile;

1. 1. 8 8 Optimizarea traficului utilizând RNOptimizarea traficului utilizând RN

6

Egalizarea de canalEgalizarea de canal

Canalele de comunicaCanalele de comunicaţţie au: ie au: caracteristici de fază caracteristici de fază şşi i amplitudine neliniare amplitudine neliniare şşi variabile i variabile îîn timpn timp, d, datorităatorită ::

-- neliniarită neliniarităţţilor intrinseciilor intrinseci-- condicondiţţiilor meteo de propagareiilor meteo de propagare-- zgomotelor aditive din mediul zgomotelor aditive din mediul îînconjurător nconjurător -- zgomotului termic al dispozitivelor electronicezgomotului termic al dispozitivelor electronice

Amplificatoarele care lucrează Amplificatoarele care lucrează îîn mod uzual n mod uzual îîn apropierea n apropierea punctului de saturapunctului de saturaţţie introduc ie introduc şşi ele neliniarităi ele neliniarităţţi fără i fără memorie, care combinate cu efectele filtrelor de transmisie memorie, care combinate cu efectele filtrelor de transmisie şşi i receprecepţţie devin neliniarităie devin neliniarităţţi cu memorie i cu memorie SSemnaleleemnalele transmise sunt afectate de diferite distorsiuni transmise sunt afectate de diferite distorsiuni neliniare, atenneliniare, atenuăriuări, zgomot aditiv, interferen, zgomot aditiv, interferenţţă ă intersimbolintersimbol, , interfereninterferenţţăă cu canalele adiacente, cu canalele adiacente, etcetc

TehnicaTehnica de de reconstrucreconstrucţţieie a a simbolurilorsimbolurilor transmise este transmise este egalizareaegalizarea de canalde canalDeoareceDeoarece canalelecanalele de de comunicacomunicaţţiiii suntsunt variabilevariabile îînn timptimp, , egalizoareleegalizoarele trebuietrebuie să fie adaptive să fie adaptive, , pentrupentru a a urmăriurmări variavariaţţiileiileîînn timptimp ale ale răspunsuluirăspunsului îînn frecvenfrecvenţţăă alal canaluluicanalului

RN abordează problema egalizării ca o problemă de RN abordează problema egalizării ca o problemă de clasificareclasificareRN pot genera regiuni de decizie arbitrare cu o mare RN pot genera regiuni de decizie arbitrare cu o mare precizie. precizie. O certitudine superioritatea egalizoarelor neuronale O certitudine superioritatea egalizoarelor neuronale comparativ cu cea a egalizoarelor tradicomparativ cu cea a egalizoarelor tradiţţionale, ionale, îîn special n special îîn n condicondiţţiile distorsiunilor neliniare mari iile distorsiunilor neliniare mari şşi a semnalelor rapid i a semnalelor rapid variabile variabile îîn timp.n timp. Implementarea prin RN oferă avantajul unei viteze de Implementarea prin RN oferă avantajul unei viteze de procesare deosebite, procesare deosebite, îîn timp real,n timp real, absolut necesară pentru absolut necesară pentru comunicacomunicaţţiile viitorului. iile viitorului.

Caracterizarea Caracterizarea şşi predici predicţţia traficuluiia traficului

Asigură controlul rapid Asigură controlul rapid şşi exact al traficului, i exact al traficului, îîn condin condiţţiile iile suprasupraîîncărcării rencărcării reţţeleielei

RN este capabilă să RN este capabilă să îînvenveţţe funce funcţţia distribuia distribuţţie de probabilitate ie de probabilitate a traficului,a traficului, să selecteze parametrii semnificativi statistici să selecteze parametrii semnificativi statistici şşi să i să estimeze valorile previzibile ale lorestimeze valorile previzibile ale lor

caracterizarea, clasificarea caracterizarea, clasificarea şşi predici predicţţia traficului reprezintă o ia traficului reprezintă o aplicaaplicaţţie directă a RNie directă a RN

AplicaAplicaţţiile uzuale iile uzuale -- cu recu reţţele multistrat antrenate cu metoda ele multistrat antrenate cu metoda retropropagăriiretropropagării erorii erorii şşi rei reţţelele neuronale pe bază de funcelele neuronale pe bază de funcţţii ii radiale .radiale .

7

una dintre primele probleme rezolvate cu reuna dintre primele probleme rezolvate cu reţţele neuronale ele neuronale datorită abilitădatorită abilităţţii acestora de a se adapta la situaii acestora de a se adapta la situaţţiile de iile de schimbare a traficului.schimbare a traficului.Controlul admiterii conexiunii Controlul admiterii conexiunii -- setul de acsetul de acţţiuni luate de reiuni luate de reţţea ea îîn timpul fazei de stabilire a apelului pentru a determina dacă n timpul fazei de stabilire a apelului pentru a determina dacă cererea de conexiune / cale cererea de conexiune / cale virtuală poate fi acceptată sau virtuală poate fi acceptată sau rejectatărejectată. . O cerere de conexiune este acceptată doar dacă sunt suficiente O cerere de conexiune este acceptată doar dacă sunt suficiente resurse disponibile pentru stabilirea apelului pe parcursul resurse disponibile pentru stabilirea apelului pe parcursul îîntregii căi ntregii căi

--lala parametrii parametrii QoSQoS solicitasolicitaţţii--lala parametrii de eficienparametrii de eficienţţă ai utilizării conexiunii ă ai utilizării conexiunii şşi i

globali ai reglobali ai reţţeleielei--îînn condicondiţţiile meniile menţţinerii parametrilor căilor existenteinerii parametrilor căilor existente. .

Pentru aceasta trebuie evaluat gradul de disponibilitate Pentru aceasta trebuie evaluat gradul de disponibilitate curentă a curentă a îîncărcării rencărcării reţţelei elei şşi impactul adăugării de noi i impactul adăugării de noi conexiuni. conexiuni.

Controlul admiterii conexiuniiControlul admiterii conexiunii

CAC este practic implementată prin CAC este practic implementată prin rutarerutare, , controlul admisiei legăturiicontrolul admisiei legăturii, a, alocarea legăturii locarea legăturii şşi i controlul comutăriicontrolul comutării

Ideea principală este de a Ideea principală este de a îînvănvăţţa RN o relaa RN o relaţţie ie îîntre ntre sosirea unei celule de la o anumită sursă sosirea unei celule de la o anumită sursă îîn cadrul n cadrul unei ferestre unei ferestre şşi banda echivalentă necesară pentru a i banda echivalentă necesară pentru a suporta sursasuporta sursa

Simulările indică o reducere a ratei de pierdere a Simulările indică o reducere a ratei de pierdere a celulelor celulelor şşi o utilizare eficientă a rei o utilizare eficientă a reţţelei de elei de comunicacomunicaţţii ii îîn cazul controlului admisiei conexiunii n cazul controlului admisiei conexiunii cu recu reţţele neuronale. ele neuronale.

ApariApariţţia congestiei se poate datora mai multor cauze:ia congestiei se poate datora mai multor cauze:--vitezaviteza de prelucrare a informade prelucrare a informaţţiilor de către iilor de către

procesoarele existente procesoarele existente îîn nodurile ren nodurile reţţelei fiind elei fiind limitatălimitată, se ajunge , se ajunge îîn situan situaţţia ca numărul celulelor ia ca numărul celulelor retransmise pe căile de ieretransmise pe căile de ieşşire să devină tot mai mic ire să devină tot mai mic datorită timpului afectat operadatorită timpului afectat operaţţiilor de administrare iilor de administrare la nivelul nodului;la nivelul nodului;

--capacitateacapacitatea de transport spre următorul nod de transport spre următorul nod poate fi depăpoate fi depăşşită dacă pe mai multe căi de intrare se ită dacă pe mai multe căi de intrare se receprecepţţionează date ce trebuie dirijate spre aceeaionează date ce trebuie dirijate spre aceeaşşi i ieieşşire;ire;

ControlulControlul fluxuluifluxului şşii congestieicongestiei

8

O soluO soluţţie este folosirea memoriilor tampon ie este folosirea memoriilor tampon îîn nodurile n nodurile intermediare pentru ca acestea să absoarbă salturile traficului intermediare pentru ca acestea să absoarbă salturile traficului şşi i să evite pierderea de celule să evite pierderea de celule -- produce produce îîntârzieri nedorite , care ntârzieri nedorite , care reprezintă un impediment major reprezintă un impediment major îîn diferite tipuri de servicii, n diferite tipuri de servicii, ca de exemplu o conferinca de exemplu o conferinţţă multimediaă multimedia. .

Majoritatea mecanismelor de control ale congestiei Majoritatea mecanismelor de control ale congestiei dezvoltate până dezvoltate până îîn prezent sunt ineficiente.n prezent sunt ineficiente.

Găsirea unui mecanism de evitare a congestiei Găsirea unui mecanism de evitare a congestiei îîn timp real n timp real fără degradarea calităfără degradarea calităţţii serviciilor este vitală pentru ii serviciilor este vitală pentru comunicacomunicaţţiile moderne.iile moderne.

RN au demonstrat că reprezintă o soluRN au demonstrat că reprezintă o soluţţie promiie promiţţătoare ătoare -- o o pierdere semnificativ redusă a celulelor pierdere semnificativ redusă a celulelor şşi reducerea timpului i reducerea timpului de reacde reacţţie. ie.

Majoritatea aplicaMajoritatea aplicaţţiilor utilizează reiilor utilizează reţţele multistrat cu: ele multistrat cu: -- algoritmi de algoritmi de îînvănvăţţare cu controlare cu control-- algoritmi competitivialgoritmi competitivi

CarenCarenţţele procesării neuronaleele procesării neuronale

absenabsenţţa unei abordări teoretice unitarea unei abordări teoretice unitare;;generarea unei solugenerarea unei soluţţii particulare, adecvate numai ii particulare, adecvate numai îîn cazul unei aplican cazul unei aplicaţţii concrete, ii concrete, fiind dificilă fiind dificilă adaptarea comodă pentru o altă aplicaadaptarea comodă pentru o altă aplicaţţie ;ie ;absenabsenţţa unor informaa unor informaţţii referitoare la arhitectura ii referitoare la arhitectura necesară necesară îîntrntr--o aplicao aplicaţţie datăie dată, date sub forma unor , date sub forma unor reguli de construcreguli de construcţţie clară ie clară (de (de exemplu numărul de exemplu numărul de straturi, nustraturi, numărul de neuronimărul de neuroni--strat, restrat, reţţea cu sau ea cu sau fără reacfără reacţţie). Mie). Majoritatea implementărilor au ajoritatea implementărilor au evoluat experimental, prin metoda evoluat experimental, prin metoda ″″trial trial andanderrorerror″″, s, strict orientate spre găsirea solutrict orientate spre găsirea soluţţiei iei îîntrntr--o o aplicaaplicaţţie concretăie concretă;;

structurile obstructurile obţţinute sunt inute sunt îîn general masive, n general masive, ridicând probleme deosebite ridicând probleme deosebite îîn implementare,n implementare, mai mai ales dacă este necesară ales dacă este necesară îînvănvăţţarea area îîn timp real.n timp real. Depanarea este practic imposibilăDepanarea este practic imposibilă, deoarece , deoarece calculul este distribuit calculul este distribuit îîn toată masa ren toată masa reţţelei elei şşi nu i nu este posibilă localizarea componentei care duce la este posibilă localizarea componentei care duce la funcfuncţţionare eronată la un moment dationare eronată la un moment dat;;dedeşşi nu neapărat un dezavantaji nu neapărat un dezavantaj, unele re, unele reţţele ele neuronale nu sunt plauzibile biologic (de exemplu neuronale nu sunt plauzibile biologic (de exemplu cele cu cele cu îînvănvăţţare supravegheatăare supravegheată););datorită calculului distribuit redatorită calculului distribuit reţţele neuronale nu ele neuronale nu pot răspunde la pot răspunde la îîntrebări referitoare la modul de ntrebări referitoare la modul de procesare;procesare;

9

COMPONENTELE UNEI R.N.COMPONENTELE UNEI R.N.

unităunităţţile de procesare;ile de procesare;starea de activare a neuronilor (starestarea de activare a neuronilor (starea curentăa curentă); ); o ieo ieşşire pentru fiecare unitate;ire pentru fiecare unitate;interconexiunile dintre unităinterconexiunile dintre unităţţi, i, cărora le sunt cărora le sunt asociate ponderi;asociate ponderi;o regula de propagare prin reo regula de propagare prin reţţeaua de conexiuni;eaua de conexiuni;o funco funcţţie de activare care combina intrarea cu starea ie de activare care combina intrarea cu starea curenta a unei unităcurenta a unei unităţţi pentru a genera o nouă stare i pentru a genera o nouă stare de activare;de activare;o regulă de o regulă de îînvănvăţţare care modifică ponderile are care modifică ponderile interconexiunilor prin experieninterconexiunilor prin experienţţăă;;un mediu un mediu îîn care operează sistemuln care operează sistemul;;

ModeleModele pentrupentru neuronneuron

∑=

=n

1iijij x.wnet

)xw(fon

1ijijij ∑

=

θ−=

10

Simbolurile unui neuron

2.2 2.2 UnităUnităţţile de procesareile de procesareÎÎn R.n R.N. N. mici entită mici entităţţi, i, de tip caracteristicăde tip caracteristică şşi pot reprezenta: i pot reprezenta:

--caracteristicicaracteristici, , --literelitere, , --cuvintecuvinte, , --concepteconcepte, , --elementeelemente abstracte asupra cărora pot fi definite modele cu abstracte asupra cărora pot fi definite modele cu anumite semnificaanumite semnificaţţii.ii.

Toate unităToate unităţţile procesează ile procesează îîn acelan acelaşşi timp, i timp, îîn paralel.n paralel.

Există trei tipuri de unităExistă trei tipuri de unităţţi: de intrare, de iei: de intrare, de ieşşire si ascunse.ire si ascunse.UnităUnităţţile de intrare primesc semnale de la sursele externe ile de intrare primesc semnale de la sursele externe

sistemului. Aceste insistemului. Aceste intrări pot fi de tip senzorial sau pot proveni din alte trări pot fi de tip senzorial sau pot proveni din alte părpărţţi ale unui sistem mai mare, i ale unui sistem mai mare, îîn care este n care este îîncadrată rencadrată reţţeaua.eaua.

UnităUnităţţile de ieile de ieşşire transmit semnale spre ieire transmit semnale spre ieşşirea sistemuirea sistemu­­lui. lui. Semnalele de ieSemnalele de ieşşire pot acire pot acţţiona asupra altor sisteme.iona asupra altor sisteme.

UnităUnităţţile ascunse primesc ile ascunse primesc şşi transmit semnale i transmit semnale îîn cadrul sistemului n cadrul sistemului modelat. Ele nu sunt "vizibile" din exteriorul sistemodelat. Ele nu sunt "vizibile" din exteriorul siste­­mului.mului.

2.3 Starea de activare2.3 Starea de activare

Starea unităStarea unităţţii uii uii la momentul t este caracterizată de starea sa la momentul t este caracterizată de starea sa de activare ade activare aii(t). (t). Starea unei reStarea unei reţţele neuronale este dată de un vector de N ele neuronale este dată de un vector de N numere reale, numere reale, îîn care fiecare element reprezintă starea de n care fiecare element reprezintă starea de activare a unei unităactivare a unei unităţţi la un moment dat t. Evolui la un moment dat t. Evoluţţia RN ia RN îîn n timpul procesării este reprezentată prin stările de activare aletimpul procesării este reprezentată prin stările de activare ale unităunităţţilor sale ilor sale îîn timp.n timp.Valorile de activare pot fi analogice sau discrete. Valorile de activare pot fi analogice sau discrete. Valorile analogice pot fi orice număr real sau Valorile analogice pot fi orice număr real sau îîntrntr--un un interval mărginitinterval mărginit. . Valorile discrete pot fi binare, bipolare sau orice set mic de Valorile discrete pot fi binare, bipolare sau orice set mic de valori. O activare de 1 are semnificavalori. O activare de 1 are semnificaţţia că unitatea este activăia că unitatea este activă, , 0 (sau 0 (sau --1) are semnifica1) are semnificaţţia că unitatea este inactivăia că unitatea este inactivă. Uneori . Uneori --seturi de valori discrete, ca de exemplu: (seturi de valori discrete, ca de exemplu: (--1,0,1), (1,2,3, ...,9).1,0,1), (1,2,3, ...,9).

11

Potrivit descoperirilor neurologice creierul uman este un Potrivit descoperirilor neurologice creierul uman este un calculator analogiccalculator analogic -- Dezbateri intre abordarea logică sau Dezbateri intre abordarea logică sau discretă discretă Argumentul major Argumentul major îîn favoarea abordării analogice este viteza n favoarea abordării analogice este viteza superioară recunoscută a calcului analogicsuperioară recunoscută a calcului analogic, l, la care se adaugă a care se adaugă lipsa necesitălipsa necesităţţii sincronizării ii sincronizării (obligatorie la RN digitale (obligatorie la RN digitale sincrone) dificil de realizat la resincrone) dificil de realizat la reţţelele mari.elele mari.Avantajul principal al abordării discrete este precizia Avantajul principal al abordării discrete este precizia calculelor, importancalculelor, importantă mai ales tă mai ales îîn cazurile n cazurile îîn care parametrii n care parametrii rereţţelei sunt supuelei sunt supuşşi unor restrici unor restricţţii severe, de exemplu ii severe, de exemplu referitoare la condireferitoare la condiţţii de simetrie. ii de simetrie. Posibilitatea memorării pe o Posibilitatea memorării pe o durată de timp a unor valori numerice utile reprezintă un alt durată de timp a unor valori numerice utile reprezintă un alt avantaj. avantaj. O problemă nesoluO problemă nesoluţţionată satisfăcător până ionată satisfăcător până îîn prezent este n prezent este rezolurezoluţţia necesară procesării ia necesară procesării îîntrntr--o aplicao aplicaţţie datăie dată..Există reExistă reţţele care folosesc semnale cu mai multe nivele de ele care folosesc semnale cu mai multe nivele de cuantizare al semnalelor, care pot proveni din utilizarea unor cuantizare al semnalelor, care pot proveni din utilizarea unor funcfuncţţii de activare ii de activare multinivelmultinivel, sau pot avea intrinsec un , sau pot avea intrinsec un asemenea caracter, ca asemenea caracter, ca îîn cazul utilizării unor coduri n cazul utilizării unor coduri multinivelmultinivel. .

2.4 Ie2.4 Ieşşirea unităirea unităţţilorilor

UnităUnităţţile unui sistem ile unui sistem interacinteracţţioneazaioneaza îîntre ele prin ntre ele prin intermediul ieintermediul ieşşirii. irii. Uzual ieUzual ieşşirea unităirea unităţţii este dată de starea ei de activareii este dată de starea ei de activare

2.5 Interconexiunile re2.5 Interconexiunile reţţeleielei

UnităUnităţţile sunt conectate ile sunt conectate îîntre ele prin interconexiuni cărora ntre ele prin interconexiuni cărora li se asociază ponderili se asociază ponderi. M. Modelul de interconexiune reprezintă odelul de interconexiune reprezintă "ceea ce "ceea ce şştie sistemul" si va determina modul tie sistemul" si va determina modul îîn care el n care el răspunde la o intrare arbitrarărăspunde la o intrare arbitrară..ÎÎn majoritatea cazurilor, fiecare unitate are o contribun majoritatea cazurilor, fiecare unitate are o contribuţţie ie aditivă la intrarea unităaditivă la intrarea unităţţilor la care este conectatăilor la care este conectată. .

O pondere pozitiva reprezintă o intrare excitatoareO pondere pozitiva reprezintă o intrare excitatoare. . O pondere negativa reprezintă o intrare O pondere negativa reprezintă o intrare inhibitorieinhibitorie. Adesea . Adesea este convenabila reprezentarea modelului de conexiune este convenabila reprezentarea modelului de conexiune printrprintr--o matrice pondere W.o matrice pondere W.ÎÎn cazul cel mai simplu,n cazul cel mai simplu, intrările excitatorii si inhibitorii intrările excitatorii si inhibitorii ponderate sunt ponderate sunt îînsumate algebric. nsumate algebric. Dacă intrările sunt supuse unei reguli mai complexe decât Dacă intrările sunt supuse unei reguli mai complexe decât simpla simpla îînsumare algebrica, este nsumare algebrica, este necesară definirea unei necesară definirea unei matricimatrici sepasepa­­rate rate WWee pentru intrările excitatorii si pentru intrările excitatorii si WWii pentru pentru cele inhibitorii.cele inhibitorii.ÎÎn cazul general este necesar un model mai complex. n cazul general este necesar un model mai complex. O unitate poate primi intrări de diferite tipuriO unitate poate primi intrări de diferite tipuri, care sunt , care sunt îînsumate separat. Pentru fiecare tip de conexiune este nsumate separat. Pentru fiecare tip de conexiune este recomandabil să avem o matrice de conexiune separatărecomandabil să avem o matrice de conexiune separată..

net w xj ij ii

=∑ .

12

2.6 Regula de propagare2.6 Regula de propagareRegula de propagare combină vectorul oRegula de propagare combină vectorul o(t) al (t) al ieieşşirilor cu matricea de conexiune pentru a produce irilor cu matricea de conexiune pentru a produce intrarea netă intrarea netă , pentru fiecare tip de intrare , pentru fiecare tip de intrare îîntrntr--o o unitate.unitate.

Fie Fie netnetijij intrarea netă de tipul i in unitatea intrarea netă de tipul i in unitatea uujj. . Dacă există un singur tip de conexiune se suprimă Dacă există un singur tip de conexiune se suprimă indicele i, deci iindicele i, deci intrarea netă in ntrarea netă in uujj va fi va fi netnetjj. . Regula de propagare este Regula de propagare este îîn general de tip n general de tip îînainte, nainte, adică dinspre intrarea RN spre ieadică dinspre intrarea RN spre ieşşirea acesteia..irea acesteia..Intrarea netă este uzual suma ponderată a intrărilor Intrarea netă este uzual suma ponderată a intrărilor îîntrntr--o unitate: o unitate:

)t(o.Wnet ee = )t(o.Wnet ii =

FuncFuncţţiaia de de activareactivare

deterministădeterministă, , uzualuzual neliniarăneliniară probabilistică probabilistică..

EExemplexemple::funcfuncţţia ia HeavisideHeaviside, (, (cunoscută cunoscută îîn ren reţţelele elele neuronale neuronale şşi sub numele de hardi sub numele de hard--limitatoare): limitatoare): unipolară unipolară σσ(t) (t) (treap(treaptă unitatetă unitate) s) sau bipolară au bipolară sgnsgn(t), (t), dată de reladată de relaţţia:ia:

⎩⎨⎧

<−

≥=+

0)(1

0)(1))(sgn()1(

tnetdacă

tnetdacatnetty

i

iii

Funcţia Heaviside

Uneori intrarea netă trebuie să depăşească o valoare numită prag pentru determinarea unei noi activări:

))()(()1( ttawfty ij

jijii θ−=+ ∑

O funcţie semiliniară unipolară poate fi definită printr-o relaţie de forma:

( )

⎪⎪⎩

⎪⎪⎨

⎧

θ≥

θ<<θ−θ

θ+θ−≤

==+

)(,1

,2

)()(,0

)1(

tnetpentru

netpentrutnettnetpentru

netftiy

13

Pentru varianta bipolară se poate utiliza relaţia:

( ) ( ) 12 −= netfnetfb

Adesea funcţia de activare trebuie să fie o funcţie neliniară, nedescrescătoare, ca de exemplu:

irestîn

tinetdacătinetitinetdacă

tiy θ=

⎪⎪⎩

⎪⎪⎨

⎧ θ>

=+

0

)()(

)(1

)1(

FuncFuncţţiiii de de activareactivare pentrupentru neuronneurona) a) comparatoarecomparatoare bipolarăbipolară cucu pragprag; b); b)liniarăliniară cucu saturasaturaţţieie; ;

c)c)sigmoidalăsigmoidală bipolarăbipolară

Uzual funcţia de activare este o funcţie neliniară. Un exemplu este funcţia logistică numită şi sigmoidă:

)(11)1( tnet ie

tiy ⋅β−+=+

Unde β este o constantă aparţinând intervalului de valori (0,1).

Funcţie de activare probabilistice -probabilitatea ca neuronul să fie activ este:

( )T

tneti i

etyp −

+

=→

1

1)1)((

unde T este o constantă, numită temperatură, dă panta curbei de probabilitate.

14

FuncFuncţţiiii de de activareactivare nonmonotonenonmonotone

Alte tipuri de funcţii, unele cunoscute din teoria aproximării-performanţe superioare în diferite aplicaţii. Din analiza Fourier :

)]nxsin(.b)nxcos(.a[)x(f n0n

n += ∑∞

=

∑∞

=

θ++=1n

nn0 )nxsin(.ca)x(f

2n

2nn bac +=

n

nn a

barctg=θInterpretare ca o aproximare implementată cu o RN de tip spre înainte•un neuron de intrare; •un neuron de ieşire• a0 corespunde pragului neuronului de ieşire,•cn ponderilor dintre neuronul ascuns n şi neuronul de ieşire•n neuroni ascunşi θn corespunde pragului neuronului ascuns n cu funcţia de activare sin(neti);

15

Ieşirea unei RN antrenate BKP să aproximeze funcţia f(x)=sin(2x).sin(x), ce utilizează funcţia de

activare sinus

Ieşirea unei RN antrenate în aceleaşi condiţii ca în cazul a), dar o funcţie de activare sigmoidă;

Reguli de Reguli de îînvănvăţţareareConfigurarea interconexiunilor unei reConfigurarea interconexiunilor unei reţţele neuronale trebuie făcută astfel ele neuronale trebuie făcută astfel îîncât aplicarea unui set de intrări să genereze un set de iencât aplicarea unui set de intrări să genereze un set de ieşşiri dorite iri dorite Prin regula de Prin regula de îînvănvăţţare se modifică ponderile interconexiunilor are se modifică ponderile interconexiunilor îîn funcn funcţţie ie de experiende experienţţa RN.a RN. Există RN Există RN::

-- cu ponderi fixe ( ca de exemplu RN cu ponderi fixe ( ca de exemplu RN HopfieldHopfield şşi RN i RN HammingHamming) ) --cucu ponderi adaptabile ponderi adaptabile. .

Diferite metode:Diferite metode:

fixarea explicităfixarea explicită, utilizând informa, utilizând informaţţie apriori referitoare la ie apriori referitoare la particularităparticularităţţile ile şşi eventual restrici eventual restricţţiile la care este supusă aplicaiile la care este supusă aplicaţţia ia consideratăconsiderată. Astfel de considera. Astfel de consideraţţii conduc la sisteme specializate, de ii conduc la sisteme specializate, de dimensiuni reduse, udimensiuni reduse, uşşor de manipulator de manipulat ;;determinarea ponderilor prin antrenare, generând redeterminarea ponderilor prin antrenare, generând reţţelei modele de elei modele de îînvănvăţţat at şşi lăsândi lăsând--o săo să--şşi modifice ponderile conform unei reguli de i modifice ponderile conform unei reguli de îînvănvăţţare, are, îîn mod iterativn mod iterativ ;;

O condiO condiţţie esenie esenţţială este ca algoritmul de antrenare să fie convergentială este ca algoritmul de antrenare să fie convergent, a, adică dică la un moment dat ponderile să rămână constantela un moment dat ponderile să rămână constante, i, indiferent de intrările ndiferent de intrările aplicate.aplicate.

16

Clasificarea RN Clasificarea RN îîn funcn funcţţie de modalităie de modalităţţile de ile de

îînvănvăţţare:are:RN cu RN cu îînvănvăţţare supravegheată are supravegheată (cu control)(cu control)Se generează reţelei un set de perechi de modele de intrare-

modele de ieşire dorite, cu ajutorul cărora se calculează eroarea e(t) în funcţie de diferenţa dintre valoarea reală curentă a ieşirii y(t) şi cea dorită d(t)

)()()( tytdte −=

ExempleExemple

1.RNM cu propagarea informa1.RNM cu propagarea informaţţiei "spre iei "spre îînainte " carenainte " care utilizeazăutilizează: : regula Delta, regula Delta, algoritmul algoritmul retropropagăriiretropropagării erorii erorii şşi variantele sale,i variantele sale,cuantizarea vectorială cu controlcuantizarea vectorială cu control, ,

2. RN 2. RN recurenterecurente-- îînvănvăţţarea area îîn timp realn timp real

RN cu RN cu îînvănvăţţare nesupravegheată are nesupravegheată ((fără controlfără control))

RN extrage singură caracteristicile esenRN extrage singură caracteristicile esenţţiale ale iale ale modelelor de intrare, formeamodelelor de intrare, formează reprezentări interne ză reprezentări interne distincte ale acestora distincte ale acestora şşi realizează gruparea i realizează gruparea modelelor pe baza unui criteriu de similaritate. modelelor pe baza unui criteriu de similaritate. RN utilizează un gen de competiRN utilizează un gen de competiţţie ie îîntre neuronii ntre neuronii elementari, care are ca efect modificarea ponderilor elementari, care are ca efect modificarea ponderilor conexiunilor neuronului care a câconexiunilor neuronului care a câşştigat tigat îîntrecerea, ntrecerea, eventual eventual şşi a ponderilor neuronilor i a ponderilor neuronilor îînvecinanvecinaţţi, i, restul restul ponderilor interconexiunilor rămânând neafectateponderilor interconexiunilor rămânând neafectate..ÎÎn unele modele apare un parametru numit n unele modele apare un parametru numit conconşştiintiinţţăă, c, care intră are intră îîn funcn funcţţie când unul dintre ie când unul dintre neuroni câneuroni câşştigă prea des competitigă prea des competiţţia.ia.

17

Reprezentative pentru această categorie sunt: •reţelele neuronale auto-organizatoare Kohonen, •RN cu cuantizare vectorială, •RN pentru analiza componentelor principale. Aceste reţele pot încorpora şi un mecanism de control care să permită o rafinare ulterioară a parametrilor.

RN cu RN cu îînvănvăţţare cu "criticare cu "critic ""( ( cu "rcu "recompensă ecompensă şşi i

penalizare"penalizare"

ReReţţeaua nu beneficiază de un semnal dorit eaua nu beneficiază de un semnal dorit (ca (ca îîn n îînvănvăţţarea supravegheatăarea supravegheată), ), ci de unul care apreciază ci de unul care apreciază cât de bine funccât de bine funcţţionează sistemulionează sistemul. .

Algoritmii aparAlgoritmii aparţţinând acestei categorii se bazează pe inând acestei categorii se bazează pe observaobservaţţiile experimentelor cu animale iile experimentelor cu animale şşi i funcfuncţţionează după următorul principiuionează după următorul principiu: d: dacă acă acacţţiunea unui sistem capabil să iunea unui sistem capabil să îînvenveţţe are un efect e are un efect favorabil, aceasfavorabil, această actă acţţiune este iune este îîncurajatăncurajată, , îîn caz n caz contrar este inhibatăcontrar este inhibată..

18

Reguli de Reguli de îînvănvăţţare uzualeare uzuale

1.Regula lui 1.Regula lui HebbHebb

2.Regula 2.Regula perceptronuluiperceptronului ::

jxiyijw η=∆

jxTiidijw )]sgn([ xw−η=∆

unde x este vectorul intrărilor în neuronul j, x=[x1 x2 …xj … xN]

3.Regula Delta (sau regula 3.Regula Delta (sau regula WidrowWidrow--HoffHoff))

4. 4. Regula Delta generalizatăRegula Delta generalizată

5. 5. Regula de Regula de îînvănvăţţare a corelaare a corelaţţieiiei

6.Reguli de 6.Reguli de îînvănvăţţare de tip competitivare de tip competitiv

jxiyidijw )][ −η=∆

jxinetfiyidijw )()][ '−η=∆

jxidijw η=∆

mjwjxmjw η=∆

ijwidijw η=∆

Organizarea ierarhică a ROrganizarea ierarhică a R.N. .N. ReReţţele neuronale cu procesare de tip ele neuronale cu procesare de tip îîn susn sus

ÎÎntrntr--o numerotare a nivelelor de la intrare spre ieo numerotare a nivelelor de la intrare spre ieşşire unităire unităţţile nivelului i ile nivelului i vor afecta doar unităvor afecta doar unităţţile de nivel superior lui i, aile de nivel superior lui i, adică straturile idică straturile i++1, i1, i++2 . 2 . informainformaţţia se propagă spre ia se propagă spre îînainte, de la intrare spre ienainte, de la intrare spre ieşşire. ire. Uzual unităUzual unităţţile nivelului i nu afectează unităile nivelului i nu afectează unităţţile nivelului i+2.ile nivelului i+2.

19

ReReţţele neuronale interactive (recursive)ele neuronale interactive (recursive)modele modele îîn care pot exista conexiuni n care pot exista conexiuni îîn ambele n ambele sensuri, de la sensuri, de la nivelele inferioare către nivelele nivelele inferioare către nivelele superioare superioare şşi invers. i invers. ÎÎn cazul general aceste ren cazul general aceste reţţele au ele au şşi o reaci o reacţţie ie de la iede la ieşşire ire îînspre intrare. Orice element al nspre intrare. Orice element al matriciimatricii de conexiune poate fi diferit de zero. de conexiune poate fi diferit de zero. RN recursive au un potenRN recursive au un potenţţial de procesare ial de procesare mai mare decât sistemele echivalente mai mare decât sistemele echivalente ierarhice, cu acelaierarhice, cu acelaşşi număr de unităi număr de unităţţi ascunse.i ascunse.

2.10 Ini2.10 Iniţţializareaializarea

se referă la momentul de aplicare a regulii de se referă la momentul de aplicare a regulii de activare.activare.ÎÎn n initializareinitializareaa sincronăsincronă exista un cronometru exista un cronometru central, care dcentral, care determină o evaluare simultană a etermină o evaluare simultană a activării tuturor unităactivării tuturor unităţţilor din RN. ilor din RN. ÎÎn procedura n procedura asincronăasincronă initializareainitializarea se facese faceprobabilistic, pentru fiecare unitate, probabilistic, pentru fiecare unitate, îîn parte. n parte. AvantajulAvantajul procedurii procedurii asincroneasincrone constă constă îîn faptul că n faptul că îîntrntr--un interval de timp suficient de scurt este un interval de timp suficient de scurt este initializatăinitializată o singură unitate o singură unitate. Aceasta . Aceasta îîmbunătămbunătăţţesteestestabilitateastabilitatea rereţţelei, evitând oscilaelei, evitând oscilaţţiileiile

20

2.11 Reprezentarea mediului2.11 Reprezentarea mediului

Este Este esentialesential pentru dezvoltarea oricărui model să existe o pentru dezvoltarea oricărui model să existe o reprezentare clară a mediului reprezentare clară a mediului îîn care operează acestan care operează acesta..ÎÎn R.n R.N. N. mediul se reprezintă ca o funcmediul se reprezintă ca o funcţţie ie stochasticăstochastică, , variabilă variabilă îîn timp, n timp, îîn span spaţţiul modelelor de intrare. iul modelelor de intrare. Adică Adică , l, la un moment dat există o probabilitate oarecare ca a un moment dat există o probabilitate oarecare ca unul dintre modelele setului de modele posibile să fie aplicat unul dintre modelele setului de modele posibile să fie aplicat la intrarea sistemului. Funcla intrarea sistemului. Funcţţia de repartiia de repartiţţie depindeie depinde atât de atât de istoria istoria intrarilorintrarilor cât cât şşi de iei de ieşşirile sistemului. irile sistemului. Tipic, mediul este caracterizat de o densitate de probabilitate Tipic, mediul este caracterizat de o densitate de probabilitate stabilăstabilă, i, independentă de ndependentă de intrarileintrarile şşi răspunsurile anterioare i răspunsurile anterioare ale sistemului. ale sistemului. Adeseori R.N. sunt restricAdeseori R.N. sunt restricţţionate de tipurile modelelor de ionate de tipurile modelelor de intrare. Unele intrare. Unele R.N. R.N. sunt capabile sa răspundă corect doar sunt capabile sa răspundă corect doar dacă vectorii de intrare dacă vectorii de intrare formeazaformeaza un set liniar independent de un set liniar independent de vectori, altelevectori, altele doar dacă vectorii de intrare sunt ortogonali doar dacă vectorii de intrare sunt ortogonali, , altele sunt capabile să altele sunt capabile să îînvenveţţe să răspundă la modele de intrare e să răspundă la modele de intrare arbitrare.arbitrare.

3 Re3 Reţţele cu propagarea informaele cu propagarea informaţţiei spre iei spre îînaintenainte3.1 Neuronul Mc 3.1 Neuronul Mc CullochCulloch--PittsPitts

Neuronul Mc Neuronul Mc CullochCulloch--PittsPitts

realizat de Mc realizat de Mc CullochCulloch--PittsPitts îîn 1n 1943 est943 este discret,e discret, cu intrările cu intrările xxii[[kk]], la momentul k, valori binare 0 sau 1. , la momentul k, valori binare 0 sau 1. FuncFuncţţia de activare este de tip comparator cu prag. ia de activare este de tip comparator cu prag.

FuncFuncţţia de ieia de ieşşire ire -- funcfuncţţia identitate. ia identitate. Ponderile Ponderile wwii pot lua valoarepot lua valoareaa ++1, 1, dacă efectul intrării dacă efectul intrării corespunzătoare este excitator respectiv valoarea corespunzătoare este excitator respectiv valoarea --1 d1 dacă acă efectul este inhibator.efectul este inhibator.

)]k[x.w(sgn]1k[o]1k[ai

ii θ−∑=+=+

⎩⎨⎧−

θ≥=

restînnetdac ă

net1

1)sgn(

21

••permite implementarea funcpermite implementarea funcţţiilor logice elementare iilor logice elementare ŞŞI NU,I NU, SAU NU, pSAU NU, pe baza cărora se pot sintetiza funce baza cărora se pot sintetiza funcţţii logice ii logice complexe. complexe. ••orice funcorice funcţţie logică ie logică combinatorialăcombinatorială poate fi sintetizată poate fi sintetizată utilizând funcutilizând funcţţiile NU iile NU şşi SAUi SAU

Exemple de Exemple de funcfuncţţiiii logicelogice implementateimplementate cucu

neuronulneuronul McMc CullochCulloch--PittsPitts

Fig.2c prezintă o celulă de memorare cu o intrare excitatoare +1 şi una inhibatoare -1, care menţine ieşirea constantă pe timp nedeterminat, în absenţa unei noi intrări.

RestricRestricţţia la valori binare a intrării ia la valori binare a intrării şşi mai ales a ponderilori mai ales a ponderilor,,tipul functipul funcţţiei de activare, precum iei de activare, precum şşi necesitatea de i necesitatea de funcfuncţţionare sincronă a reionare sincronă a reţţelelor realizate cu astfel de neuroni elelor realizate cu astfel de neuroni constituie limitări majore ale modeluluiconstituie limitări majore ale modelului..

Mc Mc CullochCulloch si si PittsPitts au abordat problematica au abordat problematica invarianinvarianţţeiei îîn n perceppercepţţia imaginilor ia imaginilor şşi a sunetelor,i a sunetelor, deschizând o noua etapă deschizând o noua etapă îîn aplican aplicaţţiile RN iile RN îîn recunoan recunoaşşterea formelor ( terea formelor ( PittsPitts si Mc si Mc CullochCulloch 1947). Modelele lor sunt 1947). Modelele lor sunt îînsă fără nsă fără îînvănvăţţare.are.

Formalismul lui Mc Formalismul lui Mc CullochCulloch--PittsPitts a marcat atât evolua marcat atât evoluţţia ia calculatoarelor digitale (conform memoriilor lui calculatoarelor digitale (conform memoriilor lui vonvonNeumann), cât si Neumann), cât si îînceputul dezvoltării hard a Rnceputul dezvoltării hard a R.N. .N.

MuellerMueller, Martin si , Martin si PultzrathPultzrath ( (1962) au 1962) au proiectat circuite care proiectat circuite care modelează neuronul Mc modelează neuronul Mc CullochCulloch--PittsPitts. Ei . Ei şşii--au extins analiza au extins analiza si asupra unor circuite analogice, similare, pentru si asupra unor circuite analogice, similare, pentru recunoarecunoaşşterea semnalelor acustice.terea semnalelor acustice.

22

3.2 3.2 PerceptronulPerceptronul

Ideea adaptării ponderilor apare pentru prima oarăIdeea adaptării ponderilor apare pentru prima oară, , îîn studiile lui n studiile lui CaianelloCaianello (1961) (1961) şşi ulterior i ulterior îîn ale lui n ale lui RosenblatRosenblat (1962). (1962). Utilizând structura neuronului Mc Utilizând structura neuronului Mc CullochCulloch, , admiadmiţţând date de intrare ând date de intrare şşi ponderi de valori i ponderi de valori oarecare (nu numai binare) oarecare (nu numai binare) şşi introducând o regula i introducând o regula de modificare a ponderilor, de modificare a ponderilor, RosenblatRosenblat a pus bazele a pus bazele unei clase largi de modele neuronale, numite unei clase largi de modele neuronale, numite perceptroaneperceptroane (1962).(1962).

IeIeşşirile irile perceptroanelorperceptroanelor sunt binare (1 sunt binare (1 şşi 0) date i 0) date de funcde funcţţia de activare ia de activare HeavesideHeaveside sau bipolare (1 sau bipolare (1 şşi i

––1) date de func1) date de funcţţia ia signumsignum:: )]k[x.w(f]1k[oi

ii θ−=+ ∑

PPerceptronulerceptronul cu coreccu corecţţia erorii prin cuplare inversăia erorii prin cuplare inversă

apare ideea adaptării ponderilor proporapare ideea adaptării ponderilor proporţţional cu un ional cu un semnal de eroaresemnal de eroare::

Ponderile vor fi modificate conform unei legi Ponderile vor fi modificate conform unei legi probabilisticeprobabilistice

RosenblatRosenblat a dezvoltat a dezvoltat şşi demonstrat teorema de i demonstrat teorema de convergenconvergenţţă a ă a perceptronuluiperceptronului-- valorile ponderilor valorile ponderilor converg converg îîntrntr--un număr finit de paun număr finit de paşşii::

ww[[kk++11]=]= ww[[kk++22]=]= ww[[kk++33]=]= ww[[kk++44]=]=……pentru un număr de iterapentru un număr de iteraţţii finit. ii finit.

e d o= −

)od.(]k[w]1k[w −η+=+

23

Rosenblatt Mark I Rosenblatt Mark I PerceptronPerceptron

Se pot face următoarele observaSe pot face următoarele observaţţii ii îîn legătură cu algoritmul n legătură cu algoritmul de antrenare:de antrenare:numărul de iteranumărul de iteraţţii necesar asigurării unei clasificări ii necesar asigurării unei clasificări corecte depinde de viteza de antrenare corecte depinde de viteza de antrenare şşi de succesiunea i de succesiunea datelor folosite datelor folosite îîn etapa de antrenare;n etapa de antrenare;coeficientul de adaptare este constant;coeficientul de adaptare este constant;ponderile se modifică doar dacă apar clasificări greponderile se modifică doar dacă apar clasificări greşşite;ite;

SSe fundamentează teoretic capabilitatea de asociere a e fundamentează teoretic capabilitatea de asociere a perceptroanelorperceptroanelor bazată pe similaritate bazată pe similaritate (modele (modele similare de similare de intrare se transformă intrare se transformă îîn modele similare de ien modele similare de ieşşire).ire).

AplicaAplicaţţiile posibile suntiile posibile sunt::clasificare (clasificare (îîn recunoan recunoaşşterea formelor) terea formelor) implementare de funcimplementare de funcţţii logice. ii logice.

FuncFuncţţii logice implementate de ii logice implementate de perceptronperceptron

24

NegareaNegarea logiclogicăă

Sau logicSau logic

ŞŞii

25

ReprezentareaReprezentarea geometricăgeometrică îînn spaspaţţiuliul

modelelormodelelor de de intrareintrare

Limitele Limitele perceptronuluiperceptronului

Un Un neuronneuron adaptabiladaptabil ((perceptronulperceptronul) nu ) nu poatepoate discrimina discrimina decâtdecât clase clase liniarliniar separabileseparabile. . Două Două categoriicategorii suntsunt liniarliniar separabileseparabile dacădacă pot fi pot fi separateseparateprintrprintr--oo dreaptădreaptă. . FuncFuncţţiileiile logicelogice ŞŞI, SAU I, SAU şşi NU i NU implicăimplică clasificăriclasificări separabileseparabileprintrprintr--oo dreaptădreaptă. . EleEle suntsunt liniarliniar separabileseparabile, , decideci perceptronulperceptronulle le poatepoate implementaimplementaClasele distincte se pot separa prin aClasele distincte se pot separa prin aşşa zise suprafea zise suprafeţţe de e de decizie. Pentru determinarea suprafedecizie. Pentru determinarea suprafeţţelor de decizie trebuie elor de decizie trebuie evaluat un set de funcevaluat un set de funcţţii de discriminare. ii de discriminare. Două clase se numesc Două clase se numesc liniar separabileliniar separabile dacă func dacă funcţţiile de iile de discriminare au forma următoarediscriminare au forma următoare: :

unde aunde a00, a, a11,,……aann sunt constante.sunt constante.∑+=

N

nnnoi x.aa)x(g

Două categorii liniar separabileDouă categorii liniar separabile

x2

x1

CategoriaC2

CategoriaC1

Dreaptă de deciziew1. x1+ w2 .x2-θ=0

26

Cel mai cunoscut caz de separabilitate Cel mai cunoscut caz de separabilitate nonliniarănonliniară este cel al este cel al funcfuncţţiei SAU EXCLUSIV (XOR). Ieiei SAU EXCLUSIV (XOR). Ieşşirea este dată de irea este dată de relarelaţţia . ia .

Tabelul de adevăr al funcTabelul de adevăr al funcţţiei este următoruliei este următorul

2121 x.xx.x−−

+

011

101

110

000

XORx2x1

SpaSpaţţiul modelelor de intrare pentru problema lui iul modelelor de intrare pentru problema lui

SAU EXCLUSIVSAU EXCLUSIV

Categoria C1

Categoria C2

Categoria C2

(1,0)

(1,1)(0,1)

(0,0)Intrarea x1

Intrarea x2

Limitele de Limitele de îînvănvăţţare ale unei reare ale unei reţţele neuronale cu un ele neuronale cu un singur strat de neuroni adaptivi nu sunt date de singur strat de neuroni adaptivi nu sunt date de algoritmul de algoritmul de îînvănvăţţare ci de topologia reare ci de topologia reţţelei, care elei, care permite divizarea spapermite divizarea spaţţiului de intrare doar iului de intrare doar îîn două n două semiplanesemiplane. . FuncFuncţţia SAU EXCLUSIV poate fi implementată cu un ia SAU EXCLUSIV poate fi implementată cu un perceptronperceptron, d, dacă este codată adecvatacă este codată adecvat xx33= = xx1 1 xx22

AsociereaAsocierea corectăcorectă pentrupentru un un perceptronperceptron cucu pragulpragul zerozeroeste este generatăgenerată de de următoareleurmătoarele ponderiponderi: w1=1: w1=1 , w2=1, w2=1 , , w1=w1=--22 . .

0111

1001

1010

0000

XORx3x2x1

⎪⎩

⎪⎨⎧

≤

>=

0netdaca0

0netdacă1netf )(

27

AcestAcest exempluexemplu demonstreazădemonstrează că o că o problemăproblemă de de separabilitateseparabilitate nonliniarănonliniară poatepoate fi fi transformatătransformată îîntrntr--unauna de de separabilitateseparabilitate liniarăliniară, , printrprintr--oo formalizareformalizareadecvatăadecvată a a problemeiproblemei. . ÎÎnn practicăpractică este este chiarchiar mai importantă mai importantă reprezentareareprezentareaadecvatăadecvată a a problemeiproblemei decâtdecât arhitecturaarhitectura RN .RN .O O altăaltă metodămetodă de de rezolvarerezolvare a a problemelorproblemelornonseparabilenonseparabile liniarliniar este este utilizareautilizarea RN RN cucu mai mai multemultestraturistraturi. . DeciDeci pentru limite de decizie mai complexe sunt pentru limite de decizie mai complexe sunt necesare mai multe straturi de neuroni. Pentru SAU necesare mai multe straturi de neuroni. Pentru SAU EXCLUSIV sunt necesare două straturi de neuroniEXCLUSIV sunt necesare două straturi de neuroniadaptabiliadaptabili. .

Două reDouă reţţele pentru ele pentru îînvănvăţţarea funcarea funcţţiei logice iei logice

SAU EXCLUSIVSAU EXCLUSIV

⎪⎩

⎪⎨⎧

≤

>=

0netdaca0

0netdacă1netf )(

Alegerea ponderilor nu este unicăAlegerea ponderilor nu este unică. . O RN cu două straturi poate forma regiuni de O RN cu două straturi poate forma regiuni de decizie convexe obdecizie convexe obţţinute prin intersecinute prin intersecţţia ia semiplanelorsemiplanelor de decizie ale neuronilor primului de decizie ale neuronilor primului strat. strat. Fiecare neuron al stratului ascuns generează un Fiecare neuron al stratului ascuns generează un hiperplan de separare. hiperplan de separare. Neuronii stratului de ieNeuronii stratului de ieşşire generează regiuni de ire generează regiuni de decizie mai complicate, formate prin intersecdecizie mai complicate, formate prin intersecţţia ia semiplanelorsemiplanelor primului stratprimului strat

RN cu două straturi este capabilă să identifice orice RN cu două straturi este capabilă să identifice orice fel de regiuni convexe, dfel de regiuni convexe, dacă numărul neuronilor acă numărul neuronilor din stratul ascuns este suficient din stratul ascuns este suficient şşi ponderile sunt i ponderile sunt adecvat adaptate.adecvat adaptate.

28

Regiuni de decizie pentru o RN cu

două straturi de neuroni

Un Un clasiclasifficatoricator fără eroare dacă fără eroare dacă nr.neuronilornr.neuronilor este este suficient de maresuficient de mare

O RN cu trei straturi poate implementa regiuni de O RN cu trei straturi poate implementa regiuni de decizie arbitrare, compldecizie arbitrare, complexitatea fiind limitată de numărul exitatea fiind limitată de numărul de neuroni. de neuroni. SS--a demonstrat că precizia unei clasificări a demonstrat că precizia unei clasificări neliniare de către o RN cu trei straturi neliniare de către o RN cu trei straturi (2 (2 ascunse ) poateascunse ) poate fi făcută arbitrar de bunăfi făcută arbitrar de bună..

A

B

Regiuni de decizie pentru o RN cu două straturi de neuroni

29

OO RN cu trei straturi este capabilă să proceseze RN cu trei straturi este capabilă să proceseze orice transformare neliniară continuă cu o precizie orice transformare neliniară continuă cu o precizie

arbitrar de bunăarbitrar de bună..

3.3 ADALINE 3.3 ADALINE şşi MADALINEi MADALINE

ÎÎn 1960 n 1960 WidrowWidrow si colaboratorii săi au realizat si colaboratorii săi au realizat rereţţelele ADALINE elele ADALINE şşi MADALINE , RN cu control. i MADALINE , RN cu control. ADALINE acronim pentru ADALINE acronim pentru ADaptiveADaptive LInearLInearCombiner, care are un singur neuron adaptiv la Combiner, care are un singur neuron adaptiv la ieieşşire ire MADALINE pentru RN cu mai MADALINE pentru RN cu mai multimulti neuroni neuroni adaptivi (din engadaptivi (din engleză more ADALINEleză more ADALINE). ). ADALINE conADALINE conţţine un set de rezistenine un set de rezistenţţe controlabile e controlabile conectate conectate îîntrntr--un circuit care un circuit care îînsumează curennsumează curenţţii ii determinadeterminaţţi de tensiunile de intrare. i de tensiunile de intrare. Uzual blocul de Uzual blocul de îînsumare este urmat de un nsumare este urmat de un cuantizorcuantizor a cărui ie a cărui ieşşire este ire este ++1 sau 1 sau --1, 1, îîn funcn funcţţie de ie de polaritatea intrăriipolaritatea intrării. Alteori ie. Alteori ieşşirea o este analogicăirea o este analogică. .

Dacă se notează conductanDacă se notează conductanţţele de intrare cu ele de intrare cu wwii

θ+=+=+ ∑i

ii ]k[x.w]1k[o]1k[a

30

Bernard Bernard WidrowWidrow şşi i TedTed HoffHoffregula LMS sau regula LMS sau WidrowWidrow HoffHoff

IeIeşşirea analogică conferă circuitelor ADALINE un potenirea analogică conferă circuitelor ADALINE un potenţţial ial de procesare mai mare decât a de procesare mai mare decât a perceptronuluiperceptronului. . Se pune problema determinării ponderilor Se pune problema determinării ponderilor wwii astfel astfel îîncât dacă ncât dacă la intrarea circuitului se aplică setul de valori la intrarea circuitului se aplică setul de valori xxipip la iela ieşşirea sa irea sa să se obsă se obţţină ină ddpp, , răspunsul doritrăspunsul dorit, p, pentru un număr mare p de entru un număr mare p de modele arbitrare. modele arbitrare.

Ponderile se modifică conform regulii de Ponderile se modifică conform regulii de îînvănvăţţare are ““deltadelta”” cunoscută cunoscută şşi sub numele de regula i sub numele de regula ““WidrowWidrow--HoffHoff””::

η este o constanta în intervalul (0,1), numită viteză de învăţareAlgoritmulAlgoritmul minimizeazăminimizează eroareaeroarea pătraticapătratica mediemedie pentrupentrutoatetoate modelelemodelele de de intrareintrare si si modelelemodelele de de ieieşşireire, , adicăadică ::

]x...x...xxx pnpi2p1pp [=

pippip x).od.(w −η=∆

∑ −=p

2pp )od(

21E

Din acest motiv, algoritmul Din acest motiv, algoritmul se numese numeşşte si LMS (te si LMS (leastleastmeanmean squaresquare), ), adică cu cea adică cu cea mai mică eroare pătratică mai mică eroare pătratică medie. medie. Se poate demonstra căSe poate demonstra că, , alegând o viteza de alegând o viteza de îînvănvăţţare are suficient de micăsuficient de mică, sistemul , sistemul converge spre o funcconverge spre o funcţţie de ie de eroare minima, eroare minima, găsind setul găsind setul de ponderi optim.de ponderi optim.La fiecare iteraLa fiecare iteraţţie eroarea ie eroarea

scade cu scade cu ηη, sistemul , sistemul converge spre un minim al converge spre un minim al funcfuncţţiei de eroare, iei de eroare, găsind găsind setul de ponderi optim.setul de ponderi optim.

31

Se demonstrează că regula delta implementează un Se demonstrează că regula delta implementează un gradient descendent gradient descendent îîn span spaţţiul erorilor.iul erorilor.

i

Pip w

E.w∂∂

η−=∆

deqxod

w

kxw

o

od

wo

oE

wE

pipp

i

ppii

p

pP

i

P

p

P

i

P

..).(

)][.()(21 2

=−−

=∂

θ−∂

∂

−∂=

∂∂

∂∂

=∂∂

∑

••ÎÎntrucât au un singur neuron adaptiv rentrucât au un singur neuron adaptiv reţţelele ADALINE pot implementa elele ADALINE pot implementa doar funcdoar funcţţii separabile linear.ii separabile linear.••ReReţţelele MADALINE (Fig.elele MADALINE (Fig.3.12 3.12 ) a) au mai intrăriu mai intrări, mai mul, mai mulţţi neuroni i neuroni adaptivi adaptivi şşi la iei la ieşşire circuite logice de tip SAU, ire circuite logice de tip SAU, ŞŞI sau MAJORITATE.I sau MAJORITATE.••Cu ponderile potrivit alese, MADALINE pot implementa Cu ponderile potrivit alese, MADALINE pot implementa şşi funci funcţţii logice ii logice nonlinearnonlinear separabile.separabile.

Fig.3.12 StFig.3.12 Structura MADALINE care ructura MADALINE care implementează funcimplementează funcţţia logică cu tabelul de adevăr ia logică cu tabelul de adevăr

alalăăturatturat

Ieşire

-1+1-1

+1-1-1

-1-1+1

+1+1+1

Ieşirex2x1

Fig.3.13 Regiunile de separare implementate de Fig.3.13 Regiunile de separare implementate de structura din Fig.3.12structura din Fig.3.12

Linii de separare

1

CursulCursul 3 3 Două reDouă reţţele pentru ele pentru îînvănvăţţarea funcarea funcţţiei logice iei logice

SAU EXCLUSIVSAU EXCLUSIV

⎪⎩

⎪⎨⎧

≤

>=

0netdaca0

0netdacă1netf )(

Alegerea ponderilor nu este unicăAlegerea ponderilor nu este unică. . O RN cu două straturi poate forma regiuni de O RN cu două straturi poate forma regiuni de decizie convexe obdecizie convexe obţţinute prin intersecinute prin intersecţţia ia semiplanelorsemiplanelor de decizie ale neuronilor primului de decizie ale neuronilor primului strat. strat. Fiecare neuron al stratului ascuns generează un Fiecare neuron al stratului ascuns generează un hiperplan de separare. hiperplan de separare. Neuronii stratului de ieNeuronii stratului de ieşşire generează regiuni de ire generează regiuni de decizie mai complicate, formate prin intersecdecizie mai complicate, formate prin intersecţţia ia semiplanelorsemiplanelor primului stratprimului strat

RN cu două straturi este capabilă să identifice orice RN cu două straturi este capabilă să identifice orice fel de regiuni convexe, dfel de regiuni convexe, dacă numărul neuronilor acă numărul neuronilor din stratul ascuns este suficient din stratul ascuns este suficient şşi ponderile sunt i ponderile sunt adecvat adaptate.adecvat adaptate.

Un Un clasiclasifficatoricator fără eroare dacă fără eroare dacă nr.neuronilornr.neuronilor este este suficient de maresuficient de mare

2

O RN cu trei straturi poate implementa O RN cu trei straturi poate implementa regiuni de decizie arbitrare, complregiuni de decizie arbitrare, complexitatea exitatea fiind limitată de numărul de neuronifiind limitată de numărul de neuroni. S. S--a a demonstrat că precizia unei clasificări demonstrat că precizia unei clasificări neliniare de către o RN cu trei straturi neliniare de către o RN cu trei straturi (2 (2 ascunse ) poateascunse ) poate fi făcută arbitrar de bună fi făcută arbitrar de bună..

A

B

Regiuni de decizie pentru o RN cu două straturi de neuroni

OO RN cu trei straturi este capabilă să proceseze RN cu trei straturi este capabilă să proceseze orice transformare neliniară continuă cu o precizie orice transformare neliniară continuă cu o precizie

arbitrar de bunăarbitrar de bună..

3.3 ADALINE 3.3 ADALINE şşi MADALINEi MADALINE

ÎÎn 1960 n 1960 WidrowWidrow si colaboratorii săi au realizat si colaboratorii săi au realizat rereţţelele ADALINE elele ADALINE şşi MADALINE , RN cu i MADALINE , RN cu control. control. ADALINE acronim pentru ADALINE acronim pentru ADaptiveADaptive LInearLInearCombiner, care are un singur neuron adaptiv la Combiner, care are un singur neuron adaptiv la ieieşşire ire MADALINE pentru RN cu mai MADALINE pentru RN cu mai multimulti neuroni neuroni adaptivi (din engadaptivi (din engleză more ADALINEleză more ADALINE). ). ADALINE conADALINE conţţine un set de rezistenine un set de rezistenţţe controlabile e controlabile conectate conectate îîntrntr--un circuit care un circuit care îînsumează curennsumează curenţţii ii determinadeterminaţţi de tensiunile de intrare. i de tensiunile de intrare. Uzual blocul de Uzual blocul de îînsumare este urmat de un nsumare este urmat de un cuantizorcuantizor a cărui ie a cărui ieşşire este ire este ++1 sau 1 sau --1, 1, îîn funcn funcţţie de ie de polaritatea intrăriipolaritatea intrării. Alteori ie. Alteori ieşşirea o este analogicăirea o este analogică. .

3

Dacă se notează conductanDacă se notează conductanţţele de intrare cu ele de intrare cu wwii

θ+=+=+ ∑i

ii ]k[x.w]1k[o]1k[a

Bernard Bernard WidrowWidrow şşi i TedTed HoffHoffregula LMS sau regula LMS sau WidrowWidrow HoffHoff

IeIeşşirea analogică conferă circuitelor ADALINE un potenirea analogică conferă circuitelor ADALINE un potenţţial ial de procesare mai mare decât a de procesare mai mare decât a perceptronuluiperceptronului. . Se pune problema determinării ponderilor Se pune problema determinării ponderilor wwii astfel astfel îîncât dacă ncât dacă la intrarea circuitului se aplică setul de valori la intrarea circuitului se aplică setul de valori xxipip la iela ieşşirea sa irea sa să se obsă se obţţină ină ddpp, , răspunsul doritrăspunsul dorit, p, pentru un număr mare p de entru un număr mare p de modele arbitrare. modele arbitrare.

Ponderile se modifică conform regulii de Ponderile se modifică conform regulii de îînvănvăţţare are ““deltadelta”” cunoscută cunoscută şşi sub numele de regula i sub numele de regula ““WidrowWidrow--HoffHoff””::

η este o constanta în intervalul (0,1), numită viteză de învăţareAlgoritmulAlgoritmul minimizeazăminimizează eroareaeroarea pătraticapătratica mediemedie pentrupentrutoatetoate modelelemodelele de de intrareintrare si si modelelemodelele de de ieieşşireire, , adicăadică ::

]x...x...xxx pnpi2p1pp [=

pippip x).od.(w −η=∆

∑ −=p

2pp )od(

21E

4

Din acest motiv, algoritmul Din acest motiv, algoritmul se numese numeşşte si LMS (te si LMS (leastleastmeanmean squaresquare), ), adică cu cea adică cu cea mai mică eroare pătratică mai mică eroare pătratică medie. medie. Se poate demonstra căSe poate demonstra că, , alegând o viteza de alegând o viteza de îînvănvăţţare are suficient de micăsuficient de mică, sistemul , sistemul converge spre o funcconverge spre o funcţţie de ie de eroare minima, eroare minima, găsind setul găsind setul de ponderi optim.de ponderi optim.La fiecare iteraLa fiecare iteraţţie eroarea ie eroarea

scade cu scade cu ηη, sistemul , sistemul converge spre un minim al converge spre un minim al funcfuncţţiei de eroare, iei de eroare, găsind găsind setul de ponderi optim.setul de ponderi optim.

Se demonstrează că regula delta implementează un Se demonstrează că regula delta implementează un gradient descendent gradient descendent îîn span spaţţiul erorilor.iul erorilor.

i

Pip w

E.w∂∂

η−=∆

deqxodw

kxw

o

od

wo

oE

wE

pipp

i

ppii

p

pP

i

P

p

P

i

P

..).(

)][.()(21 2

=−−

=∂

θ−∂

∂

−∂=

∂∂

∂∂

=∂∂

∑

••ÎÎntrucât au un singur neuron adaptiv rentrucât au un singur neuron adaptiv reţţelele ADALINE pot implementa elele ADALINE pot implementa doar funcdoar funcţţii separabile linear.ii separabile linear.••ReReţţelele MADALINE (Fig.elele MADALINE (Fig.3.12 3.12 ) a) au mai intrăriu mai intrări, mai mul, mai mulţţi neuroni i neuroni adaptivi adaptivi şşi la iei la ieşşire circuite logice de tip SAU, ire circuite logice de tip SAU, ŞŞI sau MAJORITATE.I sau MAJORITATE.••Cu ponderile potrivit alese, MADALINE pot implementa Cu ponderile potrivit alese, MADALINE pot implementa şşi funci funcţţii logice ii logice nonlinearnonlinear separabile.separabile.

Fig.3.12 StFig.3.12 Structura MADALINE care ructura MADALINE care implementează funcimplementează funcţţia logică cu tabelul de adevăr ia logică cu tabelul de adevăr

alalăăturatturat

Ieşire

-1+1-1

+1-1-1

-1-1+1

+1+1+1

Ieşirex2x1

5

Fig.3.13 Regiunile de separare implementate de Fig.3.13 Regiunile de separare implementate de structura din Fig.3.12structura din Fig.3.12

Linii de separare

3.4. Aplica3.4. Aplicaţţiile ADALINEiile ADALINE3.4.1 3.4.1 Filtrarea adaptivăFiltrarea adaptivă

Există mai multe tipuri de filtre adaptiveExistă mai multe tipuri de filtre adaptive, c, ce caută să obe caută să obţţină ină zerourile zerourile şşi polii funci polii funcţţiei de transfer. Aiei de transfer. Acest filtru realizează cest filtru realizează zerourile funczerourile funcţţiei de transfer. iei de transfer. Structura Structura latticelattice prezentată converge prezentată converge îîn anumite condin anumite condiţţii mai ii mai rapid decât orice alt filtru, esrapid decât orice alt filtru, este simplă te simplă şşi robustăi robustă. Filtrul . Filtrul adaptiv LMS este cel mai des utilizat filtru adaptiv. adaptiv LMS este cel mai des utilizat filtru adaptiv.

StructuraStructura filtruluifiltrului adaptivadaptiv

6

Modelarea unui sistem necunoscutModelarea unui sistem necunoscut

ÎÎn urma adaptării ponderilorn urma adaptării ponderilor, diferen, diferenţţa dintre iea dintre ieşşirea irea sistemului sistemului şşi a filtrului adaptiv va fi minimăi a filtrului adaptiv va fi minimă. . F.A. va modela sistemul necunoscut. F.A. va modela sistemul necunoscut.

PredicPredicţţia statisticăia statisticăPonderile filtrului adaptiv se adaptează pentru a genera cea Ponderile filtrului adaptiv se adaptează pentru a genera cea

mai bună estimare mai bună estimare îîn medie pătratică n medie pătratică îîntre semnalul ntre semnalul îîntârziat cu ntârziat cu ∆∆ iteraiteraţţii ii şşi semnalul de intrare curent (i semnalul de intrare curent (care, care, la rândul său reprezintă o predicla rândul său reprezintă o predicţţie a intrării peste ie a intrării peste ∆∆eeşşantioane).antioane).

Egalizor de canalEgalizor de canalLa ieLa ieşşirea circuitului cuantificator se obirea circuitului cuantificator se obţţine un semnal ine un semnal

binar, carebinar, care poate fi utilizat ca răspuns dorit pentru poate fi utilizat ca răspuns dorit pentru algoritmul adaptiv. Ponderile sunt inialgoritmul adaptiv. Ponderile sunt iniţţializate la zero. ializate la zero. Semnalul de ieSemnalul de ieşşire este iniire este iniţţial afectat de zgomot. ial afectat de zgomot. ÎÎn timp n timp ponderile se adaptează pentru a elimina diferenponderile se adaptează pentru a elimina diferenţţa dintre a dintre răspunsul dorit răspunsul dorit şşi iei ieşşirea curentăirea curentă. . Sporadic pot apare erori de adaptare, dar Sporadic pot apare erori de adaptare, dar îîn medie filtrul n medie filtrul funcfuncţţionează corectionează corect. . Egalizorul adaptiv are un răspuns plat ca nivel Egalizorul adaptiv are un răspuns plat ca nivel şşi liniar ca i liniar ca fazăfază. . Fără egalizator canalul de telecomunicaFără egalizator canalul de telecomunicaţţii transmite ii transmite semnalul cu o eroare de aproximativ 10 semnalul cu o eroare de aproximativ 10 ––11 . . Odată ce filtrul sOdată ce filtrul s--a adaptat eroarea de transmisie este de ordinul 10a adaptat eroarea de transmisie este de ordinul 10--66..Prin utilizarea unor Prin utilizarea unor modemurimodemuri cu egalizoare cu egalizoare îîncorporate ncorporate viteza de transmisie sviteza de transmisie s--a multiplicat cu patru. Discriminarea a multiplicat cu patru. Discriminarea îîntre semnale la recepntre semnale la recepţţie este clară ie este clară +1 sau +1 sau ––1. 1.

7

RReeţţeleleelele neuronale multistratneuronale multistrat

RNM (RNM (multilayermultilayer perceptronsperceptrons) a) au un strat de intrare,u un strat de intrare, un un număr de straturi intermediarenumăr de straturi intermediare, numite ascunse , numite ascunse şşi un strat de i un strat de ieieşşire, foire, format fiecare dintrrmat fiecare dintr--un număr de neuroniun număr de neuroni. . Când informaCând informaţţia se propagă prin reia se propagă prin reţţea de la intrare ea de la intrare îînspre nspre ieieşşire, aceste reire, aceste reţţele se numesc de tip "spre ele se numesc de tip "spre îînainte" (nainte" (feedfeed--forwardforward))UUzualzual, func, funcţţia de activare este aceeaia de activare este aceeaşşi, pentru toi, pentru toţţi neuronii i neuronii aparaparţţinând aceluiainând aceluiaşşi strat. i strat. Pentru neuronii stratului de iePentru neuronii stratului de ieşşire utilizarea unei funcire utilizarea unei funcţţii de ii de activare f(net) liniare, cel mult activare f(net) liniare, cel mult semiliniaresemiliniare, e, este satisfăcătoare ste satisfăcătoare din punctul de vedere al performandin punctul de vedere al performanţţei realizate, pentru ei realizate, pentru majoritatea aplicamajoritatea aplicaţţiilor: iilor:

( )

⎪⎪⎩

⎪⎪⎨

⎧

θ>

θ<<θ−θ

θ+θ−<

==+

)(,1

,2

)()(,0

)1(

tnetpentru

netpentrutnettnetpentru

netfto

8

Pentru a se depăPentru a se depăşşi performani performanţţele reele reţţelelor cu un strat, este elelor cu un strat, este îînsă nsă necesar ca funcnecesar ca funcţţia de activare a neuronilor ascunia de activare a neuronilor ascunşşi să fie cel pui să fie cel puţţin in semiliniarăsemiliniară. Uzual, ea este o func. Uzual, ea este o funcţţie sigmoidăie sigmoidă, d, dată de relaată de relaţţia:ia:

unde unde ββ este un factor de proporeste un factor de proporţţionalitate, ionalitate, aparaparţţinând intervalului (0,1).inând intervalului (0,1).Avantajul unei astfel de funcAvantajul unei astfel de funcţţii este calculul ii este calculul simplu al derivatei:simplu al derivatei:

Adesea se utilizează Adesea se utilizează şşi funci funcţţia tangentă ia tangentă hiperbolicăhiperbolică, deoarece are valori , deoarece are valori îîn intervalul [n intervalul [--1, 1]:1, 1]:

∑+

=θ+β−

ijpiji txwpj

eo

))((

1

1

)](1)[()(' xfxfxf −=

xx

xx

eeeex −

−

+−

=)tanh( 22

)(4)]([sec)tanh(

xx eexh

dxxd

−+==

4.2 Algoritmul cu 4.2 Algoritmul cu retropropagarearetropropagarea eroriierorii

RPE ("RPE ("backback--propagationpropagation errorerror") a fost fundamentat ") a fost fundamentat independent de mai mulindependent de mai mulţţi cercetători din domeniul i cercetători din domeniul analizei numerice (analizei numerice (BrysonBryson & Ho, 1969) & Ho, 1969) şşi al i al statisticii (statisticii (WerbosWerbos îîn 1n 1974) pâ974) până nă îîn cel al RN n cel al RN ((ParkerParker 1982 , Le 1982 , Le CunCun 1986, 1986, RumelhartRumelhart, , HintonHinton & & WiliamWiliam 1986).1986).Algoritmul este o Algoritmul este o îînvănvăţţare cu control are cu control îîn două etape n două etape şşi este cunoscut i este cunoscut şşi sub denumirea de "i sub denumirea de "regula delta regula delta generalizatăgeneralizată", ", denumire introdusă denumire introdusă îîn 1986 de grupul n 1986 de grupul de cercetare creat de de cercetare creat de RumelhartRumelhart şşi Mc i Mc ClellandClelland, , îîntrntr--o carte de referino carte de referinţţă ă îîn domeniul RN, "n domeniul RN, "ParallelParallelDistributedDistributed ProcessingProcessing" [" [D.E.RumelhartD.E.Rumelhart, 86]. , 86].

9

Algoritmul are 2 etape: Algoritmul are 2 etape: --primaprima îîn care informan care informaţţia se propagă prin reia se propagă prin reţţea din strat ea din strat

îîn strat,n strat, de la intrare până la ie de la intrare până la ieşşireire--aa doua, doua, îîn care erorile se propagă de la ien care erorile se propagă de la ieşşire ire îînspre nspre

intrare, determinând actualizarea parametrilor RNM.intrare, determinând actualizarea parametrilor RNM.

Prima etapăPrima etapă

NN -- numărul intrărilor numărul intrărilor îîn RN (care este dimensiunea n RN (care este dimensiunea modelelormodelelor de intrare); de intrare);

NNhh -- numărul neuronilor stratului ascuns numărul neuronilor stratului ascuns;;NNoutout -- numărul neuronilor stratului de ie numărul neuronilor stratului de ieşşire;ire;

∑=

θ+=N

ijpijipj xwnet

1i=1,2, ….N

)(1∑=

θ+=N

ijpijipj xwfo j=1,2, ….Nh

∑∑==

θ+=θ+=hh N

1jkpjkjpk

N

1jkpjkjpk

ownet unde owfo )( k=1,..,Nout

∑ ∑= =

θ+θ+=hN

jkj

N

ipijikjpk xwfwfo

1 1))((

Etapa a douaEtapa a doua

ÎÎn etapa a doua,n etapa a doua, erorile se propagă de la ie erorile se propagă de la ieşşire spre intrare, din ire spre intrare, din strat strat îîn strat determinând modificarea ponderilor n strat determinând modificarea ponderilor conexiunilor conexiunilor îîn sensul minimizării erorii la nivelul fiecărui n sensul minimizării erorii la nivelul fiecărui neuron neuron îîn parte. n parte.

)(')( pkpkpkpk netfod −=δ

pjpkkjp ow ηδ=∆

( )pjk

kjpkpj netfw '⎟⎠

⎞⎜⎝

⎛δ=δ ∑

pipjjip ow ηδ=∆

10

Dacă Dacă îîn RN există mai multe straturi ascunsen RN există mai multe straturi ascunse, e, erorile se rorile se evaluează pentru fiecare strat cu relaevaluează pentru fiecare strat cu relaţţia ia şşi apoi se determină i apoi se determină noile ponderi dintre stratul anterior noile ponderi dintre stratul anterior şşi cel succesiv. i cel succesiv. ÎÎn ren reţţea pot exista ea pot exista şşi ponderi fixe.i ponderi fixe. Dacă există neuroni de ieDacă există neuroni de ieşşire ire şşi i îîn straturile ascunse, acen straturile ascunse, aceşştia tia îînsumează două tipuri de erorinsumează două tipuri de erori::

--erorierori rezultate din compararea ierezultate din compararea ieşşirii cu răspunsul dorit irii cu răspunsul dorit şşi i --erorierori obobţţinute prin propagare, de la neuronii de ieinute prin propagare, de la neuronii de ieşşire ire spre neuronii cu care sunt cuplaspre neuronii cu care sunt cuplaţţi. i. Algoritmul cu Algoritmul cu retropropagarearetropropagarea erorii minimizează eroarea erorii minimizează eroarea pătratică medie pătratică medie îîn fiecare iteran fiecare iteraţţie. ie. Studiile arată că RN converge Studiile arată că RN converge îîn general spre un minim n general spre un minim local, carelocal, care reprezintă reprezintă îîn unele cazuri o solun unele cazuri o soluţţie acceptabilăie acceptabilă. . ÎÎn n literatura de specialitate sunt prezentate mai multe metode literatura de specialitate sunt prezentate mai multe metode pentru evitarea minimelor locale, aspect care va fi abordat pentru evitarea minimelor locale, aspect care va fi abordat îîn n cele ce urmeazăcele ce urmează..

ÎÎn literatură se demonstrează n literatură se demonstrează [[S.HaykinS.Haykin, 9, 94] 4] că algoritmul cu că algoritmul cu retropropagarearetropropagarea erorii implementează un gradient erorii implementează un gradient descendent al erorii totale descendent al erorii totale îîn span spaţţiul ponderilor, aiul ponderilor, adică este dică este satisfăcută relasatisfăcută relaţţia: ia:

unde unde dEdE//dwdw este gradientul aleatoriu necunoscut al erorii este gradientul aleatoriu necunoscut al erorii totale dintre modelele de intrare totale dintre modelele de intrare şşi modele de iei modele de ieşşire dorite. ire dorite. WhiteWhite a demonstrat că rela a demonstrat că relaţţia este o aproximare ia este o aproximare stochasticăstochasticăAlgoritmul presupune Algoritmul presupune

--oo etapă de antrenament etapă de antrenament, , --unauna de testare de testare --ceacea de utilizarede utilizare

Crearea bazei de date Crearea bazei de date şşi selectarea datelor de antrenament, i selectarea datelor de antrenament, respectiv de testare, au o influenrespectiv de testare, au o influenţţă majoră ă majoră îîn succesul sau n succesul sau eeşşecul funcecul funcţţionării unei RNionării unei RN..

dwdEtwtw η−=+ )()1(

ÎÎn timpul antrenamentului, fiecare pereche (n timpul antrenamentului, fiecare pereche (xxpp , , ddpp))de model de intrarede model de intrare--model de iemodel de ieşşire dorit este ire dorit este prezentată repetatprezentată repetat. . Necesitatea unei prezentări repetate a modelelor Necesitatea unei prezentări repetate a modelelor îîn n timpul antrenamentului reprezintă una dintre timpul antrenamentului reprezintă una dintre carencarenţţele algoritmului cu ele algoritmului cu retropropagarearetropropagarea erorii, erorii, deoarece conduce la un timp deoarece conduce la un timp îîndelungat afectat ndelungat afectat antrenamentului RN. antrenamentului RN. ÎÎn timpul testării se aplică doar modelele de intraren timpul testării se aplică doar modelele de intrare, , verificânduverificându--se statistic corectitudinea funcse statistic corectitudinea funcţţionăriiionării. . ÎÎn cazul n cazul îîn care performann care performanţţa oba obţţinută este inută este acceptabilăacceptabilă, R, RN poate fi utilizată N poate fi utilizată îîn practica n practica curentăcurentă. .

11

Aspecte importante ale algoritmului Aspecte importante ale algoritmului cu cu retropropagarearetropropagarea eroriierorii

3.1 Crearea bazei de date3.1 Crearea bazei de datesolicită cel mai solicită cel mai îîndelungat efort ndelungat efort îîn dezvoltarea unei aplican dezvoltarea unei aplicaţţii ii şşi are i are

o importano importanţţă majoră ă majoră îîn succesul sau en succesul sau eşşecul acesteia:ecul acesteia:adunarea datelor;adunarea datelor;analiza datelor;analiza datelor;alegerea variabilelor;alegerea variabilelor;preprocesarea variabilelor de intrare, astfel preprocesarea variabilelor de intrare, astfel îîncât RN să poată ncât RN să poată îînvănvăţţa eficient;a eficient;

Din practica curentă specialiDin practica curentă specialişştii afirmă că tii afirmă că 9/10 din dezvoltarea 9/10 din dezvoltarea unei aplicaunei aplicaţţii este soluii este soluţţionată prin colectarea datelor adecvateionată prin colectarea datelor adecvate. .

Selectarea datelor de intrare implică adesea alegerea dintre maiSelectarea datelor de intrare implică adesea alegerea dintre maimulte variabile, astfel multe variabile, astfel îîncât familiaritatea cu domeniul ncât familiaritatea cu domeniul aplicaaplicaţţiei este de nepreiei este de nepreţţuit. Specialiuit. Specialişştii tii îîn RN colaborează cu n RN colaborează cu experexperţţii ii îîn domeniul aplican domeniul aplicaţţiei pentru dezvoltarea RN.iei pentru dezvoltarea RN.

Analiza datelor de intrareAnaliza datelor de intrare se face din perspectiva tehnicilor se face din perspectiva tehnicilor statistice. statistice. CorelaCorelaţţia dintre o anumită intrare ia dintre o anumită intrare şşi o anumită iei o anumită ieşşire poate ire poate sugera includerea sau excluderea variabilei. sugera includerea sau excluderea variabilei. O corelaO corelaţţie puternică dintre două variabile poate duce la ie puternică dintre două variabile poate duce la eliminarea uneia dintre ele. eliminarea uneia dintre ele.

După După alegerea celor mai semnificative intrărialegerea celor mai semnificative intrări se pune problema se pune problema examinării distribuexaminării distribuţţiei lor iei lor şşi i îîn general se elimină valorile n general se elimină valorile îîn n afara distribuafara distribuţţiei tipice. iei tipice.

Este de dorit ca perechile de date intrareEste de dorit ca perechile de date intrare--ieieşşire folosite ire folosite îîn n procesul de antrenare să fie cât mai diferiteprocesul de antrenare să fie cât mai diferite, pentru ca re, pentru ca reţţeaua eaua să aibă la dispozisă aibă la dispoziţţie un număr de ie un număr de "scenarii" "scenarii" cât mai mare cât mai mare pentru problema concretă consideratăpentru problema concretă considerată. .

ÎÎn setul de antrenare se inserează câteodată n setul de antrenare se inserează câteodată ((îîn special atunci n special atunci când baza de date este redusă sau puternic redundantăcând baza de date este redusă sau puternic redundantă) ) şşi date i date provenind din suprapunerea unor nivele de zgomot peste provenind din suprapunerea unor nivele de zgomot peste valorile originale, ceea ce are ca efect valorile originale, ceea ce are ca efect îîmbunătămbunătăţţirea capacităirea capacităţţii ii de generalizare a rede generalizare a reţţelei. elei.

Analiza datelor poate duce la identificarea de tendinAnaliza datelor poate duce la identificarea de tendinţţe, cicluri e, cicluri sau alte relasau alte relaţţii care pot fi extrase prin preprocesare.ii care pot fi extrase prin preprocesare.Preprocesarea Preprocesarea transformă datele astfel transformă datele astfel îîncât ele să poată fi ncât ele să poată fi mai umai uşşor or îînvănvăţţate de RN. ate de RN. Preprocesarea poate implica calculul de sume, diferenPreprocesarea poate implica calculul de sume, diferenţţe, e, derivate, puteri, radicali, medii, transformate derivate, puteri, radicali, medii, transformate FourierFourier sau sau extragere de caracteristici. extragere de caracteristici. O RN poate pregăti datele de intrare pentru o altă RNO RN poate pregăti datele de intrare pentru o altă RN, , realizând de exemplu o grupare, realizând de exemplu o grupare, îînainte de o clasificare mai nainte de o clasificare mai rafinatărafinată. .

Cantitatea datelor suficienteCantitatea datelor suficiente este o problemă complexă este o problemă complexă, , adeseori afectată de consideraadeseori afectată de consideraţţii practice, ii practice, ca de exemplu ca de exemplu costul colectării datelorcostul colectării datelor. .

Datele de antrenament trebuie să asigure un eDatele de antrenament trebuie să asigure un eşşantion antion reprezentativ reprezentativ şşi suficient pentru un antrenament corect. i suficient pentru un antrenament corect.

Seturi mari de date reduc riscul Seturi mari de date reduc riscul subesubeşşantionăriiantionării funcfuncţţiei de iei de îînvănvăţţat, dar at, dar îîn acest caz RN necesită un timp n acest caz RN necesită un timp îîndelungat de ndelungat de antrenare.antrenare.

Seturi mici de date implică o antrenare rapidăSeturi mici de date implică o antrenare rapidă, dar re, dar reţţeaua poate eaua poate eeşşua ua îîn faza de utilizare.n faza de utilizare.

12

SuficienSuficienţţa datelor depinde de mai mula datelor depinde de mai mulţţi factori, ca de exemplu: i factori, ca de exemplu: --mărimea RN mărimea RN --distribudistribuţţia intrărilor ia intrărilor şşi iei ieşşirilor irilor --cerincerinţţele testăriiele testăriiDin practica curentă sDin practica curentă s--a ajuns la concluzia că pentru un a ajuns la concluzia că pentru un

antrenament eficient sunt suficiente aproximativ zece modele antrenament eficient sunt suficiente aproximativ zece modele pentru fiecare interconexiune a repentru fiecare interconexiune a reţţelei. elei.

O altă regulă empirică apreciază că trebuie să existe următoareaO altă regulă empirică apreciază că trebuie să existe următoarearelarelaţţie ie îîntre dimensiunea bazei de date considerate ntre dimensiunea bazei de date considerate DD, folosite , folosite îîn procesul de n procesul de îînvănvăţţare, nuare, numărul ponderilor mărul ponderilor NNww şşi valoarea i valoarea finală a erorii pătratice finală a erorii pătratice E(E(∞∞):):

ÎÎmpărmpărţţirea judicioasă a bazei de dateirea judicioasă a bazei de date, , îîntrntr--un set de antrenare un set de antrenare şşi i altul de validare, estaltul de validare, este hotărâtoare e hotărâtoare îîn obn obţţinerea unor inerea unor performanperformanţţe de generalizare satisfăcătoare e de generalizare satisfăcătoare . .

)(∞=

END w

RRezultateezultate teoretice justifică alegerea dimensiunii setului de date teoretice justifică alegerea dimensiunii setului de date de antrenament la aproximativ 90% de antrenament la aproximativ 90% şşi a celui de validare la i a celui de validare la aproximativ 10% din bazaproximativ 10% din baza de date originalăa de date originală..

ModalităModalităţţi de antrenarei de antrenareuzual antrenarea RN multistrat uzual antrenarea RN multistrat ″″offoff--lineline″″, cu date disponibile , cu date disponibile îîn n

baza de date. Exbaza de date. Există două metode de antrenare istă două metode de antrenare ″″ offoff--lineline″″Modul Modul ″″model cu modelmodel cu model″″ ( ( ″″patternpattern byby patternpattern modemode″″) ) constă constă îîn modificarea setului de ponderi după câte o n modificarea setului de ponderi după câte o prezentare a unei singure perechi de date model de prezentare a unei singure perechi de date model de intrareintrare--model de iemodel de ieşşire dorit. ire dorit.

--oo prezentare aleatoare a datelor de antrenament, pentru a evita prezentare aleatoare a datelor de antrenament, pentru a evita ca reca reţţeaua să considereeaua să considere, , îîn mod eronat,n mod eronat, că acestea au un că acestea au un caracter periodic, intrinsec. caracter periodic, intrinsec.

--indicaindicaţţiiii empirice că viteza de convergen empirice că viteza de convergenţţă a algoritmului este ă a algoritmului este mai mare mai mare îîn acest caz.n acest caz.Modul Modul ″″tampontampon″″ ((″″batchbatch modemode″″) ) îîn care ponderile sunt n care ponderile sunt ajustate după prezentarea ajustate după prezentarea îîntregului set de date de ntregului set de date de antrenament. antrenament.

Aplicarea datelor de antrenament o singură dată se numeAplicarea datelor de antrenament o singură dată se numeşşte te epocă de antrenareepocă de antrenare. .

Varianta optimă de antrenare depinde de aplicaVarianta optimă de antrenare depinde de aplicaţţia concretăia concretă. .

Antrenarea Antrenarea îîn timp real, n timp real, ″″onon--lineline″″, e, este mai apropiată de ste mai apropiată de condicondiţţiile reale de utilizare a RN. iile reale de utilizare a RN. Datele de antrenare sunt obDatele de antrenare sunt obţţinute inute îîn timp real,n timp real, din din măsurători curente ale procesului de modelat măsurători curente ale procesului de modelat şşi determină i determină modificarea imediată a parametrilor RNmodificarea imediată a parametrilor RN. . Dezavantajul constă Dezavantajul constă îîn faptul că n faptul că îîn urma unei modificări n urma unei modificări radicale a parametrilor, la prezentarea unei perechi model de radicale a parametrilor, la prezentarea unei perechi model de intrare intrare -- model de iemodel de ieşşire dorit, RN ire dorit, RN îîşşi poate pierde i poate pierde capacitatea de interpolare a unor date ulterioare. Dacapacitatea de interpolare a unor date ulterioare. Dacă că dimpotrivădimpotrivă, n, noua asociere este prea aproape de cea oua asociere este prea aproape de cea anterioarăanterioară, m, modificarea parametrilor poate fi nesemnificativăodificarea parametrilor poate fi nesemnificativă. .

13

3.3 Criterii de oprire a 3.3 Criterii de oprire a îînvănvăţţăriiării

După un număr de iteraDupă un număr de iteraţţii ii predefinitpredefinit, d, dar există riscul ca ar există riscul ca eroarea să nu scadă suficienteroarea să nu scadă suficient;;La o valoare impusă a eroriiLa o valoare impusă a erorii, d, dar numărul de iteraar numărul de iteraţţii ar putea ii ar putea fi prea mare;fi prea mare;La o valoare dată a variaLa o valoare dată a variaţţiei erorii pentru două iteraiei erorii pentru două iteraţţii ii consecutive. Metoda estconsecutive. Metoda este inadecvată pentru situae inadecvată pentru situaţţiile iile îîn care n care eroarea are paliere deeroarea are paliere de--a lungul cărora se modifică foarte a lungul cărora se modifică foarte pupuţţin, dein, deşşi i îîn valoare absolută este considerabilăn valoare absolută este considerabilă. . Validarea prin intersecValidarea prin intersecţţia datelor (ia datelor (″″crosscross--validationvalidation″″). RN). RN se se antrenează cu datele de antrenamentantrenează cu datele de antrenament, timp , timp îîn care eroarea n care eroarea descredescreşşte continuu. te continuu. Se verifică funcSe verifică funcţţionarea RN cu datele de ionarea RN cu datele de testare, timp testare, timp îîn care eroarea descren care eroarea descreşşte, apoi crete, apoi creşşte din nou. te din nou. Se Se îîngheangheaţţă ponderile la valoarea erorii minimeă ponderile la valoarea erorii minime..

EvoluEvoluţţia erorii ia erorii îîn funcn funcţţie de numărul de iteraie de numărul de iteraţţii ii

pentru faza de antrenament, respectiv testarepentru faza de antrenament, respectiv testare

Eroare

Iteraţii

Antrenament

Test

Număroptim

Supraantrenare

FenomenulFenomenul de suprade supraîînvănvăţţareare

14

3.4 Generalizarea3.4 Generalizarea

A generaliza, conform dicA generaliza, conform dicţţionarului explicativ, ionarului explicativ, îînseamnă a nseamnă a formula principii sau concluzii din detalii obformula principii sau concluzii din detalii obţţinute prin inute prin experienexperienţţăă..Abilitatea unei RN de a generaliza se referă la identificarea Abilitatea unei RN de a generaliza se referă la identificarea de reguli cede reguli ce--i permit să facă predici permit să facă predicţţii corecte asupra unor date ii corecte asupra unor date necunoscute. necunoscute. Capacitatea de generalizare a unei RN se verifică pe setul de Capacitatea de generalizare a unei RN se verifică pe setul de date de testare. date de testare. Factorii care o influenFactorii care o influenţţează suntează sunt: :

--numărulnumărul eeşşantioanelor de date, antioanelor de date, --complexitateacomplexitatea problemei, problemei, --mărimeamărimea rereţţelei. elei. Există studii care stabilesc limita inferioară Există studii care stabilesc limita inferioară şşi superioară a capacităi superioară a capacităţţii de ii de

generalizare a unei RN (generalizare a unei RN (măsură cunoscută sub denumirea de măsură cunoscută sub denumirea de ″″dimensiunea dimensiunea VapnikVapnik--CervonenkisCervonenkis″″), ), îîn funcn funcţţie de dimensiunea ie de dimensiunea modelelor de intrare, numodelelor de intrare, numărul neuronilor ascunmărul neuronilor ascunşşi, i, numărul total al numărul total al neuronilor RN, nuneuronilor RN, numărul ponderilor RNmărul ponderilor RN

3.5 Func3.5 Funcţţia de activareia de activare

Utilizarea unei funcUtilizarea unei funcţţii de activare neliniare conferă unei RN ii de activare neliniare conferă unei RN avantajul unui potenavantajul unui potenţţial de procesare superior comparativ cu ial de procesare superior comparativ cu cazul utilizării unei funccazul utilizării unei funcţţii liniare. ii liniare. Astfel o RN cu o funcAstfel o RN cu o funcţţie de activare neliniară va necesita un ie de activare neliniară va necesita un număr mai mic de neuroni ascunnumăr mai mic de neuroni ascunşşi, chiar de straturi, decât o i, chiar de straturi, decât o RN cu o funcRN cu o funcţţie de activare liniară pentru a rezolva o aceeaie de activare liniară pentru a rezolva o aceeaşşi i problemăproblemă..Uzual, funcUzual, funcţţia de activare a unui neuron este o funcia de activare a unui neuron este o funcţţie ie neliniară bipolară sau unipolară funcneliniară bipolară sau unipolară funcţţii de inspiraii de inspiraţţie ie biologicăbiologică: :

ax

ax

eeaxxf −

−

+−

==11)tanh()( axe

xf −+=

11)(

SS--au observat creau observat creşşteri semnificative ale vitezei de convergenteri semnificative ale vitezei de convergenţţă ă îîn cazul utilizării unei funcn cazul utilizării unei funcţţii de activare bipolare. ii de activare bipolare. Ajustarea parametrului Ajustarea parametrului aa, cu valori , cu valori îîn intervalul (n intervalul (0,1), 0,1), respectiv scăderea sa respectiv scăderea sa îîn timp, are efecte benefice n timp, are efecte benefice îîn special n special îîn n faza inifaza iniţţială a procesului de ială a procesului de îînvănvăţţare.are.Un avantaj major al acestor funcUn avantaj major al acestor funcţţii ii îîl constituie simplitatea l constituie simplitatea obobţţinerii derivatelor de ordinul I cu relainerii derivatelor de ordinul I cu relaţţia care permite ia care permite evaluarea rapidă a erorilor evaluarea rapidă a erorilor δδ îîn algoritmul RPE.n algoritmul RPE. Găsirea tipului adecvat de neliniaritate pentru o aplicaGăsirea tipului adecvat de neliniaritate pentru o aplicaţţie dată ie dată conferă forconferă forţţă de calcul superioară unei reă de calcul superioară unei reţţele neuronale. ele neuronale. ÎÎn aplican aplicaţţiile de clasificare se utilizează adeseori funciile de clasificare se utilizează adeseori funcţţia ia denumită denumită softmaxsoftmax, care permite interpretarea ie, care permite interpretarea ieşşirilor reirilor reţţelei elei neuronale ca probabilităneuronale ca probabilităţţi condii condiţţionateionate..

∑=

j

x

x

i j

i

eexf )(

15

Derivata funcDerivata funcţţiei de activare are un efect semnificativ asupra iei de activare are un efect semnificativ asupra vitezei de convergenvitezei de convergenţţăă. . ObservaObservaţţia conform căreia variaia conform căreia variaţţia ponderilor, direct ia ponderilor, direct proporproporţţională cu derivata funcională cu derivata funcţţiei de activare, iei de activare, care care este este neglijabilă pentru semnale mari neglijabilă pentru semnale mari (pentru (pentru care derivata se care derivata se anuleazăanulează) a impus cre) a impus creşşterea artificială a valorii derivateiterea artificială a valorii derivatei. . Prin adăugarea unei constante de Prin adăugarea unei constante de 0.1 s0.1 s--a redus a redus îîn unele n unele situasituaţţii timpul de procesare la jumătateii timpul de procesare la jumătate. .

3.6 Func3.6 Funcţţia de eroareia de eroare

Ptr.RNMPtr.RNM, func, funcţţia de eroare este o funcia de eroare este o funcţţie multidimensională ie multidimensională neliniarăneliniară, a, ai cărei parametrii sunt valorile interconexiunilor i cărei parametrii sunt valorile interconexiunilor şşi pragurile neuronilor.i pragurile neuronilor. Un algoritm de antrenare oarecare urmăreUn algoritm de antrenare oarecare urmăreşşte modificarea te modificarea acestor parametrii acestor parametrii îîn sensul minimizării eroriin sensul minimizării erorii..ÎÎntrntr--o formă generalăo formă generală, pentru o RN cu , pentru o RN cu NN neuroni, funcneuroni, funcţţia de ia de eroare poate fi dată de relaeroare poate fi dată de relaţţia:ia:

Pentru Pentru RR=2 se ob=2 se obţţine eroarea medie pătraticăine eroarea medie pătratică..

∑∑=

−=p

N

j

R

pjppj dWoE1

);(X

CazulCazul liniarliniar CazulCazul nonliniarnonliniar

16

ObservaObservaţţii:ii:

Eroarea pătratică medie este extrem de sensibilă la prezenEroarea pătratică medie este extrem de sensibilă la prezenţţa a unor erori individuale mari, unor erori individuale mari, îînafara valorilor tipice nafara valorilor tipice ("("outliersoutliers"). Performan"). Performanţţe superioare se obe superioare se obţţin pentru alte in pentru alte tipuri de distantipuri de distanţţe metrice, ca de exemplu, pentru distane metrice, ca de exemplu, pentru distanţţa a ManhattanManhattan, care are , care are RR=1. =1. FuncFuncţţia de eroare definită anterior este specifică modului de ia de eroare definită anterior este specifică modului de antrenare de tip antrenare de tip ““tampontampon" (" (batchbatch) (ajustarea parametrilor ) (ajustarea parametrilor rereţţelei se face după fiecare prezentare integrală a bazei de date elei se face după fiecare prezentare integrală a bazei de date disponibile). disponibile). Reprezentarea geometrică a funcReprezentarea geometrică a funcţţiei de eroare pune iei de eroare pune îîn n evidenevidenţţă existenă existenţţa unui minim global a unui minim global şşi a mai multor minime i a mai multor minime localelocale Este important de observat că aspectul func Este important de observat că aspectul funcţţiei de eroare este iei de eroare este independent de algoritmul de independent de algoritmul de îînvănvăţţare.are.Pentru unele aplicaPentru unele aplicaţţii, oprirea ii, oprirea îîntrntr--unul dintre minimele unul dintre minimele

locale reprezintă o solulocale reprezintă o soluţţie a problemei, din moment ce ie a problemei, din moment ce eroarea oberoarea obţţinută este acceptabilăinută este acceptabilă. Un exemplu . Un exemplu îîn acest sens n acest sens îîl l reprezintă implementarea funcreprezintă implementarea funcţţiei SAU EXCLUSIViei SAU EXCLUSIV..

Aspect tipic al funcAspect tipic al funcţţiei de eroareiei de eroare

Minime locale

Minim global

woptim w

E(w)

17

Observând natura statistică a algoritmului Observând natura statistică a algoritmului retropropagăriiretropropagării erorii, erorii, WhiteWhite a propus tehnici a propus tehnici de optimizare ale statisticii robuste pentru a de optimizare ale statisticii robuste pentru a crecreşşte insensibilitatea RN la perturbate insensibilitatea RN la perturbaţţii. ii. Eroarea se poate Eroarea se poate îînlocui cu o funcnlocui cu o funcţţie de ie de eroare, ca de exemplu: eroare, ca de exemplu:

ÎÎn alegerea funcn alegerea funcţţiei de eroare se apelează iei de eroare se apelează adesea la metoda adesea la metoda îîncercăriincercării..

Tehnicile de optimizare utilizate Tehnicile de optimizare utilizate îîn prezent se n prezent se îîncadrează ncadrează îîntrntr--una dintre următoarele două una dintre următoarele două categorii:categorii:a) Metode a) Metode îîn care funcn care funcţţia de eroare descreia de eroare descreşşte sau te sau rămâne constantă de la o iterarămâne constantă de la o iteraţţie la alta, ie la alta, fără fără posibilitatea de a creposibilitatea de a creşşte temporar. Dezavantajul te temporar. Dezavantajul acestora este imposibilitatea de a "evada" din acestora este imposibilitatea de a "evada" din minimele locale. Exemplminimele locale. Exemple din această categorie sunt e din această categorie sunt algoritmul RPE de tip gradient conjugat, algoritmul algoritmul RPE de tip gradient conjugat, algoritmul RPE de tip RPE de tip quasiquasi--NewtonNewton, precum , precum şşi varianta i varianta ““pachetpachet" a" a algoritmului RPE cu scădere după algoritmului RPE cu scădere după gradient.gradient.b) Metode b) Metode îîn care eroarea evoluează n care eroarea evoluează îîn medie către n medie către valoarea minimăvaloarea minimă, permi, permiţţând creând creşşteri temporare ale teri temporare ale valorii acesteia. Din avalorii acesteia. Din această categorie sunt varianta ceastă categorie sunt varianta "model "model cu model" cu model" a algoritmului RPE cu scădere a algoritmului RPE cu scădere după gradient după gradient şşi varianta RPE cu impuls.i varianta RPE cu impuls.

3.7 Ini3.7 Iniţţializarea ponderilor ializarea ponderilor şşi pragurilori pragurilor

Valorile iniValorile iniţţiale ale ponderilor iale ale ponderilor şşi pragurilor se aleg i pragurilor se aleg cu atencu atenţţie pentru a preie pentru a preîîntâmpina saturarea ntâmpina saturarea prematură a neuronilor prematură a neuronilor şşi deci scăderea vitezei de i deci scăderea vitezei de convergenconvergenţţă a algoritmuluiă a algoritmului. De obicei acestea se aleg . De obicei acestea se aleg aleatoriu, eventual uniform distribuit aleatoriu, eventual uniform distribuit îîntrntr--un un interval de valori: interval de valori:

[[--2,4/F2,4/Fii ; 2,4/F; 2,4/Fii] ]

unde unde FFii este numărul total de intrări este numărul total de intrări îîn neuron.n neuron.

18

3.8 Viteza de 3.8 Viteza de îînvănvăţţareare

VVitezitezaa de de îînvănvăţţareare aparaparţţineine intervalului de valori intervalului de valori (0,1) (0,1) O viteză de O viteză de îînvănvăţţare mareare mare îîn intervalul (0.n intervalul (0.225, 0.5, 0.55) ,) , asigură o convergenasigură o convergenţţă rapidăă rapidă, dar poate determina , dar poate determina oscilaoscilaţţii ale reii ale reţţelei;elei;O viteză de O viteză de îînvănvăţţare micăare mică, , îîn intervalul (n intervalul (0.05, 0.05, 0.25) 0.25) are ca efect mărirea timpului de procesare are ca efect mărirea timpului de procesare şşi poate i poate duce la duce la îîmpotmolirea mpotmolirea îîn minime locale cu o n minime locale cu o probabilitate mai mare;probabilitate mai mare;pentru a mări convergenpentru a mări convergenţţa algoritmului de a algoritmului de antrenare este necesară creantrenare este necesară creşşterea constantei de terea constantei de îînvănvăţţare. are.

Metoda impulsuluiMetoda impulsului

)(.)1( twotw ijppipjijp ∆α+ηδ=+∆

Convergenţa algoritmului de antrenarea) pentru o viteză mică de învăţare; b) pentru o viteză mare de învăţare;

c) pentru o viteză mare de învăţare şi un termen de impuls;

unde α este o constantă, numită impuls ("momentum"), ce aparţine intervalului (0,1) ce determină efectul variaţiei anterioare a ponderilor asupra variaţiei curente.

Metoda neteziriiMetoda netezirii

Este o generalizare a metodei impulsuluiEste o generalizare a metodei impulsului

])1()([)1( pipjijpijp obtwbtw δ−+∆η=+∆

Dacă:•constanta b=0, atunci relaţia este forma standard a algoritmului RPE ;•b=1, atunci ponderile rămân neschimbate; •b aparţine intervalului (0,1) atunci variaţia ponderii este ″netezită″ cu constanta b;

Metoda vitezei de Metoda vitezei de îînvănvăţţare variabileare variabile

Pentru a evita oscilaţiile RN, care pot apare în jurul soluţiei optime, se poate alege o viteză de învăţare descrescătoare în timp. Descreşterea rapidă poate fi asigurată de condiţia :

∑=

∞→∞<η

1

2])[(limnn

n

19

Dacă descreDacă descreşşterea vitezei de terea vitezei de îînvănvăţţare este prea rapidăare este prea rapidă, e, există xistă riscul ca ponderile să uite modelele deja riscul ca ponderile să uite modelele deja îînvănvăţţateate. . Astfel Astfel îîncât ncât viteza de viteza de îînvănvăţţare trebuie să descrească suficient de lentare trebuie să descrească suficient de lent, , satisfăcând relasatisfăcând relaţţia: ia:

Dacă Dacă ηη[[nn]=]=1/n 1/n condicondiţţiile sunt simultan satisfăcuteiile sunt simultan satisfăcute. . O RN trebuie să satisfacă două condiO RN trebuie să satisfacă două condiţţii contradictorii, ii contradictorii, ce ce formează aformează aşşa numita a numita dilemă stabilitate dilemă stabilitate ––plasticitateplasticitate

1. 1. Trebuie să fie suficient de stabilă pentru aTrebuie să fie suficient de stabilă pentru a--şşi aminti i aminti modelele anterior modelele anterior îînvănvăţţateate ;;

2. 2. Trebuie să fie suficient de plastică pentru a putea Trebuie să fie suficient de plastică pentru a putea îînvănvăţţa modele noia modele noi ; ;

Satisfacerea celor două condiSatisfacerea celor două condiţţii menii menţţionate anterior nu ionate anterior nu garantează convergengarantează convergenţţa algoritmului RPE,a algoritmului RPE, ci asigură doar o ci asigură doar o comportare "rezonabicomportare "rezonabilălă".".

∑=

∞→∞=η

1

2])[(limnn

n

3.9 Problema minimelor locale3.9 Problema minimelor locale

Există mai multe metode pentru evitarea minimelor localeExistă mai multe metode pentru evitarea minimelor locale::schimbarea constantei de schimbarea constantei de îînvănvăţţare;are;schimbarea ponderilor inischimbarea ponderilor iniţţiale;iale;modificarea numărului de neuroni ascunmodificarea numărului de neuroni ascunşşi;i;

Adăugarea unor valori aleatoare mici ponderilorAdăugarea unor valori aleatoare mici ponderilor, p, procedură rocedură cunoscută sub numele de cunoscută sub numele de "scuturarea re"scuturarea reţţelei", permite RN elei", permite RN ieieşşirea dintrirea dintr--un minim local. un minim local. Dacă noua stare este suficient de Dacă noua stare este suficient de îîndepărtată de minimul localndepărtată de minimul local, p, procesarea se poate desfărocesarea se poate desfăşşura ura îîntrntr--o nouă direco nouă direcţţie, ie, fără a exista riscul revenirii fără a exista riscul revenirii îîn minim.n minim. Dacă performanDacă performanţţa oba obţţinută inută îîntrntr--un minim local este un minim local este acceptabilăacceptabilă, acesta poate fi considerat o solu, acesta poate fi considerat o soluţţie a problemei.ie a problemei.

3.10 Arhitectura3.10 ArhitecturaPrin alegerea adecvată a arhitecturii rePrin alegerea adecvată a arhitecturii reţţelei se poate diminua elei se poate diminua probabilitatea apariprobabilitatea apariţţiei unor minime locale ale funciei unor minime locale ale funcţţiei de iei de eroare. eroare. Pentru alegerea arhitecturii optime există doar reguli Pentru alegerea arhitecturii optime există doar reguli empirice. empirice. Numărul neuronilor trebuie să fie suficient de mare pentru a Numărul neuronilor trebuie să fie suficient de mare pentru a genera o configuragenera o configuraţţie a regiunilor de decizie suficient de ie a regiunilor de decizie suficient de complexăcomplexă, p, pentru o problemă datăentru o problemă dată..Dimensiunea RN trebuie judicios aleasă astfel Dimensiunea RN trebuie judicios aleasă astfel îîncât să nu fie ncât să nu fie subdimensionată sau supradimensionatăsubdimensionată sau supradimensionată. . O reO reţţea neuronală prea mică nu va fi capabilă să generalizeze ea neuronală prea mică nu va fi capabilă să generalizeze îîn mod adecvat. n mod adecvat. O reO reţţea neuronală prea mare ar putea fi prea capabilăea neuronală prea mare ar putea fi prea capabilă, , prezentând dezavantajul manipulării greoaieprezentând dezavantajul manipulării greoaie. N. Numărul umărul conexiunilor ar fi conexiunilor ar fi îîn acest caz foarte mare n acest caz foarte mare şşi pentru i pentru determinarea ponderilor ar fi necesar un număr foarte mare determinarea ponderilor ar fi necesar un număr foarte mare de date, respectiv un timp de date, respectiv un timp îîndelungat de antrenament. ndelungat de antrenament.

20

Metode de obMetode de obţţinere a structurii optimeinere a structurii optime1. Se construie1. Se construieşşte cea mai mică rete cea mai mică reţţea posibilă pentru aplicaea posibilă pentru aplicaţţia ia îîn n

cauză cauză şşi apoi i se adaugă treptat neuronii apoi i se adaugă treptat neuroni, p, până când ână când performanperformanţţa realizată este satisfăcătoarea realizată este satisfăcătoare;;

2. Se construie2. Se construieşşte o rete o reţţea mare ea mare şşi apoi se elimină treptat i apoi se elimină treptat neuronii inutili, verifineuronii inutili, verificânducându--se de fiecare dată performanse de fiecare dată performanţţa a rereţţelei ;elei ;Se apreciază că numărul de neuroni din primul strat ascunsSe apreciază că numărul de neuroni din primul strat ascuns, , trebuie să fie de trei ori mai mare decât numărul neuronilor trebuie să fie de trei ori mai mare decât numărul neuronilor din al doilea strat ascunsdin al doilea strat ascunsÎÎn general structura unei RN multistrat trebuie să fie una de n general structura unei RN multistrat trebuie să fie una de tip compresie, dtip compresie, de la un număr mai mare de neuroni spre un e la un număr mai mare de neuroni spre un număr redus de neuroninumăr redus de neuroni. . ÎÎn cazul n cazul îîn care problema de instruire presupune divizarea n care problema de instruire presupune divizarea spaspaţţiului vectorilor de intrare iului vectorilor de intrare îîn n mm clase clase, R, RN trebuie să aibă N trebuie să aibă mm ieieşşiri, fiecare ieiri, fiecare ieşşire corespunzând unei clase.ire corespunzând unei clase.

EgalizoareEgalizoare

Canalele de comunicaCanalele de comunicaţţie au, ie au, îîn cazul cel mai general,n cazul cel mai general, caracteristici de fază caracteristici de fază şşi amplitudine neliniare i amplitudine neliniare şşi variabile i variabile îîn n timp, dattimp, datorită neliniarităorită neliniarităţţilor intrinseci, condiilor intrinseci, condiţţiilor meteo de iilor meteo de propagare, zgomotelor aditive din mediul propagare, zgomotelor aditive din mediul îînconjurător nconjurător şşi i zgomotului termic al dispozitivelor electronice. zgomotului termic al dispozitivelor electronice. Amplificatoarele care lucrează Amplificatoarele care lucrează îîn mod uzual n mod uzual îîn apropierea n apropierea punctului de saturapunctului de saturaţţie introduc ie introduc şşi ele neliniarităi ele neliniarităţţi fără i fără memorie, care combinate cu efectele filtrelor de transmisie memorie, care combinate cu efectele filtrelor de transmisie şşi i receprecepţţie devin neliniarităie devin neliniarităţţi cu memorie. i cu memorie. ÎÎn consecinn consecinţţăă, semnalele transmise sunt afectate de diferite , semnalele transmise sunt afectate de diferite distorsiuni neliniare, atendistorsiuni neliniare, atenuăriuări, zgomot aditiv, interferen, zgomot aditiv, interferenţţă ă intersimbolintersimbol, interferen, interferenţţă cu canalele adiacenteă cu canalele adiacente, etc., etc.

Tehnica de reconstrucTehnica de reconstrucţţie a simbolurilor transmise este ie a simbolurilor transmise este egalizarea de canal. egalizarea de canal. ÎÎn cazul unei dispersii mari a valorilor datelor de intrare, n cazul unei dispersii mari a valorilor datelor de intrare, egalizoarele liniare se confruntă cu problema instabilităegalizoarele liniare se confruntă cu problema instabilităţţii ii numerice. numerice. Deoarece, Deoarece, îîn general, canalele de comunican general, canalele de comunicaţţii sunt variabile ii sunt variabile îîn timp,n timp, egalizoarele trebuie să fie adaptive egalizoarele trebuie să fie adaptive, p, pentru a urmări entru a urmări variavariaţţiile iile îîn timp ale răspunsului n timp ale răspunsului îîn frecvenn frecvenţţă al canaluluiă al canalului. . ÎÎn cazul distorsiunilor neliniare, generate de canalele n cazul distorsiunilor neliniare, generate de canalele variabile variabile îîn timp, egalizoarele liniare nu au performann timp, egalizoarele liniare nu au performanţţe e bune. bune. Singura soluSingura soluţţie ie îîn cazul distorsiunilor neliniare n cazul distorsiunilor neliniare şşi severe ale i severe ale canalelor de comunicacanalelor de comunicaţţie o reprezintă egalizoarele neliniareie o reprezintă egalizoarele neliniare. . Abordând problema egalizării ca o problemă de clasificareAbordând problema egalizării ca o problemă de clasificare, , rereţţelele neuronale pot genera regiuni de decizie arbitrare cu o elele neuronale pot genera regiuni de decizie arbitrare cu o mare precizie. mare precizie.

21

superioritatea egalizoarelor neuronale comparativ cu cea a superioritatea egalizoarelor neuronale comparativ cu cea a egalizoarelor tradiegalizoarelor tradiţţionale, ionale, îîn special n special îîn condin condiţţiile distorsiunilor iile distorsiunilor neliniare mari neliniare mari şşi a semnalelor rapid variabile i a semnalelor rapid variabile îîn timp. n timp. avantajul unei viteze de procesare deosebite, avantajul unei viteze de procesare deosebite, îîn timp real,n timp real,

absolut necesară pentru comunicaabsolut necesară pentru comunicaţţiile viitorului. iile viitorului. ComunicaComunicaţţiile viitorului se vor baza pe transmisiile eficiente iile viitorului se vor baza pe transmisiile eficiente din punct de vedere spectral, cdin punct de vedere spectral, ca de exemplu cele care utilizează a de exemplu cele care utilizează semnale modulate semnale modulate îîn cuadraturăn cuadraturăSemnalele modulate Semnalele modulate îîn cuadraturăn cuadratură, a, având anvelopă variabilăvând anvelopă variabilă, , sunt mai puternic afectate atât sunt mai puternic afectate atât îîn fazăn fază, cât , cât şşi i îîn amplitudine,n amplitudine, de de neliniarităneliniarităţţile introduse ile introduse îîn transmisie. n transmisie. Pentru a elimina distorsiunile semnalelor modulate Pentru a elimina distorsiunile semnalelor modulate îîn fază n fază şşi i îîn cuadratură sunt necesare egalizoare pentru semnale n cuadratură sunt necesare egalizoare pentru semnale complexe. Egalizoarele cu RN pentru semnale complexe sunt complexe. Egalizoarele cu RN pentru semnale complexe sunt extensii directe ale celor pentru semnale reale, obextensii directe ale celor pentru semnale reale, obţţinute prin inute prin îînlocuirea parametrilor relevannlocuirea parametrilor relevanţţi, i, ca de exemplu, ca de exemplu, intrărileintrările, , ieieşşirile, ponderile, pragurile irile, ponderile, pragurile şşii//sau funcsau funcţţiile de activare, cuiile de activare, cu mărimi complexemărimi complexe

Există diferite tipuri de egalizoare neliniareExistă diferite tipuri de egalizoare neliniare, , --variantevariante clasice, clasice, --variantevariante hibride care hibride care îîncorporează ncorporează şşi tehnica neliniară a i tehnica neliniară a

rereţţelelor neuronale elelor neuronale --variantevariante care folosesc exclusiv recare folosesc exclusiv reţţele neuronale. ele neuronale.

Egalizoarele hibride sunt uzual combinaEgalizoarele hibride sunt uzual combinaţţii ii îîntre un filtru ntre un filtru liniar transversal liniar transversal şşi diferite tipuri de rei diferite tipuri de reţţele neuronale, cele neuronale, cu sau u sau fără reacfără reacţţie inversăie inversă. .

Filtrul liniar transversal elimină distorsiunile liniareFiltrul liniar transversal elimină distorsiunile liniare, ca de , ca de exemplu interferenexemplu interferenţţa a intersimbolintersimbol, astfel , astfel îîncât rencât reţţeaua eaua neuronală se poate ocupa exclusiv de distorsiunile neliniareneuronală se poate ocupa exclusiv de distorsiunile neliniare. .

Egalizoare adaptive neuronale cu:Egalizoare adaptive neuronale cu:RN multistrat de tip spre RN multistrat de tip spre îînainte, antrenate cu un algoritm nainte, antrenate cu un algoritm de tip gradient descendent, ca de exemplu algoritmul de tip gradient descendent, ca de exemplu algoritmul retropropagăriiretropropagării erorii erorii rereţţele neuronale cu legături funcele neuronale cu legături funcţţionale ionale rereţţele neuronale cu funcele neuronale cu funcţţii de bază radiale ii de bază radiale rereţţele neuronale celulareele neuronale celularerereţţele neuronale recurente ele neuronale recurente

22

Problema egalizăriiProblema egalizării

ÎÎn proiectarea unui egalizor trebuie luan proiectarea unui egalizor trebuie luaţţi i îîn considerare n considerare următorii factoriurmătorii factori: :

tipul canalului, tipul canalului, zgomotul introdus de receptor zgomotul introdus de receptor îîn special datorită amplificării n special datorită amplificării interfereninterferenţţa a intersimbolintersimbol..

Canalul de comunicaCanalul de comunicaţţie poate fi fix sau variabil ie poate fi fix sau variabil îîn n timp, de timp, de fază minimă sau nufază minimă sau nu. . Un canal este de fază minimă dacă toate zerourile Un canal este de fază minimă dacă toate zerourile funcfuncţţiei de transfer iei de transfer HH((zz) sunt con) sunt conţţinute inute îîn interiorul n interiorul cercului unitate din planul cercului unitate din planul zz. .

InterferenInterferenţţa a intersimbolintersimbol este determinată de este determinată de distorsiunile liniare. Amplificatoarele, convertoarele distorsiunile liniare. Amplificatoarele, convertoarele şşi mediul de propagare introduc i mediul de propagare introduc îîn special n special distorsiuni neliniare. distorsiuni neliniare.

Egalizorul trebuie să realizeze cel mai bun Egalizorul trebuie să realizeze cel mai bun compromis compromis îîntre eliminarea interferenntre eliminarea interferenţţei ei intersimbolintersimbol şşi amplificarea zgomotului la receptor. i amplificarea zgomotului la receptor.

1

CursulCursul 44O clasificare a O clasificare a egalizoarelor egalizoarelor

adaptiveadaptive

Egalizoareadaptive

Egalizoaresupravegheate

Egalizoareoarbe

Egalizoarecu estimarea

secvenţei

Egalizoarecu estimarea simbolului

Egalizoareneliniare

Egalizoareliniare

Eg. ZFMMSEMBERWienerLMS

RLS…

Eg. ZFMMSEMBERWiener

LMSRLS…

Eg. BayesEg. VolterraEg.cu RN

Eg.MahalanobisEg.fuzzy

Eg.cu ZFEg. MMSEEg. WienerEg.MBEREg.LMSEg.RLS

Eg.MLSE

Egalizorul supravegheatEgalizorul supravegheatPentru compensarea caracteristicii canalului de comunicaPentru compensarea caracteristicii canalului de comunicaţţii ii necunoscut, este necenecunoscut, este necesară adeseori excitarea periodică a sară adeseori excitarea periodică a sistemului cu un semnal cunoscut sau cu un semnal pilot, ce sistemului cu un semnal cunoscut sau cu un semnal pilot, ce îîntrerupe transmisia informantrerupe transmisia informaţţiei utile. iei utile. O copie a acestui semnal este disponibilă O copie a acestui semnal este disponibilă şşi la receptor i la receptor şşi i egalizorul egalizorul îîl compară cu răspunsul l compară cu răspunsul îîntregului sistem de ntregului sistem de transmisie pentru atransmisie pentru a--şşi rei reîînnoi parametrii.nnoi parametrii.Constrângerile asociate cu unele sisteme de comunicaConstrângerile asociate cu unele sisteme de comunicaţţie, cie, ca a de exemplu televiziunea digitală sau radioul digitalde exemplu televiziunea digitală sau radioul digital, n, nu oferă u oferă îînsă cadrul pentru folosirea unui semnal cunoscut pentru nsă cadrul pentru folosirea unui semnal cunoscut pentru antrenamentul egalizorului.antrenamentul egalizorului.ÎÎn această situan această situaţţie egalizorul utilizează metode ie egalizorul utilizează metode nesupravegheate sau cu nesupravegheate sau cu autorecuperareautorecuperare pentru apentru a--şşi adapta i adapta parametriiparametrii-- egalizorul nesupravegheat egalizorul nesupravegheat ""orborb"". .

Egalizarea supravegheată Egalizarea supravegheată ::--prin estimarea blocului (secvenprin estimarea blocului (secvenţţei) de dateei) de date--prin estimarea simboluluiprin estimarea simbolului

Egalizorul de bloc de date foloseEgalizorul de bloc de date foloseşşte o secvente o secvenţţă a ă a eeşşantioanelor recepantioanelor recepţţionate pentru refacerea ionate pentru refacerea îîntregii ntregii secvensecvenţţe a simbolurilor de date transmise. e a simbolurilor de date transmise.

Egalizorul de secvenEgalizorul de secvenţţe optim este cel care se bazează e optim este cel care se bazează pe criteriul plauzibilităpe criteriul plauzibilităţţii maxime (MLSE maximum ii maxime (MLSE maximum likehoodlikehood sequencesequence estimator) estimator) şşi poate fi eficient i poate fi eficient implementat cu algoritmul implementat cu algoritmul ViterbiViterbi de plauzibilitate de plauzibilitate maximă maximă (MLVA maximum (MLVA maximum likehoodlikehood ViterbiViterbialgorithmalgorithm). ).

2

EEgalizoarelegalizoarele cu estimarea simboluluicu estimarea simbolului

necesită implementări simplenecesită implementări simple, sunt folosite , sunt folosite îîn mod n mod uzual, chiauzual, chiar dacă performanr dacă performanţţele lor sunt mai slabe ele lor sunt mai slabe decât cele ale clasei de egalizoare cu decizia blocului decât cele ale clasei de egalizoare cu decizia blocului sunt de asemenea preferate sunt de asemenea preferate îîn cazul n cazul îîn care canalul n care canalul este variabil este variabil îîn timp, ca de exemplu n timp, ca de exemplu îîn comunican comunicaţţiile iile mobile. mobile. realizează detecrealizează detecţţia ia şşi decizia simbolului recepi decizia simbolului recepţţionat ionat îîn fiecare perioadă a acestuian fiecare perioadă a acestuia. .

EExistăxistă două modalită două modalităţţi de implementare a funci de implementare a funcţţiei de iei de deciziedecizie::

--cea care utilizează tehnicile liniarecea care utilizează tehnicile liniare--cea care utilizează tehnicile neliniarecea care utilizează tehnicile neliniare. .

O abordare liniară pentru funcO abordare liniară pentru funcţţia de decizie a ia de decizie a egalizorului simbol cu simbol oferă simplitatea egalizorului simbol cu simbol oferă simplitatea implementării calculelorimplementării calculelor, dar cu costul unei , dar cu costul unei performanperformanţţe inferioare.e inferioare.

Forma convenForma convenţţională a egalizorului liniar se bazează ională a egalizorului liniar se bazează pe teoria filtrului adaptiv liniar, pe teoria filtrului adaptiv liniar, ale cărui ponderi ale cărui ponderi sunt adecvat ajustate de un algoritm ce minimizează sunt adecvat ajustate de un algoritm ce minimizează eroarea dintre simbolurile de ieeroarea dintre simbolurile de ieşşire ire şşi cele i cele receprecepţţionate. ionate.

Diferite criterii de optimizare Diferite criterii de optimizare -- utilizate pentru utilizate pentru proiectarea egalizoarelor liniare proiectarea egalizoarelor liniare ::criteriul erorii medii pătratice minime criteriul erorii medii pătratice minime (MMSE (MMSE minimum minimum meanmean squaresquare errorerror),),criteriul erorii pe bit minime (MBER minimum bit criteriul erorii pe bit minime (MBER minimum bit errorerror rate) rate) criteriul distorsiunii de amplitudine. criteriul distorsiunii de amplitudine.

ÎÎn cazul criteriului MMSE n cazul criteriului MMSE esteeste necesnecesarară cunoaă cunoaşşterea exactă a terea exactă a caracteristicilor canalului.caracteristicilor canalului.

ÎÎn practicăn practică, e, egalizarea liniară este o filtrare liniară antrenată galizarea liniară este o filtrare liniară antrenată cu un algoritm adaptiv. Uzual cu un algoritm adaptiv. Uzual -- algoritmul erorii medii algoritmul erorii medii pătratice minime pătratice minime (LMS (LMS leastleast meanmean squaresquare). ). AlAlţţi algoritmi sunt: i algoritmi sunt:

-- algoritmul recursiv al celor mai mici pătrate algoritmul recursiv al celor mai mici pătrate (RLS (RLS recoursiverecoursiveleastleast squaresquare))

--algoritmul RLS rapid (fast RLS)algoritmul RLS rapid (fast RLS)--algoritmul rădăcinii pătrate RLS algoritmul rădăcinii pătrate RLS ((squaresquare rootroot RLS) RLS) --algoritmul RLS de tip gradient (algoritmul RLS de tip gradient (gradientgradient RLS) RLS)

ÎÎn absenn absenţţa zgomotului aditiv a zgomotului aditiv şşi i îîn cazul canalelor de fază n cazul canalelor de fază minimăminimă, e, egalizorul liniar operează ca galizorul liniar operează ca şşi un sistem invers i un sistem invers canalului, furnizâncanalului, furnizând o transmisie fără distorsiunid o transmisie fără distorsiuni. .

3

Implementarea neliniară include două tipuri de Implementarea neliniară include două tipuri de structurstructuri:i:

--una fără reacuna fără reacţţie ie --cu decizie pe baza reaccu decizie pe baza reacţţiei inverse. iei inverse.

Egalizorul Egalizorul BayesBayes este cel care oferă este cel care oferă performanperformanţţa optimă din punctul de vedere al a optimă din punctul de vedere al erorii pe bit erorii pe bit FuncFuncţţia de decizie a egalizorului ia de decizie a egalizorului BayesBayes se se bazează pe criteriul probabilităbazează pe criteriul probabilităţţii aposteriori ii aposteriori maxime (MAP maximum a posteriori maxime (MAP maximum a posteriori probabilitiyprobabilitiy), derivat din teoria lui ), derivat din teoria lui BayesBayes..

ExempluExemplu ComparaComparaţţia performania performanţţei de decizie a egalizorul ei de decizie a egalizorul liniar MMSE liniar MMSE şşi cea a egalizorul neliniar optim, i cea a egalizorul neliniar optim, BayesBayes, , pentrpentru u canalul canalul pentru pentru

dd=1 =1 şşi i mm=4=4

21 3482.08704.03482.0)( −− ++= zzzH

Un model clasic de egalizor neliniar Un model clasic de egalizor neliniar --egalizoregalizorulul cu decizie pe cu decizie pe baza reacbaza reacţţiei inverse (iei inverse (decisiondecision feedback feedback equaliserequaliser DFE ). DFE ). Egalizorul DFE utilizează pentru reconstrucEgalizorul DFE utilizează pentru reconstrucţţia semnalului ia semnalului util semnalul receputil semnalul recepţţionat ionat şşi ca reaci ca reacţţie deciziile sale anterioareie deciziile sale anterioareDFE DFE utilizat mai ales atunci când interferenutilizat mai ales atunci când interferenţţa a intersimbolintersimboleste mare, având, la o aceeaeste mare, având, la o aceeaşşi complexitate, performani complexitate, performanţţe e superioare filtrelor liniare transversale. superioare filtrelor liniare transversale. Datorită reacDatorită reacţţiei, funciei, funcţţia de transfer a DFE este o funcia de transfer a DFE este o funcţţie ie neliniară a semnalului recepneliniară a semnalului recepţţionat.ionat.

AAltelte egalizoare neliniare: egalizoare neliniare: --egalizoarele bazate pe seriile egalizoarele bazate pe seriile VolterraVolterra--egalizoarele bazate pe distanegalizoarele bazate pe distanţţa a MahalanobisMahalanobis--egalizoarele cu reegalizoarele cu reţţele neuronale. ele neuronale.

4

Egalizarea ca o problemă de clasificareEgalizarea ca o problemă de clasificare

Obiectivul Obiectivul -- separarea semnalelor recepsepararea semnalelor recepţţionate ionate îîn span spaţţiul iul modelelormodelelor

ÎÎn situan situaţţiile iile realereale-- o clasificare optimă este neliniară o clasificare optimă este neliniară. . Datorită proprietăDatorită proprietăţţii lor de aproximatoare universale RN ii lor de aproximatoare universale RN sunt capabile să proceseze regiuni de decizie neliniaresunt capabile să proceseze regiuni de decizie neliniare, c, cu o u o precizie remarcabilăprecizie remarcabilă. .

Viteza deosebită a RN datorată procesării paraleleViteza deosebită a RN datorată procesării paralele, este , este îîncă ncă un argument pentru utilizarea lor un argument pentru utilizarea lor îîn implementarea n implementarea egalizoarelor adaptive.egalizoarelor adaptive.

FuncFuncţţia egalizorului este ia egalizorului este îîn acest caz să asocieze fiecare n acest caz să asocieze fiecare eeşşantion recepantion recepţţionat cu regiunea de decizie corectăionat cu regiunea de decizie corectă. .

ÎÎn cazul unor semnale complexe clasificarea trebuie realizată n cazul unor semnale complexe clasificarea trebuie realizată îîn span spaţţiul complex. iul complex. Astfel pentru semnale modulate Astfel pentru semnale modulate îîn cuadratură n cuadratură 44--QAM , QAM , constelaconstelaţţia intrărilor posibile esteia intrărilor posibile este::

⎪⎪

⎩

⎪⎪

⎨

⎧

−−=

−=

+−=

+=

=+=

jx

jx

jx

jx

jxxnx IR

1

1

1

1

][

)4(

)3(

)2(

)1(

Un Un modelmodel alal problemeiproblemei egalizăriiegalizării

∑−

=

−=1

0][][

k

ii inxany ∑

−

=

+−=+=1

0][][][][][

k

ii nwinxanwnynr

Un canal liniar dispersiv cu răspuns finit la impuls (FIR) poate fi modelat cu un filtru FIR de ordinul k, cu valori reale şi nenuleale coeficienţilor a0, a1, ..., ak-1

5

Problema egalizării constă Problema egalizării constă îîn determinarea unei estimări cât n determinarea unei estimări cât mai exacte a semnalului de intrare mai exacte a semnalului de intrare xx[[nn]],, utilizând informautilizând informaţţia ia reprezentată de semnalul recepreprezentată de semnalul recepţţionat, ionat, rr[[nn] ] şşi semnalul i semnalul îîntârziat cu ntârziat cu dd iteraiteraţţii, ii, xx[[nn--dd]]..PerformanPerformanţţa egalizorului poate fi evaluată prin probabilitatea a egalizorului poate fi evaluată prin probabilitatea clasificărilor eronate clasificărilor eronate îîn funcn funcţţie de raportul semnal pe zgomot ie de raportul semnal pe zgomot ((RSZRSZ), dat de rela), dat de relaţţiaia

unde unde σσss22 =1 este dispersia simbolurilor transmise=1 este dispersia simbolurilor transmise şşi i σσee

22 este este dispersia zgomotului albdispersia zgomotului alb..

2

1

0

2

2

1

0

22

e

k

ii

e

k

iis aa

RSZσ

=σ

⎟⎟⎠

⎞⎜⎜⎝

⎛σ

=∑∑−

=

−

=

Modelul canalului de comunicaModelul canalului de comunicaţţieie

∑−

=

≈

−=1

0

][][k

ii inxany

Uzual, partea liniară este modelată cu un filtru liniar transversal, cu valori reale şi nenule ale coeficienţilor a0, a1, ..., ak.

]2[)21.034.0(]1[)43.087.0(][)27.034.0([ −−+−++−=≈

nxjnxjnxjy

Pentru semnale complexe se utilizează modele de canal complexe. Modelul de mai jos este complex, neliniar şi generează ieşirea conform relaţiei:

L NL

ỹ[n]x[n] y[n]

32 ])[(05.0])[(1.0][][ nynynyny≈≈≈

++=

Modelarea unui canal neliniar variabil Modelarea unui canal neliniar variabil îîn timp,n timp, ca de exemplu ca de exemplu un canal ai cărui coeficienun canal ai cărui coeficienţţi variază i variază îîn timp se poate face cu n timp se poate face cu următoarea funcurmătoarea funcţţie de transfer:ie de transfer:

unde coeficienunde coeficienţţii ii aaii[[nn] v] variază cu timpul discret ariază cu timpul discret nn şşi pot fi i pot fi generageneraţţi prin trecerea unui zgomot i prin trecerea unui zgomot gaussiangaussian printrprintr--un filtru un filtru ButterworthButterworth

]2[)0223.01556.0(]1[)2961.08890.0(][)7406.07409.0(][ −−+−−−−=≈

nxjnxjnxjny

32 ])[(14.0])[(055.0][][ nynynyny≈≈≈

+−=

nno znaznaznanazH −−− ++++= ][...][][][)( 2

21

1

6

CoeficienCoeficienţţii unui canal de comunicaii unui canal de comunicaţţie ie

variantvariant îîn timpn timp

Un dispozitiv activ neliniar, Un dispozitiv activ neliniar, ca de exemplu tubul cu undă ca de exemplu tubul cu undă progresivăprogresivă, p, poate fi modelat utilizând o amplificare oate fi modelat utilizând o amplificare complexăcomplexă, d, dată de relaată de relaţţia: ia:

unde unde pp2 2 este puterea momentană a semnaluluieste puterea momentană a semnalului. Pentru . Pentru exprimarea amplitudinii, respectiv a fazei, se foloseexprimarea amplitudinii, respectiv a fazei, se foloseşşte te modelul lui modelul lui SalehSaleh dat de ecuadat de ecuaţţiile:iile:

)()()( pjepApG ϕ=

212)(p

pA+

=

2

2

104.910033.4)(

ppp

+=φ

Egalizor pentru semnale reale implementat Egalizor pentru semnale reale implementat cu o recu o reţţea neuronalăea neuronală

7

Pentru semnale complexe 4Pentru semnale complexe 4-- QAM stratul de ieQAM stratul de ieşşire va avea ire va avea un neuron pentru partea realăun neuron pentru partea reală, r, respectiv unul pentru partea espectiv unul pentru partea imaginarăimaginară. . IeIeşşirea egalizorului se compară cu semnalul doritirea egalizorului se compară cu semnalul dorit, a, adică dică semnalul de intrare semnalul de intrare îîntârziat. ntârziat. FuncFuncţţia de activare este uzual o funcia de activare este uzual o funcţţie neliniară de tip ie neliniară de tip sigmoidăsigmoidă..Pentru determinarea coeficienPentru determinarea coeficienţţilor filtrului liniar transversal ilor filtrului liniar transversal şşi a rei a reţţelei neuronale se utilizează elei neuronale se utilizează îîn mod uzual algoritmul n mod uzual algoritmul retropropagăriiretropropagării erorii. erorii. ÎÎn cazul unor semnale complexe este necesară pentru n cazul unor semnale complexe este necesară pentru antrenare o variantă complexă a algoritmului cu antrenare o variantă complexă a algoritmului cu retropropagarearetropropagarea erorii (CBKP "complex erorii (CBKP "complex backpropagationbackpropagation"), "), care are care are şşi el aceleai el aceleaşşi careni carenţţe ca e ca şşi varianta clasicăi varianta clasică, r, realăeală. . Algoritmii de tip gradient, prezinAlgoritmii de tip gradient, prezintă dezavantajele timpului tă dezavantajele timpului îîndelungat de antrenare ndelungat de antrenare şşi a atragerii solui a atragerii soluţţiei iei îîn minimele n minimele locale ale funclocale ale funcţţiei eroare, aiei eroare, adesea nesatisfăcătoare din punctul desea nesatisfăcătoare din punctul de vedere al preciziei realizate. de vedere al preciziei realizate.

Structura unui egalizor complex implementat cu o Structura unui egalizor complex implementat cu o

rereţţea neuronală multistratea neuronală multistrat

O altă problema O altă problema îîn CBKP este selecn CBKP este selecţţia funcia funcţţiei de activare. iei de activare. ÎÎn cazul semnalelor reale, funcn cazul semnalelor reale, funcţţiile de activare sunt reale iile de activare sunt reale şşi i mărginitemărginite. . ÎÎn cazul semnalelor complexe, cu excepn cazul semnalelor complexe, cu excepţţia ia constantelor, toate funcconstantelor, toate funcţţiile de activare uzuale ar putea fi iile de activare uzuale ar putea fi nemărginitenemărginitePentru a satisface situaPentru a satisface situaţţia conflictuală ia conflictuală îîntre mărginirea ntre mărginirea şşi i diferendiferenţţiabilitateaiabilitatea unei funcunei funcţţii complexe au fost dezvoltate ii complexe au fost dezvoltate două variante ale algoritmului CBKPdouă variante ale algoritmului CBKP::

1.1. una care utilizează o func una care utilizează o funcţţie de activare complet complexă ie de activare complet complexă BKPBKP--FCBKP ("FCBKP ("fullyfully complex complex activationactivation functionfunction") ")

2.2. cu funccu funcţţii de activare separate pentru cele două pării de activare separate pentru cele două părţţi ale i ale semnalului, reasemnalului, reală lă şşi imaginară SCBKP i imaginară SCBKP ("("splitsplit complex complex activationactivation functionfunction").").Pentru a rezolva problema convergenPentru a rezolva problema convergenţţei lente a fost introdus ei lente a fost introdus un alt algoritm de antrenament complex un alt algoritm de antrenament complex resilientresilientpropagationpropagation (CRPROP). (CRPROP). CRPROP are performanCRPROP are performanţţe comparabile cu CBKP, dar e comparabile cu CBKP, dar îîn n condicondiţţiile unei convergeniile unei convergenţţe mult mai rapide e mult mai rapide şşi cu o capacitate i cu o capacitate de procesare semnificativ redusă de procesare semnificativ redusă

8

EEvoluvoluţţiaia erorii medii pătratice la ie erorii medii pătratice la ieşşirea unui egalizor implementat cu o reirea unui egalizor implementat cu o reţţea neuronală ea neuronală multistrat cu 15 neuroni ascunmultistrat cu 15 neuroni ascunşşi cu o funci cu o funcţţie de activare tangentă hiperbolică o funcie de activare tangentă hiperbolică o funcţţie e ie e activare de ieactivare de ieşşire liniară ire liniară , antrenat 350 de epoci cu metoda , antrenat 350 de epoci cu metoda retropropagăriiretropropagării eroriierorii. . SS--au au folosit 100 semnale de intrare, folosit 100 semnale de intrare, un un canalul de comunicacanalul de comunicaţţie ie neliuniarneliuniar complex complex şşi o valoare a i o valoare a dispersiei zgomotului alb aplicat semnalului la iedispersiei zgomotului alb aplicat semnalului la ieşşirea canalului de comunicairea canalului de comunicaţţie de ie de σσ22=0.01.=0.01.

RReeţţeleleelele neuronale pe bază de func neuronale pe bază de funcţţii radialeii radiale

RBFR au focalizat interesul cercetării internaRBFR au focalizat interesul cercetării internaţţionale ionale aavând vând îîn vedere carenn vedere carenţţele reele reţţelelor neuronale multistratelelor neuronale multistrat::

1.1. timpul timpul îîndelungat de antrenare ndelungat de antrenare 2.2. posibilitatea blocării posibilitatea blocării îîn minimele locale ale funcn minimele locale ale funcţţiei de iei de

eroareeroare RBFR sunt capabile să aproximeze orice func RBFR sunt capabile să aproximeze orice funcţţie neliniară ie neliniară îîntrntr--un spaun spaţţiu multidimensional, cu o complexitate de iu multidimensional, cu o complexitate de procesare semnificativ redusă procesare semnificativ redusă îîn comparan comparaţţie cu cea a altor ie cu cea a altor rereţţele neuronale. ele neuronale.

CCaracteristicilearacteristicile RBFR, RBFR, îîn comparan comparaţţie cu RNM:ie cu RNM:1.1. Ca Ca şşi RNM, rei RNM, reţţeaua RBFR este o reeaua RBFR este o reţţea cu procesarea ea cu procesarea

informainformaţţiei "spre iei "spre îînainte". Spre deosebire de RNM care are nainte". Spre deosebire de RNM care are poate avea mai multe straturi ascunse, RBFR are un singur poate avea mai multe straturi ascunse, RBFR are un singur strat ascuns. strat ascuns.

2. 2. ÎÎn RBFR, neuronii stratului ascuns sunt neliniari n RBFR, neuronii stratului ascuns sunt neliniari şşi neuronii i neuronii stratului de iestratului de ieşşire sunt liniari. ire sunt liniari. RNM utilizează neuroni neliniari atât RNM utilizează neuroni neliniari atât îîn stratul ascuns cât n stratul ascuns cât şşi i îîn cel de ien cel de ieşşire atunci când funcire atunci când funcţţionează ca ionează ca şşi clasificatoare. i clasificatoare.

3.3.ÎÎn stratul ascuns,n stratul ascuns, RBFR utilizează func RBFR utilizează funcţţii de activare radiale, ii de activare radiale, de tip canal, de tip canal, al căror răspuns neliniar al căror răspuns neliniar (uzual exponen(uzual exponenţţial) este ial) este localizat localizat îîntrntr--o regiune restrânsă a spao regiune restrânsă a spaţţiului modelelor de iului modelelor de intrare. Ca intrare. Ca şşi RNM,i RNM, RBFR sunt aproximatoare universale RBFR sunt aproximatoare universale. . RNM realizează o aproximare globală a transformării RNM realizează o aproximare globală a transformării neliniare intrareneliniare intrare--ieieşşire, ire, îîn timp ce RBFR,n timp ce RBFR, datorită utilizării datorită utilizării funcfuncţţiilor radiale, impiilor radiale, implementează aproximări localelementează aproximări locale. Acesta . Acesta este motivul pentru care RBFR este motivul pentru care RBFR îînvanvaţţă mai rapid ă mai rapid şşi sunt mai i sunt mai robuste, respectiv mai purobuste, respectiv mai puţţin sensibile la ordinea prezentării in sensibile la ordinea prezentării datelor de intrare, decât RNM.datelor de intrare, decât RNM.

4. 4. FuncFuncţţia de activare este reală ia de activare este reală şşi pentru procesarea unor i pentru procesarea unor semnale complexe, nu ca semnale complexe, nu ca îîn cazul RNM, o funcn cazul RNM, o funcţţie complexăie complexă. . Atunci când semnalul de intrare este complex, partAtunci când semnalul de intrare este complex, partea reală ea reală şşi i cea imaginară sunt prelucrate separatcea imaginară sunt prelucrate separat, , îîn aceean aceeaşşi manierăi manieră. .

9

Arhitectura unei reArhitectura unei reţţelele neuronale elele neuronale

pe bază de funcpe bază de funcţţii radialeii radiale

IeIeşşirile RBFR se determină cu relairile RBFR se determină cu relaţţia:ia:

Fiind dat vectorul x de intrare, Fiind dat vectorul x de intrare, x=x=[[xx11 xx2 2 ... ... xxNN]]TT, apar, aparţţinând inând spaspaţţiului Riului RNN, distan, distanţţa euclidiană a euclidiană ::

Parametrii RBFR sunt vectorii centru {Parametrii RBFR sunt vectorii centru {ccii} } şşi vectorii pondere i vectorii pondere {{wwjj}. }. Fiecare dintre neuronii stratului ascuns calculează o distanFiecare dintre neuronii stratului ascuns calculează o distanţţă ă îîntre vectorul de intrare al rentre vectorul de intrare al reţţelei elei xx şşi vectorul său centru i vectorul său centru ccii. . Aceasta poate fi o distanAceasta poate fi o distanţţă metrică oarecareă metrică oarecare, u, uzual cea zual cea euclidianăeuclidiană

oNjj

N

i iijiwjyh

,1,1

=θ+∑=

⎟⎠⎞⎜

⎝⎛ −φ= cx

( )21

21 xxx T2N

22 x.....xx =++=

Cu cât un centru este mai aproape de vectorul de Cu cât un centru este mai aproape de vectorul de intrare cu atât distanintrare cu atât distanţţa neuronului corespunzător va a neuronului corespunzător va fi mai micăfi mai mică. . Rezultatul este trecut printrRezultatul este trecut printr--o funco funcţţie de activare ie de activare neliniarăneliniară, r, realăeală, c, continuă ontinuă , n, numită funcumită funcţţie radială ce ie radială ce dă dă şşi denumirea rei denumirea reţţelei neuronale. elei neuronale. Răspunsul acestei Răspunsul acestei funcfuncţţii este simetric faii este simetric faţţă de centruă de centru. Func. Funcţţia radială ia radială depinde depinde şşi de un parametru,i de un parametru, numit rază sau numit rază sau îîmprămprăşştiere a functiere a funcţţiei.iei.Astfel, RBFR Astfel, RBFR este capabilă de o modelare locală a este capabilă de o modelare locală a datelor de intrare. Pentru fiecare vector de intrare, datelor de intrare. Pentru fiecare vector de intrare, una sau mai multe funcuna sau mai multe funcţţii radiale ale neuronilor ii radiale ale neuronilor ascunascunşşi va avea o iei va avea o ieşşire diferită de zeroire diferită de zero. . ÎÎn cazul n cazul extrem o singură funcextrem o singură funcţţie radială se foloseie radială se foloseşşte pentru te pentru fiecare vector de intrare, astfel fiecare vector de intrare, astfel îîncât vectorii centru ncât vectorii centru vor fi identici cu cei de intrare.vor fi identici cu cei de intrare.

10

FFuncuncţţiiii de activare radialede activare radiale

FuncFuncţţia ia GaussianăGaussiană

FuncFuncţţia radială Gauss cu centrul cia radială Gauss cu centrul c=0 =0 şşi rază i rază 1 1 Uzual se alege Uzual se alege raza proporraza proporţţională cu dispersia centrului ională cu dispersia centrului σσ2 , respectiv 2 , respectiv

monoton descrescătoare cu distanţa faţă de centru

2

2)(

)( ρ

−−

=φcx

ex

x

22 2σ=ρ

FuncFuncţţia radială ia radială multipătraticămultipătratică cu centrul c=0 cu centrul c=0 şşi i

rază rază 11

21

22 ])[()( ρ+−=φ cxx

Studiile teoretice Studiile teoretice şşi i practice demonstrează că practice demonstrează că tipul neliniaritătipul neliniarităţţii funcii funcţţiei iei radiale nu este esenradiale nu este esenţţial ial pentru performanpentru performanţţele ele RBFR RBFR

FuncFuncţţia radială inversă ia radială inversă multipătraticămultipătratică cu cu centrul c=0 centrul c=0 şşi razăi rază 11

21

22 ])[(

1)(ρ+−ρ

=φ

cxx

x

11

FuncFuncţţia radială ia radială CauchyCauchy pentru centrul c=0 pentru centrul c=0 şşi rază i rază

11

])[(1)( 22 ρ+−ρ

=φcx

x

x

Algoritmi de determinare a centrilor Algoritmi de determinare a centrilor şşi a i a ponderilor ponderilor conexiunilor stratului de ieconexiunilor stratului de ieşşireire

AplicaAplicaţţiile iniiile iniţţiale RBFR iale RBFR -- modelare modelare şşi identificare de sisteme i identificare de sisteme neliniareneliniareAceasta a necesitat structuri mari, cu mulAceasta a necesitat structuri mari, cu mulţţi neuroni,i neuroni, deoarece deoarece erau necesare suficiente neliniarităerau necesare suficiente neliniarităţţi pentru a permite i pentru a permite modelarea modelarea şşi identificarea oricărui sistem neliniari identificarea oricărui sistem neliniar--toate datele toate datele de intrare au fost folosite ca centri. de intrare au fost folosite ca centri. UUzualzual numărul datelor de intrare disponibile este foarte numărul datelor de intrare disponibile este foarte maremarePentru aplicaPentru aplicaţţiile de procesare a semnalelor, (Riile de procesare a semnalelor, (RBFR utilizată BFR utilizată ca ca şşi un estimator) i un estimator) --tehnici de selectehnici de selecţţie pentru reducerea ie pentru reducerea dimensiunii. dimensiunii. Antrenarea unei RBFR constă Antrenarea unei RBFR constă îîn determinarea parametrilor n determinarea parametrilor săisăi::

-- a numărului centrilor a numărului centrilor -- pozipoziţţiei iei şşi razei centrilor funci razei centrilor funcţţiilor radiale iilor radiale -- ponderilor conexiunilor stratului de ieponderilor conexiunilor stratului de ieşşire ire

Unii algoritmi abordează aceUnii algoritmi abordează aceşşti pati paşşi separat, ali separat, alţţii ii generează togenerează toţţi parametrii simultan. i parametrii simultan. Algoritmii de determinare a parametrilor RBFR, Algoritmii de determinare a parametrilor RBFR, constau de obicei:constau de obicei:

1.1. dintr dintr--un algoritm fără control pentru un algoritm fără control pentru determinarea vectorilor centru ai stratului ascuns determinarea vectorilor centru ai stratului ascuns al real reţţelei elei

2.2. unul cu control pentru determinarea vectorilor unul cu control pentru determinarea vectorilor pondere ai interconexiunilor stratului de iepondere ai interconexiunilor stratului de ieşşireire

Proiectarea Proiectarea şşi antrenarea rei antrenarea reţţelelor RBFR depind elelor RBFR depind esenesenţţial de modul de alegere a centrilorial de modul de alegere a centrilor..

12

Principalele strategii care sPrincipalele strategii care s--au impus au impus îîn practicăn practică: : alegerea aleatoare a unor centri ficalegerea aleatoare a unor centri ficşşi din baza de date i din baza de date algoritmul standard competitiv algoritmul standard competitiv algoritmul sensibil la frecvenalgoritmul sensibil la frecvenţţa de câa de câşştigare a tigare a competicompetiţţiei iei algoritmul competitiv cu penalizarea rivalului algoritmul competitiv cu penalizarea rivalului algoritmul competitiv cu penalizarea dinamică a algoritmul competitiv cu penalizarea dinamică a rivalului rivalului alegerea unui subset din datele de intrare prin alegerea unui subset din datele de intrare prin metoda celor mai mici pătrate ortogonale metoda celor mai mici pătrate ortogonale ((orthogonalorthogonal leastleast squaressquares) ) selecselecţţia supervizată a centrilor ia supervizată a centrilor

a)Izolarea a)Izolarea neuronului al cărui vector pondere a fost neuronului al cărui vector pondere a fost iniiniţţializat prea departe de modelele de intrareializat prea departe de modelele de intrareb)Apropierea vectorului pondere b)Apropierea vectorului pondere îîndepărtat de ndepărtat de modelele de intrare, prin mecanismul cu modelele de intrare, prin mecanismul cu "con"conşştiintiinţţã"ã"

a) b)Cu cerculeţe cu steluţă s-au reprezentat modelele de intrare şi cu cerculeţ cu punct s-au reprezentat vectorii pondere.

ExemplulExemplul 11600 de date complexe de intrare x(n) au fost obţinute în jurul a 3 puncte din spaţiul complex prin suprapunerea unuizgomot gaussian cu dispersie σσ²²=0.36 :(1; j) , (1; 5j) şi (5; 5j). Cei şase centrii ai RBFR au fost iniţializaţi în mod aleator . S-au obţinut următoarele puncte

(0.2580; 0.2849j), (1.4659; 5.1359j ), (0.3893; 5.3331j), (5.2045; 5.1298j),(1.9193; 5.4489) şi (5.5869; 5.1937j);Figurile următoare reprezintă stările dorite (cele 3 puncte), stările afectate de zgomot x(n), poziţiile iniţiale şi finale ale centrilor RBFR c(n), după 100 epoci de antrenare cu algoritmul competitiv sensibil la frecvenţă (ACSF), algoritmul cu penalizarea rivalului (ACPR) şi algoritmul cu penalizarea dinamică a rivalului (ACPDR)ACSF a eşuat în determinarea poziţiilor dorite ale centrilorACPR şi ACPDR au determinat centrii doriţiACPDR a convers mai rapid şi s-a apropiat mai mult de poziţiile dorite

13

Stările dorite Stările dorite , s, stările de intrare zgomotoase tările de intrare zgomotoase xx[[nn], pozi], poziţţiile iniiile iniţţiale iale şşi cele i cele finale ale centrilor finale ale centrilor cc[[nn]] îîn cazul unei dispersii a zgomotului de n cazul unei dispersii a zgomotului de σσ²²=0.36, =0.36,

după după 100 itera100 iteraţţii, utilizândii, utilizând a) a) algoritmulalgoritmul ACSACSFF

b) b) algoritmulalgoritmul ACPRACPR

c) algoritmul ACPDRc) algoritmul ACPDR

14

Exemplul 2Exemplul 2

1600 de date complexe de intrare x(n) au fost obţinute în jurul a 16 puncte din spaţiul complex prin suprapunerea unuizgomot gaussian cu dispersie σσ²² =0.1RBFR a avut 20 de centri iniţializaţi aleator

Figurile următoare reprezintă stările dorite, stările afectate de zgomot x(n), poziţiile iniţiale şi finale ale centrilor RBFR c(n), după 30 epoci de antrenare cu algoritmul competitiv sensibil la frecvenţă (ACSF), algoritmul cu penalizarea rivalului (ACPR) şi algoritmul cu penalizarea dinamică a rivalului (ACPDR)ACSF a eşuat în determinarea poziţiilor dorite ale centrilor, pentru că nu poate aborda probleme în care numărul grupărilor este necunoscutACPR şi ACPDR au determinat centrii doriţiACPDR a convers mai rapid şi s-a apropiat mai mult de poziţiile dorite

Stările doriteStările dorite, s, stările de intrare zgomotoase tările de intrare zgomotoase xx[[nn], pozi], poziţţiile iile iniiniţţiale iale şşi cele finale ale centrilor i cele finale ale centrilor cc[[nn] ] îîn cazul unei dispersii n cazul unei dispersii a zgomotului de a zgomotului de σσ²²=0.1, =0.1, după după 30 itera30 iteraţţii, utilizând:ii, utilizând:

a) a) algoritmulalgoritmul ACSFACSF

b) b) algoritmulalgoritmul ACPRACPR

15

c)algoritmul ACPDRc)algoritmul ACPDR

OO combinacombinaţţie ie îîntre un filtru liniar transversal ntre un filtru liniar transversal şşi un i un egalizor neliniar.egalizor neliniar.

Semnalul corespunzător de la ieşirea canalului de comunicaţie neafectat de zgomot este vectorul y[n]=[y[n] y[n-1] …y[n-m+1]]T

Egalizorul constă dintrEgalizorul constă dintr--un filtru pentru implementarea un filtru pentru implementarea funcfuncţţiei de decizie iei de decizie şşi un dispozitiv de cuantificare a funci un dispozitiv de cuantificare a funcţţiei iei de iede ieşşire ire ff((rr[[nn]) a acestuia ]) a acestuia îîntrntr--unul din simbolurile posibile unul din simbolurile posibile transmise. transmise. ÎÎn cazul n cazul îîn care alfabetul transmis este format din n care alfabetul transmis este format din simbolurilesimbolurile {1,{1,--1} cuantificatorul poate fi implementat 1} cuantificatorul poate fi implementat prinprinfuncfuncţţia ia sgnsgn( ). ( ). ÎÎn cazul n cazul îîn care semnalul transmis este 4n care semnalul transmis este 4--QAM zgomotul QAM zgomotul aditiv se consideră aditiv se consideră şşi el un semnal complex,i el un semnal complex, cu partea reală cu partea reală wwRR[[nn] i] independentă de cea imaginară ndependentă de cea imaginară wwII[[nn]] -- două circuite de două circuite de cuantificare, unul pentrucuantificare, unul pentru partea reală partea reală şşi unul pentru partea i unul pentru partea imaginarăimaginară. . PerformanPerformanţţele egalizorului sunt determinate de funcele egalizorului sunt determinate de funcţţia de ia de decizie. decizie. Se Se şştie că functie că funcţţia de decizie optimă este funcia de decizie optimă este funcţţia de decizie ia de decizie BayesBayesEa este o funcEa este o funcţţie neliniară astfel ie neliniară astfel îîncât ncât şşi funci funcţţia de decizie a ia de decizie a egalizorului trebuie să fie neliniarăegalizorului trebuie să fie neliniară..

16

Implementarea funcImplementarea funcţţiei de decizie iei de decizie BayesBayes

folosind o refolosind o reţţea neuronală pe bază de funcea neuronală pe bază de funcţţii radialeii radiale

Atunci când canalul de comunicaAtunci când canalul de comunicaţţie este cunoscut ie este cunoscut şşi i zgomotul aditiv introdus zgomotul aditiv introdus îîn transmisie este n transmisie este gaussiangaussian, , egalizorul egalizorul BayesBayes conduce la o eroare medie pe simbol conduce la o eroare medie pe simbol minimăminimă, , îîntrucât el realizează o clasificare neliniară a ntrucât el realizează o clasificare neliniară a semnalelor recepsemnalelor recepţţionate cu o probabilitate minimă a erorilorionate cu o probabilitate minimă a erorilor. . De aceea se pune problema implementării egalizorului De aceea se pune problema implementării egalizorului BayesBayescu o recu o reţţea neuronalăea neuronală, c, capabilă să funcapabilă să funcţţioneze ioneze şşi atunci când i atunci când canalul canalul şşi perturbai perturbaţţiile care afectează transmisia sunt iile care afectează transmisia sunt necunoscute. necunoscute. Din acest punct de vedere, pDin acest punct de vedere, prezintă interes rerezintă interes reţţeaua neuronală eaua neuronală pe bază de funcpe bază de funcţţii radialeii radialeConsiderăm funcConsiderăm funcţţia de decizie a egalizorului implementată ia de decizie a egalizorului implementată cu o RBFR cu o funccu o RBFR cu o funcţţie de activare radială ie de activare radială gaussianăgaussiană..

Răspunsul egalizorului implementat cu o RBFR poate fi scris Răspunsul egalizorului implementat cu o RBFR poate fi scris şşi sub formai sub forma

f (f (rr) ) este funceste funcţţia de decizie a unui neuron de ieia de decizie a unui neuron de ieşşire a RBFR ire a RBFR wwii,, este ponderea conexiunii dintre neuronul ascuns este ponderea conexiunii dintre neuronul ascuns i i şşi i neuronul de ieneuronul de ieşşire;ire;ccii reprezintă vectorul centru al neuronului ascuns reprezintă vectorul centru al neuronului ascuns ii;; reprezintă distan reprezintă distanţţa euclidianăa euclidiană, d, dată de relaată de relaţţia:ia:

NNhh este numărul neuronilor din stratul ascunseste numărul neuronilor din stratul ascuns;;ρρ22 este este îîmprămprăşşiereaierea (raza func(raza funcţţiei radiale);iei radiale);

2i

2ii 1mnc1mnr.....ncnrnn ][][][][][][ +−−+−++−=− cr

( ) ∑=

−=hN

iiiwrf

1

22 )/( ρφ cr

Pentru implementarea egalizorului Pentru implementarea egalizorului BayesBayes, folosind , folosind rereţţeaua RBFR, seaua RBFR, stările canalului tările canalului , d, devin centri evin centri RBFR. NuRBFR. Numărul neuronilor ascunmărul neuronilor ascunşşi i NNhh este dat de este dat de numărul stărilor posibile la ienumărul stărilor posibile la ieşşirea canalului de irea canalului de comunicacomunicaţţie, respectiv de ie, respectiv de NS=4k+m-1. . Similaritatea cu egalizorul Similaritatea cu egalizorul BayesBayes impune ca impune ca parametrul de parametrul de îîmprămprăşştiere să fie dat de relatiere să fie dat de relaţţia ia ρρ22=2=2σσee

22, unde , unde σσee22 este dispersia zgomotului dată de este dispersia zgomotului dată de

relarelaţţia: ia:

norma poate fi de diferite tipuri, darnorma poate fi de diferite tipuri, dar de obicei este de obicei este folosită distanfolosită distanţţa euclidianăa euclidiană. Ponderile . Ponderile wwii fie sunt fie sunt fixe, fie pot fi determinate printrfixe, fie pot fi determinate printr--un algoritm un algoritm supervizat, (ex. LMS)supervizat, (ex. LMS)

22 ][][ nnE ie cr −=σ

17

Egalizor complex cu RBFREgalizor complex cu RBFR

Egalizorul conEgalizorul conţţine un filtru liniar transversal de ordinul ine un filtru liniar transversal de ordinul m m şşi o RBFR.i o RBFR.Canalul de comunicaCanalul de comunicaţţie este modelat utilizând un filtru ie este modelat utilizând un filtru

transversal de ordinul transversal de ordinul kk. . Fie vectorul semnalului de la ieFie vectorul semnalului de la ieşşirea canalului de irea canalului de comunicacomunicaţţie ie yy[[nn] afectat de zgomotul aditiv complex ] afectat de zgomotul aditiv complex ww[[nn], ], care poate fi un zgomot care poate fi un zgomot gaussiangaussian. Semnalele . Semnalele yy[[nn]] şşi i ww[[nn] ] sunt considerate necorelate. Pasunt considerate necorelate. Partea reală rtea reală wwRR[[nn] ] şşi cea i cea imaginară imaginară wwII[[nn] a] a zgomotului se consideră secven zgomotului se consideră secvenţţe mutual e mutual independente. independente. IeIeşşirea canalului de comunicairea canalului de comunicaţţie se aplică la intrarea ie se aplică la intrarea egalizorului complex. Vectorul semnalului recepegalizorului complex. Vectorul semnalului recepţţionat ionat aplicat la intrarea RBFRaplicat la intrarea RBFR este secveneste secvenţţa a rr[[nn], ], rr[[nn]=[]=[rr[[nn]] rr[[nn--11]]…….r.r[[nn--m+1m+1]]]]TT.. Pentru că acesta presupune Pentru că acesta presupune m m termeni ai termeni ai semnalului de intrare, vor trebui considerate semnalului de intrare, vor trebui considerate NNSS combinacombinaţţii ii posibile ale secvenposibile ale secvenţţei de intrare ei de intrare îîn canalul de comunican canalul de comunicaţţieieNNSS==44 kk+m+m--11 de formade forma

xx[[nn]=[]=[xx[[nn]] xx[[nn--11] ] ……xx[[nn--mm--kk+2+2]]]]TT. .

Semnalul corespunzător de la ieSemnalul corespunzător de la ieşşirea canalului de irea canalului de comunicacomunicaţţie neafectat de zgomot este vectorul ie neafectat de zgomot este vectorul yy[[nn]]==[[yy[[nn]]yy[[nn--11]] ……yy[[nn--m+1m+1]]]]TT ce are de asemenea ce are de asemenea NNSS stăristări..

Sarcina egalizorului este de a reconstitui semnalul transmis Sarcina egalizorului este de a reconstitui semnalul transmis cât se poate de exact generând o estimare , pe baza cât se poate de exact generând o estimare , pe baza vectorului semnalului recepvectorului semnalului recepţţionat ionat rr[[nn] ] şşi a semnalului i a semnalului îîntârziat ntârziat xx[[nn--dd]]..

Partea reală Partea reală, r, respectiv cea imaginară a semnalului complex espectiv cea imaginară a semnalului complex 44--QAM este prelucrată QAM este prelucrată îîn mod independent, n mod independent, îîn aceean aceeaşşi i manierămanieră. .

( ) ( )( ) hiH

ii Ninnnn ≤≤ρ−−φ=φ 1][][][][ crcr

18

Exemplul 1Exemplul 1

Un Un numărnumăr de 70 de 70 dede centriicentrii au au fostfost iniiniţţializaializaţţii aleatoraleator, , îînn spaspaţţiuliul modelelormodelelor de de intrareintrarePentru determinarea centrilor egalizorului RBFR au Pentru determinarea centrilor egalizorului RBFR au fost aplicate fost aplicate N=N=1000 de 1000 de secvensecvenţţe de intrare : e de intrare : xx[[nn]]==[[xx[[nn]] xx[[nn--11]] xx[[nn--22]]]] şşi canaluli canalul

)2()21.034.0()1()43.087.0()()27.034.0( −−+−++−=≈

nxjnxjnxjy

32 )]([05.0)]([1.0)()( nynynyny≈≈≈

++=

Algoritmul ACS a eAlgoritmul ACS a eşşuat uat îîn găsirea centrilor dorin găsirea centrilor doriţţi i datorită problemei datorită problemei "uni"unitătăţţilor moarte ". ilor moarte ". Algoritmul ACSF a eliminat problema "uniAlgoritmul ACSF a eliminat problema "unitătăţţilor ilor moarte ", darmoarte ", dar nu a găsit nici el to nu a găsit nici el toţţi centrii dorii centrii doriţţi, i, datorită faptului că numărul inidatorită faptului că numărul iniţţial al centrilor a fost ial al centrilor a fost diferit de numărul claselor căutatediferit de numărul claselor căutate. . Algoritmul ACPR a reuAlgoritmul ACPR a reuşşit să orienteze centrii it să orienteze centrii RBFR către stările doriteRBFR către stările dorite, ie, ieşşirile neafectate de irile neafectate de zgomot ale canalului de comunicazgomot ale canalului de comunicaţţie. Centrii ie. Centrii nedorinedoriţţi au fost eliminai au fost eliminaţţi i îînafara spanafara spaţţiului stărilor iului stărilor posibile astfel posibile astfel îîncât sncât s--a oba obţţinut o structură inut o structură simplificată a egalizorului RBFRsimplificată a egalizorului RBFR. .

Semnalele de la ieSemnalele de la ieşşirea canalului de comunicairea canalului de comunicaţţie, semnalele recepie, semnalele recepţţionate ionate afectate de zgomot afectate de zgomot rr[[nn]], , pozipoziţţiile iniiile iniţţiale iale şşi finale ale centrilor rei finale ale centrilor reţţelei elei

RBFR RBFR cc[[nn]], , îîn cazul unui n cazul unui RSZRSZ=13 =13 dBdB, d, după upă 100 de itera100 de iteraţţiiii(Legen(Legendădă: "o: "o" " -- Stările dorite Stările dorite; "; "*"*"-- stările de intrare zgomotoase stările de intrare zgomotoase; "; "××" " --

pozipoziţţiile iniiile iniţţiale ale centrilor; "+" iale ale centrilor; "+" –– pozipoziţţiile finale ale centrilor)iile finale ale centrilor)

19

EvoluEvoluţţia erorii medii pătratice ia erorii medii pătratice îîn funcn funcţţie de numărul de ie de numărul de epoci de antrenare pentru un epoci de antrenare pentru un RSZRSZ= 5 = 5 dBdB, pentru centrii , pentru centrii

determinadeterminaţţi cu algoritmul competitiv cu penalizarea i cu algoritmul competitiv cu penalizarea

rivalului rivalului şşi canalul neliniar complex din i canalul neliniar complex din mm=1 =1 şşi i dd=1=1

Regiunile de decizie ale egalizorului RBFR, pentru un canal Regiunile de decizie ale egalizorului RBFR, pentru un canal neliniar complex neliniar complex îîn cazul: n cazul: RSZRSZ= 5 dB, = 5 dB, mm=1 =1 şşi o i o îîntârziere ntârziere

dd=1=1

Exemplul 2Exemplul 2Pentru antrenarea centrilor RBFR a fost utilizat un număr de Pentru antrenarea centrilor RBFR a fost utilizat un număr de N=7000 de secvenN=7000 de secvenţţe de intrare e de intrare x(n)x(n). . Simulările au fost realizate utilizând modelul de canal dat de Simulările au fost realizate utilizând modelul de canal dat de relarelaţţiile:iile:

Un număr de Un număr de 70 de centrii au fost ini70 de centrii au fost iniţţializaializaţţi aleator,i aleator, departe departe de stările posibile dorite ale canalului de comunicade stările posibile dorite ale canalului de comunicaţţie, ie, îîn jurul n jurul punctului (5, 5j)punctului (5, 5j)CeleCele mai mai bunebune rezultaterezultate au au fostfost obobţţinuteinute pentrupentru următoareleurmătoareleconstante de constante de îînvănvăţţareare: : ηη=0.09, =0.09, constantaconstanta de de îînvănvăţţareare a a neuronuluineuronului câcâşştigătortigător, , ββ=0.003 =0.003 constantaconstanta de de îînvănvăţţareare a a rivaluluirivalului şşi i αα=0.01 =0.01 constantaconstanta de de îînvănvăţţareare a a ponderilorponderilor îînnstratulstratul de de ieieşşireire, , cucu algoritmulalgoritmul LMS. LMS.

)2()0223.01556.0()1()2961.08890.0()()7406.07409.0(

−−++−−−−=

≈

nxjnxjnxjy

32 )]([14.0)]([055.0)()( nynynyny≈≈≈

+−=

20

Fig.6.26 Semnalele de la ieFig.6.26 Semnalele de la ieşşirea canalului de comunicairea canalului de comunicaţţie, semnalele afectate de ie, semnalele afectate de zgomot recepzgomot recepţţionate ionate r(n), r(n), pozipoziţţiile iniiile iniţţiale iale şşi finale ale centrilor rei finale ale centrilor reţţelei RBFR elei RBFR c(n), c(n), îîn cazul unui raport semnal pe zgomot de RSZ=n cazul unui raport semnal pe zgomot de RSZ=13dB, d13dB, după upă 100 de itera100 de iteraţţii ii utilizând: a) algoritmul ACS; b) algoritmul ACSF; c) algoritmul utilizând: a) algoritmul ACS; b) algoritmul ACSF; c) algoritmul ACPR;ACPR;(Legen(Legendădă: "o: "o" " -- Stările dorite Stările dorite; "; "*"*"-- stările de intrare zgomotoase stările de intrare zgomotoase; "; "××" " -- pozipoziţţiile iile iniiniţţiale ale centrilor; "+" iale ale centrilor; "+" –– pozipoziţţiile finale ale centrilor; "iile finale ale centrilor; "––" evolu" evoluţţia centrilor) ia centrilor)

ConcluziiConcluziiCele mai bune rezultate au fost obţinute pentru următoarele constante de învăţare: η=0.05, constanta de învăţare a neuronului câştigător pentru toţi cei trei algoritmi testaţi, β=0.0001 constanta de învăţare a rivalului şi α=0.01 constanta de învăţare a ponderilor în stratul de ieşire, cu algoritmul LMS.

Algoritmul ACS a eşuat în găsirea centrilor doriţi datorită problemei "unităţilor moarte ".

Algoritmul ACSF a eliminat problema "unităţilor moarte ", dar nu a găsit nici el toţi centrii doriţi, datorită faptului că numărul iniţial al centrilor a fost diferit de numărul claselor căutate.

Algoritmul ACPR a reuAlgoritmul ACPR a reuşşit să orienteze centrii RBFR către it să orienteze centrii RBFR către stările doritestările dorite, ie, ieşşirile neafectate de zgomot ale canalului de irile neafectate de zgomot ale canalului de comunicacomunicaţţie. ie. Centrii nedoriCentrii nedoriţţi au fost eliminai au fost eliminaţţi i îînafara spanafara spaţţiului stărilor iului stărilor posibile. posibile. ÎÎn plus centrii determinan plus centrii determinaţţi cu algoritmul ACPR au avut i cu algoritmul ACPR au avut pozipoziţţii mai apropiate de stările dorite decât centrii ii mai apropiate de stările dorite decât centrii determinadeterminaţţi cu algoritmul ACSF. i cu algoritmul ACSF. Prin penalizarea neuronului rival convergenPrin penalizarea neuronului rival convergenţţa ACPR este a ACPR este mai bună decât a algoritmului ACSFmai bună decât a algoritmului ACSF..

21

EvoluEvoluţţia comparativă a erorii pătratice medii a egalizorului ia comparativă a erorii pătratice medii a egalizorului RBFR , RBFR , îîn timpul antrenamentului, pentru un raport n timpul antrenamentului, pentru un raport RSZ RSZ =13 =13 dBdB şşi ordinuli ordinul mm=1 =1 al filtrului LT (cal filtrului LT (cu linie continuă u linie continuă --

algoritmul ACSF; cu linie algoritmul ACSF; cu linie îîntreruptă ntreruptă -- algoritmul ACPR)algoritmul ACPR)

EvoluEvoluţţia erorii medii pătratice ia erorii medii pătratice îîn funcn funcţţie de numărul de epoci de ie de numărul de epoci de antrenareantrenare

(Legen(Legendădă: l: linie continuă inie continuă -- mm=1, =1, RSZRSZ=5dB; linie =5dB; linie îîntreruptă ntreruptă -- mm=1, =1, RSZRSZ=5dB; =5dB; linie punctată linie punctată -- mm=1, =1, RSZRSZ=10dB; linie punct =10dB; linie punct -- mm=2, =2,

RSZRSZ=10dB)=10dB)

Regiunile de decizie neliniară ale egalizorului Regiunile de decizie neliniară ale egalizorului

RBFRRBFR

22

Performanţele egalizoarelor cu RBFR sunt superioare performanţelor egalizoarelor liniare şi a egalizoarelor implementate cu RNM. Algoritmii competitivi elimină dezavantajele egalizoarelor cu RNM menţionate anterior. De remarcat algoritmul competitiv cu penalizarea rivalului ce determină eficient centrii RBFR, recompensând neuronul câştigător şi penalizând rivalul -este simplu, generează regiuni de decizie puternic neliniare şi are o convergenţă rapidă. În comparaţie cu algoritmul ACS nu are problema "neuronilor morţi". În comparaţie cu algoritmul ACSF are o convergenţă mai rapidă şi centrii determinaţi au poziţii mai apropiate de poziţiile dorite. Algoritmul ACPR este adecvat pentru egalizarea adaptivă a semnalelor complexe rapid variabile în timp, afectate de distorsiuni liniare şi neliniare. Performanţa obţinută, o eroare pătratică medie de 10-2, pentru un RSZ de 5 dB este similară cu cea a altor egalizoare neuronale cu RBFR raportate în literatură, testate în aceleaşi condiţii.

Pentru a îmbunătăţi performanţa egalizorului RBFR ar trebui mărit ordinul filtrului liniar transversal, ceea ce ar duce însă la creşterea complexităţii structurale şi a calculelor. O alternativă este introducerea reacţiei de la ieşire spre intrare, respectiv implementarea unui egalizor cu o reţea neuronală recurentă.ReReţţelele neuronale recurente (RNRelele neuronale recurente (RNR) sunt cazul cel mai general de RN, având fiecare neuron conectat cu toţi ceilalţi neuroni ai reţelei-complet conectată. Neuronii RNR au funcţii de activare neliniare şi o comportare dinamică complexă, astfel încât aceste RN sunt în mod special recomandate pentru aplicaţiile în timp real. Ieşirea unui neuron la un moment dat depinde nu numai de intrările externe şi de ieşirile altor neuroni, ca în cazul RNM şi RBFR, dar şi de ieşirile sale anterioare. RNR cu o aceeaşi structură au comportări dinamice diferite în funcţie de algoritmul de antrenament. În consecinţă o RNR este complet definită prin specificarea atât a arhitecturii cât şi a algoritmului de antrenament.

Algoritmul uzual pentru antrenarea unei RNR capabile să proceseze semnale complexe este învăţarea recurentă complexă în timp real (Complex Real Time RecurrentLearning CRTRL ) Acest algoritm se bazează pe o procedură de minimizare a erorii medii pătratice de tip gradient descendent, astfel încât se caracterizează printr-o viteză redusă de convergenţă şi poate fi afectat de o condiţionare numerică defectuoasă. Complexitatea numerică a calculelor este de ordinul N4, unde N este numărul neuronilor reţelei. Dimensiunea redusă a RNR în comparaţie cu a RNM şi RBF pentru o aceeaşi performanţă sunt principalul argument pentru utilizarea în aplicaţiile de reconstrucţie a semnalelor afectate de neliniarităţi rapid variabile în timp.

23

Structura unei reStructura unei reţţele neuronale recurente obele neuronale recurente obţţinute prin:inute prin:a) combinaa) combinaţţia unui filtru liniar transversal (FLT) cu o RBFRia unui filtru liniar transversal (FLT) cu o RBFRb) combinab) combinaţţia unui filtru liniar transversal (FLT) cu o reia unui filtru liniar transversal (FLT) cu o reţţeaea

competitivăcompetitivă

Curbele de separare implementate de trei tipuri de egalizoare cuCurbele de separare implementate de trei tipuri de egalizoare cu RN, RN, pentrupentru semnalesemnale 16 QAM 16 QAM combinacombinaţţiiee dintrdintr--un filtru un filtru LT LT şşi o rei o reţţea ea

neuronală de tip multistrat cu două straturi ascunse neuronală de tip multistrat cu două straturi ascunse (LF(LF--NLN), prin NLN), prin combinacombinaţţia dintria dintr--un un FLT FLT şşi o rei o reţţea competitivă ea competitivă (LTE(LTE--SOM) respectiv SOM) respectiv

prin combinaprin combinaţţia dintria dintr--un un FLT FLT şşi o rei o reţţea pe bază de funcea pe bază de funcţţii radiale LTEii radiale LTE--RBFRRBFR

Eroarea pe bit Eroarea pe bit îîn funcn funcţţie de raportul semnal pe ie de raportul semnal pe zgomot exprimat zgomot exprimat îîn n dBdB pentru diferite egalizoare pentru diferite egalizoare

(LF(LF--NLN)NLN)

24

RNR sunt reRNR sunt reţţele neuronale recomandate ele neuronale recomandate îîn mod special n mod special procesării de semnale procesării de semnale îîn timp real. n timp real. Deoarece RNR depăDeoarece RNR depăşşesc performanesc performanţţele egalizoarelor ele egalizoarelor traditradiţţionale ionale şşi ale celorlalte egalizoare neuronale atunci când i ale celorlalte egalizoare neuronale atunci când canalul de telecomunicacanalul de telecomunicaţţii este variabil ii este variabil îîn timp n timp şşi are i are distorsiuni neliniare, este prevdistorsiuni neliniare, este previzibilă o evoluizibilă o evoluţţie a cercetării ie a cercetării îîn direcn direcţţia aplicării ia aplicării îîn telecomunican telecomunicaţţii a acestor reii a acestor reţţele. ele. ÎÎn mod deosebit prezintă interes ren mod deosebit prezintă interes reţţelele neuronale elele neuronale recurente cu o structură de tip filtru liniar transversalrecurente cu o structură de tip filtru liniar transversal-- rereţţea ea neuronală pe bază de funcneuronală pe bază de funcţţii radiale, care ii radiale, care îîmbină avantajele mbină avantajele RBFR, simplitatea structurii RBFR, simplitatea structurii şşi robustei robusteţţea de procesare, cu ea de procesare, cu avantajele algoritmilor competitivi, respectiv convergenavantajele algoritmilor competitivi, respectiv convergenţţa a rapidă rapidă şşi precizia.i precizia.

CConcluziioncluzii

1

Caracterizarea Caracterizarea şşi predici predicţţia parametrilor traficuluiia parametrilor traficului

SSe poate face e poate face fie utilizând modelele analitice ale surselor de trafic fie utilizând modelele analitice ale surselor de trafic şşi ale i ale componentelor Bcomponentelor B--ISDNISDNfie procesând parametrii măsurafie procesând parametrii măsuraţţi ai traficului la nivelul i ai traficului la nivelul acestor componente.acestor componente.

Deoarece tehnicile analitice se bazează pe operaDeoarece tehnicile analitice se bazează pe operaţţii de convoluii de convoluţţie ie care devin prea complexe pentru traficul real sunt de preferat care devin prea complexe pentru traficul real sunt de preferat RN deoarece pentru ele predicRN deoarece pentru ele predicţţia este o aplicaia este o aplicaţţie directăie directă. .

Modelarea componentelor traficuluiModelarea componentelor traficului B B--ISDN, adiISDN, adică a că a nodurilor de comutare nodurilor de comutare şşi a legăturilor de transmisiei a legăturilor de transmisie, se poate , se poate face cu registre face cu registre –– bufferebuffere îîn care celulele sunt citite conform n care celulele sunt citite conform principiului primul intrat principiului primul intrat –– primul ieprimul ieşşit FIFO. it FIFO.

Caracteristicile nodurilor de comutare Caracteristicile nodurilor de comutare şşi ale i ale legăturilor de transmisie suntlegăturilor de transmisie sunt::

--lungimea registrului de deplasare;lungimea registrului de deplasare;--capacitatea globală a nodului de comutare capacitatea globală a nodului de comutare ((throughputthroughputcapacitycapacity))--rata de pierdere a celulelor;rata de pierdere a celulelor;--îîntârzierea minimă introdusăntârzierea minimă introdusă

Anumite noduri care generează apeluri Anumite noduri care generează apeluri îîncorporează ncorporează şşi un set de i un set de parametrii pentru a controla generarea conexiunilor parametrii pentru a controla generarea conexiunilor şşi a i a celulelor.celulelor.

Tabelul de Tabelul de rutarerutare din nodul de comutare din nodul de comutare pointeazăpointează::pentru fiecare conexiune către conexiunea de iepentru fiecare conexiune către conexiunea de ieşşire a apelului;ire a apelului; pentru fiecare legătura de transmisie către legătura pentru fiecare legătura de transmisie către legătura destinadestinaţţie;ie;

Toate nodurile Toate nodurile şşi legăturile de transmisie monitorizează traficul i legăturile de transmisie monitorizează traficul curent curent şşi caracteristicile sale statistice,i caracteristicile sale statistice, adică adică ::--numărul celulelor numărul celulelor şşi al conexiunilor fiecărui serviciui al conexiunilor fiecărui serviciu ;;--ocuparea ocuparea bufferelorbufferelor, r, respectiv ocuparea minimă espectiv ocuparea minimă şşi maximăi maximă ;;--îîntârzierea, variantârzierea, variaţţia ia îîntârzierii ntârzierii şşi rata de pierdere a celulelori rata de pierdere a celulelor ;;

Arhitectura RN pentru caracterizarea Arhitectura RN pentru caracterizarea şşi predici predicţţia traficuluiia traficului--multistrat, de tip multistrat, de tip feedforwardfeedforward, c, cu două straturi de neuroni u două straturi de neuroni

ascunascunşşii--Straturile de intrare ascunse au o funcStraturile de intrare ascunse au o funcţţie de activare sigmoidăie de activare sigmoidă..--Stratul de ieStratul de ieşşire are o funcire are o funcţţie de activare liniarăie de activare liniară. . --Intrările Intrările îîn RN sunt en RN sunt eşşantioanele antioanele îîntârziate ale traficului. ntârziate ale traficului. --Algoritmul de antrenare al RN poate fi algoritmul Algoritmul de antrenare al RN poate fi algoritmul

retropropagăriiretropropagării erorii.erorii.

2

Timpul de predicTimpul de predicţţie trebuie aleasă adecvatie trebuie aleasă adecvat, , îîn corespondenn corespondenţţă ă cu mediul de operare BISDNcu mediul de operare BISDN--de acelade acelaşşi ordin de mărime cu i ordin de mărime cu constantele de timp ale surselor de trafic constantele de timp ale surselor de trafic şşi fereastra de i fereastra de măsurare a parametrilor măsurare a parametrilor QoSQoS ai serviciilor.ai serviciilor.Viteza de Viteza de îînvănvăţţare poate fi adaptivăare poate fi adaptivă. D. Dacă acă dEdE//dwdw variavariaţţiiaaerorii erorii îîn raport cu ponderile n raport cu ponderile îîşşi schimbă semnul de la o i schimbă semnul de la o iteraiteraţţie la alta, viteza de ie la alta, viteza de îînvănvăţţare scade cu o valoare micăare scade cu o valoare mică, , constantăconstantă; d; dacă nu creacă nu creşşte. te. Faza de Faza de îînvănvăţţare durează câteva sute de epoci pentru câteva are durează câteva sute de epoci pentru câteva mii de modele de antrenare. Emii de modele de antrenare. Ea este urmată de faza de a este urmată de faza de operare. operare. Rezultatele simulărilor arată că funcRezultatele simulărilor arată că funcţţiile de activare bipolare iile de activare bipolare simetrice dau o precizie mai bună decât funcsimetrice dau o precizie mai bună decât funcţţia sigmoidă ia sigmoidă unipolarăunipolară. Astfel, pentru func. Astfel, pentru funcţţiile iile arctangentăarctangentă şşi tangentă i tangentă hiperbolică eroarea pătratică medie scade la hiperbolică eroarea pătratică medie scade la 11//10 din eroarea 10 din eroarea obobţţinută inută îîn cazul utilizării funcn cazul utilizării funcţţiilor unipolare.iilor unipolare.

3

CerinCerinţţele unei RN ele unei RN îîn caracterizarea n caracterizarea şşi predici predicţţia traficuluiia traficului

Există două modalităExistă două modalităţţi de antrenament al unei RNi de antrenament al unei RN ::OFF LINE cu date eOFF LINE cu date eşşantionate din traficul măsurat sau cu antionate din traficul măsurat sau cu date obdate obţţinute din simulări pe computerinute din simulări pe computer ;;ON LINE, ON LINE, îîn timp real, cu date obn timp real, cu date obţţinute din traficul inute din traficul monitorizat curentmonitorizat curent ;;Dacă am ales un set de date de antrenament bun Dacă am ales un set de date de antrenament bun şşi un bun i un bun model pentru comportamentul model pentru comportamentul bufferuluibufferului se poate utiliza se poate utiliza RN fără antrenament RN fără antrenament onon line. De obicei antrenamentul line. De obicei antrenamentul ononline se foloseline se foloseşşte pentru rafinarea ponderilor obte pentru rafinarea ponderilor obţţinute după inute după antrenarea antrenarea offoff line line, d, deoarece există difereneoarece există diferenţţe e îîntre traficul ntre traficul real real şşi cel simulat.i cel simulat.Viteza de calcul Viteza de calcul este dată de numărul cererilor de este dată de numărul cererilor de setset--upup care care sosesc sosesc îîntrntr-- o secundă o secundă.. Tipic 1 ms Tipic 1 ms este necesară pentru este necesară pentru manipularea a 1000 de cermanipularea a 1000 de cereri pe secundăeri pe secundă. Timpul de . Timpul de antrenament este important doar pentru procesarea antrenament este important doar pentru procesarea îîn timp n timp real.real.

O altă cerinO altă cerinţţă a antrenamentului ă a antrenamentului îîn timp real este n timp real este controlul controlul "sigur"sigur““-- cere ca parametrii cere ca parametrii QoSQoS să fie estima să fie estimaţţi pentru un caz i pentru un caz mai defavorabil decât cel curent. Estimarea mai defavorabil decât cel curent. Estimarea QoSQoS trebuie să trebuie să aibeaibe deci o marjă de eroare fa deci o marjă de eroare faţţă de traficul curentă de traficul curent. D. Dacă acă controlerul de trafic supraapreciază parametrii controlerul de trafic supraapreciază parametrii QoSQoS şşi acceptă i acceptă mai multe conexiuni, atunci tomai multe conexiuni, atunci toţţi utilizatorii care folosesc i utilizatorii care folosesc acelaacelaşşi i bufferbuffer vor avea parametrii vor avea parametrii QoSQoS mai slabi decât cei mai slabi decât cei ceruceruţţi i şşi nici unul dintre ei nui nici unul dintre ei nu--şşi poate continua comunicai poate continua comunicaţţia. ia. Acceptarea unui număr mai mic decât posibil de conexiuni Acceptarea unui număr mai mic decât posibil de conexiuni este mai bună decât cazul anterior expuseste mai bună decât cazul anterior expus. . VariabileleVariabilele de antrenare trebuie alese corespunzător cu de antrenare trebuie alese corespunzător cu cerincerinţţele procedurii de control al fluxului. ele procedurii de control al fluxului. Parametrii de calitate ai serviciilor unui nod de comunicaParametrii de calitate ai serviciilor unui nod de comunicaţţie ie sunt determinasunt determinaţţi de combinai de combinaţţia parametrilor de trafic ai ia parametrilor de trafic ai tuturor conexiunilor care trec prin el. Când tuturor conexiunilor care trec prin el. Când numărul numărul conexiunilor este mare estimarea acestor parametrii conexiunilor este mare estimarea acestor parametrii QoSQoS nu nu este deloc ueste deloc uşşoarăoară. .

O problemă este O problemă este şşi difereni diferenţţa dintre valorile a dintre valorile curente curente şşi cele declarate ale i cele declarate ale QoSQoS. .

Valorile declarate sunt valorile Valorile declarate sunt valorile QoSQoS îîn condin condiţţiile de iile de trafic maxim. trafic maxim. Traficul curent este Traficul curent este îînsă nsă îîn general mai redus decât n general mai redus decât cel maxim estimat. Ccel maxim estimat. Când numărul conexiunilor este ând numărul conexiunilor este mare mare şşi difereni diferenţţa este mare.a este mare.IntrarileIntrarile îîntrntr--o RN pot fi parametrii care o RN pot fi parametrii care caracterizează starea registrului caracterizează starea registrului şşi iei ieşşirile din RN, irile din RN, adică parametrii de trafic adică parametrii de trafic QoSQoS estimaestimaţţi. i. Numărul Numărul îîntrărilorntrărilor îîn RN este numărul categoriilor n RN este numărul categoriilor de parametrii de trafic. de parametrii de trafic. Un număr practic este mai Un număr practic este mai mic decât o sutămic decât o sută. N. Numărul ieumărul ieşşirilor este numărul irilor este numărul parametrilor parametrilor QoSQoS. .

4

Pentru starea unui registru există mai multe modalităPentru starea unui registru există mai multe modalităţţi de i de definire, dintre care definire, dintre care numărul conexiunilornumărul conexiunilor este ueste uşşor de or de manipulat. Conexiunile pot fi clasificate manipulat. Conexiunile pot fi clasificate îîn grupuri, n grupuri, îîn funcn funcţţie ie de parametrii de trafic.de parametrii de trafic.

Cea mai simplă modalitate de clasificare este Cea mai simplă modalitate de clasificare este îîn comunican comunicaţţii ii video video nnVV, comunica, comunicaţţii audio ii audio nnAA şşi date numerice i date numerice nnDD. Fiecare . Fiecare grup ar putea fi subgrup ar putea fi subîîmpărmpărţţit la rândul său it la rândul său îîn altele mai mici, n altele mai mici, îîn funcn funcţţie de modalitatea de codare, de caracteristicile de ie de modalitatea de codare, de caracteristicile de generare a celulelor. generare a celulelor.

RN estimează deci parametrii RN estimează deci parametrii QoSQoS ca o funcca o funcţţie de numărul ie de numărul acestor conexiuni acestor conexiuni şşi matricea ponderilor :i matricea ponderilor :

)W,n,n,n(fq DVA=

O altă modalitate simplă de caracterizare a traficului este O altă modalitate simplă de caracterizare a traficului este prin prin numărul celulelornumărul celulelor care sosesc care sosesc îîntrntr--o perioadă de timp o perioadă de timp TTmm. . Se estimeazăSe estimează::

unde H(i) unde H(i) este un vector cu dimensiune m, caeste un vector cu dimensiune m, care reprezintă re reprezintă valorile instantanee ale ratei de bit valorile instantanee ale ratei de bit îîn ultima perioadă Tn ultima perioadă Tm m măsurată până măsurată până îîn momentul curent i. n momentul curent i. Valorile ratei de bit sunt obValorile ratei de bit sunt obţţinute prin einute prin eşşantionarea antionarea procesului de sosire a celulelor după fiecare perioadă Tprocesului de sosire a celulelor după fiecare perioadă TS S de de eeşşantionare.antionare.

Alegerea TAlegerea Tmm este importantă este importantă, , trebuietrebuie să ofere o fereastră de să ofere o fereastră de predicpredicţţie rezonabilăie rezonabilă. T. TSS se alege astfel se alege astfel îîncât H(i) ncât H(i) să capteze să capteze caracteristicile traficului caracteristicile traficului îîn timp ce se menn timp ce se menţţine un număr ine un număr rezonabil m al erezonabil m al eşşantioanelor. (deoarece de m depinde antioanelor. (deoarece de m depinde şşi i dimensiunea RN).dimensiunea RN).

[ ] [ ] [ ]),)(()( WiHfmiH =+

sm mTT =

Metoda tabeluluiMetoda tabeluluiUzual perioada de antrenare a unei RN pentru predicUzual perioada de antrenare a unei RN pentru predicţţia parametrilor ia parametrilor traficului este foarte scurtă pentru că starea registrelor se sctraficului este foarte scurtă pentru că starea registrelor se schimbă himbă continuu, deci nucontinuu, deci numărul datelor obmărul datelor obţţinute este foarte mare.inute este foarte mare.

Un tabel de modele este o memorie mare utilizată pentru a Un tabel de modele este o memorie mare utilizată pentru a îînmagazina o nmagazina o cantitate foarte mare de date, care la un moment dat scantitate foarte mare de date, care la un moment dat s--ar putea umple. ar putea umple. DDacăacă se observă date noi se observă date noi îîn trafic o intrare n trafic o intrare îîn tabel este aleasă aleatoriu n tabel este aleasă aleatoriu şşi i vechea informavechea informaţţie este suprascrisă cu cea nouăie este suprascrisă cu cea nouă, astfel , astfel îîncât se pot pierde ncât se pot pierde date utile antrenamentului. date utile antrenamentului.

pentru antrenarea unei RN sunt necesare atât pentru antrenarea unei RN sunt necesare atât exemple bune cât exemple bune cât şşi i exemple proasteexemple proaste, dar situa, dar situaţţiile iile îîn care parametrii QOS sunt n care parametrii QOS sunt nesatisfăcători sunt mai rare decât cele nesatisfăcători sunt mai rare decât cele îîn care parametrii QOS sunt n care parametrii QOS sunt adecvaadecvaţţi. i.

SSe recomandă utilizarea de tabele separate pentru exemplele e recomandă utilizarea de tabele separate pentru exemplele "bune" "bune" şşi i cele "rele", pentru a preveni cele "rele", pentru a preveni îînlocuirea nlocuirea îîn tabel a unor exemple "rele" cu n tabel a unor exemple "rele" cu cele "buncele "bune". e". Avantajul metodei constă Avantajul metodei constă îîn faptul că raportul exemplelor n faptul că raportul exemplelor bune bune şşi a exemplelor proaste poate fi ui a exemplelor proaste poate fi uşşor ponderat prin rata de selecor ponderat prin rata de selecţţie a ie a tabelului corespunzător tabelului corespunzător îîn timpul antrenamentului.n timpul antrenamentului.

5

ReReţţele cu reacele cu reacţţie (feedback)ie (feedback)

Au Au ca inspiraca inspiraţţie diferite idei preluate din fizica statisticăie diferite idei preluate din fizica statistică. Câteva . Câteva din caracteristicile comune tuturor acestor RN sunt:din caracteristicile comune tuturor acestor RN sunt:neuroni neliniari;neuroni neliniari;conexiuni simetrice;conexiuni simetrice;reacreacţţie de la ieie de la ieşşire la intrare;ire la intrare;

PPotot fi implementate ca fi implementate ca şşi sisteme dinamice continue:i sisteme dinamice continue:

sau discretesau discrete (recursive)(recursive)::

--x este starea sistemului;x este starea sistemului;-- este derivata stării sistemuluieste derivata stării sistemului;;--u este intrarea,u este intrarea, care poate fi independentă sau aplicată ca o care poate fi independentă sau aplicată ca o

condicondiţţie iniie iniţţială xială x(0), respectiv x(0), respectiv x[[00]]..

)u),t(x(F)t(x W=&

)u],n[x(F]1n[x W=+

•

x

EExemplexemple de rede reţţele cu reacele cu reacţţie :ie :

1.Re1.Reţţeaua eaua HopfieldHopfield -- îîn 1981, are un singur strat n 1981, are un singur strat îîn care n care fiecare dintre neuroni este conectat cu tofiecare dintre neuroni este conectat cu toţţi ceilali ceilalţţi. i.

AplicaAplicaţţiile sunt de iile sunt de memorie asociativă memorie asociativă şşi de optimizarei de optimizarecombinatorialăcombinatorială. .

2.2. MaMaşşina ina BolzmannBolzmann ((HintonHinton şşi i SejnowskiSejnowski 1983) este o 1983) este o generalizare a regeneralizare a reţţelei elei HopfieldHopfield care combină caracteristicile care combină caracteristicile rereţţelelor multistrat cu cele a reelelor multistrat cu cele a reţţelei elei HopfieldHopfield . .

Are deci o structură multistrat cu neuroni ascunAre deci o structură multistrat cu neuroni ascunşşi i şşi conexiuni i conexiuni simetrice. simetrice.

Principiul care stă la baza funcPrincipiul care stă la baza funcţţionării este răcirea simulatăionării este răcirea simulată, , îîn n care energia sistemului considerat scade cu temperatura. care energia sistemului considerat scade cu temperatura.

Denumirea a fost aleasă Denumirea a fost aleasă îîn memoria lui n memoria lui BolzmannBolzmann care a fost care a fost primul care a observat că miprimul care a observat că mişşcarea aleatorie a moleculelor carea aleatorie a moleculelor unui gaz are o energie legată de temperaturăunui gaz are o energie legată de temperatură..

3.3. MeanMean--fieldfield theorytheory ((PetersonPeterson şşi i AndersonAnderson 1987) 1987) -- derivată din derivată din mamaşşina ina BolzmannBolzmann şşi funci funcţţionează pe baza metodei ionează pe baza metodei aproximării câmpului mediu aproximării câmpului mediu ((meanmean--fieldfield approximationapproximation). ).

Pentru a reduce excesiva capacitate de procesare sPentru a reduce excesiva capacitate de procesare s--au au îînlocuit nlocuit neuronii binari aleatorii a maneuronii binari aleatorii a maşşinii inii BolzmannBolzmann cu unită cu unităţţi i deterministe analogice.deterministe analogice.

NoNoţţiuni teoretice generale:iuni teoretice generale:ÎÎntrntr--o bază de date o bază de date (memorie) (memorie) implementată pe un calculator implementată pe un calculator

clasic, memorclasic, memorarea se face sub formă de liste imbricatearea se face sub formă de liste imbricate. . Apelul unui model din memorie se face secvenApelul unui model din memorie se face secvenţţial, ceial, ceea ce ea ce

implică un timp implică un timp îîndelungat de acces, dependendelungat de acces, dependent de numărul nt de numărul elementelor memorate.elementelor memorate.

ÎÎn n memoriile asociative neuronalememoriile asociative neuronale apelul unei informaapelul unei informaţţii din ii din memorie se face printrmemorie se face printr--un proces de relaxare, de minimizare un proces de relaxare, de minimizare a unei funca unei funcţţii de cost. ii de cost.

6

Timpul de acces nu depinde de numărul modelelor memorateTimpul de acces nu depinde de numărul modelelor memorate, , ci este o caracteristică a arhitecturii reci este o caracteristică a arhitecturii reţţelei.elei.

Acest mecanism de căutare reprezintă avantajul major al Acest mecanism de căutare reprezintă avantajul major al memoriilor asociative neuronale famemoriilor asociative neuronale faţţă de cele clasice ă de cele clasice . El este . El este similar recunoasimilar recunoaşşterii de modele terii de modele îîn sistemele nervoase n sistemele nervoase biologice biologice şşi explică de ce timpul necesar recunoai explică de ce timpul necesar recunoaşşterii terii figurilor familiare este acelafigurilor familiare este acelaşşi la vârsta de cinci,i la vârsta de cinci, douăzeci douăzeci şşi i cinci , sau cincizeci de ani.cinci , sau cincizeci de ani.

Memoriile asociativeMemoriile asociative implementează o transformare implementează o transformare neliniară neliniară îîntre o mulntre o mulţţime de modele aparime de modele aparţţinând spainând spaţţiului iului de intrare de intrare FFxx şşi o muli o mulţţime de modele aparime de modele aparţţinând spainând spaţţiului iului de iede ieşşire ire FFyy Ori de câte ori la intrare se aplică un model Ori de câte ori la intrare se aplică un model particular , la ieparticular , la ieşşire se obire se obţţine modelul asociat acestuia.ine modelul asociat acestuia.

Un caz particular este Un caz particular este autoasociereaautoasocierea, când un model aplicat , când un model aplicat la intrare este asociat cu el la intrare este asociat cu el îînsunsuşşi la iei la ieşşirea reirea reţţelei elei neuronale Scopul procesării este completarea de model neuronale Scopul procesării este completarea de model sau eliminarea zgomotului, asociindusau eliminarea zgomotului, asociindu--se modelul de se modelul de intrare incomplet sau afectat de zgomot cu el intrare incomplet sau afectat de zgomot cu el îînsunsuşşi la i la ieieşşireire. .

Structura unei memorii Structura unei memorii heteroasociativeheteroasociative

FyFx

Structura unei memorii Structura unei memorii autoasociativeautoasociative

7

MModalităodalităţţii de proiectare a rede proiectare a reţţelelor neuronale ca elelor neuronale ca şşi memorii i memorii asociative, care asigasociative, care asigurăură convergenconvergenţţa a îînsprenspre::puncte de echilibru stabilpuncte de echilibru stabil -- uzualuzual;;solusoluţţii periodice;ii periodice;traiectorii haotice;traiectorii haotice;

RRezultateezultate promipromiţţătoare ătoare îîn memorarea informan memorarea informaţţiei ca oscilaiei ca oscilaţţii ii periodice stabile periodice stabile şşi nestabile (generate de sisteme haotice). i nestabile (generate de sisteme haotice).

Cercetările neurologice Cercetările neurologice ((îîn special n special îîn simn simţţul mirosului) ul mirosului) din din ultimii ani vin să confirme ipoteza că modul procesare al ultimii ani vin să confirme ipoteza că modul procesare al informainformaţţiei iei îîn creierul uman este de tip n creierul uman este de tip ““haotichaotic””. .

SSe e şştie foarte putie foarte puţţin despre proiectarea unui sistem haotic care in despre proiectarea unui sistem haotic care să memoreze modele doritesă memoreze modele dorite -- Exploatarea potenExploatarea potenţţialului de ialului de procesare deschide noi perspective MA.procesare deschide noi perspective MA.

Implementarea unei memorii asociative are loc Implementarea unei memorii asociative are loc îîn două fazen două faze::îînvănvăţţarea celor p perechi de modele de asociat;area celor p perechi de modele de asociat;aplicarea la intrarea reaplicarea la intrarea reţţelei a oricăruia dintre modelele elei a oricăruia dintre modelele memorate va genera la iememorate va genera la ieşşire modelul asociat (ire modelul asociat (recallrecall););

MMetodeetode de implementare a unei memorii asociative cu de implementare a unei memorii asociative cu puncte de echilibru stabil: puncte de echilibru stabil: regula regula HebbHebb ( re( reţţeaua eaua HopfieldHopfield, memoria , memoria bidirectionalăbidirectională associativăassociativă a lui a lui KoskoKosko), ), decompunereadecompunerea îîn valori singulare (proprii) a n valori singulare (proprii) a modelelor de modelelor de îînmagazinat, nmagazinat, metoda metoda pseudoinverseipseudoinverseiregula delta generalizată regula delta generalizată reguli de tip probabilisticreguli de tip probabilistic ( ( îîn teoria armoniei, n teoria armoniei, mamaşşina ina BozmannBozmann))

CCerinerinţţee esenesenţţialeiale

OO capacitate de memorarecapacitate de memorare cât mai mare. cât mai mare. Capacitatea de Capacitatea de memorarememorare este numărul modelelor distincte pe care sistemul este numărul modelelor distincte pe care sistemul le poate le poate îînvănvăţţa cu precizie a cu precizie şşi rememora, deci coda i rememora, deci coda şşi decoda.i decoda.O bună O bună capabilitate de coreccapabilitate de corecţţie a erorilorie a erorilor. D. Dacă se aplică la acă se aplică la intrarea reintrarea reţţelei unul dintre modelele de intrare, afectat de elei unul dintre modelele de intrare, afectat de zgomot, rezgomot, reţţeaua ar trebui să conveargă către modelul asociat eaua ar trebui să conveargă către modelul asociat dorit ( dorit ( îîn condin condiţţiile unei erori cât mai mari);iile unei erori cât mai mari);Evitarea modelelor nedoriteEvitarea modelelor nedorite ((spuriousspurious patternspatterns) Un model ) Un model nedorit este un model parazit, pe care renedorit este un model parazit, pe care reţţeaua eaua şşii--l amintel aminteşşte te dedeşşi el nu a fost codat. Parametrii rei el nu a fost codat. Parametrii reţţelei trebuie ajustaelei trebuie ajustaţţi astfel i astfel îîncât rencât reţţeaua să memoreze doar modelele doriteeaua să memoreze doar modelele dorite, nu , nu şşi i altele, parazite;altele, parazite;Un număr redus de interconexiuniUn număr redus de interconexiuni. Sunt de dorit . Sunt de dorit interconexiuni de ordinul interconexiuni de ordinul îîntâi, ntâi, şştiut fiind faptul că cele de tiut fiind faptul că cele de ordin superior generează probleme ordin superior generează probleme îîn implementările VLSIn implementările VLSI; ; Un Un algoritm de determinare a ponderilor algoritm de determinare a ponderilor interconexiunilor rapid interconexiunilor rapid şşi aditivi aditiv îîn cazul necesităn cazul necesităţţii ii îîncorporării unui model nouncorporării unui model nou. .

8

O memorie asociativă aO memorie asociativă a) c) cu o bună performanu o bună performanţţă ă

bb) c) cu o slabă performanu o slabă performanţţăă

ρ

a) b)

Modelele care reprezintă informaţia utilă sunt reprezentate prin cercuri goale, iar cele nedorite prin cercuri pline. Este de dorit, ca în cazul în care modelele nedorite nu pot fi evitate, ele să fie cât mai îndepărtate de punctele în care se memorează informaţia utilă.

Aglomerarea modelelor memorate poate Aglomerarea modelelor memorate poate afecta precizia clasificăriiafecta precizia clasificării, deoarece modelele , deoarece modelele similare pot avea bazine de atracsimilare pot avea bazine de atracţţie care se ie care se suprapun.suprapun.Se Se şştie că dimensiunea retie că dimensiunea reţţelei trebuie să elei trebuie să

depădepăşşească numărul de modele pe care dorim ească numărul de modele pe care dorim să le memorămsă le memorăm, p, pentru ca sistemul să nu entru ca sistemul să nu îînvenveţţe modele noi cu pree modele noi cu preţţul uitării altora ul uitării altora ..

FuncFuncţţia de energie a unei RNia de energie a unei RN

O memorie asociativă poate fi interpretată ca un O memorie asociativă poate fi interpretată ca un sistem gravitasistem gravitaţţional n dimensional, ional n dimensional, îîn care se poate n care se poate localiza orice număr de corpuri de masă egală localiza orice număr de corpuri de masă egală îîn n indiferent ce punct. Forindiferent ce punct. Forţţa gravitaa gravitaţţională a fiecărui ională a fiecărui corp se exercită asupra tuturor corpurilor mai corp se exercită asupra tuturor corpurilor mai apropiate. apropiate.

Plasând un corp Plasând un corp îîntrntr--un punct dorit al sistemului un punct dorit al sistemului (starea ini(starea iniţţialăială) ) şşi imprimândui imprimându--i un impuls (regula de i un impuls (regula de îînvănvăţţare) elare) el va fi atras de corpul care exercită asupra va fi atras de corpul care exercită asupra lui cea mai mare forlui cea mai mare forţţă ă (de obicei cel mai apropiat(de obicei cel mai apropiat).).

O interpretare elegantă pentru comportamentul O interpretare elegantă pentru comportamentul unei RN, inunei RN, introdusă de trodusă de HopfieldHopfield îîn 1982 este de an 1982 este de a--i i asocia o asocia o funcfuncţţie de energieie de energie (o func(o funcţţie ie LyapunovLyapunov).).

9

FuncFuncţţia de energie ia de energie LyapunovLyapunov asociatăasociată uneiunei rereţţeleele

neuronaleneuronale PentruPentru o o memoriememorie asociativăasociativă modelelemodelelememoratememorate se se găsescgăsesc îînn minimeleminimele energeticeenergetice localelocale. .

FuncFuncţţia de energie ia de energie LyapunovLyapunov se poate reprezenta printrse poate reprezenta printr--un un relief de energie relief de energie îîn span spaţţiul intrăriloriul intrărilor. . DintrDintr--o stare inio stare iniţţială reială reţţeaua se deplasează eaua se deplasează îîn sensul n sensul minimizării funcminimizării funcţţiei de energie până atinge un minim iei de energie până atinge un minim locallocal..Dacă starea iniDacă starea iniţţială a RN este Qială a RN este Q, re, reţţeaua va evolua eaua va evolua îînspre cel mai apropiat bazin de atracnspre cel mai apropiat bazin de atracţţie, Pie, Pii, i, independent de ndependent de numărul bazinelor de atracnumărul bazinelor de atracţţie. Procedura de ie. Procedura de îînvănvăţţare va are va amplasa modelele dorite amplasa modelele dorite îîn minimele funcn minimele funcţţiei de energie, iei de energie, respectiv respectiv îîn Pn P11, P, P22, ....Pi, .... P, ....Pi, .... PNN. . Dacă RN Dacă RN evoleazăevolează îînspre un minim nspre un minim care care nunu a a fostfost îînvănvăţţat at îîn n procesul de codare, modelul respectiv procesul de codare, modelul respectiv care care reprezintreprezintă ă şşi un i un punct de echilibru stabil se numepunct de echilibru stabil se numeşşte te model nedoritmodel nedorit((spuriousspurious).).EvoluEvoluţţiaia rereţţeleielei dintrdintr--oo starestare iniiniţţialăială se numese numeşştete traiectorietraiectorie şşi i are are locloc îînsprenspre unun minimminim local, local, îînsprenspre o vale, o vale, îînnsprespre celcel maimaiapropiatapropiat atractoratractor..

SpaSpaţţiul tuturor stărilor posibile ale reiul tuturor stărilor posibile ale reţţelei se numeelei se numeşşte te spaspaţţiul iul de fazăde fază ((phasephase spacespace), ), terminologie preluată din fizicăterminologie preluată din fizică. . Minimele locale ale funcMinimele locale ale funcţţiei de energie sunt punctele de iei de energie sunt punctele de echilibru stabilechilibru stabil, a, adică punct din care RN nudică punct din care RN nu--şşi mai schimbă i mai schimbă starea. Aceste puncte stabile se numesc starea. Aceste puncte stabile se numesc atractoriatractori, , deoarece deoarece fiecare fiecare atractoratractor exercită influen exercită influenţţă ă îîn jurul său n jurul său îîntrntr--un un domeniu numitdomeniu numit bazin de atracbazin de atracţţie. ie. Din acest motivDin acest motiv rereţţelelor cu reacelelor cu reacţţie cu conexiuni simetrice se ie cu conexiuni simetrice se numesc numesc şşi i rereţţele cu ele cu atractoriatractori..

Stabilitatea unei RNStabilitatea unei RNUn Un systemsystem dinamic este stabildinamic este stabil ((ElbertElbert 1984 1984) d) dacă i se poate acă i se poate găsi o funcgăsi o funcţţie de energie care săie de energie care să--l caracterizeze (funcl caracterizeze (funcţţia ia LyapunovLyapunov) d) descrescătoare deescrescătoare de--a lungul tuturor traiectoriilor a lungul tuturor traiectoriilor posibile:posibile:

0L <•

10

Un Un systemsystem dinamic este asimptotic stabildinamic este asimptotic stabil dacă dacă

ÎÎn echilibru stabil traiectoria ren echilibru stabil traiectoria reţţelei poate trece pe elei poate trece pe lângă punctul de echilibru fără alângă punctul de echilibru fără a--l atinge. l atinge.

ÎÎn echilibru asimptotic stabil traiectoria ren echilibru asimptotic stabil traiectoria reţţelei atinge elei atinge punctul de echilibru exponenpunctul de echilibru exponenţţial de rapid. ial de rapid.

CondiCondiţţia de existenia de existenţţă a unei funcă a unei funcţţii de energie ii de energie LyapunovLyapunov este suficientă este suficientă, d, dar nu necesară ca o rear nu necesară ca o reţţea ea să fie asimptotic stabilăsă fie asimptotic stabilă..

Se poate demonstra, Se poate demonstra, că datorită conexiunilor că datorită conexiunilor simetrice, o resimetrice, o reţţea de tip cu reacea de tip cu reacţţie inversă este global ie inversă este global stabilăstabilă..

0L ≤•

OptimizareaOptimizarea

-- o tehnică pentru rezolvarea unor probleme ce o tehnică pentru rezolvarea unor probleme ce implică minimizarea unei funcimplică minimizarea unei funcţţii de cost asociate ii de cost asociate îîn n raport cu niraport cu nişşte constrângeri impuse, te constrângeri impuse, îîntrntr--un mod un mod similar asocierii energiei sistemelor fizice . similar asocierii energiei sistemelor fizice .

-- FuncFuncţţia de cost este funcia de cost este funcţţia de energieia de energie asociată asociată RN. PRN. Prin minimizare RN converge către o stare rin minimizare RN converge către o stare stabilă producând o solustabilă producând o soluţţie optimă ie optimă (sau (sau lângă lângă optim). optim). ÎÎnn problemeleproblemele de de optimizareoptimizare se se urmăreurmăreşştete găsireagăsireaminimuluiminimului global al global al funcfuncţţieiiei de de energieenergie asociateasociate. .

a)a)ReliefulRelieful funcfuncţţieiiei de de enrgieenrgie asociateasociate uneiunei rereţţeleele cucu reacreacţţieie b) b) TraiectoriileTraiectoriile posibileposibile pentrupentru RN RN dindin fig. a) c) fig. a) c) DinamicaDinamica uneiunei rereţţeleele cucureacreacţţieieCuCu linielinie plinăplină ss--auau figuratfigurat dealuriledealurile şşi i cucu linielinie punctatăpunctată văilevăile. . FiecareFiecare

conturcontur, , curbăcurbă de de nivelnivel, , corespundecorespunde uneiunei aceleiaaceleiaşşii valorivalori a a energieienergiei..

11

ReReţţeaua eaua HopfieldHopfield

ReReţţeaua eaua HopfieldHopfield este o reeste o reţţea neuronală cu reacea neuronală cu reacţţie, ie, îîn care n care starea fiecărui neuron la un moment dat depinde starea fiecărui neuron la un moment dat depinde şşi de i de ieieşşirile tuturor celorlalirile tuturor celorlalţţi neuroni la momentul anterior.i neuroni la momentul anterior.

Are un singur strat de neuroni, complet Are un singur strat de neuroni, complet interconectainterconectaţţi, i, adică fiecare neuron este conectat cu adică fiecare neuron este conectat cu totoţţi ceilali ceilalţţi. i. IeIeşşirile neuronilor sunt binare 0irile neuronilor sunt binare 0 şşi 1, sau bipolare i 1, sau bipolare --1 1 şşii +1 +1 . . Matricea ponderilor este simetricăMatricea ponderilor este simetrică wwijij==wwjiji..AutoreacAutoreacţţiaia est nulă w est nulă wiiii=0 (fenomen observat de =0 (fenomen observat de alfelalfel şşi i îîn neuronii biologici). Aceasta n neuronii biologici). Aceasta îîmbunătămbunătăţţeeşşte te performanperformanţţele obele obţţinute cu modele bipolare.inute cu modele bipolare.Există două modalităExistă două modalităţţi de implementare a unei i de implementare a unei rereţţele neuronale ele neuronale HopfieldHopfield îîn n funfunţţieie de aplicade aplicaţţia ia îîn n care este utilizatăcare este utilizată: : --ca sistem discret pentru o memorie asociativă ca sistem discret pentru o memorie asociativă --ca sistem continuu pentru o problemă de ca sistem continuu pentru o problemă de optimizare.optimizare.

1.1 Re1.1 Reţţeaua neuronală eaua neuronală HopfieldHopfield ca memorie asociativă ca memorie asociativă

ÎÎn funcn funcţţionarea unei reionarea unei reţţele neuronale ca memorie asociativă ele neuronale ca memorie asociativă există două fazeexistă două faze::de de îînmagazinare a informanmagazinare a informaţţiilor;iilor;de regăsire a informade regăsire a informaţţiei dorite din memorie (iei dorite din memorie (recallrecall sau sau retrievalretrieval); );

1.1. ÎÎnmagazinarea informanmagazinarea informaţţiiloriilor Fie un set de p modele Fie un set de p modele (bipolare) X(bipolare) X11, X, X22, X, X33, , …… XXPP, d, de dimensiune N,e dimensiune N, pe care pe care dorim să le memorămdorim să le memorăm, , numnumiteite modele prototip sau modele prototip sau fundamentale.fundamentale.

Ponderile interconexiunilor se determină cu o generalizare a Ponderile interconexiunilor se determină cu o generalizare a regulii lui regulii lui HebbHebb, , regula bipolară regula bipolară hebbianăhebbiană::

Sau matricialSau matricial

kj

p

1kkiij XXw ∑

=

=

∑=

=P

1kk

Tk

XXW .

12

ŢŢinând cont inând cont şşi de faptul că i de faptul că autoreacautoreacţţiaia trebuie să fie trebuie să fie nulă nulă wwiiii=0=0

N este dimensiunea reN este dimensiunea reţţelei elei HopfieldHopfield şşi a modelelor de i a modelelor de memorat memorat este matricea unitate de dimensiune N x Neste matricea unitate de dimensiune N x N ;;p este numărul modelelor memoratep este numărul modelelor memorate;;XXkk este model prototip este model prototip XXkk =[ X =[ X k1k1 X X k2k2 X k3X k3 …… X X kNkN];];termenul termenul p.Ip.I a fost introdus pentru anularea ponderilor de a fost introdus pentru anularea ponderilor de autoreacautoreacţţieie;;

∑=

−=P

1kk

Tk I.pX.XW

De exemplu pentru codarea modelului bipolar De exemplu pentru codarea modelului bipolar [1,[1,--1] 1] îîntrntr--o reo reţţea cu doi neuroni se obea cu doi neuroni se obţţine ine matricea Wmatricea W: :

Pentru a simplifica formalismul matematic al Pentru a simplifica formalismul matematic al regăsirii informaregăsirii informaţţiei se poate utiliza iei se poate utiliza şşi un i un termen de proportermen de proporţţionalitateionalitate

[ ] ⎥⎦

⎤⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡−

−=⎥

⎦

⎤⎢⎣

⎡−⎥

⎦

⎤⎢⎣

⎡−

−=⎥

⎦

⎤⎢⎣

⎡−−⎥

⎦

⎤⎢⎣

⎡− 2221

1211

wwww

0110

1001

1111

1001

.111.11

∑=

−=P

1kk

Tk N

I.pX.XN1W

Regăsirea informaRegăsirea informaţţiei dorite din memorieiei dorite din memorieUn model de intrare (bipolar) x =[ xUn model de intrare (bipolar) x =[ x11 xx22 xx33 …… xxNN] , N ] , N

dimensional, este impus ca stare a RN dimensional, este impus ca stare a RN HopfieldHopfield . . Tipic, acesTipic, acesta este o versiune incompletă sau afectată de zgomot a ta este o versiune incompletă sau afectată de zgomot a

unui model memorat. unui model memorat. Se actualizează starea neuronilor Se actualizează starea neuronilor îîn mod asincron,n mod asincron, adică un adică un

singur neuron singur neuron îîşşi schimbă starea la un moment dati schimbă starea la un moment dat, , îîn n conformitate cu funcconformitate cu funcţţia de activare.ia de activare.

Intrarea netă a acestui neuron depinde de ieIntrarea netă a acestui neuron depinde de ieşşirile tuturor irile tuturor celorlalcelorlalţţi:i:

(5)(5)

xxjj este starea de activare a neuronului j;este starea de activare a neuronului j;IIii este o intrare constantă este o intrare constantă, n, numită curent de polarizareumită curent de polarizare ;;

N este numărul neuronilor reN este numărul neuronilor reţţeleielei ;;

I]k[ x.w= 1]+[knetN

1jijjii ∑

=

+

13

Se Se aplică apoi funcaplică apoi funcţţia de activare care poate fi o funcia de activare care poate fi o funcţţie bipolară ie bipolară cu prag , cu prag , dată de reladată de relaţţiaia

(6)(6)

sausau funcfuncţţia ia signumsignum::

La o nouă iteraLa o nouă iteraţţie un alt neuron ie un alt neuron îîşşi schimbă starea i schimbă starea îîn n conformitate cu regula de actualizare.conformitate cu regula de actualizare.

Se determină pentru acesta intrarea netă cu relaSe determină pentru acesta intrarea netă cu relaţţia (5) ia (5) şşi apoi i apoi noua stare cu relanoua stare cu relaţţia (6). ia (6).

ÎÎn final RN ajunge n final RN ajunge îîntrntr--o stare invariantă o stare invariantă îîn timp, care satisface n timp, care satisface condicondiţţia de stabilitate, ia de stabilitate, adică adică îîntrntr--unul dintre unul dintre atractoriatractori..

⎪⎩

⎪⎨

⎧

θ<θ=

θ>=+

ii

iii

ii

i

]k[netdacă0]k[netdacă])k[net(f

]k[netdacă1])1k[net(f

]))k[netsgn(]1k[net(f ii =+

ObservaObservaţţiiii

1.Un 1.Un artefact al codării bipolare artefact al codării bipolare hebbienehebbiene este faptul că prin este faptul că prin memorarea modelului bipolar Xmemorarea modelului bipolar X se memorează implicit se memorează implicit şşi i modelul complementar modelul complementar XXcc , , care este un model nedorit.care este un model nedorit.

Fie de exemplu modelul X= [1,1] aplicat ca stare iniFie de exemplu modelul X= [1,1] aplicat ca stare iniţţială a ială a rereţţelei care a memorat modelul [1 elei care a memorat modelul [1 ––1] (anterior introduse).1] (anterior introduse).

PrintrPrintr--o actualizare asincronă un singur neuron o actualizare asincronă un singur neuron îîşşi schimbă i schimbă starea. Fie astarea. Fie acesta neuronul unu. cesta neuronul unu.

Doar prima coloană a Doar prima coloană a matriciimatricii pondere este implicată pondere este implicată (ponderile (ponderile neuronului unu către neuronul doineuronului unu către neuronul doi). ).

Starea neuronului 2 Starea neuronului 2 rămâne rămâne 1.1.

[ ] [ ]110110

.11W.X 1 −=⎥⎦

⎤⎢⎣

⎡−

−=

ObservaObservaţţiiii

Aplicând reAplicând reţţelei modelul [elei modelul [--1,1] prin W 1,1] prin W şşi actualizând i actualizând neuronul 2 se obneuronul 2 se obţţine aceeaine aceeaşşi stare a rei stare a reţţelei elei HopfieldHopfield

[[--1,1] . 1,1] . Deci deDeci deşşi si s--a dorit memorarea doar a modelului [1 a dorit memorarea doar a modelului [1 ––1] 1] , ,

prin codarea bipolară prin codarea bipolară hebbianăhebbiană a fost memorat a fost memorat şşi i modelul nedorit [modelul nedorit [--1,1 ] .1,1 ] .

2.Re2.Reţţeaua eaua HopfieldHopfield este stabilă este stabilă..Indiferent care este starea iniIndiferent care este starea iniţţială a reială a reţţelei elei HopfieldHopfield

anterior construite ea va evolua anterior construite ea va evolua îînspre unul dintre nspre unul dintre modelele memorate care reprezintă modelele memorate care reprezintă atractoriiatractorii, a, adică dică punctele de echilibru stabilpunctele de echilibru stabil

14

3. 3. Actualizarea asincronă permite Actualizarea asincronă permite interpretarea informainterpretarea informaţţiei iei procesate de reprocesate de reţţeaua eaua HopfieldHopfield ca un proces aleatorca un proces aleator. .

Pentru Pentru actualizarea neuronilor uneori se stabileactualizarea neuronilor uneori se stabileşşte o schemă te o schemă de actualizarede actualizare astfel astfel îîncât ncât îîn medie fiecare neuron să fie n medie fiecare neuron să fie actualizat de acelaactualizat de acelaşşi număr de orii număr de ori. .

Actualizarea asincronă după o lege probabilistică permite Actualizarea asincronă după o lege probabilistică permite caracterizarea statistică a recaracterizarea statistică a reţţelei elei HopfieldHopfield (ancorarea ei (ancorarea ei îîn n fizica statisticăfizica statistică). ).

EvoluEvoluţţia stărilor reia stărilor reţţelei elei HopfieldHopfield îîn span spaţţiul {0,1}iul {0,1}NN sau{sau{--1,1}1,1}NN nu este nu este îîn mod unic definită de o anume stare n mod unic definită de o anume stare iniiniţţialăială, ea depinde de schema de actualizare. , ea depinde de schema de actualizare.

4. Contribu4. Contribuţţia cea mai importantă a lui ia cea mai importantă a lui HopfieldHopfield este este introducerea unei introducerea unei funcfuncţţii de energie ii de energie îîn analiza n analiza comportamentuluicomportamentului RN. Aceasta permite abordarea RN RN. Aceasta permite abordarea RN îîntrntr--o manieră similară sistemelor fiziceo manieră similară sistemelor fizice.. Fie funcFie funcţţia ce ia ce caracterizează recaracterizează reţţeaua eaua HopfieldHopfield

∑∑∑== =

θ+−=n

1iii

n

1i

n

1jjiij x.2x.x.w)x(E

Se Se poate demonstra că de fiecare dată când un neuron poate demonstra că de fiecare dată când un neuron îîşşi i schimbă stareaschimbă starea, , E(x) descreE(x) descreşşte, ate, adică reprezintă un sistem dică reprezintă un sistem stabilstabil

5.Capacitatea de memorare a re5.Capacitatea de memorare a reţţelei elei HopfieldHopfield este cea mai este cea mai mare dintre toate memoriile asociative cunoscutemare dintre toate memoriile asociative cunoscute. .

Capacitatea de memorareCapacitatea de memorare este numărul modelelor distincte este numărul modelelor distincte pe care sistemul le poate pe care sistemul le poate îînvănvăţţa cu precizie a cu precizie şşi rememora, i rememora, deci coda deci coda şşi decoda.i decoda.

Pentru determinarea capacităPentru determinarea capacităţţii de memorare se poate folosi ii de memorare se poate folosi şşi o relai o relaţţie empirică aproximativă ie empirică aproximativă C=0,15N.C=0,15N.

NlogNC

2

=

ExempluExemplu

15

ReReţţeaua eaua HopfieldHopfield continuă continuă

Reprezintă o generalizare a RN Reprezintă o generalizare a RN HopfieldHopfield discrete. discrete. Este o RN dinamică asimptotic stabilăEste o RN dinamică asimptotic stabilă. Evolu. Evoluţţia reia reţţelei elei îîn span spaţţiul de fază este continuă iul de fază este continuă îîn timp, n timp, îîn sensul n sensul minimizării funcminimizării funcţţiei de energie asociate E(x(t))iei de energie asociate E(x(t))-- de unde de unde denumirea de RN denumirea de RN HopfieldHopfield de tip gradient. de tip gradient. ÎÎn final, n final, rereţţeaua se va stabiliza eaua se va stabiliza îîntrntr--unul dintre unul dintre atractoriiatractorii spaspaţţiului iului stărilor posibilestărilor posibile, , îîntrntr--un minim energetic.un minim energetic.Dacă funcDacă funcţţia de energie asociată RN este o funcia de energie asociată RN este o funcţţia de cost ia de cost supusă unor supusă unor constrconstrâângeringeri îîntrntr--o problemă de optimizareo problemă de optimizare, , starea finală a restarea finală a reţţelei va fi soluelei va fi soluţţia problemei. Astfel ia problemei. Astfel îîncât ncât pentru repentru reţţeaua eaua HopfieldHopfield optimizarea este o aplicaoptimizarea este o aplicaţţie ie directădirectă. Prin minimizarea func. Prin minimizarea funcţţiei asociate RN converge iei asociate RN converge către o stare stabilă producând o solucătre o stare stabilă producând o soluţţie optimă ie optimă (sau (sau lângă lângă optim). optim). O RN de tip gradient poate fi complet descrisă printrO RN de tip gradient poate fi complet descrisă printr--un un set de ecuaset de ecuaţţii diferenii diferenţţiale neliniare cu termeni constaniale neliniare cu termeni constanţţii

OptimizareaOptimizarea este o tehnică pentru rezolvarea unor este o tehnică pentru rezolvarea unor probleme ce implică minimizarea unei probleme ce implică minimizarea unei uneiunei funcfuncţţii de cost ii de cost asociate asociate îîn raport cu nin raport cu nişşte constrângeri impuse . te constrângeri impuse . O problemă celebră de optimizare este problema comis O problemă celebră de optimizare este problema comis voiajorului. Acesta trevoiajorului. Acesta trebuie să viziteze N orabuie să viziteze N oraşşe ,e , trecând o trecând o singură dată prin fiecare orasingură dată prin fiecare oraşş. Comis voiajorul cunoa. Comis voiajorul cunoaşşte te distandistanţţa dintre oraa dintre oraşşele pe care trebuie să le vizitezeele pe care trebuie să le viziteze, problema , problema este de a determina traseul optim (este de a determina traseul optim (îîn ce ordine să treacă prin n ce ordine să treacă prin fiecare orafiecare oraşş) , astfel ) , astfel îîncât distanncât distanţţa pe care o parcurge să fie a pe care o parcurge să fie minimăminimă..Aceasta este o problemă de tip Aceasta este o problemă de tip combinatorialcombinatorial, n, numărul umărul traseelor posibile fiind N!=1x2x3xtraseelor posibile fiind N!=1x2x3x…….xN. Dintre acestea 2N .xN. Dintre acestea 2N au originea au originea îîn cele N oran cele N oraşşe, e, îîn cele două direcn cele două direcţţii posibile ii posibile avandavand lungimi identice lungimi identice. D. Deci există practic eci există practic (N(N--1) !1) !//2 t2 trasee rasee distincte ce trebuie evaluate. Nudistincte ce trebuie evaluate. Numărul este relativ comod mărul este relativ comod pentru valori mici ale lui N , dar crepentru valori mici ale lui N , dar creşşte exponente exponenţţial cu ial cu valoarea lui N. se spuvaloarea lui N. se spune că este o problemă de tip NPne că este o problemă de tip NP--complet . (vezi ficomplet . (vezi fişşierul ierul wordword HopfieldHopfield continuă continuă))

AplicaAplicaţţiile RN iile RN HopfieldHopfield continuecontinue

ÎÎn toate problemele de optimizare:n toate problemele de optimizare:--comutarea de pachetecomutarea de pachete--controlul admisiei conexiuniicontrolul admisiei conexiunii--rutarerutareComutarea de pacheteComutarea de pacheteÎÎn ren reţţelele de comunicaelele de comunicaţţii de mare viteză poate apare fenomenul ii de mare viteză poate apare fenomenul

de congestie atunci de congestie atunci candcand două sau mai multe pachete intră două sau mai multe pachete intră îîn n competicompetiţţie ie ptrptr. acela. acelaşşi nod de comutare.i nod de comutare. Pentru controlul Pentru controlul comutării de pachete se folosesc metodele cozilor de comutării de pachete se folosesc metodele cozilor de aaşşteptare:teptare:

--la intrarela intrare--la iela ieşşireireMetoda cozii de aMetoda cozii de aşşteptare la ieteptare la ieşşire asigură cea mai bună ire asigură cea mai bună

performanperformanţţă din punctul de vedere al ă din punctul de vedere al îîntarzieriintarzierii sau al sau al capacităcapacităţţii globale, ii globale, dar comutatorul de dimensiune NXN dar comutatorul de dimensiune NXN trebuie să opereze de N ori mai repede decât regitrebuie să opereze de N ori mai repede decât regisstrultrul de de ieieşşire ire şşi necesită mai multe registre i necesită mai multe registre ptrptr. fiecare port de ie. fiecare port de ieşşireire

16

Metoda cozii de aMetoda cozii de aşşteptare la intrare este mai simplă teptare la intrare este mai simplă şşi pot fi i pot fi atinse performanatinse performanţţe comparabile cu metoda cozii de ae comparabile cu metoda cozii de aşşteptare teptare la iela ieşşire dacă se rezolvă problema ire dacă se rezolvă problema blocării la cap de linieblocării la cap de linie((headhead of line of line blockingblocking))Blocarea la cap de linieBlocarea la cap de linie este fenomenul prin care un pachet este fenomenul prin care un pachet dintrdintr--o coadă de ao coadă de aşşteptare care functeptare care funcţţionează pe baza ionează pe baza principiului primul intrat primul ieprincipiului primul intrat primul ieşşit FIFO nu poate accesa it FIFO nu poate accesa portul de ieportul de ieşşire deoarece pachetul din faire deoarece pachetul din faţţa lui a lui îîn registru este n registru este blocat la intrarea blocat la intrarea îîn portul de ien portul de ieşşire. Daire. Datorită acestui torită acestui fenomen capacitatea globală a unui comutator de tip crossbar fenomen capacitatea globală a unui comutator de tip crossbar NXN scade pană la NXN scade pană la 0,58 0,58 din capacitatea disponibilă pentru din capacitatea disponibilă pentru valori mari ale lui N.valori mari ale lui N.Metoda bypass poate soluMetoda bypass poate soluţţiona problema permiiona problema permiţţând ând şşi altor i altor pachete, pachete, îînafara primului din coada de anafara primului din coada de aşşteptare să fie teptare să fie transmise, atunci când primul este blocat.transmise, atunci când primul este blocat.Folosind Folosind şşi un controler neuronal pentru programarea i un controler neuronal pentru programarea pachetelor capacitatea globală a comutatorului va fi pachetelor capacitatea globală a comutatorului va fi maximizatămaximizată

Comutare de pachete cu controler neuronalComutare de pachete cu controler neuronal

Reţeade comutare

Porturi de intrare

Porturi de ieşire

Controler neuronal

Fereastrăj=1.....F

2

N

11

2

N

ControlerulControlerul neuronal neuronal vava programaprograma transferultransferulpachetelorpachetelor de date de date astfelastfel îîncncâât capacitatea globală a t capacitatea globală a comutatorului să fie maximizatăcomutatorului să fie maximizatăCozile de bypass sunt amplasate la intrarea reCozile de bypass sunt amplasate la intrarea reţţelei elei de comutare. de comutare. Lungimea F a ferestrei este relativ mică faLungimea F a ferestrei este relativ mică faţţă de ă de lungimea cozii de alungimea cozii de aşşteptare.teptare.Toate pachetele din fereastra F sunt Toate pachetele din fereastra F sunt îîn competin competiţţie ie ptrptr. destina. destinaţţie ie îîn fiecare n fiecare slotslot. . Este selectat un set de pachete Este selectat un set de pachete nonblocantenonblocante astfel astfel îîncât să fie maximizat numărul de pachete ncât să fie maximizat numărul de pachete selectate cu condiselectate cu condiţţia ca să fie evitată transmisia ia ca să fie evitată transmisia îînafara succesiuniinafara succesiunii

17

Trebuie satisfăcute următoarele constrângeriTrebuie satisfăcute următoarele constrângeri1.1. îîn fiecare n fiecare randrand, d, din fereastrăin fereastră, e, este selectată ste selectată ptrptr. .

transmisie cel mult o celulătransmisie cel mult o celulă2.2. fiecare celulă selectată fiecare celulă selectată îîntrntr--un un slotslot trebuie să trebuie să aibeaibe o o

adresă destinaadresă destinaţţie distinctăie distinctă3.3. celulele cu o aceeacelulele cu o aceeaşşii adresă destinaadresă destinaţţie sunt ie sunt

programate succesivprogramate succesiv

ReReţţeaua neuronală va avea un număr de eaua neuronală va avea un număr de NxFNxF neuroni, unde Nneuroni, unde N este numărul registrelor de intrare este numărul registrelor de intrare şşi F este dimensiunea ferestrei din care se face i F este dimensiunea ferestrei din care se face selecselecţţia celulelor ia celulelor ptrptr. transfer. Deci fiecare neuron . transfer. Deci fiecare neuron va corespunde unei celule din fereastrăva corespunde unei celule din fereastră..

Prin minimizarea funcPrin minimizarea funcţţiei de energie, iei de energie, îîn fiecare n fiecare rând, resrând, respectiv coloanăpectiv coloană, va fi activ un singur , va fi activ un singur neuron. neuron. Fiecare neuron are doi indici i Fiecare neuron are doi indici i ptpt registrul de intrare registrul de intrare şşi j pentru pozii j pentru poziţţia celulei pe cia celulei pe caare o reprezintă re o reprezintă îîn n fereastrăfereastră. . Dacă un neuron este activDacă un neuron este activ, c, celula corespunzătoare elula corespunzătoare este selectată pentru transfer este selectată pentru transfer îîn n slotulslotul curent. curent. Ponderile interconexiunilor dintre neuroni sunt Ponderile interconexiunilor dintre neuroni sunt determinate determinate îîn timpul fiecărui n timpul fiecărui slotslot, prin , prin identificarea cu funcidentificarea cu funcţţia de energie generală a reia de energie generală a reţţelei elei HopfieldHopfield.. Ele codează constrângerile impuse Ele codează constrângerile impuse transferului.transferului.

FuncFuncţţia de activare a neuronilor este:ia de activare a neuronilor este:

ooijij este ieeste ieşşireaireanetnetijij este intrarea netă este intrarea netăββ este un parametru de câeste un parametru de câşştigtig

ijnetije110 β−+

=

18

Din cele 3 Din cele 3 constrangericonstrangeri se formulează următoarea se formulează următoarea funcfuncţţie de energieie de energie

A,B,C,D sunt constante A,B,C,D sunt constante positivepositive..IIijij sunt intrări externe cu valoarea sunt intrări externe cu valoarea 1 d1 dacă poziacă poziţţia j a ia j a registrului i conregistrului i conţţine o celulă ine o celulă şşi 0 i 0 îîn restn restθθijij este pragul neuronului jeste pragul neuronului jMatricea T cu elemente tij,Matricea T cu elemente tij,pqpq este o matrice este o matrice îîmprămprăşştiatătiată, d, dependentă de modelul de trafic ependentă de modelul de trafic şşi i desemnează conectivitatea dintre neuronul desemnează conectivitatea dintre neuronul ijij şşi i neuronul neuronul pqpq

∑∑∑∑∑∑∑∑ ∑= == =

≠= == = =

θ−−+−=N

1i

F

1jijij

N

1i

F

1j

N

ip1p

F

1qpqijpq,ij

N

1i

F

1j

F

1q

2iqij o)D(Coot

2B)oI(

2AE

⎩⎨⎧

=restîn0

tinaţinaceeaşceeaaupqcelulaşiijceluladacă1t pq,ij

Primul termen este minimizat dacă un singur Primul termen este minimizat dacă un singur neuron este activ neuron este activ îîn fiecare n fiecare randrand..IIijij va forva forţţa neuronul a neuronul ijij pe ON dacă pozi pe ON dacă poziţţia ia corespunzătoare a registrului este ocupată de o corespunzătoare a registrului este ocupată de o celulăcelulăAl doilea termen este nul, Al doilea termen este nul, minim, doarminim, doar dacă nu dacă nu există blocareexistă blocare, a, adică nu există celule selectate dică nu există celule selectate ptrptr. . transfer cu aceeatransfer cu aceeaşşi destinai destinaţţie.ie.

∑∑ ∑= = =

−N

1i

F

1j

F

1q

2iqij )oI(

2A

∑∑∑∑= =

≠= =

N

1i

F

1j

N

ip1p

F

1qpqijpq,ij oot

2B

Al treilea termen forAl treilea termen forţţează transmisia ează transmisia îîn succesiune. Pragurile n succesiune. Pragurile neuronilor neuronilor θθijij sunt dependente de pozisunt dependente de poziţţia neuronului ia neuronului îîn n fereastrăfereastră..

ToToţţi neuronii din aceeai neuronii din aceeaşşi coloană au acelai coloană au acelaşşi prag i prag şşi neuronii i neuronii cei mai din stânga au cele mai mici praguricei mai din stânga au cele mai mici praguri

Termenul al treilea are valoare minimă dacă suma pragurilor Termenul al treilea are valoare minimă dacă suma pragurilor tuturor neuronilor activi este maximizatătuturor neuronilor activi este maximizată. D. D este un termen este un termen de polarizare cu rol de a mări convergende polarizare cu rol de a mări convergenţţa. a. Includerea a astfel Includerea a astfel de termeni este importantăde termeni este importantă, dar este, dar este doar o chestiune de doar o chestiune de experienexperienţţăă....

)Fj1(Fj

ij ≤≤=θ

∑∑= =

θ−N

1i

F

1jijij o)D(C

19

Prin minimizarea funcPrin minimizarea funcţţiei de energie iei de energie îîn final n final îîn n fiecare rând, respefiecare rând, respectiv coloanăctiv coloană, va fi activ un singur , va fi activ un singur neuron . neuron .

Stările neuronilor reprezintă un set optim de celule Stările neuronilor reprezintă un set optim de celule nonblocantenonblocante îîn timpul unui n timpul unui slotslot. .

O problemă care poate apare este oprirea O problemă care poate apare este oprirea îîntrntr--un un minim local minim local şşi nu i nu îîntrntr--unul global dorit.unul global dorit.

Experimentele arată că oprirea Experimentele arată că oprirea îîntrntr--un minim local un minim local atrage doar o degradare uatrage doar o degradare uşşoară a calităoară a calităţţii soluii soluţţiilor iilor şşi i nu o violare a constrângerilor problemei.nu o violare a constrângerilor problemei.

Figura 5 arată că probabilitatea de pierdere a celulelor este mai mică cu controlerul neuronal pentru o aceeaşi mărime registrului, a ferestrei şi încărcare a traficului, decât cele obţinute prin metoda cozii de aşteptare la ieşire şi cea metoda secvenţială bypass (convenţională).

Figura 6 prezintă variaţia raportului între capacitatea globală obţinută cu controlerul cu RN şi cea obţinută prin căutarea exhaustivă, în funcţie de mărimea comutatorului N. Căutarea exhaustivă generează soluţii globale optime.Ptr. N=128 şi F=8 capacitatea maximă obţinută prin căutarea exhaustivă a fost 0,973. Raportul dintre capacitatea obţinută pentru controlerul neuronal şi cea prin căutarea exhaustivă a fost peste 0,98 pentru valori mari ale lui N. Practic s- a înregistrat o scădere de 2% faţă de soluţiile optime globale.

1

ReReţţele neuronale ele neuronale autoorganizatoareautoorganizatoare(cu (cu îînvănvăţţare are competitivcompetitivăă))

ReReţţelele neuronale abordate elele neuronale abordate îîn capitolele precedente n capitolele precedente îînvanvaţţă să implementeze o transformare ă să implementeze o transformare , din , din perechile de modele intrare perechile de modele intrare {{xxpp}}-- modele de iemodele de ieşşire ire dorite dorite {{ddpp}}. . Există Există îînsă probleme nsă probleme îîn care nu dispunem de setul n care nu dispunem de setul de modele dorite ci doar de modelele de intrare. de modele dorite ci doar de modelele de intrare. ReReţţeaua neuronală trebuie să găsească singură eaua neuronală trebuie să găsească singură informainformaţţia relevantă din exempleleia relevantă din exemplele {{xxpp}} care i se care i se aplică la intrareaplică la intrare, p, pe baza similarităe baza similarităţţii acestora. ii acestora. Dacă există Dacă există şşi modelele de iei modelele de ieşşire dorite, acestea pot fi ire dorite, acestea pot fi folosite ulterior la o rafinare a parametrilor refolosite ulterior la o rafinare a parametrilor reţţelei elei autoorganizatoareautoorganizatoare..

Câteva probleme din această categorie sunt următoareleCâteva probleme din această categorie sunt următoarele: :

Gruparea Gruparea îîn categorii RN trebuie să găsească singură criteriul n categorii RN trebuie să găsească singură criteriul de clasificare de clasificare şşi să realizeze gruparea modelelor de intrarei să realizeze gruparea modelelor de intrare..Cuantizarea vectorială RN trebuie să determine discretizarea Cuantizarea vectorială RN trebuie să determine discretizarea optimă a spaoptimă a spaţţiului continuu de intrare. Intrarea iului continuu de intrare. Intrarea îîn sistem este n sistem este modelul x, n dimensional, iar iemodelul x, n dimensional, iar ieşşirea este o reprezentare irea este o reprezentare discretă a spadiscretă a spaţţiului de intrare.iului de intrare.Reducerea dimensiunii Modelele de intrare sunt grupate Reducerea dimensiunii Modelele de intrare sunt grupate îîntrntr--un subspaun subspaţţiu care are dimensiune mai redusă decât iu care are dimensiune mai redusă decât dimensiunea spadimensiunea spaţţiului de intrare. Sisiului de intrare. Sistemul neuronal trebuie temul neuronal trebuie să să îînvenveţţe transformarea optimă astfel e transformarea optimă astfel îîncât cea mai mare ncât cea mai mare parte din distribuparte din distribuţţia modelelor de intrare să se regăsească la ia modelelor de intrare să se regăsească la ieieşşire.ire.Extragerea de caracteristici. RN trebuExtragerea de caracteristici. RN trebuie să extragă trăsăturile ie să extragă trăsăturile caracteristice esencaracteristice esenţţiale ale datelor de intrare. Adiale ale datelor de intrare. Adesea aceasta esea aceasta implică implică şşi o reducere a dimensiunii.i o reducere a dimensiunii.

Arhitectura unei reArhitectura unei reţţele neuronale cu ele neuronale cu îînvănvăţţare competitivaare competitivaUnităţile unui strat se împart în grupări (bazine), care nu se suprapun. Numărul de unităţi poate varia de la o grupare la alta. Fiecare unitate primeşte conexiuni excitatorii de la toate unităţile din stratul anterior şi transmite conexiuniinhibitorii către toate unităţile grupării (stratului) din care face parte. Unităţile unei grupări intra în competiţie pentru a răspunde unui model de intrare dat.

2

Vectorii pondere sunt iniVectorii pondere sunt iniţţializaializaţţi aleator, de obicei la valorile i aleator, de obicei la valorile unui subset de modele de intrare. unui subset de modele de intrare. ÎÎn majoritatea ren majoritatea reţţelelor elelor autoorganizatoareautoorganizatoare atât modelele de atât modelele de intrare cât intrare cât şşi vectorii pondere sunt normalizai vectorii pondere sunt normalizaţţi, având acelai, având acelaşşi i număr de N elementenumăr de N elemente. Astfel atât modelele de intrare cât . Astfel atât modelele de intrare cât şşi i vectorii pondere au aceeavectorii pondere au aceeaşşi lungime i lungime şşi pot fi interpretate ca i pot fi interpretate ca şşi puncte pe o sferă N dimensională i puncte pe o sferă N dimensională La aplicarea unui model de intrare fiecare neuron procesează La aplicarea unui model de intrare fiecare neuron procesează intrarea netăintrarea netă::

Se determină starea de activare a neuronilor prin trecerea Se determină starea de activare a neuronilor prin trecerea intrării nete prin funcintrării nete prin funcţţia de activare. ia de activare. Se selectează apoi Se selectează apoi neuronul câneuronul câşştigător printrtigător printr--una dintre cele două modalităuna dintre cele două modalităţţi i posibile:posibile:

∑=

==N

1ij

Tijij w.xxwnet

Neuronul câNeuronul câşştigător este declarat neuronul cu cea mai mare tigător este declarat neuronul cu cea mai mare stare de activare astare de activare acc. .

Neuronul câNeuronul câşştigător este declarat neuronul cu cea mai mică tigător este declarat neuronul cu cea mai mică intensitate de intrare intensitate de intrare IjIj definită de rela definită de relaţţia:ia:

unde D este o distanunde D este o distanţţă metrică oarecareă metrică oarecareCâteva distanCâteva distanţţe metrice,e metrice, uzual utilizate uzual utilizate, s, sunt următoareleunt următoarele::

Norma euclidianăNorma euclidiană, d, dată de amplitudinea vectorului diferenată de amplitudinea vectorului diferenţţă ă ::

d = ||xd = ||x--v || =|| v || =|| δδ|| = (|| = (δδ TT δδ ))1/21/2

cjaa cj =∀⟨

)x,w(DI jJ =

( ) ( ) ( )2nn

222

211 vx+.....vx+vx=v-x

Pătratul amplitudinii vectorului diferenPătratul amplitudinii vectorului diferenţţăă, o simplificare , o simplificare fafaţţă de cazul anterioră de cazul anterior. .

d = ||xd = ||x--v ||v ||22 =|| =|| δδ|| || 22 = (= (δδ TT δδ ) ) DistanDistanţţa a ManhattanManhattan, c, care este o sumă a valorilor absolute ale are este o sumă a valorilor absolute ale coordonatelor vectorului diferencoordonatelor vectorului diferenţţăă::

ProiecProiecţţia lui x pe v ia lui x pe v -- cea mai simplă măsură a asemănării cea mai simplă măsură a asemănării vectorilor normalizavectorilor normalizaţţi:i:

d = d = vvTT ⋅⋅x = || v ||x = || v ||⋅⋅|| x |||| x ||⋅⋅coscosαα

∑=

δ=p

j

id1

||

3

Se recomandă ca cei doi vectori să fie normalizaSe recomandă ca cei doi vectori să fie normalizaţţi i îînainte de nainte de măsuraremăsurare: || x ||=|| v ||=1. : || x ||=|| v ||=1. DistanDistanţţa a HammingHamming::

Exemplu: fie vectorii x = [1 1 Exemplu: fie vectorii x = [1 1 --1 1] 1 1] şşi v = [1 i v = [1 --1 1 --1 1 --1].1].•• distandistanţţa a eulidianăeulidiană = sqrt(0= sqrt(022 + 2+ 222 + 0+ 022 + 2+ 222) = 2.83) = 2.83•• distandistanţţa a ManhattanManhattan = 0 + 2 + 0 + 2 = 4= 0 + 2 + 0 + 2 = 4•• distandistanţţa a HammingHamming = 0 + 1 + 0 + 1 = 2= 0 + 1 + 0 + 1 = 2•• distandistanţţa ca produs = [1 1 a ca produs = [1 1 --1 1]1 1]⋅⋅[1 [1 --1 1 --1 1 --1]1]TT = 0= 0

⎩⎨⎧

≠=

====∑ vpentru x 1vpentru x 0

|vx| j

j

d

Odată selectat neuronul câOdată selectat neuronul câşştigător tigător îînvănvăţţarea are loc prin area are loc prin modificarea ponderilor, conform unei strategii de tip modificarea ponderilor, conform unei strategii de tip competicompetiţţie, cunoscute ie, cunoscute îîn literatura sub numele de n literatura sub numele de "câ"câşştigătorul ia totul tigătorul ia totul ".".

Din acest motiv Din acest motiv RN RN autoorganizatoareautoorganizatoare se numesc se numesc şşi RN i RN competitive. competitive. Neuronul câNeuronul câşştigătortigător, c, cu intrarea netă maximă u intrarea netă maximă (mini(minimămă) t) tinde inde către valoarea de activare maximăcătre valoarea de activare maximă, a, adică dică 1, 1, îîn timp ce ton timp ce toţţi i ceilalceilalţţi tind către valoarea minimăi tind către valoarea minimă, zero, printr, zero, printr--un proces un proces iterativ de inhibiiterativ de inhibiţţie laterală ie laterală maxnetmaxnet ((minnetminnet).).ÎÎn decursul anilor, mai muln decursul anilor, mai mulţţi cercetători au elaborat RN i cercetători au elaborat RN competitive, având la baza diferite funccompetitive, având la baza diferite funcţţii de activare ii de activare şşi reguli i reguli de de îînvănvăţţare: are: KohonenKohonen, , vonvon derder MalsburgMalsburg (1973), (1973), GrossbergGrossberg(1972, 1976), (1972, 1976), FukushimaFukushima (1975), (1975), BienenstockBienenstock , , CooperCooper şşi i MunroMunro (1980), (1980), RumelhartRumelhart şşi i ZiepserZiepser (1985).(1985).

Interpretarea geometricăInterpretarea geometrică

Modelele de intrare Modelele de intrare şşi i vectorii pondere vectorii pondere normalizanormalizaţţi pot fi i pot fi reprezentareprezentaţţi prin puncte pe i prin puncte pe o sferă N dimensionalăo sferă N dimensională. . Conform regulii de Conform regulii de îînvănvăţţare de fiecare dată are de fiecare dată când un neuron câcând un neuron câşştigă tigă competicompetiţţia, via, vectorul său ectorul său pondere se pondere se îîndreaptă ndreaptă îînspre modelul de intrare nspre modelul de intrare x, x, deplasaredeplasare ilustrată ilustrată îîn n ffigiguraura alalăturatăăturată

4

ÎÎnvănvăţţarea grupelor de modele area grupelor de modele îîn cazul unei RN n cazul unei RN formate din trei neuroni formate din trei neuroni

2a 2b 2c

Dacă există Dacă există îîn RN mai muln RN mai mulţţi neuroni de iei neuroni de ieşşire decât numărul ire decât numărul grupărilor modelelor de intraregrupărilor modelelor de intrare, p, pe măsură ce RN e măsură ce RN îînvanvaţţăă, , vectorii pondere devin mai devectorii pondere devin mai deşşi acolo unde modelele de i acolo unde modelele de intrare sunt mai dese intrare sunt mai dese şşi mai rari, sau chiar abseni mai rari, sau chiar absenţţi acolo unde i acolo unde modelele de intrare sunt mai pumodelele de intrare sunt mai puţţine. ine. RN se adaptează pentru a măsura funcRN se adaptează pentru a măsura funcţţia densitate de ia densitate de probabilitate a modelelor de intrare. probabilitate a modelelor de intrare.

Estimarea funcEstimarea funcţţiei densitate de probabilitateiei densitate de probabilitateSe doreSe doreşşte ca vectorii te ca vectorii wwjj să se aranjeze să se aranjeze îîn span spaţţiul Riul RNN astfel astfel îîncât să ncât să îînvenveţţe funce funcţţia densitate de probabilitate a modelelor ia densitate de probabilitate a modelelor de intrare. de intrare. Aproape toate informaAproape toate informaţţiile referitoare la date din unele iile referitoare la date din unele domenii ca de exemplu teoria informadomenii ca de exemplu teoria informaţţiei, recunoaiei, recunoaşşterea terea formelor , statisformelor , statistică se regăsesc tică se regăsesc îîn funcn funcţţia distribuia distribuţţie de ie de probabilitate.probabilitate.

Dar regula de Dar regula de îînvănvăţţare (coare (competitivă standardmpetitivă standard) ) KohonenKohonen nu asigură nu asigură, , îîn general, un set de vectori n general, un set de vectori pondere echiprobabili. pondere echiprobabili. Fiind dat un model de intrare x din spaFiind dat un model de intrare x din spaţţiul Riul RNN, , îîn n conformitate cu funcconformitate cu funcţţia densitate de probabilitate, ia densitate de probabilitate, echiprobabilitateaechiprobabilitatea se referă la probabilitatea ca x să se referă la probabilitatea ca x să fie cel mai aproape de fie cel mai aproape de wwjj să fie egală cu să fie egală cu 1/N 1/N ∀∀jj==1,2,...N. 1,2,...N.

Pot apare următoarele problemePot apare următoarele probleme::ca unele regiuni, acolo unde densitatea de ca unele regiuni, acolo unde densitatea de probabilitate este micăprobabilitate este mică, , să nu fie reprezentatesă nu fie reprezentate;;regiunile cu densitate de probabilitate mare să fie regiunile cu densitate de probabilitate mare să fie supraesupraeşşantionateantionate; ;

5

SoluSoluţţii pentru rezolvarea acestor probleme suntii pentru rezolvarea acestor probleme sunt

1.Metoda 1.Metoda radial radial sproutingsprouting este adecvată pentru distan este adecvată pentru distanţţa a euclidiană euclidiană şşi alte măsuri similare i alte măsuri similare Vectorii pondere sunt iniVectorii pondere sunt iniţţializaializaţţi la zero i la zero şşi modelele de i modelele de intrare x sunt multiplicate cu b (un nuintrare x sunt multiplicate cu b (un număr pozitiv micmăr pozitiv mic, 0 , 0 < b< b≤≤1). Procesul de 1). Procesul de îînvănvăţţare are îîncepe cu o valoare scăzută a ncepe cu o valoare scăzută a lui b , aproape de zero. Astfel tolui b , aproape de zero. Astfel toţţi vectorii pondere sunt i vectorii pondere sunt aproape de vectorii de intrare. Pe aproape de vectorii de intrare. Pe măsură ce remăsură ce reţţeaua eaua neuronală neuronală îînvanvaţţă b creă b creşşte, vectorii pondere sunt forte, vectorii pondere sunt forţţaaţţi să se i să se îîndepărteze de zero ndepărteze de zero şşi să urmeze modelele de intrarei să urmeze modelele de intrare. . CâCâţţiva vectori pondere pot rămâne iva vectori pondere pot rămâne îîn urmă n urmă şşi sunt irosii sunt irosiţţi i îîn procesul de clasificare.n procesul de clasificare.Dezavantajul metodei constă din faptul că procesul de Dezavantajul metodei constă din faptul că procesul de îînvănvăţţare este are este îîncetinit.ncetinit.

2. 2. O altă soluO altă soluţţie a fost de a adăuga ie a fost de a adăuga vectori de zgomot uniform vectori de zgomot uniform distribuidistribuiţţi intrărilori intrărilor,, îîn scopul pozitivării funcn scopul pozitivării funcţţiei iei densitate de probabilitate. Inidensitate de probabilitate. Iniţţial nivelul zgomotului este ial nivelul zgomotului este mult mai mare decât valoarea modelelor de intrare. mult mai mare decât valoarea modelelor de intrare. ÎÎn n timp puterea zgomotului scade. timp puterea zgomotului scade. ÎÎnvănvăţţarea area îîn prezenn prezenţţa a zgomotului este zgomotului este îînsă nsă şşi mai lentă decât i mai lentă decât îîn cazul metodei n cazul metodei "radial "radial sproutingsprouting".".

3. 3. Adăugarea unui termen numit Adăugarea unui termen numit "con"conşştiintiinţţăă" p" pentru fiecare entru fiecare neuron , careneuron , care monitorizează numărul de situa monitorizează numărul de situaţţii succesive ii succesive îîn care acesta a cân care acesta a câşştigat competitigat competiţţia. Aia. Această metodă ceastă metodă rezolvă problema rezolvă problema echiprobabilităechiprobabilităţţiiii vectorilor pondere vectorilor pondere ..Conceptul de bază al mecanismului de Conceptul de bază al mecanismului de îînvănvăţţare cu are cu conconşştiintiinţţă este de a ă este de a ţţine o evidenine o evidenţţă a timpului fă a timpului fii îîn care n care neuronul i a câneuronul i a câşştigat competitigat competiţţia:ia:

o este ieo este ieşşirea 0 sairea 0 sau 1u 1 a neuronilor după ce s a neuronilor după ce s--a terminat competia terminat competiţţia;ia;ββ este o constantă pozitivă mică este o constantă pozitivă mică, c, cu o valoare tipică de u o valoare tipică de 0,0001;0,0001;CCurentulurentul de polarizare de polarizare ((pragulpragul) ) ccii se se determideterminănă conform relaconform relaţţiei:iei:

])k[f-o.(]k[f ]1k[f iiii β+=+

unde unde γγ este o constantă pozitivă este o constantă pozitivă, tipic de valoare 10., tipic de valoare 10.Termenul cTermenul ci i reprezintă cantitatea prin care reprezintă cantitatea prin care frecvenfrecvenţţa de câa de câşştigare a competitigare a competiţţiei de către iei de către neuronul i este sub nivelul de neuronul i este sub nivelul de echiprobabilitateechiprobabilitate 1 1 ⁄⁄ N. N. Neuronul cu cea mai mică diferenNeuronul cu cea mai mică diferenţţă mină min[D(x,[D(x,wwii) ) --ccii] ] este declarat câeste declarat câşştigător tigător şşi i îîşşi va modifica ponderile i va modifica ponderile conform regulii de conform regulii de îînvănvăţţare, apropiinduare, apropiindu--se de se de modelul de intrare. Spre deosebire de cazul uzual modelul de intrare. Spre deosebire de cazul uzual când un singur neuron când un singur neuron iişşii modifică ponderile modifică ponderile şşi i ceilalceilalţţi neuroni i neuroni îîşşi modifică ponderile i modifică ponderile îîndepărtândundepărtându--se de intrare.se de intrare.

⎟⎠⎞

⎜⎝⎛ −⋅γ ii f

N1=c

6

Elementele de procesare care câElementele de procesare care câşştigă prea des tigă prea des competicompetiţţia au valori cia au valori ci i negative mari. Cele negative mari. Cele care nu câcare nu câşştigă prea des competitigă prea des competiţţia au valori ia au valori de polarizare pozitive astfel de polarizare pozitive astfel îîncât ele sunt ncât ele sunt favorizate de relafavorizate de relaţţia de declarare a neuronului ia de declarare a neuronului câcâşştigător tigător ÎÎn final vectorii pondere se vor distribui n final vectorii pondere se vor distribui îîntrntr--o configurao configuraţţie aproape echiprobabilăie aproape echiprobabilăMetoda este cunoscută Metoda este cunoscută şşi sub denumirea de i sub denumirea de îînvănvăţţare competitivă sensibilă la frecvenare competitivă sensibilă la frecvenţţă ă ""frequencyfrequency competitive competitive learninglearning" ." .

Algoritmi competitiviAlgoritmi competitivi1.1.Algoritmul competitiv standard (Algoritmul competitiv standard (kk-- meansmeans))Algoritmul competitiv standard (ACS) calcAlgoritmul competitiv standard (ACS) calculează o distanulează o distanţţă ă

îîntre vectorii de intrare ntre vectorii de intrare şşi i vectoriivectorii ponderepondere aiai neuronilorneuronilor. . Această distanAceastă distanţţă poate fi de mai multe tipuriă poate fi de mai multe tipuri, d, dar uzual este ar uzual este folosită distanfolosită distanţţa euclidianăa euclidiană..

VectorulVectorul ponderepondere al al neuronuluineuronului j având distanj având distanţţa minimă a minimă fafaţţă de vectorul de intrare este declarat câă de vectorul de intrare este declarat câşştigătortigător

NNhh este numărul neuronilor din stratul competitiveste numărul neuronilor din stratul competitiv

Viteza de Viteza de îînvănvăţţare, aparare, aparţţinând intervalului (0,1)inând intervalului (0,1), p, poate fi oate fi constantă sau variabilăconstantă sau variabilă, d, de exemplu,e exemplu, dată de rela dată de relaţţia:ia:

[ ]][][][]1[ nnnn iii wxww −+=+ η

hNinn ,1,][][minarg=j =i- wx (1)

(2)

Vectorii pondere sunt iniVectorii pondere sunt iniţţializaializaţţi aleator, uzual la i aleator, uzual la valori ale vectorilor de intrare. Ecuavalori ale vectorilor de intrare. Ecuaţţiile (1), (2) iile (1), (2) şşi (i (3) 3) sunt aplicate iterativ până când algoritmul convergesunt aplicate iterativ până când algoritmul converge, , adică atunci când viteza de adică atunci când viteza de îînvănvăţţare atinge o valoare are atinge o valoare foarte mică sau zerofoarte mică sau zero, sau , sau ""îîngheangheaţţăă"" atunci când se atunci când se atinge un număr de iteraatinge un număr de iteraţţii ii predefinitpredefinit..DeficienDeficienţţa majoră a algoritmului este necesitatea a majoră a algoritmului este necesitatea cunoacunoaşşterii apriori a numărului de grupări terii apriori a numărului de grupări kk ale ale modelelor de intrare. modelelor de intrare. ÎÎn cazul n cazul îîn care acest număr este necunoscut n care acest număr este necunoscut clasificarea eclasificarea eşşueazăuează. D. Din păcatein păcate, , îîn aplican aplicaţţiile practice iile practice numărul numărul kk al grupărilor este adesea necunoscut al grupărilor este adesea necunoscut. O. O altă problemă ce poate apare altă problemă ce poate apare îîn procesarea n procesarea algoritmului ACS este aalgoritmului ACS este aşşa numita problemă a a numita problemă a "uni"unitătăţţilor moarte". ilor moarte".

hNnn 1][]1[ −η=+η (3)(3)

7

Izolarea neuronului al cărui vector pondere a Izolarea neuronului al cărui vector pondere a fost inifost iniţţializat prea departe de modelele de ializat prea departe de modelele de intrareintrare

unitate"moartă"

ÎÎn cazul n cazul îîn care un vector pondere este inin care un vector pondere este iniţţializat prea ializat prea departe de datele de intrare, departe de datele de intrare, îîn comparan comparaţţie cu ceilalie cu ceilalţţi i vectori pondere, este vectori pondere, este posibil ca acesta să nu câposibil ca acesta să nu câşştige tige niciodată competiniciodată competiţţia, dia, deci să nu se adaptezeeci să nu se adapteze, astfel , astfel îîncât ncât practic el este mort din punctul de vedere al practic el este mort din punctul de vedere al îînvănvăţţăriiării..

2. Algoritmul competitiv sensibil la frecven2. Algoritmul competitiv sensibil la frecvenţţăă

Pentru a evita problema "uniPentru a evita problema "unitătăţţilor moarte " silor moarte " s--a introdus a introdus algoritmul competitiv sensibil la frecvenalgoritmul competitiv sensibil la frecvenţţă ă (ACSF) (ACSF) [[S.C.AhaltS.C.Ahalt, 90], numit , 90], numit şşi algoritm "cu coni algoritm "cu conşştiintiinţţăă". ". ÎÎn ACSF n ACSF fiecare neuron fiecare neuron ţţine evidenine evidenţţa situaa situaţţiilor iilor îîn care a cân care a câşştigat tigat competicompetiţţia ia şşi i îîşşi reduce viteza de i reduce viteza de îînvănvăţţare invers proporare invers proporţţional ional cu numărul acestoracu numărul acestora. Astfel sunt crescute . Astfel sunt crescute şşansele ansele neuronilorneuronilorcare ncare n--au câau câşştigat niciodată competitigat niciodată competiţţia, ia, îîn raport cu ceilaln raport cu ceilalţţi i neuronineuroni. Algoritmul este o extensie a algoritmului ACS. Algoritmul este o extensie a algoritmului ACS

FrecvenFrecvenţţa relativă a relativă γγii a vectorul pondere a vectorul pondere wwii se definese defineşşte cu te cu relarelaţţia următoareia următoare::

ssii este numărul situaeste numărul situaţţiilor iilor îîn care n care neuronulneuronul i i a câa câşştigat tigat competicompetiţţia. :ia. :

hii ,Ninnj 1,][][minarg =−= wxγ

∑=

=hN

ii

ii

s

sγ

1

(5)

(4)

După selectarea neuronului câ După selectarea neuronului câşştigătortigător,, vectorul său pondere se vectorul său pondere se actualizează cu relaactualizează cu relaţţia (2) ia (2) îîntrntr--un mod similar algoritmului un mod similar algoritmului ACS, ajustânduACS, ajustându--se se şşi parametrul i parametrul ssii cu relacu relaţţia:ia:

PrezenPrezenţţa "cona "conşştiintiinţţei" eei" evită aparivită apariţţia neuronilor moria neuronilor morţţi i şşi i garantează că togarantează că toţţi neuronii vor câi neuronii vor câşştiga odată competitiga odată competiţţia. ia. Figura Figura urmurmăătoaretoare prezintă modul de apropiere a vectorului prezintă modul de apropiere a vectorului pondere al unei unităpondere al unei unităţţi, i, îîn cazul algoritmului competitiv n cazul algoritmului competitiv sensibil la frecvensensibil la frecvenţţăă..Algoritmul ACSF distribuie Algoritmul ACSF distribuie îîntotdeauna cei ntotdeauna cei NNhh vectori vectori pondere pondere îîn span spaţţiul modelelor de intrare, iul modelelor de intrare, fără problema fără problema "uni"unitătăţţilor moarte", dilor moarte", dar necesită cunoaar necesită cunoaşşterea exactă a terea exactă a numărului numărului kk al grupărilor al grupărilor. . Câteva dintre aplicaCâteva dintre aplicaţţiile iile îîn care algoritmul ACSF a avut n care algoritmul ACSF a avut rezultate remarcabile sunt: extragerea de caracteristici rezultate remarcabile sunt: extragerea de caracteristici [[H.C.CardH.C.Card, 98] , 98] şşi compresia imaginilor [i compresia imaginilor [C.H.ChangC.H.Chang, 05]. , 05].

1][]1[ +=+ nsns ii (6)

8

Apropierea vectorului pondere Apropierea vectorului pondere îîndepărtat de modelele de ndepărtat de modelele de

intrare, prin mecanismul cu "conintrare, prin mecanismul cu "conşştiintiinţţã"ã"

3.Algoritmul competitiv cu penalizarea rivalului3.Algoritmul competitiv cu penalizarea rivalului

Algoritmul competitiv cu penalizarea rivalului (ACPR) Algoritmul competitiv cu penalizarea rivalului (ACPR) realizează o grupare adecvată fără a cunoarealizează o grupare adecvată fără a cunoaşşte apriori numărul te apriori numărul grupărilor modelelor de intrare El determină nu numai grupărilor modelelor de intrare El determină nu numai neuronulneuronul câcâşştigător tigător j, j, cu relacu relaţţia (4ia (4)) ci ci şşi i urmurmăătorultorul cel mai cel mai apropiat, numit rival apropiat, numit rival rr, cu rela, cu relaţţia:ia:

Vectorul pondere al neuronului câVectorul pondere al neuronului câşştigător este mutat tigător este mutat îînspre nspre vectorul de intrare cu o viteză de vectorul de intrare cu o viteză de îînvănvăţţare are ηη, apar, aparţţinând inând intervalului (0,1). intervalului (0,1).

Vectorul pondere al rivalului este Vectorul pondere al rivalului este îîndepărtat de vectorul de ndepărtat de vectorul de intrare cu o viteză de intrare cu o viteză de îînvănvăţţare are ββ, m, mult mai mică decât ult mai mică decât ηη, , uzual cu două ordine de mărimeuzual cu două ordine de mărime. To. Toţţi ceilali ceilalţţi vectori i vectori pondere rămân neschimbapondere rămân neschimbaţţi. i.

ji,Ni,nnr= h ii ≠= 1][][minarg wx -γ

⎪⎪⎩

⎪⎪⎨

⎧

≠≠

=−−

=−+

=+

rişijidac ăn

ridac ănnn

jidac ănnηn

n

][

]][][[][

]][][[][

]1[

i

ii

ii

iw

wxw

wxw

w β(8)

Dacă viteza de Dacă viteza de îînvănvăţţare are ηη este mult mai mare decât este mult mai mare decât ββ, cu cel , cu cel pupuţţin două ordine de mărimein două ordine de mărime, re, reţţeaua va determina automat eaua va determina automat numărul claselor semnalelor de ienumărul claselor semnalelor de ieşşire. Alire. Altfel spus, tfel spus, presupunând că numărul claselor este necunoscut presupunând că numărul claselor este necunoscut şşi că i că numărul neuronilor din stratul ascuns numărul neuronilor din stratul ascuns NNhh este mai mare este mai mare decât numărul claselordecât numărul claselor, atunci vectori pondere vor converge , atunci vectori pondere vor converge îînspre centrii grupărilor semnalelor de intrarenspre centrii grupărilor semnalelor de intrare. . Algoritmul competitiv cu penalizarea rivalului va Algoritmul competitiv cu penalizarea rivalului va îîndepărta ndepărta îîn fiecare iteran fiecare iteraţţie cel mai apropiat rival ie cel mai apropiat rival şşi va converge mult i va converge mult mai rapid decât algoritmii ACS mai rapid decât algoritmii ACS şşi ACSF, anterior i ACSF, anterior menmenţţionaionaţţi. i. Vectori pondere Vectori pondere îîn exces,n exces, al căror număr este dat de diferen al căror număr este dat de diferenţţa a dintre dintre NNhh şşi numărul de clasei numărul de clase kk vor fi vor fi îîndepărtandepărtaţţi din spai din spaţţiul iul modelelor de intrare. modelelor de intrare. Dacă numărul neuronilor din stratul ascuns este mai mic Dacă numărul neuronilor din stratul ascuns este mai mic decât numărul claselordecât numărul claselor, atunci re, atunci reţţeaua va oscila eaua va oscila îîn timpul n timpul antrenamentului, indicând necesitatea creantrenamentului, indicând necesitatea creşşterii numărului terii numărului neuronilor ascunneuronilor ascunşşi. i.

9

Algoritmul realizează gruparea modelelor de intrare Algoritmul realizează gruparea modelelor de intrare fără problema unităfără problema unităţţilor moarte ilor moarte şşi fără a fi necesară i fără a fi necesară cunoacunoaşşterea apriori a numărului de claseterea apriori a numărului de clase, , îîndepărtând vectorii pondere ndepărtând vectorii pondere îîn exces din span exces din spaţţiul iul modelelor modelelor îîn mod automat. n mod automat. Algoritmul ACPR este simplu Algoritmul ACPR este simplu şşi are o mai bună i are o mai bună convergenconvergenţţă decât algoritmul ACSFă decât algoritmul ACSF. Algoritmul . Algoritmul ACPR a fost aplicat cu succes ACPR a fost aplicat cu succes îîn egalizarea n egalizarea canalelor de comunicacanalelor de comunicaţţie [C. ie [C. BotocaBotoca, 04], , 04], segmentarea color a imaginilor [L.T. segmentarea color a imaginilor [L.T. LawLaw, 03] , 03] şşi i îîn n extragerea de caracteristici [T. extragerea de caracteristici [T. NakamuraNakamura, 98]. , 98]. Dezavantajul acestui algoritm este sensibilitatea la Dezavantajul acestui algoritm este sensibilitatea la alegerea vitezei de alegerea vitezei de îînvănvăţţare a rivalului, care a rivalului, care trebuie are trebuie să fie cu câteva ordine de mărime mai mică decât cea să fie cu câteva ordine de mărime mai mică decât cea a neuronului câa neuronului câşştigătortigător..

4.Algoritmul 4.Algoritmul competitiv cu penalizarea dinamică a competitiv cu penalizarea dinamică a rivaluluirivalului

Algoritmul competitiv cu penalizarea dinamică a rivalului Algoritmul competitiv cu penalizarea dinamică a rivalului (ACPDR) (ACPDR) este o variantă a algoritmului ACPR care elimină este o variantă a algoritmului ACPR care elimină dependendependenţţa convergena convergenţţei de alegerea vitezei de ei de alegerea vitezei de îînvănvăţţare a are a rivalului. Comparativ cu ACPR, algoritmul competitiv cu rivalului. Comparativ cu ACPR, algoritmul competitiv cu penalizarea dinamică a rivalului introduce un parametrupenalizarea dinamică a rivalului introduce un parametru, , numit putere de penalizare, pennumit putere de penalizare, pentru penalizarea dinamică a tru penalizarea dinamică a vectorul pondere al rivalului:vectorul pondere al rivalului:

unde unde wwww[[nn]] este vectorul pondere al neuronului câeste vectorul pondere al neuronului câşştigător tigător şşi i wwrr[[nn] este vectorul pondere al rivalului. Viteza de ] este vectorul pondere al rivalului. Viteza de îînvănvăţţare a are a vectorului pondere rival, vectorului pondere rival, ββ din ecuadin ecuaţţia (8) devine:ia (8) devine:

][][][][,][][min(

)(nn

nnnnp

rw

rwwi ww

wwwxw

−

−−=

)( ip wηβ −=

(9)

(10)

Se poate observa că valoarea puterii de penalizare a rivalului Se poate observa că valoarea puterii de penalizare a rivalului pp((wwii) din rela) din relaţţia (10) este ia (10) este îîntotdeauna ntotdeauna îîntre 0 ntre 0 şşi 1, astfel i 1, astfel îîncât ncât poate fi privită ca o probabilitatepoate fi privită ca o probabilitate. . Dacă Dacă

atunci rivalul va fi complet penalizat cu viteza de atunci rivalul va fi complet penalizat cu viteza de îînvănvăţţare are ηη..ÎÎn caz contrar, rivalul va fi penalizat cu viteza de n caz contrar, rivalul va fi penalizat cu viteza de îînvănvăţţare are ηη

pp((wwii),), care este gradual atenuată pe măsură ce distan care este gradual atenuată pe măsură ce distanţţa dintre a dintre vectorul pondere câvectorul pondere câşştigător tigător şşi rivalul său crei rivalul său creşşte. te.

Astfel algoritmul ACPDR este de fapt o generalizare a Astfel algoritmul ACPDR este de fapt o generalizare a algoritmului ACPR, care permite algoritmului ACPR, care permite îîndepărtarea rivalului cu o ndepărtarea rivalului cu o viteză de viteză de îînvănvăţţare mai mare decât acesta, deci are o are mai mare decât acesta, deci are o convergenconvergenţţă mult mai rapidă ă mult mai rapidă îînspre vectori pondere dorinspre vectori pondere doriţţi. i.

][][][][ nnnn rww wwwx −≥−

10

Mecanismul de control al penalizării Mecanismul de control al penalizării ACPDRACPDR. S. Se poate observa căe poate observa că: : (a) (a) dacă fdacă f((mmrr,m,mcc)>f()>f(XXtt,m,mcc), ), adică distanadică distanţţa dintre vectorul pondere al a dintre vectorul pondere al neuronului neuronului castigatorcastigator şşi cel al rivalului este mai mare i cel al rivalului este mai mare decatdecat cea dintre cea dintre vectorul de intrare vectorul de intrare şşi vectorul pondere al neuronului i vectorul pondere al neuronului cacaşştigatortigator, , penalizarea rivalului descrepenalizarea rivalului descreşşte gradual pe măsură ce distante gradual pe măsură ce distanţţa dintre a dintre câcâşştigător tigător şşi rival creste. i rival creste. (b) (b) îîn ca contrar, f(n ca contrar, f(mmrr,m,mcc)<f()<f(XXtt,m,mcc), se aplica o penalizare maxima ), se aplica o penalizare maxima

rivalului rivalului mmrr, a, adică fordică forţţa penalizării atinge valoareaa penalizării atinge valoarea ηη ..

Exemplul 1Exemplul 1

Au fost generate 600 de date de intrare complexe, Au fost generate 600 de date de intrare complexe, utilizând un zgomot utilizând un zgomot gaussiangaussian îîn jurul a trei puncte: n jurul a trei puncte:

(1; j), (1; 5j) (1; j), (1; 5j) şşi (i (5; 5; 5j) 5j) Datele de intrare au format trei grupări aDatele de intrare au format trei grupări aşşa cum se a cum se poate vedea poate vedea îîn figurile n figurile Cei Cei şşase vectori pondere alease vectori pondere aleşşi au fost următoriii au fost următorii: : (0.2580; 0.2849j), (1.4659; 5.1359j ), (0.3893; 5.3331j), (0.2580; 0.2849j), (1.4659; 5.1359j ), (0.3893; 5.3331j), (5.2045; 5.1298j), (1.9193; 5.4489) (5.2045; 5.1298j), (1.9193; 5.4489) şşi (5.5869; 5.1937j). i (5.5869; 5.1937j).

Stările dorite Stările dorite , s, stările de intrare zgomotoase tările de intrare zgomotoase xx[[nn], pozi], poziţţiile iniiile iniţţiale iale şşi cele i cele finale ale vectorilor pondere finale ale vectorilor pondere îîn cazul unei dispersii a zgomotului de n cazul unei dispersii a zgomotului de

σσ²²=0.36, =0.36, după după 100 itera100 iteraţţii, utilizândii, utilizând a) a) algoritmulalgoritmul ACSACS

11

b) b) algoritmulalgoritmul ACPRACPR

c) algoritmul ACPDRc) algoritmul ACPDR

Exemplul 2Exemplul 2

Au fost generate 600 de date de intrare Au fost generate 600 de date de intrare xx[[nn] ob] obţţinute inute îîn jurul n jurul a 1a 16 p6 puncte din planul complex, repuncte din planul complex, reprezentând stările doriterezentând stările dorite, , peste care speste care s--a suprapus zgomot alb cu o dispersie de a suprapus zgomot alb cu o dispersie de σσ²²=0.1 =0.1 [C. [C. BotocaBotoca, 06]. Au fost ini, 06]. Au fost iniţţializaializaţţi 20 de vectori pondere i 20 de vectori pondere îîn n mod aleatoriu mod aleatoriu îîn muln mulţţimea datelor de intrare. imea datelor de intrare. Figurile Figurile urmurmătoareătoare a), b) a), b) şşi c)i c) reprezintă rezultatele reprezintă rezultatele simulărilor după simulărilor după 30 de itera30 de iteraţţii, utilizând algoritmii ACSF, ii, utilizând algoritmii ACSF, ACPR ACPR şşi ACPDR.i ACPDR.ÎÎn figura a) algoritmul ACSF a en figura a) algoritmul ACSF a eşşuat uat îîn determinarea stărilor n determinarea stărilor dorite. dorite. CeilalCeilalţţi doi algoritmi, ACPR i doi algoritmi, ACPR şşi ACPDR au reui ACPDR au reuşşit să it să orienteze corect vectori pondere orienteze corect vectori pondere îînspre stările doritenspre stările dorite. E. Este ste de remarcat faptul că algoritmul ACPDR a de remarcat faptul că algoritmul ACPDR a îîndepărtat mult ndepărtat mult mai rapid vectori pondere mai rapid vectori pondere îîn exces decât algoritmul ACPR n exces decât algoritmul ACPR şşi i a găsit pozia găsit poziţţii mai apropiate de cele dorite, ii mai apropiate de cele dorite, îîn acelan acelaşşi număr i număr de iterade iteraţţii, deci convergenii, deci convergenţţa sa este mai bunăa sa este mai bună. .

12

Algoritmii ACPR Algoritmii ACPR şşi ACPDR recompensează vectorul i ACPDR recompensează vectorul pondere câpondere câşştigător tigător şşi penalizează următorul vectorul pondere i penalizează următorul vectorul pondere câcâşştigătortigător, numit rival. Comparativ cu algoritmul competitiv , numit rival. Comparativ cu algoritmul competitiv standard cei doi elimină problema unităstandard cei doi elimină problema unităţţilor moarte. ilor moarte. Dacă se compară cu algoritmul competitiv sensibil la Dacă se compară cu algoritmul competitiv sensibil la frecvenfrecvenţţăă, algoritmii ACPR , algoritmii ACPR şşi ACPDR nu necesită i ACPDR nu necesită cunoacunoaşşterea numărului de grupări terea numărului de grupări şşi i îîn plus elimină vectori n plus elimină vectori pondereiponderei îîn exces n exces îîn afara span afara spaţţiului modelelor, asoiului modelelor, asociind câte ciind câte un singur vectorul pondere fiecărei categoriiun singur vectorul pondere fiecărei categorii. . Ambii algoritmi sunt adecvaAmbii algoritmi sunt adecvaţţi pentru clasificarea adaptivă a i pentru clasificarea adaptivă a semnalelor complexe afectate de zgomot.semnalelor complexe afectate de zgomot.Algoritmul competitiv cu penalizarea dinamică a rivalului Algoritmul competitiv cu penalizarea dinamică a rivalului elimină dezavantajul selecelimină dezavantajul selecţţiei destul de delicate a vitezei de iei destul de delicate a vitezei de îînvănvăţţare a rivalului, controlândare a rivalului, controlând--o o îîn mod dinamic, n mod dinamic, îîn funcn funcţţie ie de distande distanţţa faa faţţă de vectorul pondere câă de vectorul pondere câşştigătortigător..

Stările doriteStările dorite, s, stările de intrare zgomotoase tările de intrare zgomotoase xx[[nn], pozi], poziţţiile iile iniiniţţiale iale şşi cele finale ale vectorilor pondere i cele finale ale vectorilor pondere îîn cazul unei n cazul unei dispersii a zgomotului de dispersii a zgomotului de σσ²²=0.1, =0.1, după după 30 itera30 iteraţţii, utilizând:ii, utilizând:

a) a) algoritmulalgoritmul ACSFACSF

b) b) algoritmulalgoritmul ACPRACPR

13

c)algoritmul ACPDRc)algoritmul ACPDR

ExemplulExemplul 33

SS--a folosit imaginea unei mese de biliard cu o rezolua folosit imaginea unei mese de biliard cu o rezoluţţie de ie de 128x128 pi128x128 pixeli după cum apare xeli după cum apare îîn figura 1. a). Pentru fiecare n figura 1. a). Pentru fiecare algoritm salgoritm s--au folosit 16au folosit 16 vectori prototip a căror pozi vectori prototip a căror poziţţie a fost ie a fost aleasa aleatoriu aleasa aleatoriu îîn span spaţţiul de culoare RGB. iul de culoare RGB.

Pentru segmentarea imaginii sPentru segmentarea imaginii s--au aplicat pe rând algoritmi ACS au aplicat pe rând algoritmi ACS ((kk--meansmeans), ), ACPRACPR si si ACPDRACPDR. D. După convergenta upă convergenta algoritmilor, dualgoritmilor, după pă 35 de epoci, imaginile reconstituite din 35 de epoci, imaginile reconstituite din imaginea segmentata sunt prezentate imaginea segmentata sunt prezentate îîn figura 1. b)n figura 1. b)-- d), d), îîn n care se poate vedea că bila neagra a fost total omisa de care se poate vedea că bila neagra a fost total omisa de algoritmul. algoritmul.

Putem vedea deci că rezultatele Putem vedea deci că rezultatele kk--meansmeans sunt mai proaste atât sunt mai proaste atât decât rezultatele decât rezultatele ACPRACPR cat si cat si ACPDRACPDR. .

Rezultatele Rezultatele ACPRACPR si si ACPDRACPDR au fost similare. Totuau fost similare. Totuşşi, i, algoritmul algoritmul ACPRACPR a a îîndepărtat doar ndepărtat doar 5 vectori redundan5 vectori redundanţţi de i de setul datelor de intrare, restul de 11 vectori grupândusetul datelor de intrare, restul de 11 vectori grupându--se se îîn n jurul centrilor unor grupărijurul centrilor unor grupări. . ÎÎn contrast, algoritmul n contrast, algoritmul ACPRACPR a a îîndepărtat ndepărtat 6 vectori de setul datelor de intrare 6 vectori de setul datelor de intrare îîn timp ce n timp ce ceilalceilalţţi 1i 10 v0 vectori rămaectori rămaşşi au fost mutai au fost mutaţţi i îîn centrii n centrii corespunzători celor corespunzători celor 10 gr10 grupăriupări..

a)imaginea originala b)ACS (k-means)

14

c)ACPR d)ACPDR

ACPRACPR a a îîndepărtat doar ndepărtat doar 5 vectori redundan5 vectori redundanţţi de setul i de setul datelor de intrare, restul de 11 vectori grupândudatelor de intrare, restul de 11 vectori grupându--se se îîn n jurul centrilor unor grupărijurul centrilor unor grupări. . ÎÎn contrast, algoritmul n contrast, algoritmul ACPRACPR a a îîndepărtat ndepărtat 6 vectori de setul datelor de intrare 6 vectori de setul datelor de intrare îîn timp ce ceilaln timp ce ceilalţţi 1i 10 v0 vectori rămaectori rămaşşi au fost mutai au fost mutaţţi i îîn n centrii corespunzători celor centrii corespunzători celor 10 gr10 grupăriupări..

Exemplul 3Exemplul 3 SS--a folosit o imagine a unei case de rezolua folosit o imagine a unei case de rezoluţţie ie 128x128 pi128x128 pixeli pentru a compara rezultatele segmentării xeli pentru a compara rezultatele segmentării obobţţinute cu cei 3 algoritmi studiainute cu cei 3 algoritmi studiaţţi. Imaginea originala este i. Imaginea originala este prezentata prezentata îîn figura 2n figura 2.a). .a). Numărul de vectori prototip este Numărul de vectori prototip este 30. 30. Performantelor algoritmilor sunt prezentate după Performantelor algoritmilor sunt prezentate după 100 epoci 100 epoci sunt reprezentate sunt reprezentate îîn figura 2. b)n figura 2. b)-- d). d). Algoritmul Algoritmul ACPRACPR nu a reunu a reuşşit se it se îîndepărteze nici un vector ndepărteze nici un vector redundant de setul datelor de intrare. redundant de setul datelor de intrare. ÎÎn contrast n contrast ACPDRACPDR a a îîmpins 12 vectori departe de setul datelor de intrare. mpins 12 vectori departe de setul datelor de intrare. Acest experiment arata că algoritmul Acest experiment arata că algoritmul ACPRACPR este foarte este foarte sensibil la alegerea ratei de dezvăsensibil la alegerea ratei de dezvăţţare. are. ÎÎn acest exemplu n acest exemplu performantele performantele kk--meansmeans si si ACPRACPR sunt comparabile, dar mult sunt comparabile, dar mult mai slabe decât ale mai slabe decât ale ACPDRACPDR. S. Se poate vedea că atât e poate vedea că atât îîn n imaginea segmentată cu imaginea segmentată cu ACPRACPR cât si cât si îîn cea segmentata cu n cea segmentata cu kk--meansmeans textura zidului rotextura zidului roşşu u îîncă a rămas ncă a rămas îîn timp ce n timp ce îîn n imaginea segmentata cu imaginea segmentata cu ACPDRACPDR textura a fost textura a fost îîndepărtată ndepărtată cu succes. cu succes.

a)imaginea originala b) k-means

15

c)ACPR d) ACPDRFigura 2. a)imaginea originala; b)imaginea segmentata cu

k-means unde textura zidului este încă prezenta; c) imagine segmentata cu ACPR cu 30 de vectori prototip, textura

zidului e încă vizibila; d) imaginea segmentata cu ACPDR având doar 18 vectori, în urma segmentării rezulta un zid

solid

ReReţţeaua MAXNETeaua MAXNET

ÎÎnn rereţţeauaeaua MAXNET MAXNET fiecarefiecare neuron neuron esteeste cuplatcuplat cu el cu el îînsunsuşşi i excitatorexcitator şşii îîii inhibăinhibă pepe totoţţii ceilalceilalţţii

unde unde αα = 1 = 1 //N< N< 1 e1 este o constantă pozitivă micăste o constantă pozitivă mică, i, iar N ar N numărul de neuroni din RNnumărul de neuroni din RNRelaRelaţţia se poate scrie ca o matrice de dimensiune ia se poate scrie ca o matrice de dimensiune NxNNxN::

⎩⎨⎧

=≠α−

=jipentru

jipentruwij 1

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

α−α−

α−α−α−α−

1............1...1

=WN

Modelul de intrare este activ doar Modelul de intrare este activ doar îîn momentul inin momentul iniţţialial x[0]x[0]..Fiecare neuron procesează intrarea sa netăFiecare neuron procesează intrarea sa netă

Apoi se determină ieApoi se determină ieşşirea aplicânduirea aplicându--se funcse funcţţia de activare ia de activare intrării neteintrării nete::

IeIeşşirile tuturor neuronilor la momentul k se folosesc pentru irile tuturor neuronilor la momentul k se folosesc pentru a determina intrarea netă a determina intrarea netă îîn neuroni la momentul următor n neuroni la momentul următor de timp k+1de timp k+1. S. Se aplică succesiv relae aplică succesiv relaţţiile următoareiile următoare::

TN ]0[x.W]0[net =

])k[net(f]1k[o =+

⎩⎨⎧

θ<θ≥

=]k[netpentru0

]k[netpentru]k[net])k[net(f

TN ]k[o.W]1k[net =+ ])k[net(f]1k[o =+

16

Se poate demonstra că aplicând Se poate demonstra că aplicând îîn mod recursiv relan mod recursiv relaţţiile iile anterioare, reanterioare, reţţeaua MAXNET va converge eaua MAXNET va converge îînspre o situanspre o situaţţie ie îîn care doar neuronul cu cea mai mare intrare netă inin care doar neuronul cu cea mai mare intrare netă iniţţială va ială va rămâne activ rămâne activ îîn timp ce ton timp ce toţţi ceilali ceilalţţi vor converge spre i vor converge spre activarea zero. activarea zero.

Din acest motiv reDin acest motiv reţţeaua MAXNET se numeeaua MAXNET se numeşşte te şşi rei reţţea de ea de tipul (" câtipul (" câşştigătorul ia totul tigătorul ia totul " " îîn engleză n engleză winnerwinner--takestakes--allall).).

O reO reţţea similară este MINNETea similară este MINNET,, care la iecare la ieşşire va avea un ire va avea un singur neuron activ, acelsingur neuron activ, acela cu cea mai mică stare de activare a cu cea mai mică stare de activare iniiniţţialăială..

ExempluExemplu

Tipic o reTipic o reţţea neuronală competitivă este alcătuită din două ea neuronală competitivă este alcătuită din două straturi de neuroni:straturi de neuroni:stratul de măsurare al distanstratul de măsurare al distanţţei;ei;stratul competitiv, de tip MAXNETstratul competitiv, de tip MAXNET sausau MINNETMINNET;;

x(n) d(n)D(x,W) StratMaxnet

Regulă de învăţare

m mp∫ ∫ ∫

y(n)

Fie un clasificator neuronal de caractere, implementat cu o Fie un clasificator neuronal de caractere, implementat cu o rereţţea ea HammingHamming ca prim strat ca prim strat şşi o rei o reţţea ea MaxnetMaxnet ca al doilea ca al doilea strat.strat.Literele C, I,Literele C, I, T sunt modelele prototip . T sunt modelele prototip . RN va selecta clasa căreia RN va selecta clasa căreia îîi apari aparţţine modelul aplicat la ine modelul aplicat la intrare, respectiv clasa la distanintrare, respectiv clasa la distanţţa a HammingHamming cea mai mică fa cea mai mică faţţă ă de acesta. de acesta.

Stratul Stratul HammingHamming va avea la ieva avea la ieşşire un neuron cu cea mai ire un neuron cu cea mai mare stare de activare , damare stare de activare , dacă distancă distanţţa a HammingHamming dintre dintre modelul de intrare modelul de intrare şşi categoria reprezentată de neuron este i categoria reprezentată de neuron este minimăminimă. S. Stratul MAXNET suprimă ietratul MAXNET suprimă ieşşirile tuturor irile tuturor neuronilor cu excepneuronilor cu excepţţia celui care a avut cea mai mare stare de ia celui care a avut cea mai mare stare de activare iniactivare iniţţialăială..

17

Fie modelul prototip pentru o clasă mFie modelul prototip pentru o clasă m. .

Matricea ponderilor pentru stratul Matricea ponderilor pentru stratul HammingHamming care realizează care realizează o clasificare o clasificare îîn p categorii este dată de relan p categorii este dată de relaţţia:ia:

Pentru litera C, modelul prototip, conform imaginii de mai Pentru litera C, modelul prototip, conform imaginii de mai jos, are structura jos, are structura ss11=[1 1 1 1 =[1 1 1 1 --1 1 --1 1 1 1 1]. 1 1 1 1 1]. pentru litera I modelul prototip este spentru litera I modelul prototip este s22=[=[--1 1 1 1 --1 1 --1 1 1 1 --1 1 1 1 --1 1 1 1 ] ] şşi pentru litera T modelul prototip este si pentru litera T modelul prototip este s33=[1 1 1 =[1 1 1 --1 1 1 1 --1 1 --1 1 1 1 --1 ]. 1 ].

]s...s[s s mN

m2

m1

m =

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

=)p(

N)p(

2)p(

1

)2(N

)2(2

)2(1

)1(N

)1(2

)1(1

H

sssssssss

21W

L

L

L

Matricea ponderilor pentru reMatricea ponderilor pentru reţţeaua eaua HammingHamming este:este:

Intrarea netă pentru reIntrarea netă pentru reţţeaua eaua HammingHamming este dată de rela este dată de relaţţiaia

unde HD este distanunde HD este distanţţa a HammingHamming, , adicadică numărul de poziă numărul de poziţţii ii îîn n care cei doi vectori diferăcare cei doi vectori diferă..Practic net ne dă numărul de poziPractic net ne dă numărul de poziţţii ii îîn care cei doi vectori x n care cei doi vectori x şşi i modelul prototip modelul prototip ssmm se aseamănă se aseamănă..

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−−−−−−−−−−

−−=

111111111111111111

111111111

21WH

2Nxs

21net Tm

m +⋅⋅=

)s,x(HDNnet )m(m −=

IeIeşşirile reirile reţţelei elei HammingHamming se obse obţţin trecând in trecând intrarea netă prin funcintrarea netă prin funcţţia de activare.ia de activare.

IeIeşşirileirile rereţţeleielei HammingHamming suntsunt intrăriintrări pentrupentrurereţţeauaeaua MaxnetMaxnet la la momentulmomentul 0 0 , a, adică xdică x[[00]]Se Se considerăconsideră pragulpragul neuronilorneuronilor MaxnetMaxnet de de valoarevaloare zerozero. . SSe e alegealege εε=0.2 =0.2 (care (care respectă respectă condicondiţţiaia εε<1/3)<1/3)A se A se vedeavedea ptrptr. . ccontinuareontinuare fifişşierulierul wordword

mm netN1)net(f ⋅=

18

Optimizarea traficului ATMOptimizarea traficului ATM

Se propune o metodă de planificare a celulelor din memoria Se propune o metodă de planificare a celulelor din memoria tampon a unui nod de comunicatampon a unui nod de comunicaţţie, cie, ce utilizează un algoritm e utilizează un algoritm competitiv cu concompetitiv cu conşştiintiinţţăă. . Sistemul de comunicaSistemul de comunicaţţii controlat de planificatorul neuronal ii controlat de planificatorul neuronal din figură are surse multiple la intrare din figură are surse multiple la intrare şşi o singură iei o singură ieşşire. ire. Sursele generează date Sursele generează date îîn perioade ONn perioade ON--OFF independente, OFF independente, după o distribudupă o distribuţţie exponenie exponenţţialăială..Fiecare intrare a nodului de reFiecare intrare a nodului de reţţea are câte o memorie tampon ea are câte o memorie tampon de aceeade aceeaşşi capacitate maximă i capacitate maximă xxbb. . Numărul celulelor dintrNumărul celulelor dintr--o coadă particulară so coadă particulară s--a notat cu a notat cu xxii. . Numărul celulelor Numărul celulelor îîntrntr--o coadă particulară a nodului variază o coadă particulară a nodului variază îîn timp după o distribun timp după o distribuţţie ie PoissonPoisson. . RN selectează celulele de la intrări pentru transferul optim la RN selectează celulele de la intrări pentru transferul optim la ieieşşire. ire. ReReţţeaua neuronală are trei straturieaua neuronală are trei straturi: u: unul de intrare, unul de intrare, unul nul ascuns care determină o distanascuns care determină o distanţţă metrică ă metrică şşi unul de iei unul de ieşşire de ire de tipul "câtipul "câşştigătorul ia totultigătorul ia totul" . " .

Primul strat formează componentele vectorului de intrare Primul strat formează componentele vectorului de intrare x=[xx=[x11,x,x22,...,x,...,xNN]]TT, unde prin , unde prin xxNN se reprezintă numărul de se reprezintă numărul de celule la un moment dat din memoria tampon N. celule la un moment dat din memoria tampon N. Al doilea strat conAl doilea strat conţţine neuroni adaptivi care calculează ine neuroni adaptivi care calculează distandistanţţa metrică Da metrică D(x,(x,wwii) ) îîntre vectorul de intrare ntre vectorul de intrare şşi propriul i propriul vector pondere vector pondere wwii = [w= [wi1i1, w, wi2i2, ...,, ...,wwiNiN ]]TT. . DistanDistanţţa poate fi de tipul distana poate fi de tipul distanţţă euclidianăă euclidiană, distan, distanţţă ă ManhattanManhattan, distan, distanţţă ă MinkovskiMinkovski sau altele . sau altele . Ultimul strat este competitiv de tipul "câUltimul strat este competitiv de tipul "câşştigătorul ia totultigătorul ia totul". ". Neuronul cu diferenNeuronul cu diferenţţa minimă a minimă [D(x,[D(x,wwii))--ccii] dintre distan] dintre distanţţa a D(x,D(x,wwii) ) şşi pragul său ci pragul său cii, este declarat câ, este declarat câşştigător tigător şşi din coada i din coada de ade aşşteptare teptare xxii este selectată o celulă pentru transfer spre este selectată o celulă pentru transfer spre ieieşşire. Ieire. Ieşşirea se calculează cu relairea se calculează cu relaţţia următoareia următoare::

⎩⎨⎧

restîn 0)c-x),min(D(w=c-x),D(wpentru 1

=ziiii

i

19

Elementul de procesare declarat câElementul de procesare declarat câşştigător tigător îîşşi va modifica i va modifica ponderile ponderile îîn conformitate cu regula de n conformitate cu regula de îînvănvăţţare competitivă are competitivă standard:standard:

unde unde aaWW este viteza de este viteza de îînvănvăţţare cu valori are cu valori îîntre 0 ntre 0 şşi 1;i 1;ŞŞi neuronii care au pierdut competii neuronii care au pierdut competiţţia ia îîşşi modifică ponderilei modifică ponderile, , dar cu o constantă dar cu o constantă aaLL mai mică decât a neuronului câ mai mică decât a neuronului câşştigătortigător::

Astfel, toAstfel, toţţi vectorii pondere se deplasează spre vectorii de i vectorii pondere se deplasează spre vectorii de intrare cu fracintrare cu fracţţiuni diferite, ca iuni diferite, ca îîn figurăn figură. . Vectorii pondere vor deveni mai deVectorii pondere vor deveni mai deşşi acolo unde modelele de i acolo unde modelele de intrare sunt mai dese intrare sunt mai dese şşi mai rari sau chiar abseni mai rari sau chiar absenţţi acolo unde i acolo unde modelele sunt mai pumodelele sunt mai puţţine. ine.

iiwii z)).k(wx.(a)k(w)1k(w −+=+

1a a 0)z1)).(k(wx.(a)k(w)1k(w

WL

iiLii

<<<−−+=+

Rotirea vectorului pondere spre vectorul de intrareRotirea vectorului pondere spre vectorul de intrareatât a neuronului m câatât a neuronului m câşştigător cât tigător cât şşi a neuronului i a neuronului

p p îînvins.nvins.

Regula de Regula de îînvănvăţţare ACS (are ACS (KohonenKohonen) n) nu asigurău asigură, , îîn general, un n general, un set de vectori pondere echiprobabili set de vectori pondere echiprobabili şşi există riscul ca odată i există riscul ca odată ce un neuron este declarat câce un neuron este declarat câşştigătortigător, e, el să rămână câl să rămână câşştigătortigător. . Problema Problema echiprobabilităechiprobabilităţţiiii vectorilor pondere se poate vectorilor pondere se poate rezolva introducând pentru fiecare neuron un termen numit rezolva introducând pentru fiecare neuron un termen numit "con"conşştiintiinţţăă" c" care monitorizează numărul de situaare monitorizează numărul de situaţţii succesive ii succesive îîn care acesta a cân care acesta a câşştigat competitigat competiţţia.ia.PrezenPrezenţţa "cona "conşştiintiinţţei" ei" evită evită şşi aparii apariţţia neuronilor moria neuronilor morţţi. i. Neuronii morNeuronii morţţi au ponderile prea i au ponderile prea îîndepărtate de intrărindepărtate de intrări, , astfel astfel îîncât ei nu au ncât ei nu au şşansa de a câansa de a câşştiga vreodată competitiga vreodată competiţţia. ia. Mecanismul de Mecanismul de îînvănvăţţare cu conare cu conşştiintiinţţă ă oferãoferã şşanse anse şşi acestora i acestora şşi garantează că toi garantează că toţţi neuronii vor câi neuronii vor câşştiga odată competitiga odată competiţţia.ia.Dacă un neuron câDacă un neuron câşştigă prea des competitigă prea des competiţţia , de mai multe ia , de mai multe ori decât valoarea medie 1/N, conori decât valoarea medie 1/N, conşştiintiinţţa a îîl elimină din l elimină din competicompetiţţie mărinduie mărindu--i distani distanţţa metrică faa metrică faţţă de intrareă de intrare. . FracFracţţiunea fiunea fi i de timp de timp îîn care n care carecare neuronul i a câneuronul i a câşştigat tigat competicompetiţţia este dată de relaia este dată de relaţţiaia ::

1b0)]k(fz.[b)k(f)1k(f iiii

<<−+=+

20

unde b se determină conform relaunde b se determină conform relaţţiei:iei:

termenul termenul kkdd reprezintă numărul de situa reprezintă numărul de situaţţii ii îîn care un neuron n care un neuron a câa câşştigat succesiv competitigat succesiv competiţţia; ia; Această evaluare se face Această evaluare se face îîn pasul imediat următor al n pasul imediat următor al terminării competiterminării competiţţiei.iei.Pentru fracPentru fracţţiunea fiunea fii se calculează apoi un termen de se calculează apoi un termen de polarizare care se sustrage din distanpolarizare care se sustrage din distanţţa inia iniţţială Dială D((wwii,x):,x):

undeunde g g esteeste o o constantăconstantă, de , de acelaacelaşşii ordinordin de de mărimemărime ca ca şşii D, D, care se care se determinădetermină îînn fiecarefiecare slot cu slot cu relarelaţţiaia::

⎟⎠⎞

⎜⎝⎛

N

1-N 1-k1

-1=bd

))(xq+fN1(g=c iii i i φ−⋅ ⋅

⎟⎟⎠

⎞⎜⎜⎝

⎛⋅ ∑

N

1=i

i x),D(wN1=g

a) Izolarea neuronului cu vectorul pondere a) Izolarea neuronului cu vectorul pondere depãrtatdepãrtat de modelul de modelul de intrare b)Apropierea vectorului pondere cu ajutorul de intrare b)Apropierea vectorului pondere cu ajutorul

mecanismului cu mecanismului cu ““conconşştiintiinţţãã””..

Termenul Termenul qqii oferă posibilitatea de a acorda priorită oferă posibilitatea de a acorda priorităţţi cozilor i cozilor de ade aşşteptare. teptare. Termenul Termenul ΦΦ((xxii) depinde de lungimea cozii de a) depinde de lungimea cozii de aşşteptare teptare xxii..

ToToţţi termenii i termenii xxii sunt normasunt normaţţi la capacitatea maximă a cozii i la capacitatea maximă a cozii de ade aşşteptare teptare xxbb, astfel , astfel îîncât valoarea maximă a lui ncât valoarea maximă a lui xixi este este 1. 1. Constanta 0.001 eviConstanta 0.001 evită situată situaţţia de ia de îîmpărmpărţţire la zero, dire la zero, dacă acă xxiieste aproape de 1. Termenul este aproape de 1. Termenul ∆∆kk este intervalul de timp este intervalul de timp corespunzător transferului unei celulecorespunzător transferului unei celule, a, adică un dică un slotslot. Primul . Primul termen al relatermen al relaţţiei anterioare permite creiei anterioare permite creşşterea polarizării terea polarizării pentru neuronul corespunzător cozii celei mai lungipentru neuronul corespunzător cozii celei mai lungi. Rolul . Rolul celui de al doilea termen este de a implica celui de al doilea termen este de a implica şşi rafalele i rafalele îîn n algoritmul de programare. algoritmul de programare.

kx

001.0 ]k[x

1 1

1][ i

i

ki ∆∆

++−

=φ

21

Se observă Se observă îîn relan relaţţia că pragul cia că pragul ci i crecreşşte cu lungimea cozii de te cu lungimea cozii de aaşşteptare, astfel teptare, astfel îîncât el determină descrencât el determină descreşşterea diferenterea diferenţţei ei [D(x,[D(x,wwii))--ccii]. De]. De fiecare dată când un neuron câ fiecare dată când un neuron câşştigă tigă competicompetiţţia fia fii crecreşşte, te, îîn consecinn consecinţţă că ci i descredescreşşte te şşi difereni diferenţţa a D(x,D(x,wwii))--ccii] va cre] va creşşte.te.Se observă că un neuron care câSe observă că un neuron care câşştigă des competitigă des competiţţia are un ia are un prag negativ semnificativ. Acest prag prag negativ semnificativ. Acest prag îîl l îîndepărtează de ndepărtează de ceilalceilalţţi neuroni concureni neuroni concurenţţi. Un neuron care câi. Un neuron care câşştigă rar tigă rar competicompetiţţia are un prag pozitiv , ia are un prag pozitiv , ceea ce determină creceea ce determină creşşterea terea probabilităprobabilităţţii ca el să câii ca el să câşştige competitige competiţţia. ia. Regula implementată de RN este că va fi deservită coada de Regula implementată de RN este că va fi deservită coada de aaşşteptare cea mai lungăteptare cea mai lungă, asigurând transferul eficient de celule , asigurând transferul eficient de celule spre iespre ieşşire ire şşi evitând depăi evitând depăşşirea capacităirea capacităţţii.ii.

ObservaObservaţţiiii1) Un punct slab al controlerului neuronal 1) Un punct slab al controlerului neuronal îîl l reprezintãreprezintã determinarea determinarea

empiricã a coeficienempiricã a coeficienţţilor b ilor b şşi g.i g.2.)Problema 2.)Problema stabilitãstabilitãţţiiii

ÎÎn cazul n cazul îîn care vectorii de intrare nu sunt inin care vectorii de intrare nu sunt iniţţializaializaţţi adecvat i adecvat şşi i viteza de viteza de îînvãnvãţţareare este mare, aplicarea unui vector de intrare face ca sã se este mare, aplicarea unui vector de intrare face ca sã se modifice configuramodifice configuraţţia acestora, deci sistemul sã nu mai ia acestora, deci sistemul sã nu mai ajungãajungã îîntrntr--o o stare stabilã ci sã evolueze continuu ca stare stabilã ci sã evolueze continuu ca îîn figurăn figură

Rezultatele simulăriiRezultatele simulării

Pentru a testa RN propusă sPentru a testa RN propusă s--au utilizat trei surse au utilizat trei surse independente de tipul ONindependente de tipul ON--OFF, cu o distribuOFF, cu o distribuţţie ie PoissonPoisson a a generării celulelorgenerării celulelor. . Rata de vârf a celulelor a fost (3, 3, 1) celule pe Rata de vârf a celulelor a fost (3, 3, 1) celule pe slotslot, , îîn n perioadele active. Factoriiperioadele active. Factorii corespunzători au fost corespunzători au fost (100/237, (100/237, 307/167, 57/121) 307/167, 57/121) sloturisloturi. Registrele de intrare au func. Registrele de intrare au funcţţionat ionat pe baza principiului primul venit, primul plecat (FIFO)pe baza principiului primul venit, primul plecat (FIFO)şşi au i au avut o capacitate de xavut o capacitate de xbb=100 =100 de celule.de celule.Figurile reprezintă cozile de aFigurile reprezintă cozile de aşşteptate de la intrare teptate de la intrare xxii generate generate de cele trei surse de cele trei surse îîntrntr--un interval de timp de 550 un interval de timp de 550 sloturisloturi. . Se observă că ele reprezintă condiSe observă că ele reprezintă condiţţii relativ dificile pentru ii relativ dificile pentru transferul către o singură ietransferul către o singură ieşşire. ire.

22

Cozile de aCozile de aşşteptare teptare ptrptr. planificatorul de celule cu . planificatorul de celule cu algoritmul algoritmul roundround robinrobin şşi i ptrptr. cel cu RN. cel cu RN

Rata de pierdere a celulelorRata de pierdere a celulelor

Sumele cumulative Sumele cumulative ptrptr. ocuparea celulelor . ocuparea celulelor ptrptr. . planificatorul cu RN planificatorul cu RN şşi cu algoritmul i cu algoritmul roundround robinrobin

23

AutocorelaAutocorelaţţiaia dintre datele transmise către următorul nod dintre datele transmise către următorul nod de comunicade comunicaţţie cu algoritmul ie cu algoritmul roundround robinrobin şşi cu controlerul i cu controlerul

neuronalneuronal

1

ReReţţeaea neuronală celulară cu trei straturi neuronală celulară cu trei straturi

VECINĂTATEA unei celule pentru rVECINĂTATEA unei celule pentru r=1,r=2,r=3,=1,r=2,r=3,îîntrntr--o reo reţţea bidimensionalăea bidimensională

STRUCTURA UNEI STRUCTURA UNEI REREŢŢELE NEURONALE CELULARE ELE NEURONALE CELULARE A UNEI CELULE A UNEI CELULE ŞŞI I FUNCFUNCŢŢIA DE IEIA DE IEŞŞIREIRE

2

Ecuaţia de stare

Cx (t) =-1Rx

x (t) + A y (t) + B u (t) + I

pentru 1 i, k M si 1 j, l N

i,j i ,jC N (i, j)

i ,j;k,l k,lC N (i, j)

i ,j;k,l k,lk, l r kl rε ε∑ ∑

≤ ≤ ≤ ≤

Ec uaţia de intra re : u = Ei ,j i ,j

Ecuaţia de iesire: y (t) =12

(| x (t) + 1| - | x (t) - 1 | )i,j i, j i ,j

Condiţii de stare: |y (0)| 1 ; |u | 1i,j i,j≤ ≤

Condiţii asupra parametrilor: A = A ; C 0, Rx 0i,j;k,l k,l;i,j ≥ ≥

ReReţţele neuronale celulare analogiceele neuronale celulare analogice

•

SCHEMA BLOC A ECUATIEI DE STARESCHEMA BLOC A ECUATIEI DE STARE

AVANTAJELE AVANTAJELE

REREŢŢELELOR NEURONALE CELULAREELELOR NEURONALE CELULARE

•• Localitatea conexiunilor Localitatea conexiunilor •• Structura geometrică regulată Structura geometrică regulată •• Programabilitatea Programabilitatea •• Posibilitatea implementării VLSIPosibilitatea implementării VLSI•• Viteză de procesare fără precedent Viteză de procesare fără precedent •• PotenPotenţţialul de procesareialul de procesare•• MaMaşşina universală RNC ina universală RNC

3

• de inspiraţie biologică, reprezintă caracteristica esenţială a RNC şi a fost practic determinată de necesitatea implementării VLSI.

• Fiecare procesor elementar (celulă) interacţionează cu celelalte procesoare din reţeaua neuronală, într-o vecinătate finită . Raza vecinătăţii este mult mai mică decât numărul celulelor din reţea.

• Matricea de interconexiuni se numeşte “cloningtemplate” . În majoritatea aplicaţiilor aceasta este aceeaşi pentru toate procesoarele, proprietate cunoscută sub numele de invarianţă în spaţiu.

• Marele avantaj faţă de alte RN este că depanarea , în cazul RNC cu matrici de interconexiune invariante în spaţiu, este uşor de realizat , datorită acţiunii locale a operatorilor.

Localitatea conexiunilor

Structura geometrică regulată

Toate procesoarele sunt identice ca structură electrică, şi pot fi specificate în mod unic prin câţiva parametrii, cel mult 19 numere reale [86]. Funcţionarea unei RNC de orice dimensiune poate fi controlată prin modificarea a 19 parametrii a unui singur tip de circuit. Independenţa de dimensiune este cheia programabilităţii atât din punct de vedere soft, cât şi hard.

ProgramabilitateaDin punct de vedere soft , cele 19 numere pot fi

interpretate ca un program ce implementează un anumit tip de funcţionare a neuronului, un anumit algoritm. Implementarea aceluiaşi algoritm pe un computer digital convenţional ar necesita scrierea unui program cu mii de instrucţiuni.

Dacă luăm în considerare faptul că aceşti parametrii se pot permuta între ei de 19! ori, fiecare situaţie corespunzând unei RNC distincte, compresia este impresionantă, faţă de cazul instrucţiunilor unui computer digital Von Neumann.

Din punct de vedere hard sunt necesare doar 19 conexiuni spre exteriorul chip-ului. Acestea permit programarea externă ,fără restricţii datorate mărimii reţelei. Faţă de calculatoarele clasice seriale, unde timpul de procesare depinde exponenţial de mărimea numărului de procesoare , timpul de stabilizare al unei RNC depinde liniar în multe dintre cazuri. De fapt, pentru multe aplicaţii timpul de procesare este independent de dimensiunea reţelei.

4

Posibilitatea implementării VLSI

• Prin localitatea conexiunilor şi structura geometrică regulată, RNC sunt un concept natural pentru implementările VLSI .

• Acesta reprezintă avantajul major al RNC faţă de celelalte arhitecturi neuronale. Datorită proprietăţii de invarianţă în spaţiu este posibilă construirea de reţele mari prin potrivirea condiţiilor la limită, dintre chip-uri. Aceasta înseamnă că mărimea unei RNC nu este restricţionată de numărul neuronilor ce pot fi implementaţi într-un chip.

• Performanţa realizată, de 0.3 Terra operaţii analogice pe secundă, ptr un chip cu o suprafaţă de 1 cm2, reprezintă o viteză de procesare fără precedent, care nu face decât să confirme supoziţiile teoretice. Implementările optice sunt în fază experimentală, capabile de procesări cu viteze superioare.

Potenţialul de procesare

Programabilitatea interconexiunilor de control, reacţie şi de polarizare le conferă RNC un potenţial de procesare deosebit, permiţându-le o comportare variată şi complexă, inclusiv ca oscilator sau simulator de haos, în aplicaţii ce necesită o deosebită capacitate de procesare (ca de exemplu probleme de optimizare globală, de sortare ,de numărare, de filtrare mediană).

RNC pot simula unde autogeneratoare (autowaves) pot produce “ Turing pattern-uri

Pattern - starea staţionară de curent continuu obţinută prin comportarea dinamică diferenţiată a unor elemente identice, cuplate într-o distribuţie spaţială regulată. Altfel spus: celulele unei RNC generează pattern-uri dacă au ieşiri inegale în starea de curent continuu.

Fenomene similare care implică o rupere a simetriei sunt studiate în biologie (modelele morfogenetice), biochimie (modelul de difuzie între membranele celulare), fizică, ecologie, electronică.

• Evident comportarea reţelei depinde de condiţiile iniţiale, de condiţiile la limită, de structura geometrică şi de dimensiunile domeniilor spaţiale

• În colaborare cu neurologii a fost elaborat modelul retinei umane.

• Comportarea deosebit de complexă a RNC a permis şi generarea modelului difuziei chimice dintre două membrane celulare, a unor modele morfogenetice.

• Astfel prin RNC se elaborează modele cu plauzibilitate biologica, ce permit o mai bună înţelegere atât a anatomiei creierului, cât şi a procesării cunoaşterii umane. În acelaşi timp modelele RNC oferă un cadru experimental al degradării funcţiilor biologice la deteriorările

5

Maşina universală RNC-combină abordarea analogică cu cea digitală . Ea este singura reţea neuronală cu o dinamică similară

funcţiilor de “tip analogic” implementate în emisfera dreaptă a creierului şi a funcţiilor de “tip discret”implementate în emisfera stângă a creierului uman.

Cu alte cuvinte, maşina universală RNC este o primă încercare grosolană a implementării asimetriei a creierului uman.

• S-a demonstrat că maşina universală RNC este o maşină Turing analogică ea fiind capabilă să rezolve orice problemă ce poate fi soluţionată cu un calculator clasic.

• Dezvoltarea unor algoritmi de învăţare adaptivi şi utilizarea tehnologiilor optice, electromagnetice şi cuantice în implementarea pe scară industrială deschid

Scheme of Scheme of AladinAladin Visual ComputerVisual Computer

Pentium classPC motherboard

Frame-grabbercard

ACE4Kplatform

Aladin VisualComputer Stack

Platform bus

PCI bus

Hosting industrialor desktop PC

DSPmodule

camera

The Aladdin Visual ComputerThe Aladdin Visual ComputerDDesktopesktop versionversion IIndustrialndustrial versionversion

6

GENERALIZAREA MODELULUI LUI CHUAGENERALIZAREA MODELULUI LUI CHUA(cu interconexiuni invariante in spa(cu interconexiuni invariante in spaţţiu)iu)

•• RNC discrete in timpRNC discrete in timp•• RNC cu interconexiuni neliniareRNC cu interconexiuni neliniare•• RNC cu diferite neliniarităRNC cu diferite neliniarităţţii•• RNC cu RNC cu îîntârziere ntârziere îîn timpn timp•• RNC cu vecinătăRNC cu vecinătăţţi multiplei multiple•• RNC cu diferite tipuri de vecinătăRNC cu diferite tipuri de vecinătăţţii

• Instrucţiunile RNC universale funcţionând ca un procesor în timp real sunt succesiuni de matricide interconexiune - templates

• Se pot defini algoritmi spaţio-temporali un template operează într-un anumit interval de timp, apoi altul operează asupra datelor generate la ieşirea RNC, ş.a.m.d.

• Există şi posibilitatea de învăţare prin adaptarea ponderilor

• Nu există o strategie eficientă ptr. a învăţa templates-urile adecvate ptr o aplicaţie Strategia uzuală este metoda trial and error

i, jC N (i, j)

i, j;k,l k,lC N (i, j)

i, j;k,l k,lx [n + 1] = A y [n] + B u [n] + I

ptr. 1 i M ; 1 j N

k, l r k, l rε ε∑ ∑

≤ ≤ ≤ ≤

[ ][ ]⎩

⎨⎧

≤−≥

==+1nxdacă11nxdacă1

])n[x(f]1n[y

REŢELE NEURONALE CELULARE DISCRETE

7

Metode de determinare a Metode de determinare a matricilormatricilor de conexiune de conexiune ––2 direc2 direcţţii clare, distincte:ii clare, distincte:

1.1. Ca operatori spaCa operatori spaţţialiiali2.2. Ca memorii asociativeCa memorii asociative•• Algoritmi pentru convergenAlgoritmi pentru convergenţţa la puncte fixea la puncte fixe•• Metode de tip gradient, pentru Metode de tip gradient, pentru îînvănvăţţare de traiectorii prescrise are de traiectorii prescrise

pentru repentru reţţelele neuronale celulare analogice elele neuronale celulare analogice •• Metode de Metode de îînvănvăţţare de traiectorii prescrise are de traiectorii prescrise îîn ren reţţelele neuronale elele neuronale

celulare discretecelulare discrete•• Algoritmi globali pentru reAlgoritmi globali pentru reţţelele neuronale celulare discreteelele neuronale celulare discrete•• Algoritmi orientaAlgoritmi orientaţţi spre implementarea hardi spre implementarea hard•• Algoritmi geneticiAlgoritmi genetici

• extragere de contur, filtrare, halftoning, skeletonizare, sortare de obiecte în funcţie de orientare sau dimensiune, detecţie de minime şi maxime, mărire şi micşorare de imagine;

• extragerea unui anumit model din imagine (detecţia gurii şi a ochilor pe imaginile faciale în mişcare, detecţia mânerelor de uşă din imagini pentru protezarea orbilor);

• reconstrucţie de obiecte tridimensionale prin interpolare şi aproximare, rotaţia obiectelor 3D;

• îmbunătăţirea imaginilor prin eliminarea zgârieturilor, prin accentuare, prin mărirea contrastului (în microscopie, neurologie, analiza amprentelor digitale);

• recunoaşterea caracterelor scrise ( latine şi japoneze);

A. A. PRELUCRĂRI DE IMAGINI STATICEPRELUCRĂRI DE IMAGINI STATICE

•• compresia compresia şşi decompresia imaginilor;i decompresia imaginilor;•• recunoarecunoaşşterea bancnotelor (copiatoare inteligente);terea bancnotelor (copiatoare inteligente);•• segmentarea imaginilor, detecsegmentarea imaginilor, detecţţia defectele din textura ia defectele din textura

materialelor, din realizarea cablajelor;materialelor, din realizarea cablajelor;•• stereograme;stereograme;

PRELUCRĂRI DE IMAGINI STATICEPRELUCRĂRI DE IMAGINI STATICE

8

AverageAverage – spatial averaging of pixel intensities over r=1 convolutional window

0I000000000

B010121010

A =⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

Diagonal component detectorDiagonal component detector

0I000000000

B010020010

A =⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−=

HalftoningHalftoning -- spatial averaging of pixel intensities over r=1 convolutional windowconverts the grey scale input image to black and white, still presearving the main features of the picture

9

1

0.2

a

Maximum detectionMaximum detection

ijkl yy −

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

001

00

aaa

aA

0=B 0=I

Object reconstruction based on signature: (a) the original image; (b) the signature; (c) reconstructed object

Romanian Bank-Notes Recognition

Input image

Color filtering

Objects with one holeextraction

Size classification

Reconstruction

Final image

Sum of subresults

Objects containing many holes extraction

The flow chart of the recognition programfor the 10.000 lei banknote

Objects group selected for recognition

CNN can be used to avoid counterfeiting bank-notes in color copiers. Any document except a bank-note can be copied and transmitted

10

The steps of color filtering :a)input image; b)prefiltering result; c) Objects with a greater value than the minimum value color of interest ; d) Objects with a greater

value than the maximum value color of interest; e)XOR between image c) and d); f) output

Prefiltering

Objects extraction with a

greater value than the

minimum value of the interest

interval

Objects extraction with a

greater value than the

maximum value of the interest

interval

XOR

Reconstruction

The color filtering flow chart

Steps of size classification: a) input image; b) image with n pixels levels deleted; c) image with m-n pixels levels deleted; d) reconstruction of the image b); e) reconstruction of the image c); f) XOR application to

d) and e)

The two images obtained at the output are applied as image a) and b) to the reconstruction subroutine

11

ReconstrucReconstrucţţia obiectelor ia obiectelor tridimentridimensionalesionaleprinprin interpolareinterpolare şşii aproximareaproximare

)v(gradE.dt

vdβ−=

∑ ∑∈

==)j,i( )j,i(N)l,k(

)l,k()j,i(r

2r,vv)kl,ij(C21)v(E

2r,v)kl,ij(Cv

E)l,k(

)j,i(N)l,k()j,i( r

==∂∂

∑∈

)l,k()j,i(

2

vvE)kl,ij(C∂∂

∂=

1)kl,ij(CA kl,ij +−=

(1)

(2)

(3)

(4)

(5)

InterpolareaInterpolareaStareaStarea iniiniţţialăială şşi cea fixă pentru interpolarea unei i cea fixă pentru interpolarea unei

suprafesuprafeţţe planee plane

Intrarea Intrarea şşi iei ieşşirea RNC după irea RNC după 100 de itera100 de iteraţţiiii

Intrarea Intrarea şşi iei ieşşirea RNC după stabilizareirea RNC după stabilizare

12

SuprafaSuprafaţţaa interpolatăinterpolată

Interpolarea unei piramide de 7x7Interpolarea unei piramide de 7x7IntrareaIntrarea, , stareastarea iniiniţţialăială şşi cea fixă a RNCi cea fixă a RNC

Intrarea Intrarea şşi iei ieşşirea RNC după irea RNC după 17 17 iteraiteraţţiiii

Intrarea Intrarea şşi iei ieşşirea RNC după stabilizareirea RNC după stabilizare

13

SuprafaSuprafaţţa interpolată după stabilizarea interpolată după stabilizare

SuprafaSuprafaţţa piramidală de dimensiune a piramidală de dimensiune 20x20 i20x20 interpolatănterpolată

AproximareaAproximareaSuprafaSuprafaţţa piramidală de dimensiune a piramidală de dimensiune 20x2020x20 aproximatăaproximată

cu wcu w==22

14

SuprafaSuprafaţţa piramidală de dimensiune a piramidală de dimensiune 20x2020x20 aproximatăaproximată cu wcu w==0.50.5

RotaRotaţţia obiecteloria obiectelorStructura unei RNC care realizează rotaStructura unei RNC care realizează rotaţţia ia

obiectelorobiectelor

Strat de Control

Strat de Referinţă

Aritmetică locală

Funcţie de decodare

Matrice deinterconexiunevariantă în spaţiu

StareaStarea iniiniţţialăială a RNC a RNC îînn timpultimpul rotarotaţţieiieiunuiunui pixelpixel

15

CâtevaCâteva stăristări intermediareintermediare ale RNC ale RNC îînntimpultimpul rotarotaţţieiiei unuiunui pixelpixel

•• analiza analiza şşi deteci detecţţia miia mişşcăriicării;;•• detecdetecţţie de ie de ţţinte multiple inte multiple şşi urmărirei urmărire;;•• navigare navigare îîntrntr--un mediu necunoscut;un mediu necunoscut;•• monitorizarea traficului monitorizarea traficului şşi deteci detecţţia coliziunii;ia coliziunii;•• stereograme;stereograme;

PRELUCRĂRI DE IMAGINI DINAMICEPRELUCRĂRI DE IMAGINI DINAMICE

ProblemeProbleme din din punctulpunctul de de vederevedere RNC:RNC:P.1 Determinarea existenP.1 Determinarea existenţţei miei mişşcării având o viteză dată cării având o viteză dată

îîntrntr--o anumită direco anumită direcţţie;ie;P.2 DetecP.2 Detecţţia existenia existenţţei miei mişşcării cu o valoare absolută a cării cu o valoare absolută a

vitezei ce se vitezei ce se îîncadrează ncadrează îîntrntr--un domeniu dat (direcun domeniu dat (direcţţia ia deplasării nu conteazădeplasării nu contează););

P.3 Estimarea vitezei miP.3 Estimarea vitezei mişşcării după o direccării după o direcţţie dată ie dată (orizonta(orizontală sau verticalălă sau verticală););

P.4 Estimarea componentelor P.4 Estimarea componentelor vvxx respectiv respectiv vvyy atunci atunci când obiectul se deplasează când obiectul se deplasează îîntrntr--o direco direcţţie oarecare;ie oarecare;

P5 P5 Separarea părSepararea părţţilor mobile respectiv a celor statice ilor mobile respectiv a celor statice ale imaginilor ale imaginilor îîn min mişşcarecare.

Analiza Analiza şşi deteci detecţţia miia mişşcăriicării

16

i,j i,jC N (i,j)

i,j;k,l k,lC N (i,j)

i,j;k,l k,l

C N (i,j)(i,j;k,l) k,l

C N (i,j)i,j;k,l k,l

Cx (t) =-1R x (t) + A y (t) + B u (t) +

+ A y (t - ) + B u (t - ) + I

k,l r kl r

k, l r kl r

ε ε

ε

τ

ε

ττ τ

∑ ∑

∑ ∑

Metoda de determinare a Metoda de determinare a matricilormatricilor de de conexiune pentru separarea părconexiune pentru separarea părţţii statice a ii statice a imaginilor ce conimaginilor ce conţţin obiecte in miin obiecte in mişşcarecare

Tabelul de adevăr pentru separarea părTabelul de adevăr pentru separarea părţţilor statice ilor statice a imaginilor care cona imaginilor care conţţin obiecte in obiecte îîn min mişşcarecare

P(t-τ)/ uij(t-τ) P(t)/ uij(t) Pd / yij(∝)

-1 -1 -1

1 1 1

-1 1 -1

1 -1 -1

A =

0 0 0

0 1 0

0 0 0

, B =

a a a

a b a

a a a

, I, A =[0]

B =

c c c

c d c

c c c

, a, b, c, d, I constante

⎡

⎣

⎢⎢⎢

⎤

⎦

⎥⎥⎥

⎡

⎣

⎢⎢⎢

⎤

⎦

⎥⎥⎥

⎡

⎣

⎢⎢⎢

⎤

⎦

⎥⎥⎥

τ

τ

Selectarea părSelectarea părţţii statice a unui ceas, ii statice a unui ceas, îîn min mişşcare, care, îîn două momente de timp diferiten două momente de timp diferite

SoluSoluţţiile obiile obţţinute : inute : a=0.125, b=3.2, c=a=0.125, b=3.2, c=--0.125, d=3.2., I=0.125, d=3.2., I=--3.3.

17

Selectarea părSelectarea părţţii ii mobilemobile a imaginii unui ceas, a imaginii unui ceas, îîn n două momente de timp diferitedouă momente de timp diferite

Selectarea părSelectarea părţţii ii mobilemobile a imaginii unui ceas, a imaginii unui ceas, îîn n două momente de timp diferitedouă momente de timp diferite

Image enhancement with hysteretic activation function

18

19

• We combined two promising technologies. The first one is the Panoramic Annular Lens (PAL) system which projects the 360 degrees field of view into a single disc-shaped image (Fig. 1.). The second technology is the Aladdin Visual Computer which is powered by the ACE4K 64x64 array size CNNUM chip . The combination of the panoramic imaging device and the large computational

• power of the CNN technology leads to a real-time, 360 degrees view angle, single camera monitoring system

20

21

Memorii asociativeMemorii asociative

Memoriile asociativeMemoriile asociative implementează o transformare implementează o transformare îîntre o mulntre o mulţţime de modele aparime de modele aparţţinând spainând spaţţiului de iului de intrare intrare şşi o muli o mulţţime de modele aparime de modele aparţţinând spainând spaţţiului de iului de ieieşşire. Orire. Ori de câte ori la intrare se aplică un model i de câte ori la intrare se aplică un model particular, la ieparticular, la ieşşire se obire se obţţine modelul asociat ine modelul asociat acestuia. Un caz particular este acestuia. Un caz particular este autoasociereaautoasocierea, când , când un model este asociat cu el un model este asociat cu el îînsunsuşşi.i.

Modele de intrare reprezentând cele 5 modele Modele de intrare reprezentând cele 5 modele memorate, afectate cu un zgomot memorate, afectate cu un zgomot gaussiangaussian de medie de medie nulă nulă şşi dispersie i dispersie σσ=0.9=0.9

Modelele de intrare, reprezentând cele 5 modele memorate, Modelele de intrare, reprezentând cele 5 modele memorate, afectate cu o eroare binară de afectate cu o eroare binară de 25% 25% şşi cele de iei cele de ieşşire după ire după stabilizarea unei RNC de dimensiune 10x10stabilizarea unei RNC de dimensiune 10x10

22

Modelele ideale memorate reprezentând Modelele ideale memorate reprezentând 25 de ideograme chineze25 de ideograme chinezeşşti ti

Modele de intrare reprezentând cele 25 de ideograme Modele de intrare reprezentând cele 25 de ideograme chinezechinezeşşti afectate cu un zgomot ti afectate cu un zgomot gaussiangaussian de medie de medie nulă nulă şşi dispersie i dispersie σσ =0.3=0.3

Algoritm rapid Algoritm rapid cu un număr redus de conexiunicu un număr redus de conexiuni

(1)

(2)

(3)

(4)

(5)

−−

−−∑ )yy()yy(.b = A qij

qij

qkl

qkl

P

1=qlk,j;i,

∑=

+=+P

1qkl,ij

qijkl,ijkl,ij )0(A.d)k(A)1k(A

)EE.(d qij

nij −λ=

qijij

qij

qkl

Nklkl,ij

qij y.Iy.y.AE

r

+= ∑∈

qij

P

1q

qijijij y.d)k(I)1k(I ∑

=+=+

1 E Eqij> > (6)

23

Ideogramele chinezeIdeogramele chinezeşşti cu un un zgomot ti cu un un zgomot gaussiangaussian cu cu medie nulă medie nulă şşi dispersie i dispersie σσ=0.7=0.7

CombinaCombinaţţii ale modelelor memorate ii ale modelelor memorate afectate de o eroare afectate de o eroare σσ=0.7=0.7

Ghidarea automată a unuiGhidarea automată a unui vehiculvehiculSchema bloc a unităSchema bloc a unităţţii de control a ii de control a vehiculului automatvehiculului automat

UnitateaUnitatea analogicăanalogică de control de control RNCRNC UnitateaUnitatea

de controlde controldigitaldigital

SenzoriSenzoriMemorieMemorieasociativăasociativă

((filtrufiltru))

InterpretorInterpretor(DCC)(DCC)

24

Modelele ideale memorateModelele ideale memorate

Modelele de intrare afectate cu un Modelele de intrare afectate cu un zgomot zgomot gaussiangaussian cu medie nulă cu medie nulă şşi i dispersie dispersie σσ=0.6=0.6

IntrareaIntrarea digitizatădigitizată, , ieieşşireairea primuluiprimului şşii a a celuicelui dede--al al doileadoilea stratstrat a a unităunităţţiiii de control de control cu RNCcu RNC

25

Memorii asociative obMemorii asociative obţţinute prin metoda inute prin metoda descompunerii descompunerii îîn valori singularen valori singulareCele 20 modele ideale memorate Cele 20 modele ideale memorate

Câteva dintre cele 20 de modele afectate cu Câteva dintre cele 20 de modele afectate cu un zgomot un zgomot gaussiangaussian cu medie nulă cu medie nulă şşi i

dispersie dispersie σ=σ=1.31.3

Memorii asociative obMemorii asociative obţţinute prin inute prin metoda metoda pseudoinverseipseudoinversei

ModeleleModelele idealeidealeafectateafectate cu un cu un zgomotzgomotgaussiangaussian cu cu mediemedienulnulă ă şşi i σσ=0.6=0.6

26

MemorieMemorie asociativasociativă ă pseudoinversăpseudoinversă complet stabilăcomplet stabilă ij,klkl,ij AA =

•• Egalizoare AvantajeEgalizoare AvantajeProcesarea în timp real; Se elimină problemele de convergenţă,

datorită stabilităţii RNC;Viteza de procesare depinde de constantele

de timp ale circuitului şi nu de ordinul filtrului;

•• Faxuri, scannere Faxuri, scannere şşi copiatoare cu funci copiatoare cu funcţţii ii multiple multiple

•• Controlul admisiei apelului Controlul admisiei apelului şşi al congestiei i al congestiei îîn n rereţţelele de comunicaelele de comunicaţţiiii îmbunătăţirea parametrilor globali de eficienţă

TELECOMUNICATELECOMUNICAŢŢIIII

MODELE MORFOGENETICEMODELE MORFOGENETICE

implementarea unor modele biologice pentru percepţia vizuală (modelul retinei), pentru fenomenul de difuzie între membranele celulelor, pentru morfogeneza blănii mamiferelor, pentru deplasarea în mediu

Rezolvarea ecuaRezolvarea ecuaţţiilor pariilor parţţiale difereniale diferenţţiale:iale:

UD)U(FtU 2∇+=∂∂

2

2

2

2

2

22

zyx ∂∂

+∂∂

+∂∂

=∇

27

SIMULAREA BLANII GHEPARDUL REGALSIMULAREA BLANII GHEPARDUL REGAL

•• Egalizoare AvantajeEgalizoare AvantajeProcesarea în timp real; Se elimină problemele de convergenţă,

datorită stabilităţii RNC;Viteza de procesare depinde de constantele

de timp ale circuitului şi nu de ordinul filtrului;

•• Faxuri, scannere Faxuri, scannere şşi copiatoare cu funci copiatoare cu funcţţii ii multiple multiple

•• Controlul admisiei apelului Controlul admisiei apelului şşi al congestiei i al congestiei îîn n rereţţelele de comunicaelele de comunicaţţiiii îmbunătăţirea parametrilor globali de eficienţă

TELECOMUNICATELECOMUNICAŢŢIIII

MODELE MORFOGENETICEMODELE MORFOGENETICE

implementarea unor modele biologice pentru percepţia vizuală (modelul retinei), pentru fenomenul de difuzie între membranele celulelor, pentru morfogeneza blănii mamiferelor, pentru deplasarea în mediu

Rezolvarea ecuaRezolvarea ecuaţţiilor pariilor parţţiale difereniale diferenţţiale:iale:

UD)U(FtU 2∇+=∂∂

2

2

2

2

2

22

zyx ∂∂

+∂∂

+∂∂

=∇

28

•• ecocardiografie ultrasonică ecocardiografie ultrasonică îîn timp realn timp real•• mamografie mamografie îîn diagnosticare interactivă a cancerului n diagnosticare interactivă a cancerului

mamarmamar•• tomografie detectomografie detecţţia carcinoamelor ia carcinoamelor bronhogeneticebronhogenetice•• analiza cromozomială analiza cromozomială şşi microanaliza DNA, i microanaliza DNA, toolkittoolkit pentru pentru

partipartiţţia, identificarea ia, identificarea şşi analiza defectelor i analiza defectelor

MEDICINĂMEDICINĂ diagnostic asistat de computer diagnostic asistat de computer

29

Fig. 5. (a) The input mammogram is shown; and (b) presents the MVF global frequency correction with window Here the microcalcifications are being visible after processing.

ROBOROBOŢŢII II WORMBOT, WORMBOT, LAMMPBOT LAMMPBOT ŞŞI I HEXABOTHEXABOT

MODELUL RETINEIMODELUL RETINEI

30

CONCLUZIICONCLUZII

• aspecte teoretice şi practice ale paradigmei RNCAPLICAŢII ÎN:

• procesarea de imagini;• modelare neliniară şi optimizare;• modelare spaţio- temporală • controlul structurilor distribuite în spaţiu

Cea mai recentă realizare hard, computerul analogic este prima încercare de simulare a modului de operare analogico -logic al creierului.