Pjesa I - Teoria e informacionit1.Konsiderata te pergjithshme mbi informacioninInformacioni eshte nje nocion themelor, qe ben pjese ne jeten tone te perditeshme, por per tecilin eshte e veshtire te japesh nje perkufizim te sakte. Per te mund te ilustrojme disa aspekte sicjane ato te dhena me poshte:-Te informosh do te thote te japesh nje forme. Pra ti japesh forme dickaje qe me pareishte pa forme.-Ne origjine informacioni eshte nje nocion abstrakt, i nje natyre psikologjike dhefilozofike, i mare me vone nga shkenca per ti dhene vlera shume me te medha.-Informacioni eshte nje faktor rregulli dhe strukture, ai zvogelon te panjohuren dhe tepasigurten.-Vlera e nje informacioni qendron ne efektin e surprises qe ai shkakton. Sa me epaparashikueshme te jete nje ngjarje e caktuar aq me e madhe eshte sasia e informacionite mare prej saj.-Informacioni nuk eshte konservativ, ai mund te humbase.-Informacioni mund te transformohet dhe te transportohet.Duke u nisur nga sa thame me larte mund te quajme me fjalen informacion cdo gje qe eshte negjendje te eleminoje nje pasiguri mbi dicka.Nje nga detyrat thelbesore te telekomunikacionit eshte pikerisht transferimi ne distance iinformacionit.2.Skema e procesit te komunikimitProcesi i komunikimit ne pergjithesi ndodh sipas bllokskemes se figures 2.1. Pra behet fjale perte transmetuar nje mesazh qe vjen nga nje burim ne drejtim te nje destinacioni.Burimii mesazhit mund te jete:-nje burim mesazhesh diskrete, kur funksioni qe pershkruan mesazhin eshte nje funksiondiskrete ne kohe e ne amplitude (p.sh. mesazhi qe vjen nga nje teleshkrues, nje tastiereapo nga nje burim telegrafik)-nje burim mesazhesh te vazhduara, kur funksioni qe pershkruan mesazhin eshte njefunksion i vazhduar ne amplitude (p.sh nje bisedim telefonik, nje transmetim radiofonikapo televiziv).Destinacionite cilit i drejtohet masazhi duhet te jete ne gjendje te kuptoje gjuhen e burimit; nerast te kundert nuk do te kishim transmetim informacioni.Mjeti i transmetimiteshte mjeti fizik i vendosur midis destinacionit dhe burimit p.sh. ajri per njebisede midis dy personave, nje linje telefonike per rastin e nje bisede telefonike etj.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 2 / 66Ne rastin kur mesazhi duhet ti transmetohet nje destinacioni i cili ndodhet ne distance te largetnga burimi lind problemi i telekomunikacionit, bllokskema e pergjithshme e te cilit jepet nefiguren 2.2.Nga bllokskema e figures 2.2 shohim se per tu transmetuar ne distanca te medha mesazhifillimisht transformohet ne nje sinjal elekrik, me pas dergohet ne kanalin e transmetimit, nemenyre qe te jete ne gjendeje te pershkoje distancen e duhur. Ne anen tjeter te kanalit ky sinjalkonvertohet perseri ne masazh dhe i kalon destinacionit.Ne cdo sistem transmetimi te realizueshem fizikisht, sinjali i mare nuk eshte asnjehere nje kopjebesnike e sinjalit te transmetuar. Ne degradimin e sinjalit ndikojneshtremberimetqe ne menyrete paevitueshme lindin gjate konvertimit te mesazhit ne sinjal dhezhurmae cila futet apogjenerohet ne mjetin e transmetimit.Cilesia e transmetimit normalisht matet ngaraporti sinjal-shqetesimne marje. Me shqetesim nekete rast kuptojme ne pergjithesi degradimin e sinjalit per shkak te shtremberimeve dhe tezhurmes.Cilesia globale e destinacionit vleresohet me ane teinteligjencesse tij me te cilen kuptojmeperqindjen e mesazheve te perceptuara ne menyre korrekte.3.Matja e informacionit te nje burimi diskret.Kemi folur me larte per burimet diskrete dhe te vashduar te informacionit. Duhet thene seburimet diskrete te informacionit jane me te pershtatshem per tu studiuar nga ana matematikore.Po keshtu duhet te themi se me ane te procesit te kampionimit dhe te kuantizimit eshte e mundurtediskretizojmeinformacione te vazhduara dhe te aplikojme dhe ne kete rast teorine einformacionit per burimet diskrete.Nje nga hapat e para ne percaktimin e natyres se informacionit ka qene zgjedhja enjesise sematjesme ane te se ciles informacioni mund te vleresohet. Vleresimet e para per kete problemjane dhene nga Shannon i cili perfeksionoi studimet e bera me pare nga Hartley.Duke dashur te japim aftesine qe ka nje sistem per te transmetuar informacion duhet me pare tenisemi nga rendesia qe destinacioni u jep mesazheve te ndryshme qe ai merr.Sasia e informacionit eshte e bazuar ne sasine e pasigurise qe kemi apriori mbi mesazhin. Praduke lene menjane elementet subjektive, duhet te identifikojmerritjen e informacionitmezvogelimin e pasiguriseqe kemi apriori mbi mesazhin.Le te konsiderojme bashkesine S te n simboleve Sk[k=(1n)]. Keta simbole mund te jene germate nje alfabeti, simbole te nje kodi te vecante apo vlerat e kuantizuara qe mund te mare njevariable i vazhdueshem pas diskretizimt.Pra ne pergjithesi kemi:

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 3 / 66S = (S1, S2, S3, , Sn)Supozojme se behet fjale per germa te nje alfabeti.Supozojme gjithashtu se mesazhet (fjalet) jane te ndertuara nga sekuenca prej m simbolesh seciliprej te cileve i perket bashkesise S, e qe mund te perseriten sa here te duam.Formulojme hipotezat e meposhteme:-Te gjithe simbolet jane ekuiprobabel. Kjo do te thote se duke konsideruar nje sekuenceshume te gjate secili prej m simboleve do te kete frekuence paraqitjeje te njejte mesimbolet e tjere.-Simbolet e ndryshme te se njejtes sekuence nuk jane te korreluar midis tyre. Kjo gje jogjithmone eshte e vertete. P.sh. ne rastin e gjuhes italiane nje Q ndiqet gjithmone nga njeU, nje Z nuk ndiqet asnjehere nga nje S etj.Kerkohet numri i mesasheve te ndryshem qe mund te formohen me sekuenca prej m simbolesh.Eshte e qarte se:N = nm3.1Ku N eshte numri i mesazheve te ndryshem qe mund te formohen nga nje sekuence prej msimbolesh qe i perkasin bashkesise S.Nga hipotezat e bera rrjedh qe secili prej N mesazheve eshte ekuiprobabel. Le te shohim se simund te percaktohet pasiguria apriori qe kemi mbi natyren e mesazhit. Apriori dihet vetem qe dote zgjidhet njeri nga N mesazhet; pra pasiguria do te jete aq me e madhe sa me e madhe te jete N,d.m.th pasiguria apriori eshte mje funksion rrites i N. Identifikojme sasine e informacionit mepasigurine apriori.Duke pasur parasysh sa thame me larte do te kemi:I = f(N) 3.2Ku I eshte sasia e informacionit e sjelle nga nje mesazh.Per te percaktuar kete funksion duhet te kujtojme postulatin e mbledhjese i cili thote:Duke pasur K ngjarje te ndryshme te pakorreluara midis tyre, sasia e informacionit e sjelleprej ketyre K ngjarjeve eshte sa shuma e sasise se informacionit te sjelle prej seciles ngjarje.Per rastin tone sasie e informacionit e sjelle prej nje simboli, pra per m = 1 do te jete:i = f(n)Ku f eshte i njejti funksion si ne rastin 3.2.Duke qene se N = nme duke aplikuar postulatin e mbledhjes kemi ekuacionin:I = m*iose:f(nm) = m*f(n) 3.3Ky eshte nje ekuacion funksional, (ku e panjohura eshte vete funksioni) e qe percakton nemenyre univoke, me afersine e nje konstanteje shumezuese vete funksionin e panjohur.Duke kujtuar selog ab= b*log aShihet qarte se funksioni i panjohur f(n) do te jete i formes:

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 4 / 66f(n) = K*log n 3.4Ekuacioni 3.4 kenaq ekuacionin 3.3 dhe mund te vertetohet se nuk ka zgjidhje tjeter.Te zgjedhesh K do te thote te zgjedhesh njesine e matjes se sasise se informacionit.Marrim ne shqyrtim rastin kur kemi vetem dy simbole ne dispozicion (n = 2 dhe m = 1), prapasiguria do te jete midis dy mundesive si p.sh. prania ose mungesa e nje impulsi, celes i hapurapo i mbyllur, ON OFF etj.Pecakohet si1 njesi informacionisasia e informacionit e dhene nga nje eksperiment i tipit temesiperm.Atehere kemi:1 = f(2) = K*log 2 3.5Nga ku:K =2log13.6Nga 3.4 e 3.6 kemi:f(n) = K*logn =2loglogndhe per n = 2xkemi:f(n) = x*2log2log= x pra n = 2f(n)duke pasur parasysh percaktimin e logaritmit kemif(n) = log2ne per pasoje do te kemi qe sasia e informacionit te sjelle nga nje simbol eshte:i = f(n) =log2n 3.7Ne baze te postulatit te mbledhjes kemi:I = m*I I=m*log2n=log2nmoseI = log2N bit 3.8ku N eshte numri i ngjarjeve ekuiprobabel qe mund te verifikohen.M.q.s dy mesazhet e mundshme te ekuacionit 3.5 perkojne me dy simbolet e sistemit binar, njenjesi informacioni e bazuar ne dy simbole quhetbinary-digitose shkurtbit.Nje mesazh i ndertuar nga nje impuls i thjeshte elektrik ka nje vlere informacioni prej 1 bit perfaktin se prania ose mungesa e impulsit i lejon marresit te zgjedhe nje mesazh nga dy temundshem. Sic tregohet ne figuren 3.1 duke transmetuar nje impuls apo 1 bit i japim mundesinemarresit te zgjedhe nje mesazh nga dy te mundshem. Duke transmetuar 2 impulse i japimmundesine te zgjedhe nje mesazh nga 4 te mundshem, me 3 bit nje nga 8 te mundshem etj. Kyproces zgjedhjeje na jep sasine mesatare te informacionit qe duhet te transmetohet per tespecifikuar nje mesazh nga nje seri mesazhesh me propabilitete te njejta.Informacioni mesatar per simbol ne cdo rast praktik eshte me i vogel se vlera e tij teorike.Kjo eshte e kuptueshme per faktin se korrelimi midis simboleve ben te mundur qe shpesh tetransmetohet informacion i njohur me pare. Pra vete mesazhet transmetojne informacione qe janepjeserisht te njohura. Kjo perseritje e pjesshme apo teresore e informacionit quhetteprice.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 5 / 66Pavaresisht nga fakti qe teprica shkakton nje zvogelim ne shpejtesine e transmetimit teinformacionit, ajo eshte nje veti shume e dobishme sepse pedoret per te dalluar gabimet qe mundte behen gjate procesit te transmetimin apo ne rastin me te mire edhe per korrigjimin e tyre.3.1Koncepti i entropiesLe te shohim tani rastet me komplekse duke u bazuar ne trajtimin e bere me pare.Kujtojme se sasia e informacionit te sjelle nga nje simbol i zgjedhur nga n te tille ekuiprobabeleshte:i = log2n 3.9Duke qene simbolet ekuiprobabel, propabiliteti i secilit simbol do te jete p =n1e per pasojekemi:Supozojme se simbolet nuk jane ekuiprobabel. Marim ne konsiderate nje burim i cili emetonsimbolet A, B, C dhe D me propabilitete 0.25, 0.125, 0.5 e 0.125.Ne baze te ekuacionit 3.10 gjejme sasine e informacionit qe sjell cdo simbol dhe kemi.iA= -log20.25 = 2 bitiB= -log20.125 = 3 bitiC= -log20.50 = 1 bitiD= -log20.125 = 3 bitSic shihet simbolet qe jane me te ralla sjellin me shume informacion, por pesha e tyre ne sasinemesatare te informacionit per simbol eshte me e vogel. Pra per te llogaritur sa me mire sasinemesatare te informacionit per simbol duhet te bejme mesataren e poderuar te kontributit te secilitsimbol.Atehere do te kemi:i = 0.25*2+0.125*3 + 0.5*1+0.125*3 = 1.75 bit

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 6 / 66Shohim se sasia mesatare e informacionit per simbol ne kete rast eshte me e vogel se ne rastinkur simbolet jane ekuiprobabel.Duke bere nje diskutim me te pergjithshem do te thoshim:Per nje bashkesi S simbolesh S1, S2, S3, Sndhe propabilitetet perkatese p1, p2, p3, pnSp...p,p,pS,...S,S,S,321 321nndhe duke pasur mesazhe te cilet jane te ndertuar perseri nga simbole jo te korreluar midis tyre,sasia e informacionit per simbolin Skme propabilitet pkdo te jete:i = -log2pk3.11Per te gjetur sasine mesatare te informacionit per simbol duhet te bejme mesataren e poderuar kucdo simbol do te kete per peshe propabilitetin e vet. Prasasia mesatare e informacionit persimboldo te jete:H =p1logp21knkkk=== -plogp21knkkk==bit 3.12Kjo madhesi quhetentropiper analogji me skemen llogjike te entropies termodinamike.Eshte interesante te gjejme entropine e nje burimi binar ne vartesi te propabiliteteve p e q te dysimboleve 1 e 0 te tij. Per p = q = 0.5 do te kemi maksimumin e informacionit per simbolH = 0.5*log20.5+0.5*log20.5 = 1 bitPer p = 1 ose q = 1 entropia do te jete 0 per faktin se jemi para nje ngjarjeje te sigurt.Per rastin me te pergjithshem ne baze te 3.12 do te kemi:H= - p*log2p q*log2q ku p + q = 1Ne figuren 3.2 jepet grafiku i vartesise se entopise H nga propabiliteti p per nje burim binar.Nga sa thame me larte per nje sekuence prej m simbolesh sasia e informacionit do te jete:I = m*H bit 3.13Per rastin kur m eshte shume e madhe dhe nuk kemi korrelim midis simboleve ne menyre qemesazhet te konsiderohen ekuiprobabel.3.2Entopia e burimitKemi thene se me n simbole ne dispozicion mund te ndertojme sekuenca prej m simbolesh(mesazhe) dhe se numri i ketyre mesazheve eshte:N = nmKemi thene gjithashtu se simbolet mund te kene propabilitete te ndryshme shfaqjeje ne formimine nje mesazhi.Tani dhe mesazhet mund te kene propabilitete te ndryshme shfaqjeje ne nje seri mesazhesh. Praflasim per nje bashkesi M te mesazheve dhe propabiliteteve perkatese:

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 7 / 66Mp...p,p,pX,...X,X,X,321 321nnDuhet te themi se per ndertimin e mesazhit te pergjithshem Xkjane mbajtur parasyshkonsideratat e propabilitetit dhe te korrelimit midis simboleve.Ne keto kushte nuk eshte gabim te themi se mesazhet nuk jane te korreluar midis tyre pavaresishtnga fakti se egziston korrelimi midis simboleve te ndryshem qe ndertojne nje mesazh (por jomidis mesazheve te ndryshem qe emeton burimi). Pra kemi nje bashkesi ngjarjesh ku seciles itakon nje propabilitet i caktuar, por jo te korreluara midis tyre. Ne kete rast sasia mesatare einformacionit per mesazh (jo per sombol) do te jete:IM===nkkkk12p1logpbit/mes. 3.14Duke u nisur nga IMper tu kthyer tek simbolet e korreluar midis tyre mund te themi se per njesekuence prej m simbolesh sasia mesatare e informacionit per simbol do te jete:Hm=mIMbit 3.15Pra llogaritet duke u nisur nga mesazhet. Per te llogaritur sasine mesatare te informacionit persimbol per sekuenca shume te gjata duhet te llogarisim limitin e Hmper mHS=mIlimMmbit 3.16Kjo madhesi quhetentropia e burimit.Eshte e qarte se me rritjen e vlerave te m vlerat e HSzvogelohen. Kjo per faktin se me rritjen e mrritet numri i simboleve perpara nje simboli qe pritet, pra permiresohet parashikimi duke u nisurnga simbolet paraardhes.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 8 / 66Ne praktike korrelimi ka vlere per nje numer te caktuar simbolesh ne nje interval te caktuar, pranuk kemi korrelim midis dy simboleve qe jane shume larg nga njeri tjetri. Kjo ben qe vlera e Hmpas nje numri te caktuar simbolesh te arije vleren limit.Ne figuren 3.3 jepet grafiku i informacionit mesatar per germe ne vartesi te germave temeparshme per alfabetin e gjuhes angleze.Shohim se per m = 10 praktikisht arihet vlera limit e HS= 1.5 bit. Ndersa vlera maksimale eshteHMax= log227 = 4.75 bit.Konsideratat e mesiperme jane shume te rendesishme per nje kodim sa me eficent te burimit nemenyre qe te zvogelojme tepricen dhe te shfrytezojme sa me mire kanalin e transmetimit.3.3Teprica dhe kodimi i burimitKemi pare deri tani se per nje burim informacioni qe emeton N mesazhe me gjatesi m tendertuara nga nje bashkesi prej n simbolesh eshte e mundur te gjejme:-Sasine mesatare te informacionit per simbol duke konsideruar simbolet jo ekuiprobabelmidis tyre HH =p1logp21knkkk=== -plogp21knkkk==bit- Sasine mesatare te informacionit per simbol per sekuenca shume te gjata mesazhesh dukekonsideruar simbolet jo ekuiprobabel dhe te korreluar midis tyre HSHS=mIlimMmbitKemi folur dhe per tepricen e informacionit, por pa dhene nje shprehje matematike per te.Kujtojme se entropia maksimale e nje burimi eshte HMax= log2n dhe arihet ne mungese tekorrelimit dhe kur simbolet jane ekuioprobabel.Percaktojme siEntropi Relativeraportin e entropies se burimit me entropine e tij maksimale.HR=HHMaxS

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 9 / 66Ndersa percaktojme si teprice R shprehjenR = 1 -HHMaxS= 1 - HR3.17Po te kemi parasysh vlerat e meparshme HMaxe HSper gjuhen angleze shohim se vlera e Reshte 0.68.Vlera e R, sidomos e shprehur ne perqindje, tregon se me sa zvogelohet kapaciteti maksimal qeka burimi per te emetuar informacion, per shkak te korrelimit dhe te propabilitetit te ndryshem tesimboleve qe formojne mesazhet e tij.Per rastin e burimit ne paragrafin 3.1 kemiR = 1-275.1= 0.125pra 12.5% te kapacitetit qe ka burimi per e dhene informacion shpenzohen ne menyre te kote.Ne pergjithesi mund te themi se:Per nje burim informacioni prej n simbolesh me kapacitet maksimal HMax= log2n dhe me entropiHS, nje pjese R e simboleve qe dergohen ne mjetin e transmetimit e okupojne ate ne menyre te padobishme duke bere sistemin e transmetimit me pak eficent.Ne kete rast shrohet pyetja nese eshte e mundur te futet midis koduesit te mesazheve dhe kanalitte transmetimit nje dispozitiv qe eshte ne gjendje te perpunoje sekuencen e simboleve me tepriceR qe vijne nga burimi, duke dhene ne dalje nje tjeter sekuence simbolesh por me teprice me tevogel. Ky operacion, qe lejon te shfytezohen ne maksimum vetite e kanalit te transmetimit quhetkodim i burimit. Teknikat e perdorura, te ndertuara ne baze te algoritmeve matematike te bazuarane vetite statistikore te burimeve quhen teknika te zvogelimit te teprices. Nje paraqitje sematike eprocesit te kodimit te burimit jepet ne figuren 3.4.Kodi i ri mund te perdore ncsimbole e per me teper nc= n. Ne kete rast informacioni i sjelle nganje simbol do te jete :i = log2ncN.q.s. ne gjuhen origjinale entropia e birimit ishte HS, per nje sekuence te gjate sasia einformacionit do te jete:I = m*HS3.18Ne kodin e ri kjo sasi informacioni do te jete:

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 10 / 66I = mc*log2ncKu mceshte gjatesie e sekuences se re e ndertuar nga simbolet nc.Eshte e qarte qe sasite e informacionit para dhe pas kodimit duhet te jene te njejta. Pra:m*HS=mc*log2ncNga ku:nlogHmmc2Sc=dhe duke supozuar nc= n kemi:nlogHmm2Sc==HHMaxS= HR< 1Pra me kodin e ri kemi te njejten sasi informacioni me nje numer me te vogel simbolesh. Nga same larte mund te themi se per nc= n vlera e teprices qe mund te anullohet eshte:R = 1 -mmc3.19Avantazhi eshte i qarte ne nje sistem me transmetim impulsesh; mund te transmetojme te njejtensasi informacioni me nje numer me te vogel impulsesh duke fituar ne kohe ose mund te perdorimimpulse me te gjere duke zvogeluar brezin e transmetimit.Pyetjes nese nje sitem i tille kodimi eshte gjithmone i mundshem, i pergjigjet nje teoreme eShannon-it, te cilen me vone do ta shohim edhe ne nje forme tjeter. Teorema thote:Per nje kod me ncsimbole jo te korreluar midis tyre dhe ekuiprobabel, duke shqyrtuar bashkesineM te mesazheve dhe propabiliteteve te tyreMp...p,p,pX,...X,X,X,321 321nnEshte e mundur te gjendet nje menyre kodimi e tille qe:X1te kodohet me m1simboleX2te kodohet me m2simboleX3te kodohet me m3simboleXnte kodohet me mnsimboledhe ne kete menyre gjatesia mesatare e nje mesazhi do te jete:mc=pm1knkkk==3.20e per me teper kjo gjatesi mesatare gezon vetine:

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 11 / 66nlogIc2MmcnlogIc2M+ 1Ndersa nuk egziston asnje menyre tjeter kodimi per te cilin te kemi:mcnlogIc2MKu IMeshte sasie e informacionit mesatare per mesazh dhe vlen:IM= -plogp21knkkk==Pra teorema thote se numri mci simboleve qe duhen per nje mesazh nuk mund te jete me i vogelse limiti teorik:nlogIc2Mpor egziston nje sistem kodimi ku numri mesatar i simboleve per mesazh ndryshon nga limititeorik me 1 njesi.Po ti referohemi perseri shembullite te paragrafit 3.1 mund te imagjinojme koduesin e burimit sinje dispozitiv qe duke pasur ne hyrje kodimin binar te sinboleve A, B, C e D na jep ne dalje njekodim te ketyre simboleve sipas tabeles se me poshteme.Simbolet Propabilitetet Kodimi binar Kodimi iburimitA 0.25 00 01B 0.125 01 001C 0.5 10 1D 0.125 11 000Duke aplikuar 3.20 kemi:mc= 2*0.25 + 3*0.15 + 1*0.5 + 3*0.125 = 1.75 simboleDuke aplikuar 3.12 burimi ka nje enropi HS= 1.75 bit dhe ne baze te 3.19 kemi tepricen eburimit te simboleve para kodimitR = 1 -mmc= 1 -275.1= 0.125Shembulli i mesiperm evidenton nje aspekt shume te rendesishem te kodimit te burimit ne rastinkur perdoren vetem simbole binare; mund te thuhet se entropia e burimit HSne limit eshte enjejte me numrin e simboleve binar qe duhet per te paraqitur mesazhin pas kodimit te burimit.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 12 / 66Me fjale te tjera, per nje burim me entropi HS, egziston nje ligj kodimi qe lejon, ne limit, teperdoret nje kod binar i cili perdor HSshifra binare per cdo simbol te emetuar nga burimi.Teknikat e zvogelimit te teprices bazohen ne mundesine e dhenies se gjatesive te ndryshmemesazheve me propabilitete te ndryshme. Eshte intuitive te mendojme qe mesasheve mepropabilitet me te madh tu vendosim ne korespondence me pak simbole, pra te kene gjatesi mete vogel.Nje shembull interesant i kodimit te burimit dhe zvogelimit te teprices, i formuluar shume viteme pare se formulimi matematikor i bere nga Shannon, eshte alfabeti Morse i cili kodon ne pikadhe vija germat, numrat dhe simbole te tjera te gjuhes se shkruar.Se fundi theksojme se nje gabim edhe i vogel ne mjetin e transmetimit mund te kete efekteshume negative, duke krijuar pasiguri te madhe tek destinacioni per ate cfare eshte transmetuarrealisht. Sic do te shohim me vone ky problem zgjidhet duke futur ne hyrje te kanalit tetransmetimit nje sasi te kontrolluar teprice, me te vetmin qellim ate te dedektimit dhe korrigjimitte gabimeve per shkak te transmetimit. Ne kete rast behet fjale per kodimin e kanalit.4 Kapaciteti i informacionit te kanalit diskret pa zhurmeDeri tani kemi pare informacionet e dhena nga nje burim diskret, por per te studiuar kanalin ekomunikimit qe transporton kete informacion duhet me pare te japim percaktimin e kanalitdiskret e me pas te kapacitetit te tij, pra te aftesise se tij per te transferuar informacion.Quhetkanal diskretmjeti i transmetimit me ane te te cilit nje sekuence e caktuar, e zgjedhurnga nje bashkesi S prej n simbolesh Sk[k=(1n)], transmetohet nga nje pike ne nje pike tjeter.Ne pergjithesi secili prej simboleve Simund te kete nje kohezgjatjeisekonda te ndryshme prejsimboleve te tjere. Gjate nje kohe T sekonda ne mjetin e transmetimit do te jene transmetuarmesatarisht N =mTsimbole kumeshte kohezgjatja mesatare e nje simboli dhe vlen:m =NiN11Eshte e qarte se sa me e madhe te jete T aq me mire do te percaktohet koha mesataremdhenumri N i simboleve te transmetuara.Duke dashur te masim aftesine e kanalit diskret per te transmetuar informacion do te percaktojmesikapacitette nje kanali diskret limitin:C =TNloglim)(2TTbit/sek 4.1Ku N(T)eshte numri i simboleve te transmetuar gjate kohes T dhe te zgjedhur nga bashkesia S.Theksojme se simbolet Sijane te pershtatshem per tu transmetuar ne mjetin e transmetimit e perme teper mund te jene fizikisht te ndryshem nga ata te burimit te informacionit, mjafton qeekuivalenca te jete univoke.4.1 Teorema e kanalit diskret pa zhurmeKoncepti i entropies se nje burimi dhe kapaciteti i nje kanali diskret pa zhurme sintetizohen neteoremen themelore per nje kanal diskret pa zhurmete dhene nga Shannon.Teorema percakton shpejtesine e sinjalizimit VSne simbole/sek kur nje burim informacioni meentropi HSbit/simbol nderfaqesohet me nje kanal diskret me kapacitet C bit/sek. Teorema thote:

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 13 / 66Per nje burim te dhene me entropi HSbit/simbol dhe nje kanal me kapacitet C bit/sek dhe per njevlere> 0 te vogel sa te duam ne eshte e mundur qe te kodohen mesazhet e burimit ne menyre tetille qe te kemi:VS=HCS-simb/sek 4.2Ku VSeshte numri i simboleve te burimit qe kalojne ne kanal ne 1 sekonde. Dhe nuk eshte emundur te transmetohet me nje shpejtesiVS>HCSRendesia e kesaj teoreme qendron ne faktin se jep kuptimin fizik te entopise se burimit, si numrimesatar minimal i simboleve binare qe i takojne nje shenje.N.q.s propabilitetet e simboleve nuk jane fuqi te plota negative te 2-shit, aritja e perpikte enumrit mesatar minimal te siboleve koduese eshte e pamundur, por me ane te kodimit me grupemjaft te gjata mund ti afrohemi sa te duam ketij kufiri.Pra eshte e mundur me ane te nje kodimi te pershtatshem te bejme entropine e burimit te afert mekapacitetin e kanalit te transmetimit, duke krijuar keshtu nje adaptim te burimit te informacionitme kanalin e transmetimit. Kodimi i pershtatshem per te cilin behet fjale ne kete rast eshtekodimi i burimitqe kemi pare ne paragrafet e meparshem. Adaptimi burim-kanal ne kate rastduhet kuptuar jo vetem ne sensin statistikor por edhe ne sensin qe mund te perdorim simbole tendyshem fizikisht nga ato te burimit, me qellim qe te shfrytezohen sa me mire cilesite e mjetit tetransmetimit.Kodimi i burimit duhet te parashikoje dhe nje memorje te brendshme me qellim qe simbolet nedalje te percaktohen jo vetem nga karakteristikat statistike dhe korrelimi, por edhe nga simbolet emeparshem.Megjithese teorema nuk jep nje menyre per ndertimin e kodeve nga vertetimi i saj rrjedh se perte arritur minimumin e gjatesise se kodit simbolet duhet te jene ekuiprobabel dhe te pavarur nganjeri tjetri.Eshte e qarte se koduesit reale nuk mund te arijne nje adaptim perfekt. Per te vleresuar koduesinperdoret treguesi i eficences se sistemit te kodimit qe tregon sa larg jemi nga objektivi teorik.Ky tregues percaktohet si:HHSRS=4.3ku HSReshte entropia reale e burimit pas procesit te kodimit te burimit dhe HSentropia teorikeMe poshte jepet nje shembull i kodimit te nje burimi me eficence 0.993Simbolet Propabilitetet Kodi binar Kodimi i burimitA 0.5 000 1B 0.15 001 001C 0.12 010 011D 0.1 011 010E 0.04 100 00011F 0.04 101 00010G 0.03 110 00001H 0.02 111 00000

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 14 / 66Per rastin e tabeles me lart eshte e qarte se nje kodim me tre bit nuk eshte i pershtatshem. Kodimii ri con ne nje kod me gjatesi te ndryshme. Per kete kod ne baze te 3.20 kemi:mc=pm1knkkk=== 2.26 simbole binare per mesazh (simbol), e per pasoje nje entropi realeHSR= 2.26 bit.Ne baze te 3.12 kemi entropine teorike:HS= -plogp21knkkk=== 2.24 bit.Treguesi i eficenses per kete kod eshte:26.224.2== 0.991Ne pjesen e dyte te ketij materiali, fu flitet per kompresimin e te dhenave do te shohim edhe dymenyra per ndertimin e kodeve te cilat lejojne ti afrohemi propabiliteteve te njejta dhe mungesesse korrelimit midis simboleve koduese.5 - Kapaciteti i informacionit te kanalit diskrete me zhurme5.1 - Shtremberimet dhe zhurma EkuivokancaN.q.s nje transmetues dergon nje sinjal te caktuar ne kanalin e transmetimit dhe marresit i vjennje sinjal i modifikuar themi se ne kanalin e transmetimit kemi shqetesime.Ne rastin kur modifikimi ka te njejten natyre me sinjalin, ne menyre qe veprimi i tij eshte iparashikueshem, themi se kemi shtremberime. Ne rast se sinjali peson here pas here modifikimete ndryshme te rastit themi se kemi pranine e zhurmes.Brenda limiteve te caktuara shtremberimet nuk perbejne problem per interpretimin e sinjalit temare. Me problematik paraqitet rasti i zhurmes.Efekti i zhurmes ne rastin e nje transmetimi ne kodin binar ben qe kur eshte transmetuar nje 0 temarrim ne anen tjeter te kanalit nje 1 dhe e kunderta.Me nje kuptim me te ngushte fizik mund te themi se nje fuqi e vogel e zhurmes mund tengaterohet me nje sinjal dhe ne kete rast nuk mund te bejme interpretimin e sakte teinformacionit te sjelle nga ky sinjal.Na intereson ne kete rast te shohim se si ndryshon entropia e sistemit ne prani te zhurmes. Perkete qellim merret nje sekuence me 0 e 1 e cila regjistrohet dhe pastaj futet ne mjetin etransmetimit tek i cili kemi pranine e zhurmes. Mesazhet e mara regjistrohen perseri. Dukekrahasuar sekuencen e derguar me sekuencen e mare mund te percaktojme propabilitetet egabimeve per shkak te efektit te zhurmes. Duke njohur keto propabilitete mund te llogaritetpasiguria mbi ate qe eshte transmetuar realisht dhe te shprehet kjo ne termat e entropise.Per te llogaritur shpejtesine totale te transmetimit duhet te heqim nga entropia e burimitentropine per shkak te efektit te zhurmes.Supozojme se nje burim binar transmeton simbolet 0 e 1 ekuiprobabel me nje frekuence 10.000simb/sekonde, dhe se me ane te matjeve te meparshme eshte gjetur qe propabiliteti i gabimiteshte 1 ne 10. Pra propabiliteti qy(x) qe nje 0 e mare te kete qene 1 eshte 0.1 dhe propabilitetipy(x) qe te kete qene vertete 0 eshte 0.9. Kjo vlen dhe per simbolin 1. Po te shenojme me x gjithesimbolet ne hyrje te kanalit dhe me y ata ne hyrje te marresit, ngjarja y varet nga ngjarja x si nefiguren 5.1

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 15 / 66Entropise H(x) ne hyrje te kanalit (e barabarte me 1) duhet ti heqim nje sasi Hy(x) qe perfaqesonpasigurine qe vertet te jete transmetuar nje simbol x kur kemi mare kete simbol ne y.Ne kete menyre gjejme entropine qe efektivisht eshte transmetuar nga sistemi i transmetimit.Percaktojme ne kete rast si entropi te transferuar madhesine:Q = H(x) - Hy(x) bit/simbol 5.1Madhesia Hy(x) quhet ekuivokance dhe tregon pasigurine mesatare te destinacionit per ate qe mete vertete eshte transmetuar nga burimi. Eshte e qarte se sa me i madh te jete propabiliteti igabimit q aq me e madhe do te jete entropia e ekuivokances e aq me e vogel do te jete entropia etransferuar nga sistemi. Ne rastin e nje kanali pa shurme Hy(x) eshte 0 e per pasoje Q = H(x).Equivokanca eshte pra matese e nje sasie informacioni qe humbet ne transmetim per shkak teshqetesimeve. Por ne te njejten kohe ekuivokanca perfaqeson dhe sasine e informacionit shteseqe duhet ti jepet destinacionit per te korrigjuar mesazhin e mare. Pra Q + Hy(x) = H(x).Shannon ka treguar se per te korrigjuar mesazhin nga gabimet e mjetit te transmetimit teshqetesuar, entropia e mesazhit te korrigjimit duhet te jete saktesisht e njejte me ekuivokancen.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 16 / 66Ky fakt ka pasur nje rendesi te madhe praktike ne transmetimin e te dhenave dhe ne kerkimin ekodeve me te pershtatshem per korrigjimin e gabimeve sepse nga keto studime u arritdemostrimi teorik i mundesise se transmetimit pa gabime edhe ne prani te zhurmave.Duke u kthyer tek figura 5.1 m.q.s. kemi propabilitetin qy(x) = 0.1 qe nje simbol 0 ose 1 te jete igabuar dhe py(x) = 0.9 qe te jete i sakte, eshte e qarte se entropia e ekuivokances do te jete:Hy(x) = - (0.9*log20.9 + 0.1*log20.1) = 0.47 bit/simbEntropia efektive e sistemit ne kete rast do te jete:Q = 1 - 0.47 = 0.53 bit/simbKjo do te thote se ne vend qe te transmetojme 10.000 bit/sek si ne rastin pa zhurma, burimitransmeton vetem me 5300 bit/sek. Pra zhurma gati ka pergjysmuar shpejtesine e transmetimitedhe pse me propabilitet te vogel.Le te gjejme nje formule te pergjithshme per entropine e ekuivokances Hy(x).N.q.s burimi i informacionit me entropi H(x) ka n simbole ne x, per simbolin e i-te qe arrindestinacionin ne y egziston propabiliteti pi(i) qe simboli i mare te jete i sakte dhe egzistojne n-1propabilitete qi(1), qi(2), .qi(n) qe simboli i mare te jete i gabuar, per faktin se zhurma kamodifikuar ndonje prej simboleve te tjere ne x duke e bere qe ne y te arrije si ai qe poshqyrtojme (Shif fig. 5.3).Per pasoje entropia e ekuivokances per simbolin e i-te do te jete:Hy(x)i= - pi(i)log2pi(i) -)(qlog)(q211nnini5.2Entopia e ekuivokances komplekse do te jete sa mesatarja e poderuar e Hy(x)ie shtrire per tegjithe simbolet ne y. Per te bere kete mesatare duhet te dime propabilitetin pyiqe ka cdo simbolper tu shfaqur ne y, pra ne hyrje te destinacionit. Nga fig. 5.3 kemi:pyi= pxi+)(q11npinxn5.3Entropia e ekuivokances komplekse ne kete rast do te jete:

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 17 / 66Hy(x) =(x)Hp1iynyi5.4Ne perfundim te ketij paragrafi le te shohim shembullin e fig. 5.4 ne te cilin secili nga simbolet 0e 1 ka propabilitet te ndryshem shfaqjeje ne dalje te burimit dhe propabilitete te ndryshem tetransmetimit korrekt.Ne baze te 5.2 kemi:Hy(x)1= - (0.7*log20.7 + 0.1*log20.1) = 0.69Hy(x)0= - (0.9*log20.9 + 0.3*log20.3) = 0.65Ne baze te 5.3 kemi:py1= px1*p1(1) + px0*q1(0) = 0.46py0= px0*p0(0) + px1*q0(1) = 0.54Duke aplikuar 5.4 kemi:Hy(x) = py1Hy(x)1+ py0Hy(x)0= 0.46*0.69 + 0.54*0.65 = 0.67 bit/simbEntropia e burimit H(x) eshte:H(x) = - (0.6log20.6 + 0.4log20.4 = 0.97 bit/simbTrensferimi efektiv i informacionit per kete rast eshte:Q = H(x) - Hy(x) = 0.97 - 0.67 = 0.3 bit/simbPropabilitete 0.54 e 0.46 te simboleve 0 e 1 ne dalje te kanalit te bejne te mendosh per nje entropi0.99 bit/simb kur ne te vertete kjo entropi eshte vetem 0.3 per shkak te gabimeve te linjes.5.2 Kapaciteti i kanalit diskrete me zhurme dhe teorema perkateseN.q.s entropite H(x) dhe Hy(x) qe kemi permendur me pare ne bit/simb i konsiderojme si H(x)dhe Hy(x) te shprehura ne bit/sek, mund te percaktojme kapacitetin e nje kanali me zhurme sishpejtesine maksimale te transmetimit, kur burimi i informacionit eshte pershtatur ne menyreoportune me kanalin e transmetimit. Pra kemi:

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 18 / 66C= Max[H(x) - Hy(x)] bit/sec 5.5Eshte e qarte se kapaciteti i kanalit perkon me parametrin Q qe perfaqesone entropine etransferuar.Kapaciteti eshte nje parameter karakteristik i kanalit e per pasoje eshte funksion i propabilitetevepy(x) qe kemi pare me siper, pra eshte dhe funksion i ekuivokances. Ne rastin e nje kanali pazhurme kemi Hy(x) = 0 dhe per pasoje C = H(x), pra kapaciteti perkon me entropine e burimit.Le te shohim se cfare kuptojme me burim te adaptuar ne menyre oportune me kanalin etransmetimit. Eshte njesoj sikur te shtrojme pyetjen nese nje meyre e vecante kodimi (pervec asajte kodimit te burimit) e cila eshte ne gjendje te beje te mundur korrigjimin e gabimeve tetransmetimit duke perdorur vetem sinjalin qe pershkon kanalin pa pasur nevojen e nje vezhgimite jashtem si ai i paraqitur ne figuren 5.2. Nje gje e tille eshte e mundur, por kerkon qe bashkeme simbolet qe transmetojne informacionin te futen ne kanalin e transmetimit dhe simbole tetjera shtese (te korrigjimit) te cilat duhet te jene te llogaritura me kujdes. Nje menyre tjeter eshteajo e sakrifikimit te disa simboleve te informacionit (duke vogeluar ne kete rast entropine eburimit) dhe zvendesimi i tyre me simbole te korrigjit te gabimeve.Shannon ka demostruar se me ane te nje kodimi te pershtatshem (kodimi i kanalit) te sekuencesse mesazheve te burimit dhe te simboleve shtese te korrigjimit (teprica sistematike) eshte emundur te arrihet nje transmetim pa gabime dhe se ne kete rast teprica sistematike eshte e njejteme ekuivokancen.Teorema e Shannonit per kanalin diskret me zhurme thote:Per nje kanal diskret me kapacitet C= Max[H(x)- Hy(x)] bit/sek dhe nje burim diskret meentropi per sek. H, ku H 0.99999 2047.9996 Kapaciteti i informacionit te kanalit te vazhduar me zhurme6.1 Entropia e nje burimi te vazhduarPerpara se te percaktojme sasine e informacionit te nje burimi te vazhduar le te kujtojmeteoremen e kampionimit te dhene nga Shannon sipas se ciles jane te mjaftueshme vetem njenumer i caktuar vlerash te funksionit qe pershkruan burimin e informacionit per ta percaktuarplotesishte ate. N.q.s. funksioni f(t) qe pershkruan burimin eshte i kufizuar ne brezin efrekuencave nga 0 ne B Hz, vete burimi eshte plotesishte i percaktuar nga ordinatat f(t) te vetem2B pikave ne sekonde, ekuidistante21B sekonda. Per funksionet e vazhduara qe do te shohimme poshte do te supozojme se jane te kampionueshme.Permendim gjithashtu se nje paraqitje tjeter e funksioneve te vazhduara, pervec spektrit qeokupojne, eshte edhe funksioni i densitetit te propabiliteteve te madhesise p(x). Ne pjesen me temadhe te rasteve, funksionet qe mbartin nje informacion te vazhduar kane dhe nje funksion p(x)te vazhduar.Atehere per analogji me shprehjen 3.12 per informacionin diskrete, mund te percaktojme sientropi te nje burimi te vazhduar madhesine:H = -+)(xplog2p(x)dx bit/kampion 6.1Eshte e qarte se entropia e nje burimi te vazhduar me madhesi ekuiprobabel e per pasoje me p(x)konstante eshte maksimale dhe e barabarte me:H = -log2p(x) bit/kampionEshte e mundur te demostrohet qe midis burimeve te vazhduar te informacionit me densitetpropabilitetesh p1(x), p2(x),...,pn(x) me forma te ndryshme, por me te njejtin diviacion standart,ai me entropine me te madhe shperndarja gaussiane. Kjo eshte mjaft intuitive po te mendojme seinformacioni ka lidhje me pasigurine apriori dhe vetem shperndarja gaussiane perfaqesonfenomene teresishte te pasigurta e per pasoje me pasiguri maksimale.Po keshte eshte e mundur te demostrohet se entropia e nje burimi gaussian ne vlere numerikeeshte:H = log222 ebit/kampion 6.2

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 22 / 66Eshte e rendesishme te dallojme ndryshimin midis enteropise se nje burimi te vazhduar dhe njeburimi diskret. Ne rastin e nje burimi diskret enrtopia vlereson ne menyre absolute pasigurine evariablit, ndersa ne rastin e nje burimi te vazhduar entropia vlereson pasigurine relative. Nerastin e pare flasim per propabilitete te simboleve te ndryshem, ndersa ne rastin e dyte flasim perdensitet te propabiliteteve referuar cdo vlere te variablit te pasigurt.Kjo diference nuk ndikon ne konceptet themelore te shpejtesise te transmetimit dhe te kapacitetitte kanalit qe do te shohim me poshte.Nga sa kemi thene me siper eshte e qarte se per te llogaritur entropine ne bit/sek. do te kemi:H = 2B*H bit/sec 6.36.2 Kapaciteti i kanalit te vazhduar me zhurme dhe teorema perkatesePercaktohet si kanal i vazhduar mjeti i transmetimit me ane te te cilit transferohen nga njeekstrem ne ekstremin tjeter informacione te vazhduara nen formen e sinjaleve te ciletkarekterizohen nga parametra variabel por te vazhduar brenda limiteve te caktuara.P.sh. po te jete e mundur qe amplitudes vise nje impulsi ti japim cdo vlere brenda limiteve VmineVmax, dhe me ane te amplitudes te transferojme informacion, kemi ndertuar nje kanal tevazhduar.Ne pergjithesi paramerti vine transmetim mund te mare nje bashkesi vlerash te vazhduara,ndersa ne momentin e mbritjes ne destinacion kemi parametrin vume bashkesine e tij te vleravete vazhduara i cili eshte i ndryshem nga viper shkak te zhurmave te mbivendosura. Pra mund teshkruajme qe:vu= vi+ n ose per rastin e pergjithshem y = x + nKanali i vazhduar eshte pra i percaktuar nga vlerat x te pranuara ne transmetim dhe ngakarakteristikat propabilistike te zhurmes n, e cila supozohet e tipit mbledhese dhe meshperndarje gaussiane (hipoteze kjo e pranueshme per rastet e zhurmave te rastit dhe tevazhduara si p.sh. tasti i zhurmes termike e pranishme pothuaj ne te gjitha aparaturatelektronike).Duhet te theksojme se kanali i vazhduar, i percaktuar ne menyren e mesiperme eshte ne gjendjete transmetoje edhe informacion diskrete nen formen e impulseve me madhesi jo me te vazhduarpor me nivele diskrete. Ne kete rast edhe kanali percaktohet si kanal diskret duke qene tipi iinformacionit ai qe percakton tipin e kanalit.Kanali i transmetimit keshtu sic eshte percaktuar ne teorine e informacionit nuk duhet ngateruarme kanalin fizik i cili karakterizohet nga parametrat e tij te transmetimit (brezi, zhurma etj.) e nete cilin mund te transmetohen si informacione diskrete ashtu edhe informacione te vazhduara.Ne kete paragraf do te mundohemi te gjejme kapacitetin e nje kanali te vazhduar dhe sic do teshohim ky kapacitet varet direkt nga gjeresia e bandes B dhe nga zhurma N e kanalit fizik teperdorur. Ky kapacitet eshte i vlefshem edhe per kanalin fizik qe perdoret si kanal i vazhduar.Me vone do te shohim dhe kapacitetin e informacionit te nje kanali fizik ne rastin kur ky perdoretper te transmetuar informacione diskrete ne forme binare me shume nivele.Per percaktimin e kapacitetit te informacionit te kanalit te vazhduar eshte e nevojshme te themise meren ne konsiderate vetem sinjale me brez B te kufizuar te cilet mund te percaktohen, faleteoremes se kampionimit, vetem me ane te 2BT kampioneve ne intervalin e kohes T. Per meteper presupozohet qe sinjali dhe zhurma jane statistikisht te pa lidhur me njeri tjetrin. Pra sinjalii mare eshte shuma e atij te transmetuar me zhurmen (y = x + n).Duke u nisur nga supozimet e mesiperme eshte e mundur qe te demostrohet se entropia etransferuar e ne kete kanal eshte:Q = H(x) H(y) = H(y) H(n) bit/sek 6.4

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 23 / 66Pra eshte sa diferenca midis entropise se sinjalit te mare me entropine e zhurmes.Edhe ne kete rast kapaciteti i kamalit percaktohet si maksimumi i entropise se transferuar QC = Max[H(y) H(n)] bit/sek 6.5Per faktin se kemi thene qe zhurma n eshte statistikisht e pavarur nga sinjali i transmetuar xkemi dhe H(n) te pavarur nga densiteti i propabiliteteve te sinjalit x p(x). Per te gjetur C nekete rast duhet te gjejme maksimumun e sinjalit te mare H(y).Ne rastin e pranise se nje zhurme gaussiane dhe te nje sinjali te transmetuar me fuqi mesatare S,kemi qe fuqia e sinjalit te mare eshte e barabarte me S + N ku N eshte fuqia mesatare e zhurmes.Entropia maksimale e sinjalit te mare y = x + n verifikohet kur ky sinjal eshte gaussian (me fuqiS + N) gje qe eshte e mundur ne rast se edhe sinjali i transmetuar x eshte gaussian (me fuqi S).Ne kete rast ne baze te 6.2 mund te themi se vlera maksimale e entropise se sinjalit te mareeshte :H(y) = log2)(2 NSe+bit/kampion prej nga ne baze te 6.3 kemiH(y) = B*log2[2e(S+N)] bit/sek 6.6Per me teper duke ju referuar 6.2 e duke supozuar se zhurma eshte e shtrire ne gjithe gjeresine ebrezit B entropia e zhurmes do te jete:H(n) = B*log2[2eN] bit/sek 6.7Atehere kapaciteti i kanalit eshte C = H(y)Max H(n) = B*log2[2e(S+N)] B*log2[2eN]prej nga:C = B*log2(1+NS) bit/sek 6.8Si perfundim po japim dhe formulimin e teoremes baze te kanalit te vazhduar me zhurme tedhene nga Shannon. Teorema thote:Kapaciteti i nje kanali me brez B dhe i shqetesuar nga nje zhurme gaussiane me fuqi N kur fuqiae transmetuesit eshte e kufizuar dhe e barabarte me S jepet nga C = B*log2(1+NS) bit/sek.Kjo shprehje, tashme klasike ne gjithe literaturen shkencore, jep limitin teorik e tepakapercyeshem te shpejtesise maksimale te transmetimit qe mund te arrihet ne nje kanal mebrez B, ne prani te nje zhurme me fuqi N dhe te nje transmetuesi me fuqi S. M.q.s. madhesite B,S e N jane madhesi karakteristike edhe per nje kanal fizik formula 6.8 jep njekohesishtekapacitetin maksimal te tij.Kjo eshte edhe me intuitive po te mendojme se nje kanal fizik me karakteristikat e mesipermeduhet te lejoje te njejtin kapacitet pavaresisht nga fakti se ne te transmetohet informacion ivazhduar apo diskret.7 - Kapaciteti i informacionit te nje kanali fizikNdryshe nga kanali diskret qe mund te kete karakteristika abstrakte (simbolet mund te jenekonvencionale), kanali fizik eshte gjithmone nje realitet fizik objektiv, i ndertuar nga dispozitivareale qe pershkohen nga sinjale elektrike. Kanali fizik ne thelb eshte mjeti fizik i lidhjes midis dyqendrave te transmetimit dhe te marrjes ku informacioni, pavaresishte nese eshte diskret apo ivazhduar ka mare formen e sinjalit elektrik.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 24 / 66Nga kjo pikpamje kanali fizik pershkohet gjithmone nga sinjale elektrike te vazhduara te ciletmodifikohen nga parametrat e transferimit te kanalit sic jane shuarja, vonesa e grupit,shtremberimet jolineare, zhurmat, etj.Ndersa degradimet e tipit sistematik (si shuarja apo vonesa e grupit) mund te kompensohen ngapajisje te posacme ne marrje, zhurmat jane te pa shmangshme. Sic kemi thene dhe me larte n.q.s.nje sinjali me vlere vii caktohet detyra te transferoje informacion, ne marrje do te kemi sinjalinvu= vi+ n, ku n tregon diferencen midis vue viper shkak te zhurmave dhe shqetesimeve tecilave mund tu njohim vetem vleren efektive ENdhe qe mund te konsiderohen si mbledhese dhete tipit gaussian.Ne rastin kur ne kanalin fizik transferohen informacione te vazhduara, ky i fundit konsiderohet sikanal i vazhduar dhe per te vlejne te gjitha konsideratat qe kemi pare ne paragrafin 6.2.Ne rastin kur nje kanali fizik perdoret per te transferuar informacione diskrete kjo do te thote sesinjali vine hyrje te tij karakterizohet nga vlera diskrete dhe ne kete rast eshte e nevojshme tevendosim nje rregull per ta kaluar nga vlera vue mare ne vleren vie per pasoje dhe ne simbolinqe vlera viparaqet.Do te shqytrojme nje rast te thjeshte te transmetimit te nje informacioni binar ku perdorimimpulset me madhesi +A per te transmetuar simbolin 1 dhe A per te transmetuar simbolin 0. Nekete rast kemi nje transmetim me dy nivele. Po te konsiderojme fuqine e transmetuesit si tekufizuar e te barabarte me S do te kemi qe A2eshte proporcionale me S.Ne marrje sinjali i tipit y =A+ n, interpretohet ne baze te shenjes se tij, per ta aritur teksimbolet 0 e 1. Eshte e qarte se do te kemi nje gabim ne interpretim kur shqetesimi n eshte i tillesa ka bere te mundur qe shenja e sinjalit y te jete e kundert me ate te sinjalitAte transmetuar.Kjo eshte e mundur kur vlera e castit e shqetesimit eshte me e madhe se |A|, pra me e madhe seSdhe me shenje te kundert meA.Ne rast se kondicionet e raportit sinjale-zhurme te kanalit fizik jane te favorshme dhe me njeraport te caktuar sinjal-zhurme nuk kemi gabime, eshte e kuptueshme qe tentohet te rritet numri iniveleve nga 2 ne M me qellim rritjen e shpejtesise se transmetimit (shif fig.7.1).Ne rast se A1, A2,...AMjane nivelet e impulseve qe do te transmetojne M simbolet nedispozocion, ne marje do te kemi vlerat y = Ai+ n nga e cila duhet te nxjerrim vleren Aie perpasoje dhe simbolin e transmetuar. Per kete qellim ne marrje vendosim pragjet e interpretimit tecilat ndajne fushen e vlerave y ne M intervale dhe secilit prej ketyre pragjeve i pergjigjet njohja enje niveli te caktuar Ai.Ne rast se vlera momentale n e zhurmes kalon gjysmen e intervalit te pragut d pra gjysmen eintervalit q midis vlerave Ai, do te kemi njohjen e nje simboli te ndryshem nga ai i transmetuar.Propabiliteti qe kjo te ndodhe varet nga raporti midis madhesive q dhe vleres efektive ENtezhurmes se pranishme ne marrje. Sa me i madh te jete raporti midis q dheNaq me e mire dote jete cilesia e transmetimit.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 25 / 66Eshte e qarte se fuqia e sinjalit te transmetuar ne lidhje me madhesite Ai do te jete:S =2SE=2iA7.1Ku2SEeshte vlera efektive e sinjalit me fuqi S e barabarte me mesataren e simboleve Ainekatror.Ne rastin e sinjalit me 4 nivele si ne fig. 7.1 kemi:21A=22A= d223A=24A= (3d)2Ku d =2qNga ku duke qene2iA==MiMA11i2kemi2iA= 5d2dhe duke supozuar simbolet Aiekuiprobabelkemi S = 5d2.Per analogji me rastin binare ku zhurma provokon gabime kur |n| >S, ne rastin me 4 nivele dote kemi gabime kur |n| > d = 5/Spra per madhesi 5 me te vogla se rasti binar.Duke fiksuar nje vlere te caktuar te raportit S/N te nje kanali fizik eshte e mundur, per te rriturkapacitetin e tij, te rrisim vlerat e niveleve M deri ne momentin qe propabiliteti i gabimeve eshteakoma shume i vogel e per pasoje edhe Hy(x) 20duhet te transmetojme kodin per NYT (000) dhe paraqitjen me 4 bite te numrit22-10=11e cilaeshte 1011. Simboli tjeter eshteakodi i te cilit tashme eshte 0. Procesi vazhdon njesoj deri teksimboli i fundit.3.3.3 Procedura e dekodimitBllokskema e procedures se dekodimit tregohet ne Figuren 3.4. Ne momentin e marrjes se njestringe binare shetitet pema binare ne menyre identike me ate te kodimit. Ne momentin qe hasetnje nyje dekodohet simboli korespondues i saj. Ne rast se ky simbol eshte NYT, kontrollohen ebitet pas tij per te pare nese numri koresponues eshte me i vogel ser. Kur ky numer eshte me ivogel serlexohet edhe nje bit tjeter per te kompletuar kodin per nje simbol. Indeksi per simbolingjendet duke i shtuar 1 vleres dhjetore qe i takon paraqitjes binare te stringes prej e osee+1bitesh. Pasi simboli eshte dekoduar pema behet update dhe me marjen e bitit tjeter fillon njeshqyrtim i ri i pemes prej rrenjes se saj.Le te shohim si funksionon procesi i dekodimit per rastin e shembullit 3.3.2.Shembull 3.3.3 Procedura e dekodimitStringa binare e gjeneruar nga procedura e kodimit per shembullin 3.3.2 eshte:000001010001000001100010110Fillimisht pema e dekoduesit konsiston ne nyjen e vetme NYT. Atehere simboli i pare per tudekoduar do te jete nga lista NYT. Lexojme 4 bitet e para 0000 meqenesee=4. Numri dhjetor iqe keto bite perfaqesojne eshte 0. Duke qene me i vogel se numri dhjetorr=10lexojme edhe njetjeter bit, pra stringa binare e lexuar behet 00000. Shtojme 1 ne vleren dhjetore te stringes binaredhe fitojme indeksin e simbolit te mare, si 1. Ky eshte indeksi i germesa. Pra simboli i pare idekoduar eshtea. Pema behet update si ne figuren 3.2. Biti tjeter ne stringe eshte 1. Ky bit na jeprrugen nga rrenja e pemes tek nje nyje ekstreme qe i korespondon perseri simbolita. Pradekodojme perseri simbolin siadhe bejme perseri update pemen. Ne kete rast update-i konsistonvetem ne rritjen e peshes se nyjes se simbolita. Biti tjeter eshte 0. Ky bit tregon rrugen nga nyjarrenje tek nyja NYT. Pra simboli qe vjen nuk eshte ne peme. Lexojme perseri 4 bite, 1000, tecilat i korespondojne numrit dhjetor 8. Ky numer eshte me i vogel se 10, prandaj lexojme edhe 1bit dhe kemi 10001. Vlera dhjetore e 10001 plus 1 eshte 18, qe eshte indeksi i germesr. Pradekodojme simbolin tjeter sirdhe bejme update pemen. Dy bitet e tjera, 00, na cojne perseri teknyja NYT. Lexojme 4 bitet ne vazhdim 0001, vlera e te cilave eshte 1 perseri me e vogel se 10.pra lexojme edhe nje bit shtese dhe kemi 00011. Vleres dhjetore te kesaj stringe binare i shtojme1 dhe kemi vleren 4 qe eshte indeksi i simbolitd. Duke vazhduar ne kete menyre bejmedekodimin deri ne simbolin e fundit.Si perfundim te ketij kapitulli mund te themi se teknika e kodimit Huffman dhe variante tendryshme te saj jane disa nga teknikat me te perdorshme ne procesin e kompresimit te tedhenave. Versione te modifikuara te kodimit Huffman hasen shpesh ne kompresimin e filavetekst si dhe te imazheve apo te dhenave video.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 50 / 664.1 Kodimi AritmetikKodimi aritmetik eshte njetjeter lloj kodimi i cili perdoret me eficence ne rastin e burimeve mealfabet te vogel dhe me propabilitete te shperndara. Kemi pare ne kaitullin tre se ne te tilla rastekodimi i thjeshte Huffman nukishte shume eficente. Per te koduar keto lloj burimesh sipasmetodikes Haffman duhej te kodonim grupe simbolesh me gjatesim.Kjo medode ne kete rastnuk eshte shume praktike sepse per te koduar nje sekuence te caktuar e gjatesimduhet tegjenerojme te gjithe fjalekodet per te gjitha sekuencat e mundshme me gjatesine e dhene, gje qeconte ne nje rritje eksponenciale te numrit te fjalekodeve. Ajo qe duhet eshte nje metode e cilagjeneron nje fjalekod per nje sekuence te dhene pa qene nevoja e llogaritjes se te gjithefjalekodeve te mundshem. Kodimi aritmetk eshte pikerisht kodimi i cili permbush kerkesen emesiperme. Ne kete lloj kodimi nje identifikues i vetem, te cilin do e quajme tag, gjenerohet per

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 51 / 66sekuencen qe duam te kodojme. Ky tag shnderohet me pas ne kodin binar per sekuencen ekoduar.4.2 Kodimi i sekuencaveNe menyre qe te dallojme nje sekuence te dhene e simbolesh nga nje sekuence tjeter duhet qe tetagome kete sekuence me nje identifikues te vetem. Nje bashkesi e munshme tag-esh jane numratne intervalin [0,1). Duke qene se keta numra jane te pafundem atehere secili prej tyre mund teidentifikoje nje sekuence te caktuar. Per kete duhet nje funksion i cili vendos nje korespondencemidis simboleve dhe numrave te intervalit [0,1) ose intervalit njesi. Nje funksion i cili kryen keteproces midis variablave te rastit dhe numrave te intervalit njesi eshte funksioni i shperndarjes sendryshores se rastit. Kujtojme se nje variabel i rastit vendos ne korespondence nje gjarje aponumer ngjarjesh te nje eksperimenti me numra reale. Per rastin tone ajo qe duhet eshte njekorespondence midis simboleve te burimit te informacionit dhe numrave reale. Per thjeshtesi,lloji i korespondences qe do te perdorim ne kete kapitull dote jete si me poshte:X(ai) = i ku aieshte nje nga simbolet e alfabetit A = { a1, a2, ..., am} te burimit dheX eshte variabli i rastit.Kjo nenkupton gjithashtu se duke pasur modelin propabilistik te ketij burimi, kemi nedispozicion edhe funksionin e densitetit te propabiliteteve per variablin e rastitP(X=i) =P(ai)Si dhe funksionin e shperndarjes se densiteteve Fx(i) ===ikkXP1)(Eshte e qarte se cdo sombol ai me propabilitet te ndryshem nga 0 ka nje vlere te ndryshme teFx(i).Kete fakt do te perdorim gjate kodimit aritmetik.4.2.1 Gjenerim i tag-utProcedura e gjenerimit te tag-ut kryhet duke zvogeluar madhesine e intervalit te tag-ut per cdoelement te sekuences se dhene. Fillohet duke ndare intervalin njesi ne nenintervale te formes[Fx(i-1), Fx(i)), per i = 1, 2, ..., m. Intervali [Fx(i-1), Fx(i)) i korespondon simbolit ai.Shfaqja esimbolit te pare ben qe te fokusohemi ne intervalin e ketij simboli dhe te injorojme te gjitheintervalet e tjera. Pra n.q.s. elementi pare eshte akintervali qe do te permbaje tag-un do te jete[Fx(k-1), Fx(k)). Ky interval ndahet perseri ne te njejtat pjese si intervali origjinal. Pra intervali ij-te i cili i korespondon simbolit te j-te do te jete:[Fx(k-1) + Fx(j-1) * (Fx(k) - Fx(k-1)), Fx(k-1) + Fx(j) * (Fx(k) - Fx(k-1)))Shfaqja e cdo simboli ben qe tag-u te bjere ne nje interval te caktuar i cili ndahet perseri ne tenjejtat pjese si ai njesi.Ky proces behet me i qarte po te shohim shembullin e meposhtem.Shembull 4.2.1Supozojmenje alfabet me tre germa A = {a1, a2, a3} me P(a1) = 0.7, P(a2) = 0.1 dhe P(a3) = 0.2.Duke perdorur ekacionet per funksionin Fxkemi Fx(1) = 0.7, Fx(2) = 0.8 dhe Fx(3) = 1. Kjo ndanintervalin njesi ne tre pjese sic tregohet ne Figuren 4.1.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 52 / 66Intevali ne te cilin do te jete tag-u varet nga simboli i pare i sekuences qe do te kodohet. Po qe sesimboli i pare eshte a1tagu do te jete ne intervalin [0.0,0.7). Per a2do te jete ne intervalin[0.7,0.8) dhe per a3ne intervalin [0.8,1.0).Pasi intervali i tag-ut eshte percaktuar intervalet e tjera injorohen dhe intervali i mbetur ndahetperseri ne te njejtat pjese. Supozojme se simboli i pare eshte a1. Tag-u bie ne intervalin [0.0,0.7).Ky interval ndahetperseri ne tre pjese si ai njesi duke na dhene nenintervalet [0.0, 0.49),[0.49,0.56) dhe [0.56, 0.7). Intervali i pare i takon simbolit a1, i dyti simbolit a2dhe i tret simbolita3. Supozojme se simboli i dyte eshte a2. Tag-u tashme do te bjere ne intervalin [0.49,0.56).Ndajme kete interval perseri ne te njejtat proporcione si ai origjinal dhe kemi perseri tre intervalete tjere [0.49, 0.539) per simbolin a1, [0.539, 0.546) per a2dhe [0.546, 0.560) per a3. Ne rast sesimboli tjeter eshte a3tag-u bie ne intervalin [0.546, 0.560) i cili ndahet perseri si ne figure.Shohim se ardhja e cdo simboli ben qe tag-u te jete ne nje neninterval i cili eshte i ndare nda tetjeret. Pra tag-u per nje sekuence te caktuar do te jete ne nje interval te ndare nga ai i njesekuence tjeter. Pra cdo numer brenda intevalit mund te identifikoje ne menyre unike sekuencene dhene. Nje menyre per te zgjedhur numrin e tag-ut eshte ajo e marjes se kufirit te poshtem teintervalit, nje tjeter e mesit te tij. Per momentin do te perdorim mesin e intervalit. Matematikisht,per nje burim me alfabet A = {a1, a2, a3, ..., am} i cili gjeneron mesazhe me gjatesi nje simbol nemund te vendosim ne korespondence simbolet {ai} me numrin {i}. Po keshtu mund tepercaktojme Tx(ai) si:Tx(ai) ===11)(ikkXP+21P(X=i) = Fx(i-1) +21P(X=i)Pra per cdo vlere te ai, Tx(ai) do te kete nje vlere unike. Kete vlere mund ta perdorim si tag per ai.Shembull 4.2.2Supozojme se kryejme nje eksperiment duke hedhur nje zar. Dalja e eksperimentit mund tepershkruhet nga numrat {1, 2, 3, 4, 5, 6}. Pra P(X=k) =61per k = 1 , 2, 3, 4, 5, 6.Nga sa me siper mund te gjejme tag-un per X=2.Tx(2) = P(X=1) +21P(X=2) =61+121= 0.25Po ne njejten menyre mund te gjejma tagu-un per X=5.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 53 / 66Tx(5) ===41)(kkXP+21P(X=5) = 0.75.Pra shihet se gjenerimi i tag-ut per nje mesazh me gjatesi 1 eshte nje detyre e thjeshte. Kjometode mund te perdoret edhe per mesazhe te renditura me gjatesim, por do te na duhej tellogarisnim me pare propabilitetet e nje numri te caktuar te mesazheve me te vogla se mesazhiqe po kodojme. Nderkohe qe nje rruge tjeter me e perdorshme eshte ajo e llogaritjes se kufijve teintervalit ku bie tag-u dhe pastaj zgjedhja e nje vlere brenda intervalit. Llgaritja e kufirit tesiperm u(n)dhe kufirit te poshtem l(n), per nje sekuence x = (x1x2...xn), mund te behet sipasformulave te meposhteme.l(n)= l(n-1)+ (u(n-1) l(n-1))*Fx(xn-1)u(n)= l(n-1)+ (u(n-1) l(n-1))*Fx(xn)Ne kete cfare duhet te njohim eshte vetem modeli propabilistik i burimit.N.q.s. do te perdorim piken e mesit te intervalit si vlere per tag-un kemi:Tx(x) =21(u(n)+l(n))Shembull 4.2.3Per nje burim me modelin e propabiliteteve te dhene gjeni tag-un per sekuencen1321, kur dimese Fx(k) = 0 per k0, Fx(1) = 0.8, Fx(2) = 0.82, Fx(3) = 1 dhe Fx(k) = 0 per k3.Do te perdorim dy ekuacinet e mesipere, ne menyre sekuenciale, per te percaktuar tag-un esekuences. Fillimisht duke inicializuar u(0)dhe l(0)me 0, per elementin e pare1kemi:l(1)= 0 + (1-0)*0 = 0u(1)= 0 + (1-0)*0.8 = 0.8Elementi i dyte i sekuences eshte3. Duke pedorur ekuacionet me siper gjejme:l(2)= 0 + (0.8-0)* Fx(2) = 0.656u(2)= 0 + (0.8-0)* Fx(3)= 0.8Elementi i trete i sekuences eshte2, dhe rezulton:l(3)= 0.656+ (0.8-0.656)* Fx(1) = 0.7712u(3)= 0.656+ (0.8-0.656)* Fx(2)= 0.77408Duke vazhduar te njejten llogjike per elementin e katert kemi:l(4)= 0. 7712+ (0. 77408-0. 7712)* Fx(0) = 0.7712u(4)= 0. 7712+ (0. 77408-0. 7712)* Fx(1)= 0.773504Atehere vlera e tagut per sekuencen1321do te jete:Tx(1321) =2773504.07712.0 += 0.772352Shohim se cdo interval i momentit eshte i perfshire ne intervalin e meparshem. Kjo veti do teshfrytezohet per deshifrimin e tag-ut. Po keshtu shihet se intrvalet zvogelohen perhere e meshume me rritjen e numrit te simboleve ne sekuence, pra per sekuenca te medha do te kemi

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 54 / 66numra me shume shifra pas presjes dhjetore. Per te tejkaluar kete problem do te shohim me tejnje menyre te zvogelimit te precizionit te ketyre numrave.4.2.2 Deshifrimi i tag-utKemi pare me lart se si eshte e mundur qe nje sekuence te dhene ti vendosim ne korespondencenje tag duke pasur ne dispozicion minimumin e informacionit te mundshem. Por ky tag eshte ipapedorshem ne rast se nuk mund te bejme deshifrimine tij, pra kalimin nga ky numer nesekuencen e koduar. Ky proces eshte me i thjeshte se ai i gjenerimit te tag-ut. Le ta shohimnepermjet shembullit te meposhtem.Shembull 4.2.4Per rastin e shembullit 4.2.3 le te perfitojme sekuencen e paraqitur prej numrit 0.772352. Eshte eqarte se intervali ku ndodhet ky numer do te jete nje neninterval i te gjithe intervaleve tellogaritur gjate procesit te kodimit. Metoda e perdorur eshte ajo e dekodimit te elementeve nesekuence e tille qe kufijte e siperm dhe te poshtem u(k)dhe l(k)te permbajne vleren e tag-ut percdo k. Fillojme me l(0)= 0 dhe u(0)= 1.Pas dekodimit te elementit te pare x1kemi:l(1)= 0 + (1-0)* Fx(x1- 1) = Fx(x1- 1)u(1)= 0 + (1-0)* Fx(x1) = Fx(x1)Pra intervali ku ndodhet tag-u eshte [Fx(x1- 1), Fx(x1)). Ne duhet te gjejme vleren e x1per tecilen 0. 772352 ndodhet brenda ketij intervali. Per e x1= 1 intervali eshte [0, 0.8), per e x1= 2intervali eshte [0.8, 0.82) dhe per x1= 3 intervali eshte [0.82, 1). Duke qene se 0.772352ndodhet ne intervalin e pare kemix1= 1. Pra elementi i pare i sekuences eshte1.Perserisim proceduren per elementin e dyte x2duke perdorur vlerat e perfituara per l(1)dheu(1).l(2)= 0 + (0.8-0)* Fx(x2- 1) = 0.8*Fx(x2- 1)u(2)= 0 + (0.8-0)* Fx(x2) = 0.8*Fx(x2)per x2= 1 intrvali i ri eshte [0, 0.64) dhe ky nuk e permban tag-un, per x2= 2 intrvali i ri eshte[0.64, 0.656) i cili perseri nuk e permban tag-un dhe per x2= 3 intrvali eshte [0.656, 0.8) dhe kyeshte intervali qe permban tag-un. Pra elementi i dyte i sekuences eshte3.Duke njohur elementin e dyte te sekuences rillogarisim vlerat e l(2)dheu(2)dhe me pas elementinx3i cili na jep nje inteval ku ndodhet tag-u.l(3)= 0.656 + (0.8-0.656)* Fx(x3- 1) = 0.656+0.144*Fx(x3- 1)u(3)= 0.656 + (0.8-0.656)* Fx(x3) = 0.656+0.144*Fx(x3)Keto dy ekuacione ne formen e dhene nuk jane shume te perdorshme per te kuptuar hapat emetejshem. Per te qene me te qarte duhet te zbresim vlerat e l(2)dheu(2)nga te dy limitet dhe ngavlera e tag-ut. Kjo do te thote se duhet te gjejme ate vlere te x3per te cilen intervali [0.144*Fx(x3-1), 0.144*Fx(x3)) permban vleren 0.772352 0.656 = 0.116352. Duke pjestuar 0.116352 me0.144 gjejme vleren 0.808. Pra duhet te gjejme ate vlere te x3per tecilen 0.808 bie ne intervalin[Fx(x3- 1), Fx(x3)). Shohim se e vetmja vlere per te cilene kjo eshte e mundur eshte2.Zvendesojme kete vlere per x3dhe llogarisim perseri vlerat e reja te l(3)dheu(3). Pas kesaj gjejmeelementin x4duke llogaritur limitet si:l(4)= 0.7712 + (0.77408-0.7712)* Fx(x4- 1) = 0.7712+0.00288*Fx(x4- 1)u(4)= 0. 7712 + (0. 77408-0.7712)* Fx(x4) = 0.7712+0.00288*Fx(x4)

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 55 / 66Ne te njjten menyre si me lart gjejmex4= 1.Ne kete menyre kemi aritur deri ne fund tesekuences se koduar. Theksojme se ne kete rast gjatesia e sekuences eshte e njohur dhe per ketearsye dihet dhe se ku do te perfundoje procesii dekodimit. Por per raste te tjera ky eshte njeinformacion i cili ne nje menyre apo ne nje tjeter duhet ti behet i ditur dekoduesit.Si perfundim mund te themi se algoritmi per deshifrimin e tag-ut eshte si me poshte:1.Fillojme me l(0)= 0 dhe u(0)= 1.2.Per cdo k gjejme t*= (tag-l(k-1)/(u(k-1) l(k-1)).3.Gjejme vleren e xk per te cilen Fx(xk-1)t*< Fx(xk).4.Llogarisim vlerat e reja per l(k)dhe u(k).5.Perserisim keto hapa deri ne dekodimin e plote te sekuences.4.2.3 Kodi binar dhe eficenca e kodimit aritmetikDuke perdorur algoritmin e gjenerimit te tag-ut qe pame me siper ne fitojme nje vlere reale pernje sekuence te dhene. Por ajo per te cilen realisht jemi te interesuar eshte paraqitja binare esekuences se dhene ose fjalekodi i saj. Duke qene se tag-u eshte unik per nje sekuence te dhene,mund te themi se paraqitja binare e tag-ut formon nje kod binar unikper nje sekuence te dhene.Por duke qene se kjo paraqitje mund te jete nje numer me shumeshifra pas presjes dhjetore, edhepse kodi eshte unik, nuk eshte shume eficente. Ky kod mund te behet eficent duke kufizuarparaqitjen binare te tag-ut. Nje menyre eshte ajo e paraqitjes binare te vleres dhjetore te tag-utTx(x) dhe kufizimi i saj ne [log2)(1xP+ 1] bite. Vertetohet se perseri kodi i perfituar ne ketemenyre eshte unik.Po keshtu per arsye te llogaritjeve nuk eshte shume praktike perdorimi i numrave me presjedhjetore. Nderkohe qe me po te njejten llogjike te perdorur me siper mund te implementohetkodimi aritmetik edhe me numra te plote. Tabela me poshte jep nje shembull te kodimitaritmetik.Simboli Propabiliteti FxTxParaqitjabinarelog2)(1xP+1Kodi1 1/2 0.5 0.25 .010 2 012 1/4 0.75 0.625 .101 3 1013 1/8 0.875 0.8125 .1101 4 11014 1/8 1 0.9375 .1111 4 1111Mund te vertetohet gjithashtu se gjatesia mesatare e kodimit aritmetik permbush mosbarazimin emeposhtem:H(X)mcA< H(X) +m2Kumeshte gjatesia e sekuences. Shohim se me rritjen e gjatesise se sekuences se koduar gjatesiamesatare e kodit afrohet drejt entropise.4.3 Probleme te implementimitNe paragrafin 4.2.1 pame nje algoritem per gjenerimin e tag-ut te nje sekuence te caktuar. Porimplementimi i tij ne praktik paraqet nje problem. Intervali [0,1) i ciline perdornim paraqet nevetvete nje pafundesi numrash. Por praktikisht jemi te kufizuar ne paraqitjen e ketyre numravenga maksimumi i biteve qe nje makine llogaritese perdor per paraqitjen e numrave. Nga algorimi

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 56 / 66duket qarte se me rritjen e numritn, intervalet behen perhere e me te vegjel dhe numrat e kufiritte poshtem dhe te siperm te intervalit afrohen perhere e me shume. Per te paraqitur keta numra nemenyre unike duhet pa tjeter te rrisim precizionin e tyre. Por ne nje sistem me precizion tefundem kata numra do te konvergjojne tek njeri tjetri. Ne kete menyre kemi humburinformacionin per ate pjese te sekuences ku keta numra konvergjojne. Per kete arsye duhet tegjejme nje menyre per te shkallezuar intervalin e tag-ut. Eshte e qarte qe kjo duhet te kryhet nemenyre te tille qe te mos kemi humbje te informacionit. Nje tjeter aspekt i kodimit eshte fakti qene deshirojme te kryejme nje kodim te menjehershem ne kuptimin qe transmetimi i kodit tebehet njekohesishte me vrojtimin e sekuences dhe jo te presim deri sa sekuenca te kete mbaruar epastaj te fillojme transmetimin. Le te shohim se si mund te tejkalohen keto probleme.Me zvogelimin e intervaleve te tag-ut shohim se kemi njeren nga tre situatat e meposhteme:1.Intervali eshte teresisht i kufizuar nga gjysma e poshteme e intervalit njesi [0, 0.5).2.Intervali eshte teresisht i kufizuar nga gjysma e siperme e intervalit njesi [0.5, 1).3.Intervali shtrihet pikerisht ne mes te intervalit njesi.Le te shohim dy rastet e para.Ne rast se intervali eshte i kufizuar nga njera prej gjysmave te inevalit njesi, ai gjate gjithe kohesdo te jete i kufizuar nga po jo gjysme. Kujtojme se biti me me vlere i cdo numri brenda [0, 05)eshte gjithmone 0 dhe i cdo numri brenda {[0.5,1) eshte 1. Per pasoje pasi eshte percaktuarintervali se ku do te bjere tag-u. Biti me me vlere i tij do te jete gjithmone i njejte. Pra pa priturpjesen tjeter te sekuences ne mund ti dergojme maresit informacionin se kudo te bjere tag-uduke derguar 1 per gjysmen e siperme dhe 0 per gjysmen e poshteme. Ky bit eshte njekohesishtedhe biti i pare i tag-ut. Pra pasi kemi percaktuar gjysmen e intervalit njesi mund te injorojmegjysmen jeter te tij e cila nuk do te permbaj asnjehere tag-un.Duke pasur kufizim ne precizionin e numrave dhjetore, tashme mund te vendosim nekorespondence te gjysmes se intevalit te caktuar te gjithe intervalin njesi. Pra mund te perdorimnje nga relacionet e meposhteme:E1: [0, 0.5)[0, 1) E1(x) = 2xE2: [0.5 , 1)[0, 1) E2(x) = 2(x-0.5)Pasi kemi perdorur nerin prej relacioneve te mesiperme kemi humbur informacionin rreth bititme me vlere, por kjo nuk ka rendesi sepse kete bit tashme e kemi ransmetuar.Mund te vazhdojme kete proces, duke gjeneruar nje tjeter bit, sa here qe tagu eshte i kufizuar nganjera prej gjysmave te intervalit te ri njesi. Ky proces kodimi, pa pritur te gjithe sekuencen, quhetedhe kodim rrites.Per rastin e trete, i cili ndodh kur tag-u eshte p.sh. ne intervalin [0.25, 0.75) perdoret relacioni imeposhtem:E3: [0.25 , 75)[0, 1) E3(x) = 2(x-0.25)Por ne kete rast prcedura e dergimit te bitit 0 apo 1 ndryshon nga dy rastet e para. Ne kete rastkoduesi dergon nje kombinim te tille bitesh qe ti lejoje dekoduesit te perdori te njejtin relacionme te per shkallezimin e intervalit.4.4 Implementimi me numra te ploteKodimiKemi pershkruar me siper implementimin e kodimit aritmetik me numra dhjetore. Le te shohimse si mund te ndertohetpo e njejta skeme kodimi ne numra te plote dhe te gjenerojme kodin binarte sekuences se dhene per kodim. Gjeja e pare qe duhet te bejme eshte percaktimi i gjatesise sefjales binare (numri i biteve) qe do te perdorim. Per nje gjatesi fjalemduhet qe te vendosim ne

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 57 / 66korespondence numrat ne intervalin [0,1) me numra binare te tipit 2m. Atehere numri 0korespondon me 000...00 (m zero), numri 1 me 111...11 (m njesha) dhe vlera 0.5 me 100...00).Ekuacionet e limiteve te intervaleve kane te njejten forme si ato te para me larte. Por duke qenenje implementim me numra te pote duhet te zvendesojme funksionin Fx(x) ne keto ekuacione.Percaktojme njsi numri i hereve qe simboli j paraqitet ne nje sekuence me gjatesiTotalCount.Ne kete menyre funksioni Fx(k) mund te vleresohet si:Fx(k) =TotalCountnkii=1Duke percaktuarCum_Count(k)==kiin1mund te shkruajme:l(n)= l(n-1)+TotalCountxCountCumlu nnn)1(_*)1( )1()1( +u(n)= l(n-1)+TotalCountxCountCumlu nnn)(_*)1( )1()1( +-1ku xneshte simboli i n-te qe do te kodohet.Per shkat te menyres se korespondences midis vlerave ekstreme te intervalit dhe gjysmeintervalit, kur l(n)dhe u(n)jane ne njeren prej gjysmave te intervalit njesi, bitet kryesore te tyre dote jene te njejte. Ne rast se biti me me peshe (MSB) eshte 1, atehere intervali i tag-ut eshte negjysmen e siperme te intervalit [000...00, 111..11). Ne rast te kundert ndodhet ne gjysmen eposhteme. Ne keto kushte per te kryer shkallezimin e intervalit, pra aplikimin e korespondencesE1apo E2eshte shume e thjeshte. Cfare duhet te bejme eshte te reshqasim majtas MSB dhe tevendosim vleren e bitit me me pak peshe (LSB) 1 per u(n)dhe 0 per l(n). Supozojme sem=6,u(n)=54 dhe l(n)=33. Paraqitjet binare per u(n)dhe l(n)jane respektivisht 110110 dhe 100001. MSBe te dy numrave jane te njejte. Atehere reshqasim majtas (transmetojme ose magazinojme) MSBdhe vendosim 0 ne LSB per l(n)dhe 1 ne LSB per u(n). Vlerat e reja jane 101101 ose 45 per u(n)dhe 000010 ose 2 per l(n). Kjo procedure eshte ekuivalente me korespondencen E2. Edhekorespondenca E1perfitohet po njesoj. Ne rast se biti i dyte (pas MSB) i u(n)eshte 0 dhe biti idyte i l(n)eshte 1,kjo do te thote se duhet te kryejme nje korespondence E3. Per ketekomplementojme bitin e dyte te te dy vlerave, reshqasim majtas te dy vlerat dhe vendosim 1 nebitin e fundit te u(n)dhe 0 ne bitin e fundit te l(n). Regjistrojme numrin e shkallezimit E3ne njeregjister te cilin po e quajme Scale3.Shembull 4.4.1Le te kodojme perseri sekuencen1321me numra te plote dhe sipas parametrave te dhena meposhte.Count(1) = 40 Cum_Count(0) = 0 Scale3=0Count(2) = 1 Cum_Count(1) = 40Count(3) = 9 Cum_Count(2) = 41TotalCount = 50 Cum_Count(3) = 50Fillimisht duhet te gjejme gjatesin e fjales qe do te perdorim (numrin e biteve)m. Duhet tesigurohemi se numrat e paraqitur prej ketyre biteve permbajne te gjitha numrat qe do te ediferencave te intervaleve gjate procesit te kodimit. Per rastin tone intervali me i vogel [l(n),u(n)]mund te jete sa nje e katerta e gjithe intervalit te numrave 2m. Atehere intervali total duhet te jete

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 58 / 66me i madh se 200. Perm=8kemi l(0)= 0 = (00000000)2dhe u(0)= 255 = (11111111)2. Pra keminje interval numrash me te madh se 200.Elementi i pare per kodim eshte1. Gjejme limitet e intervalit dhe kemi:l(1)= 0 +50)0(_*256 CountCum= 0 =(00000000)2u(1)= 0 +50)1(_*256 CountCum-1 = 203 = (11001011)2Elementi tjeter eshte3.l(2)= 0 +50)2(_*204 CountCum= 167 =(10100111)2u(2)= 0 +50)3(_*204 CountCum-1 = 203 = (11001011)2MSB e l(2)dhe u(2)jane 1. Dergojme kete vlere ne dekodues, rreshqasim bitet majtas, vendosimvlerat e reja ne LSB dhe kemi:l(2)= (01001110)2= 78u(2)= (10010111)2= 151Bitet e para tashme jane te ndryshem, por kemi bitin e dyte te u(2)= 0 dhe bitin e dyte te l(2)= 1.Ky eshte kushti per shkallezimin E3. Per kete arsye komplementojme bitin e dyte, rreshqasimbitet majtas, dhe mbushim perseri bitet e fundit. Po keshtu rrisim vleren e Scale3 me 1.l(2)= (00011100)2= 28u(2)= (10101111)2= 175Elementi tjeter ne sekuece eshte2. Logarisim limitet e intervalit dhe kemi:l(3)= 28 +50)1(_*148 CountCum= 146 =(10010010)2u(3)= 28 +50)2(_*148 CountCum-1 = 148 = (10010100)2Dy bitet LSB jane te njejte prandaj rreshqasim majtas, vendosim vlerat e LSB dhe kemi:l(3)= (00100100)2= 36u(3)= (00101001)2= 41M.q.s. Scale3 eshte 1 transmetojme 0 dhe vendosim Scale3=0. MSB jane perseri te njejte prandajtransmetojme perseri 0 dhe pas rreshqitjes dhe mbushjes se LSB kemi:l(3)= (01001000)2= 72u(3)= (01010011)2= 83Kemi perseri MSB te njejte, pra transmetojme perseri 0.l(3)= (10010000)2= 144u(3)= (10100111)2= 167Transmetojme perseri 1. Limitet behen:

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 59 / 66l(3)= (00100000)2= 32u(3)= (01001111)2= 79Transmetojme 0 dhe kemi:l(3)= (01000000)2= 64u(3)= (10011111)2= 159Tashme MSB jane te ndryshme, por kemi plotesimin e kushtit per E3. Atehere:l(3)= (00000000)2= 0u(3)= (10111111)2= 191Scale3=1Elementi tjeter eshte1. Llogarisim perseri kufijte:l(4)= 0 +50)0(_*192 CountCum= 0 =(00000000)2u(4)= 0 +50)1(_*192 CountCum-1 = 152 = (10011000)2Duke vazhduar kodimin pefitojme sekuencen 1100010. Ne qofte se do te perfundojme kodiminne kete moment duhet qe te dergojme gjendjen korente te tag-ut. Kete mund ta bejme dukederguar vleren e l(4). Kjo vlere eshte 0 pra dergojme 00000000. Por vlera e Scale3 eshte 1. Perkete arsye pasi dergojme nje 0 dergojme nje 1 dhe me pas trnsmetojme zerot e mbetura. Ateheresekuence e derguar eshte 1100010010000000.DekodimiPasi kemi peshkruar proceduren e kodimit me numra te plote, implementimi i dekoduesit eshteme i thjeshte. Pasi kemi filluar dekodimin, gjithe cfare duhet te bejme eshte te imitojmekoduesin. Le te shohim edhe kete proces duke dekuduar sekuencen e koduar ne shembullin 4.4.1.Shembull 4.4.2Dekodimi i sekuences 1100010010000000 duke perdorur te njejtat parametra sine shembullin4.4.1.Duke perdorur te njejen madhesi fjale, 8, lexojme 8 bitet e para te sekuences dhe formojme tag-un t.t = (11000100)2= 196Inicializojme limitin e poshtem dhe te fundit si:t = (00000000)2= 0t = (11111111)2= 255per te filluar dekodimin llogarisim:11*)1( ++luTotalCountlt=10255150*197 += 38Krahasojme kete vlere me vleratCum_Count= [0 40 41 50]Me qene se 038 < 40 dekodojme simbolin e pare si1.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 60 / 66Llogarisim limitet e reja dhe kemi:l = 0 +TotalCountCountCum )0(_*256 = 0u = 0 +TotalCountCountCum)1(_*256 -1 = 203osel = (00000000)2u = (11001011)2MSB jane te ndryshem dhe nuk permbushet as kushti per shkallezimin E3. Per kete arsye nuknderojme vleren e tag-ut dhe vazhdojme dekodimin. Krahasojme vleren e11*)1( ++luTotalCountlt= 48me matricenCum_Countdhe kemi qe:Cum_Count[2]48 < Cum_Count[3]Atehere dekodojme simbolin tjeter si3dhe llogarisim perseri limitet.l = 0 +TotalCountCountCum)2(_*204 = 167 = (1010011)2u = 0 +TotalCountCountCum)3(_*204 -1 = 203 = (11001011)2MSB jane te njejte. Kryejme te njejtin veprim si tek koduesi. Bejme po te njejten gje edhe pervleren e tag-ut, po ne bitin e fundit te tij vendosim bitin e radhes qe lexojme nga sekuenca.Atehere kemi:l = (01001110)2u = (10010111)2t = (10001001)2Tashme jemi ne kushtet e shkallezimit E3dhe kryejme per l e u veprimet identike si ne kodues.Per tagun vendosim ne LSB bitin e lexuar nga sekuenca.l = (00011100)2= 28u = (10101111)2= 175t = (10010010)2= 146Per te gjetur simbolin tjeter llogarisim11*)1( ++luTotalCountlt= 40Por 4040 < 41, prandaj dekodojme simbolin tjeter si2.Llogarisim limitet e reja l = (10010010)2dhe u = (10010100)2.Duke perseritur te njejtat veprime si me larte arijme deri ne simbolin e fundit te sekuences.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 61 / 664.5 Krahasimi i kodimit Huffman me kodimin AritmetikNe kete kapitull pershkruam kodimin aritmetik dhe perdorimin e tij per kodimin e nje sekuencesimbolesh. Duhet thene se efikasiteti i kesaj menyre kodimi varet nga menyra se si ajo perdoret.Po keshtu varet edhe nga vetite propabilistike te burimit. Po te shohim tabelen ne seksionin 4.2.3gjatesia mesatare e kodit te perdorur eshte:mcA= 2*0.5 + 3*0.25 + 4*0.125 + 4*0.125 = 2.75 bit/simbolPo te bejme kodimin Huffman te ketyre simboleve do te kemi nja gjatesi mesataremcH= 1.75 bit/simbolPer me teper kjo eshte e njejte edhe me entropine e burimit. Pra duket se ne kete rast kodihaffman eshte me i mire sa ai aritmetik.Per te njejtin burim, po de kodojme grupe me nga dy simbole, me ane te kodimit aritmetik do tefitojme nje gjatesi mesatare prej 2.25 bit/simbol. Kjo gjatesi eshte me e vogel se ajo e rastit tepare, por perseri larg entropise se burimit. Megjithate shihet se me rritjen e numrit te simbolevekemi dhe zvogelim te gjatesise mesatare. Por sa duhet te jete numri i simboleve per te aritur njekodim me te mire se ai Haffman?Kujtojme se kufijte e gjatesive mesatare te te dy metodave jane si me poshte:H(X)mcA< H(X) +m2H(X)mcH< H(X) +m1Pra perseri dukes se kodimi me i mire eshte ai Haffman.Por per te gjeneruar kodin Haffman per nje sekuence me gjatesi m duhet te gjenerojme gjithekodet e mundshme te te gjithe sekuencave me gjatesi m. Per nje burim me alfabet me madhesik=16dhe nje sekuence me gjatesim=20ne kete rast duhet te gjeneronim 1620kode. Ky eshtepikerisht dhe disavantazhi i kodimit Haffman krahasuar me kodimin aritmetik. Me etodenaritmetike thjesh fitojme tagun per sekuencen e dhene pa llogaritur gjithe tag-et per gjithesekuencate mundshme. Kjo do te thote se praktikisht numrin m mund ta rrisim sa te duam vetemne rastin e kodimit aritmetik. Kjo do te thote se per shume burime gjatesia mesatare mund teafrohet me entropine vetem me ane te kodimit aritmetik e jo me ane te kodimit Huffman. Bejneperjashtim ato burime ku propabilitetet e simboleve jane fuqi te dyshit. Ne keto raste kodimiHuffman i germave te vecanta jep gjatesi mesatare sa entropia dhe kjo nuk mund te arihet me anete kodimit aritmetik pavaresishte nga gjatesia e sekuences.5.1 Teknikat e kompresimit me fjalorNe dy kapitujt e meparshem pame teknika te kodimit te cilat supozojne se burimi i informacionitgjeneron sekuenca prej simboleve te pavarura nga njeri tjetri. Ne kete rast teknikat e kodimit nukmbajne parasysh korrelimin e simboleve, pra ne fund te fundit vete strukturen e te dhenave. Nekete kapitull do te shohim teknika te kodimit te cilat parashikojne edhe strukturen e te dhenave,si ne forme statike dhe ne forme dinamike. Keto teknika, statike apo dinamike, ndertojne nje listeme elementet me te perdorshem (qe hasen me shpesh) dhe per transmetimin e tyre perdorinindeksin e tyre ne liste. Keto teknika jane te efektshme ne rastin e burimeve te cilet gjenerojne

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 62 / 66nje numer te vogel elemetesh me shpeshtesi (frekuence paraqitjeje) te madhe, sic jane rastet eteksteve apo te komandave te nje programi kompjuterik.5.2 Metoda e kompresimit me fjalorNe nje numer te caktuar aplikimesh dalja e burimit konsiston ne nje numet te caktuar elementeshte cilet perseriten. Nje shembull klasik eshte rasti i teksteve ku disa fjale perseriten shume meshpesh, nderkohe qe fjale te tjera mund te mos hasen fare ose te hasen shume rralle. Nje menyree arsyeshme per kodimin e ketyre lloj burimeve eshte ajo e krijimit te nje liste me elementet tecilet hasen me shpesh. Kjo liste quhet ndyshe edhefjalor. Kur keta elemente shfaqen ne dalje teburimit, ato kodohen duke iu referuar fjalorit te mesiperm. Ne rast se elementi i shfaqur nukndodhet ne fjalor ai kodohet duke perdorur nje tjeter metode me pak eficente. Ne kete rast nekemi ndare daljen e burimit ne dy klasa elementesh, ne elemente qe hasen me shpesh dhe ne ataqe hasen me rralle. Qe kjo teknike te jete e suksesshme duhet qe numri i elementeve qe hasen meshpesh (si rrjedhim madhesia e fjalorit) te jete me i vogel se numri i gjithe elementeve temundshem.Supozojme se kemi nje tekst te ndertuar prej fjalesh me gjatesi 4 karaktere, tre prej te cileve jane26 germat e vogla te alfabetit anglez dhe karakteri i fundit eshte njera prej shenjave pike, presje,spacio, pikepyetje, pikecuditese, dy pika. Pra madhesia e alfabetit te hyrjes eshte 32. Ne rast sedo te kodojme secilen germe me vete duhet te perdorim 5 bite per secilen prej tyre. Per secilenprej fjaleve me gjatesi 4 karaktere do te na duheshin 20 bite. Per kodimin e ketij teksti le teperdorim tekniken e meposhteme. Fusim ne nje fjalor 256 fjalet me te perdorshme. Skema etransmetimit do te funksionoj si me poshte: Ne rast se duhet te transmetojme nje fjale e cila eshtene fjalor dergojme nje 0 te ndjekur nga 8 bite te cilat i korespondojne indeksit te kesaj fjale nefjalor. Ne rast se fjala nuk eshte ne fjalor dergojme nje 1 te ndjekur nga 20 bite qe perfaqesojnekodin e fjales. Pra do te kemi 9 bite per nje fjale e cila ndodhet ne fjalor dhe 21 bite per nje fjalee cila nuk ndodhet ne fjalor. Efektiviteti i kesaj metode do te varet nga perqindja e fjaleve tehasura dhe qe ndodhen ne fjalor. Ne rast se propabiliteti i shfaqjes se nje fjale e cila ndodhet nefjalor eshte p numri mesatar i biteve R per nje fjale jepet nga:R = 9p + 21(1-p) = 21 12pQe kjo metode te jete e perdorshme duhet qe R te jete me e voges se 20. Kjo gje arihet per vlerate p0.084.Pervec faktit te zgjedhjes se nje metode funksionale duhet te mbajme parasysh edhe aritjen e njeperformance sa me te mire te saj. Per kete qellim duhet qe p te kete nje vlere sa me te madhe. Perte aritur kete qellim duhet te zgjedhim me kujdes elementet me te cilet do te ndertohet fjalori, gjeqe arihet duke patur parasysh strukturen e te dhenave te cilat do te kodojme. Ne rast se kete llojinformacioni nuk e kemi perpara kodimit duhet fillimisht te gjejme nje menyre per mbledhjen etij. Ne rastin kur kemi informacion te mjaftueshem per vetite statistikore te burimit qe do tekodojme mund te perdorim menyren statike te kodimit, ne rast te kundert perdoret menyradinamike ose adaptive e kodimit.5.3 Fjalori statikZgjedhja e nje menyre statike eshte e vlefshme ne rastet kur kemi njohuri paraprake perinformacionin te cilin do te kodojme. P.sh. ne rastin e kompresimit te nje informacioni i cilipermban te dhena per studentet e nje universiteti, fjale te tilla si: Emri, Mbiemri, Klasa, Viti etjdo te hasen shume shpesh. Ne keto kushte perdorimi i nje skeme statike eshte shume eficente.Nga ana tjeter duhet pasur kujdes sepse perdorimi i po te njejtes skeme per nje tjeter llojinformacioni mund te coj ne zgjerim te informacionit ne vend te kompresimit te tij.

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 63 / 66Nje teknike kodimi statike e cila eshte me pak e varur nga aplikacionet eshte kodimi digram (megerma dyshe) te cilin do e shohim me poshte.5.3.1 Kodimi digramNe kete lloj kodimi, fjalori i ndertuar konsiston ne te gjithe germat e alfabetit te burimit teinformacionit, e ndjekur nga te gjitha ciftet e germave (te quajtura digrama), sa mund te mbahenne fjalor. P.sh. supozojme se do te ndertojme nje fjalor me madhesi 256 per nje kodim digramper te gjithe karakteret e printueshme ASCII. Ne kete rast 95 elementet e para te fjalorit do tejene 95 karakteret e printueshme ASCII. 161 elementet e tjere do te jene dyshet me teperdorshme te prej ketyre karaktereve. Koduesi ne kete rast lexon prej hyrjes dy karaktere dhekerkon ne fjalor per te pare nese keto ndodhen ne te. Ne rast se dy karakteret ndodhen ne fjalor,indeksi korespondues i tyre kodohet dhe transmetohet. Ne rast se kjo dyshe nuk ndodhet ne fjalorkodohet karakteri i pare i dyshes. Karakteri i dyte i dyshes behet karakteri i pare i digramestjeter. Koduesi lexon nje tjeter karakter nga hyrja per te kompletuar digramen dhe procedura ekerkimit perseritet.Shembull 5.3.1Supozojme se kemi nje burim me nje alfabet prej 5 karakteresh A={a, b, c, d, r}. Duke u bazuarne njohurite qe kemi per burimin kemi ndertuar nje fjalor si me poshte:Kodi Elementi Kodi Elementi000 a 100 r001 b 101 ab010 c 110 ac011 d 111 adDuam te kodojme sekuencenabracadabra.Koduesi lexon dy elementet e pare ab dhe kerkon ne fjalor. Ky elemente ndodhet ne fjalor dhekodohet si 101. Koduesi lexon dy elementet e tjere ra dhe perseri kerkon ne fjalor. Ky elementnuk ndodhet ne fjalor. Ne kete rast kodohet r si 100 dhe lexohet nje karakter tjeter per te perfituardyshen ac. Kjo dushe ndodhet ne fjalor dhe kodohet si 110. Duke vazhduar ne te njejten menyreperfitohet stringa binare e sekuences qe duam te kodojme si 101100110111101100000.5.4 Fjalori adaptivPjesa me e madhe e teknikave qe bazohen ne fjalorin adaptiv i kane fillimet e tyre ne materialet eparaqitura prej Jacob Ziv dhe Abraham Lempel ne 1977 dhe 1978. Keto materiale parashikojnedy menyra te ndryshme per ndertimin e fjaloreve adaptiv dhe prej tyre kane rrjedhur me vone njenumer i madh teknikash te ndryshme. Menyrat e kodimit te bazuara ne materialin e vitit 1977bejne pjese ne famijlen e kodimeve te njojtura si LZ77 ose LZ1, ndersa ato te bazuara nematerialin e vitit 1978 njihen si LZ78 ose LZ2.5.4.1 Metoda LZ77Ne kete metode fjalori perbehet nga nje pjese e sekuences se koduar me pare. Koduesi shqyrtonsekuencen hyrese permes nje dritareje rreshqitese si ne Figuren 5.1. Dritarja rreshqitesekonsiston ne dy pjese, nje buffer i kerkimit i cili permban nje pjese te sekuences se koduar mepare dhe nje buffer te metejshem i cili permban nje pjese ne vazhdim te sekuences qe do tekodohet. Ne Figuren 5.1 bufferi i kerkimit permban 8 simbole ndersa buferi i metejshem

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 64 / 66permban 7 simbole. Ne praktike madhesite e buferave jane shume me te medha, por ne do teperdorim keto vlera per thjeshtesi ne shpjegim.Figura 5.1. Kodimi LZ77Per te koduar sekuencen ne bufferin e metejshem, koduesi leviz pointerin e kerkimit ne bufferine kerkimit deri sa te gjeje nje korespondence me simbolin e pare ne bufferin e metejshem.Distanca e pointerit nga bufferi i metejshem quhet offset. Pas kesaj koduesi shqyrton simbolet qendjekin simbolin pas pointerit per te pare nese ato korespondojne me simbolet ne bufferin emetejshem. Numri i simboleve te njepasnjeshem ne bufferin e kerkimit te cilat korespondojneme simbolet ne buferin e metejshem duke filluar nga simboli i pare, quhet gjatesi e perputhjes.Koduesi shqyrton bufferin e kerkimit per te gjetur perputhjen maksimale. Kur kjo perputhjeeshte gjetur ajo kodohet me nje treshe (o, l, c) ku o eshte offseti, l eshte gjatesia dhe c eshtefjalekodi i cili i korespondon simbolit ne bufferin e metejshem i cili pason perputhjen. P.sh. neFiguren 5.1 pointeri eshte i pozicionuar ne fillim te perputhjes me te gjate. Offseti o ne kete rasteshte 7, gjatesia e perputhjes l eshte 4 dhe simboli ne buferin e metejshem i cili pason perputhjeneshte r.Arsyeja e dergimit te elementit te trete te treshes eshte per te parashikuar situaten ne te cilen nukmund te gjendet perputhje midis simbolit ne bufferin e kerkimit me ate te bufferit te metejshem.Ne kete rast vlera e offsetit o dhe e gjatesise se perputhjes l jane 0 dhe fjalekodi eshte fjalekodiper vet simbolin. Ne rast se madhesia e bufferit te kerkimit eshte S, madhesia e dritaresrreshqitese eshte W dhe madhesia e alfabetit eshte A, numri i biteve qe duhet per te koduar njetreshe me nje kod me gjatesi fikse eshte log2S+log2W+log2A. Termi i dyte ne kete rast eshtelog2W sepse mund te ndodhi qe gjatesia e perputhjes te jete me e madhe se gjatesia e dritares.Kete situate do ta shohim ne shembullin 5.4.1. Ne kete shembull do te shohim tre rastet emunshme qe hasen gjate procesit te kodimit.1.Nuk kemi perputhje per karakterin tjeter qe do te kodohet ne dritare2.Nuk kemi fare perputhje3.Stringa e perputhjes tejkalon buferin e metejshem.Shembull 5.4.1 Kodimi LZ77Supozojme se duhet te kodojme sekuencen...cabracadabrarrarrad..., madhesia e dritares eshte13, madhesia e bufferit te metejshem eshte 6 dhe situata korente eshte si me poshte:cabracadabrarme stringen dabrar ne buferin e metejshem. Kthehemi ne pjesen e koduar te sekuences per tegjetur korespondence me simbolin d. Me qene se nuk kemi koresponence transmetojme treshen(0,0,C(d)). Dy elementet e pare te trehes tregone se nuk kemi korespondence dhe elementi i treteeshte kodi i simbolit d. Ne kete rast kemi koduar vetem nje element, per kete arsye rreshqasimdritaren djathtas me nje katakter. Permbajtja e re e buferave behet si me poshte:abracadabrarr

Lorenc Dhamaj Teoria e informacionit, kompresimi i te dhenave, kode te dedektmit dhe korrigjimit te gabimeveFaqe 65 / 66Duke shqyrtuar permbajtjen e tyre shikojme se kemi nje korenspondence te a ne offsetin 2 megjatesi 1 (duke u nisur nga e djathta), nje tjeter ne ofsein 4 me gjatesi 1 dhe nje ne offsetin 7. Perkete te fundit shohim se numri i elementeve qe korespondojne midis dy bufferave eshte 4 (Figura5.2). Ne kete rast kodojme stringen abra me treshen (7,4,C(r)) dhe levizim dritaren me 5karaktere. Permbajtja e re behet si me