hamming yapay sinir ağı (sunu)
TRANSCRIPT
/
Hamming A ve renmesi
Murat zalpBilecik eyh Edebali niversitesiYapay Sinir Alar (doktora) ders devi2015, Bilecik
1915 - 1998
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
indekiler
Giri
Hamming Mesafesi
Hamming A
rnek Hamming A
Hamming A'nn Karakteristik zelikleri
Yapay Sinir Alar Snflandrmas
Matematiksel likiler
Arlklarn Hesaplanmas
rnek Uygulama
Giri
Richard Hamming, 1915-1998 yllar arasnda yaad.
1940'l yllarda delikli kartlarla alrken, veri iletiiminde hata dzeltme zerine almaya balad.
Hata dzeltme zerine alrken; iki vektrn (dize'nin, metnin) birbirine benzerliini ifade etmek iin, 1950 ylnda Hamming Mesafesi kavramn ortaya koydu.
Literatrde kaba bir aratrma sonucunda; yapay sinir alar konusunda Hamming mesafesi ifadesinin bulabildiim en eski kullanm, Hopfield tarafndan 1982 ylnda yaynlanan Neural networks and physical systems with emergent collective computational abilities isimli makale oldu. (referans)
Hamming alar tanm ise ilk kez 1987'de Lippmann tarafndan, An Introduction to Computing with Neural Nets isimli almada ifade edilmitir. (referans)
Hamming Mesafesi
ki vektrn birbirine uzakln bulmak iin kullanlan bir ok yntemden birisi Hamming mesafesidir. En yaygn yntemlerden birisi olan klid mesafesi ve benzerleri, saysal verilerle ilem yaparlar.
Hamming mesafesi ise iki ifade arasnda ka tane farkl sembol olduuna bakarak mesafe lm yapar.
rnekler:
11110000 10110001Mesafe: 2
abc123 abc120Mesafe: 1
Antakya Antalya Mesafe: 1
Hamming A
Desen eletirme (pattern matching) ve snflandrma (classification) gibi amalarla kullanlmaktadr. An giriinde vektr biiminde verilen bir desenin, eldeki bilinen desenlerden en ok hangisine benzediini syleyebilir.
x1
x2
x3
x4
B
y1
y2
B
rnek Hamming A
x1
x2
x3
x4
B
y1
y2
B
klar, 0-9 aras rakamlar temsil eder
0-9 aras rakamlar tanyan an temsili gsterimi
10 tane kolmaldr.5x3=15 tanegiri olmaldr.
Hamming A'nn Karakteristik zelikleri
Sabit arlkl yarmac alardandr (fixed weight competitive nets). Bu kategorideki dier a trleri ise MaxNet ve Meksika apkas'dr.
Bir giri vektr verildiinde; nceden aa verilmi olan rnek (exemplar ~ prototip, snf, class) vektrler ile karlatrlarak, giriin hangi rnee en yakn olduuna baklr. Bu ekilde snflandrma yaplmaktadr.
Vektrlerde; genellikle {-1,1} eklinde iki semboll alfabe kullanlr.
En yakn komu snflandrmasnn Hamming mesafesi kullanlan zel bir trdr.
Hamming a, tek katmandan oluur. Bu tek katmann grevi; giri vektrlerinin, rnek vektrlerden hangisine daha ok benzediine karar vermektir. Hamming ana genellikle, en yksek girii bulan bir MaxNet a ilave edilir.
Hamming ann yapt i; desen eletirme (pattern matching, inner product) eklinde de ifade edilmektedir.
Eiticisiz Yarmac AlarMaxNet
Hamming Net
Mexican Hat Net
Self-Organizing Map (SOM)
Adaptive Resonance Theory (ART)
Eiticili Yarmac AlarLearning Vector Quantization (LVQ)
Counterpropagation
Yapay Sinir Alar Snflandrmas
Hamming, MaxNet, Mexican Hat
Matematiksel likiler
a ve b, iki farkl vektr olsun. Bu vektrler iin;Birbirleri ile ayn olan eleman says: A(a,b) eklinde (A: Agree) gsterilir.
Farkl olan elemanlarn says ise H(a,b) eklinde (H: Hamming) gsterilir.
Bu ili vektrn skaler arpmlar (dot product); ayn elaman saysnn, farkl eleman saysndan farkna eittir. Yani;
rnek:
a vektr = [1, -1, -1, -1]b vektr = [1, 1, -1, -1] olsun.
A(a,b) = 3 ve H(a,b)=1 olacaktr.A(a,b) - H(a,b) = 3-1 = 2 olur.
a.b skaler arpm da = (1*1) + (-1*1) + (-1*-1) + (-1*-1) = 1-1+1+1 = 2 olur.
Matematiksel likiler
Hamming alarnda; A(a,b) deeri kullanlmaktadr.
Aa nceden belirli sayda rnek vektr verilmektedir. Bu vektrleri c(1), c(2), c(M) eklinde (c: class ~ snf) M tane olacak ekilde ifade edebiliriz.
Giri vektr (rnein x), c(j) vektrleri ile karlatrlmakta ve en yakn olan vektr belirlenmektedir.
Matris ilikileri:x vektr [.]1xN biimindedir.c(j) vektrleri de = [.]1xN biimindedir.
Bu durumda; c(j) vektrleri, Hamming ann arlk matrisini oluturmak iin, stun vektr haline getirilip, NxM boyutunda bir matris elde edilir.
rnek vektrler:
c(1)
c(2)
c(M)
Matematiksel likiler
n: vektrdeki sembol says
a: karlatrlan iki vektrde ayn olan sembol says olmak zere;H(x,c) =
n-aolduunu bir kez daha hatrlayalm ve sonra benzerlii ifade etmek
zere ifadeyi yeniden dzenleyelim:
Skaler arpm ifadesini biraz dzenleyelim. Vektrlerden birisi x giri vektr olsun. Dieri de e rnek vektr olsun.veya
stteki ifadede her iki taraf ikiye blp biraz dzenleyelim:
Arlklarn Hesaplanmas
nceki eitliklerden yararlanarak, yukardaki formldeki arlk (w)
ve
eik (b) deerlerini belirtelim:
B
Arlk Matrisi
rnek Uygulama
(2002, Bow, Pattern Recognition and Image Preprocessing, Sayfa:
240)
3x3 piksel ile ifade edilen C, H ve L harflerini tanyan
(snflandran) bir Hamming a olsun. Harflerin ekli
yanda gsterilmitir.Bu harflerin vektr ile ifadesi yledir:
c1=(1 1 1; 1 -1 -1; 1 1 1) C harfi
c2=(1 -1 1; 1 1 1; 1 -1 1) H harfi
c3=(1 -1 -1; 1 -1 -1; 1 1 1) L harfix=(1 1 1; 1 1 -1; 1 1 1)
giriinin, bu aa gre snfn bulmaya alalm.
An 9 tane girii (n=9) ve 3 tane k (3 snf iin: net1, net2, net3) olacaktr.Arlk matrisini (w) ve eik (b) deerini hesaplayalm:
rnek Uygulama
(2002, Bow, Pattern Recognition and Image Preprocessing, Sayfa:
240)
3x3 piksel ile ifade edilen C, H ve L harflerini tanyan
(snflandran) bir Hamming a olsun. Harflerin ekli
yanda gsterilmitir.Bu harflerin vektr ile ifadesi yledir:
c1=(1 1 1; 1 -1 -1; 1 1 1) C harfi
c2=(1 -1 1; 1 1 1; 1 -1 1) H harfi
c3=(1 -1 -1; 1 -1 -1; 1 1 1) L harfix=(1 1 1; 1 1 -1; 1 1 1)
giriinin, bu aa gre snfn bulmaya alalm.
An 9 tane girii (n=9) ve 3 tane k (3 snf iin: net1, net2, net3) olacaktr.Arlk matrisini (w) ve eik (b) deerini hesaplayalm:
rnek Uygulama
(2002, Bow, Pattern Recognition and Image Preprocessing, Sayfa:
240)
3x3 piksel ile ifade edilen C, H ve L harflerini tanyan
(snflandran) bir Hamming a olsun. Harflerin ekli
yanda gsterilmitir.Bu harflerin vektr ile ifadesi yledir:
c1=(1 1 1; 1 -1 -1; 1 1 1) C harfi
c2=(1 -1 1; 1 1 1; 1 -1 1) H harfi
c3=(1 -1 -1; 1 -1 -1; 1 1 1) L harfix=(1 1 1; 1 1 -1; 1 1 1)
giriinin, bu aa gre snfn bulmaya alalm.
An 9 tane girii (n=9) ve 3 tane k (3 snf iin: net1, net2, net3) olacaktr.Arlk matrisini (w) ve eik (b) deerini hesaplayalm:
rnek Uygulama
(2002, Bow, Pattern Recognition and Image Preprocessing, Sayfa:
240)
3x3 piksel ile ifade edilen C, H ve L harflerini tanyan
(snflandran) bir Hamming a olsun. Harflerin ekli
yanda gsterilmitir.Bu harflerin vektr ile ifadesi yledir:
c1=(1 1 1; 1 -1 -1; 1 1 1) C harfi
c2=(1 -1 1; 1 1 1; 1 -1 1) H harfi
c3=(1 -1 -1; 1 -1 -1; 1 1 1) L harfix1=(1 1 1; 1 -1 -1; 1 1 1)
giriinin, bu aa gre snfn bulmaya alalm.
An 9 tane girii (n=9) ve 3 tane k (3 snf iin: net1, net2, net3) olacaktr.Arlk matrisini (w) ve eik (b) deerini hesaplayalm:
An klar aadaki gibi bulunmutur.Net1=8
Net2=6
Net3=6
Byk olan deer, Hamming mesafesi asndan, x giri vektrne en yakn olan deerdir. Burada Hamming ann grevi tamamlanmtr.
Kaynaklar
Pattern Recognition and Image Preprocessing,Sing-Tze Bow,
2002, Marcel Dekker Yaynevi
Fixed Weight Competitive Nets, K. Ming Leung,
2007, Polytechnic University ders notlar
Neural Networks Based on Competition, M. Bennamoun,
CS407 Neural Computation ders notlar