character recognition using neural networks
DESCRIPTION
Character Recognition Using Neural Networks. Topics in Signal Processing, BGU, Winter 2003. References. Background: A Brief Introduction to Neural Networks. (R.D. De Veaux & L.H. Ungar) Simulations: - PowerPoint PPT PresentationTRANSCRIPT
Character Recognition Using Neural Networks
Topics in Signal Processing, BGU, Winter 2003.
References
โข Background:โ A Brief Introduction to Neural Networks. (R.D. De Veaux & L.H. Ungar)
โข Simulations:โ Methods for Enhancing Neural Network Handwritten Character
Recognition. (M.D. Garris, R.A. Wilkinson, & C.L. Wilson)โ OCR: Neural Network Analysis of Hand-Printed Characters. (A. Amin & S.
Singh)โ A Neural Network For Recognizing Characters Extracted from Moving
Vehicles. (Jang-Hee Yoo, Byung-Tae Chun, & Dong-Pil Shin)โ Applying Neural Networks To Character Recognition. (Eric W. Brown)
ื ืืฉืืื
ืจืฉืชืืช ื ืืืจืื ืื โ ืื ืื?โขืืืืืื ืืจืฉืชืืช ื ืืืจืื ืื.โขืืืืื/ืืืืื.โขืืืืืจืืชื ืืกืืกื.โขืกืืืืืฆืืืช.โข
ืืืื ืืจืฉืชืืช ื ืืืจืื ืื
ื ืืกืืื ืืืงืืช ืืช ืืืืืืช ืืขืืืื ืฉื ืืืื.โขืืืื ืืขืืืื ืืืืข.โขืืืจืื ืืจืืืื ืขืืืื ืืงืืฉืจืื.โขืฉืืืืฉ ืืืงืจืื ืฉื ืขืืืื "ืืกืืื" ืืื โข
ืืืื ืื ืืืืื ื.
ืืืื ืืจืฉืชืืช ื ืืืจืื ืื - ืืืฉื
ืืชืจืื ืืช:โขืืื ื ืืืืืืชืืช.โืืืืืช ืืืืื.โ"ืืชืืืืช" ืื ืืฉื ืืฉืจ ืขืืื ืืชืืื ืช ืืจืฉืช.โืืื ืืืืช ืืืื ื ืืจืฉืช.โืขืืืื ืืืื ืืืช. )ืืื ืฆืืจื ืืืืืจ ืืช ืืืขืื(โืืืืืช "ืฉืืงืื" ืืืงืืช.โ
ืืืื ืืจืฉืชืืช ื ืืืจืื ืื - ืืืฉื
ืืกืจืื ืืช:โขืชืืฆืืืช ืื ืฆืคืืืืช.โืืืืขืืช ืืคืชืืจ ืจืง ืื ืฉืืืื ื ืขืืื.โ
ืืืืืื ืืจืฉืชืืช ื ืืืจืื ืื
ืืื ืขืืืืืช ืจืฉืชืืช ื ืืืจืื ืื ืืืืืืืืืช?โขื ืืืจืื )ืชื ืขืฆื(.โืื ืืกืืช )ืื ืืจืืืื(.โืืฆืืื ืืืช ืืืงืกืื.โืกืื ืคืกืื ืืงืฆืืช ืืงืกืื ืื.โืืืจืื ืืกืคืง ืื ืืกืื ืคืกืื ืืืจื ืืืืช ืืฉืืื ืืืืฆื โ
ืืชืื ืื ืืืจืื ืื.ืืคืขืืืืช ืืืชืจืืฉืืช ืืกืื ืคืกืื ื ืืชื ืืช ืืฉืื ืื. )ืืืืื(โ
ืืืืืื ืืจืฉืชืืช ื ืืืจืื ืื โ ืืืฉื
ืืืื ืืืืืืชื ืื ืืื ืืงืืื:โข
ืืืืจืืืืช ืืื ืืืืขื ืฉื ืชืื ืืขืฆื โขืืืืืืืืื ืืชืืจืืืช ืืืืื ืคืฉืื ืืืืืืฉ.
ืืืืืื ืืจืฉืชืืช ื ืืืจืื ืื - ืืืฉื
"ืจืืืื ืืืกืื" ืฉื โขืืืืื:
ืื ืืกืืช ืื ืืจืฉืช ืืืฆืืื โืืื ื.
,Input ืฉืืืืช ื ืืืจืื ืื : 3โHidden, Output.
ืืืจืืฆืืช ืืฉืงืืื ืืื โืืฉืืื ืืจืืฉืื ื ืืฉื ืืื,
ืืืื ืืฉื ืืื ืืฉืืืฉืืช.
ืืืืืื ืืจืฉืชืืช ื ืืืจืื ืื - ืืืฉื
ืืืืืื ืืจืฉืชืืช ื ืืืจืื ืื โ ืืืฉื
ืงืืืขืช ืกืฃ ืืืจืื ืื ืืืจืื:โขืกืฃ ืืชืืืื ืืจืืฉืื ื ืฉื ื ืืืจืื ืืื ืืงืจืื. )ืชืืช โ
ืืืืืืช(ืืืืืื ืฉืืฉืงื ื"ืื ืืจืืืื" ืืฉืชื ื ืขื ืืื โ
ืืืืืื, ื ืืชื ืื ืจืื ืืช ืืืฉืงืืื, ืืื ืฉืื ืื ืืกืฃ ืืืืจืื.
ืืืืื/ืืืืื
ืืจืฉืช ื ืืืจืื ืื, ืืืืืื ืืืกืืกืืช )ื ืืืจืื( ืืฉ:โขืืฆืืื ืืืชโืื ืืกืืช ืืจืืืืช.โ
ืงืืืืื ืฉื ื ืืฆืื ืฉืืืืฉ : ืืืืื/ืฉืืืืฉ.โขืืืฆื ืฉื ืืืืื ื ืืชื ืืืื ืืช ืื ืืืจืื ืืืืื )ืื โข
ืื( ืขืืืจ ืฆืืจืืคื ืื ืืกื ืฉืื ืื..LUTืื ื ืืฆืจืช ืื ืืืจืื โขืืืื ืฆืืจืืคืื ืื ืืืืจืื ืืื ืืกื, ืืืคืขื ืฉืืงืื โข
(MSEืืืจ. )ืืจืื ืืืื ื
Back PropogationBack Propogation
ืืืจื ื ืฉื ืืช ืขื ืืืช ืื ืืกื ืืกืืื, โขืืืืฆืืข ืฉืื ืืืื ืืืขืจืืช, ืขื ืืงืืืช
output.ืจืฆืื
ืืืืื/ืืืืื - ืืืฉื
ืงืฆื ืืืืื:โขืืฉืื ืื ืืืฉืงืืื ืื ืฉืืจืื ืืจืฉืช ื ืขืฉื ืืฆืืจื โ
ืืืืจืืืืืช.ืืคืงืืืจ ืืฉืจ ืงืืืข ืืช ืืืื ืืืฉืคืขื )ืืืื ืืชื ืืืืช โ
(Learning Rate)ืืืืืจืฆืื( ืืื ืงืฆื ืืืืืื. .[0,1]ืขืจื ืืคืงืืืจ ืืชืืื โืฉืืงืืืื :โ
ืงืฆื ืืืืื ืืืื โ ืืฉืืืื.โขืงืฆื ืืืืื ืืืืจ โ ืกืื ืช "ืืชืืืจืืช". โข
ืืืืื/ืืืืื - ืืืฉื
ืืืื ืืื:โขืืขืฉืืช : ืงืืืืช ืงืืจืืฆืื ืืื ืืฉืื ืื ืืืฉืงืืื โ
ืืืืืจืฆืื ืืืฉืื ืืืื ืืฉืื ืื ืืืืืจืฆืื ืืฉืจ ืงืืื ืื.
ืื ืจืืฆืื ืืฉืืจ ืืช ืืงืืจืืฆืื, ื ืืชื ืืืืืืจ ืคืงืืืจ โืืืื ืืื.
Back propogation โ Cont.
ืฉืืงืืืื:โขืกืื ืืืืืข.โืงืจืืืจืืื ืืฉืื ืื ืืืฉืงืืื.โืืืจืืช.โืจืืฆืืช.โืกืืืื ืื.โ
ืกืืืื ืื
.local minimaืืชืื ืกืืช ื-โขืืืืื ืืจืื ืืื:โข
ืืฆืืจืช ืชืืืช ืืืืื ืืื ืฉื ืืจืฉืช ืืกืืจืช ืืืืืื.โืืจืฉืช ืชืืข ืืืืืช ืจืง ืืช ืืกืืจื ืขืืื ืืชืืืื.โ
ืืืืื ืงืฆืจ ืืื:โขืืืกืจ ื ืืกืืื.โืืืจืืฆืืช ืืฉืงืืื ืื "ืืืื ืกืืช". )ืืืืจืืืืืช(โ
ืืืืืจืืชื ืืกืืกื
.hidden layer, ืืฉื ืืช ืืฆืืืืช ื-inputืืืื ืชื โข.output layerืืขืืจืช ืื "ื, ืืฉื ืืช ืืฆืืืืช ื-โข.outputืืฉื ืืช ืืงืืืจ ืืืจืืง ื-โขืืฉื ืืืจืืฆืืช ืืฉืงืืื ืืืืฉ ืืขืืจืช ืื "ื.โข ืืชืื ืื ืืืจืื ืืืชืื ืื "ื.offsetืืชืื โข
ืืืฉื ืขื ืืงืืืจ ืืจืืง ืงืื ืืจืฆืื ื.โข
ืืืืืจืืชื ืืกืืกื - ืืืฉื
ืื... ืืขืืจืืช...โขโข i[], h[], o[]. โ I/H/O layers neurons.โข W1,W2 โ weight matrixes.โข F(x) โ Sigmoid activation function.โข lr, m โ Learning Rate & Momentum,
respectively.โข For a more generalized network, layer biases
can be used.
ืืืืืจืืชื ืืกืืกื - ืืืฉื
W1_chngW1
W2_chngW2
1(-W1_chng)tmeilrW1_chng)t(
1(-W2_chng)tmdhlrW2_chng)t(
d} of{function // desired_h(,hdist)e
desired_o(,odist)d
(W2hF)o
(W1iF)h
Sigmoid Functions
ืคืื ืงืฆืืืช ืืกืืืื ืืชืื ืื ืืืจืื.โขืคืื ืงืฆืืืช ืืืคืืื ืืืช:โข
2
11
1()
11
2()
2
Whx
Wixe
xF
exF
x
x
Feature Extraction
ืจืฉืช ืื ืืืจืื ืื ืืื ื ื ืืืืช ืืืง โข ,Preprocessing (Segmentation, Filteringื-
Normalization).ืืืชืืช ืืื ืืกื ืืืืืื ืืืืข ืืืกืืืืื.โขืืืืืืืช ืืกืืื ืื ืืกืืช :โข
โCharacter pixels. (8x8, 16x16, 7x5)โFFT coefficients, Gabor Coefficients ืฉื ืืืช( .
ืืื ืืกื, ืขืืืจ ืชืืื ื ืืืื( ืืขืืจืช ืงืืื ืืฉืจืื ืื ืงืืืจืื.Characterืืืฆืื ืฉื โ
ื ืชืื ืื ืืกืืืืืฆืืืช
โขGabor Functions: ืืจืืืืื.Gaborืืืชืืช ืืื ืืกื ืื ืืงืืื โ 49ื ืขืฉื ืฉืืืืฉ ืืืื ืกืืจืืช ืฉื ืืชื, ืืืช โ
ืืืชืืื, ืืขืื ืฉืื ืืืืช ืืืืืืช ืื ืืืืืช ืืืชื..inputs, 15 hidden, 10 outputs 32ืืื ื ืืจืฉืช : โ ืืืฉื 1400 ืกืคืจืืช, ืืืืืื ืขื 2000ืขืืืจ ืืืืื ืฉื โ
.92.1%ืืืืื ืฉื โFE โ 13.7[ms] โ 19; ืืืืื[ms] )ืืื ืกืคืจื( .
ื ืชืื ืื ืืกืืืืืฆืืืช - ืืืฉื
ืืืฆืื ืข"ื ืงืืืื ืืขืงืืืื:โข ืขืงืืืื, ืืขืื. ืืืฆืื ืืืช ืข"ื ืจืฆืฃ.4 ืงืืืื, 4โ.inputs, 120 hidden, 52 outputs 7ืืื ื ืืจืฉืช : โ 10% ืืืืกื, ืืืืื ืขื 90%ืฉืืื : ืืืืื ืฉื โ
ืคืขืืื.10ืื ืืชืจืื. ืืืฆืืข ืื "ื ืืกืืืืืฆืื ื ืืกืคืช ืืืฆืข ืื "ื, ืื ืืื ืฉืื ืืืกืฃ โ
ืจืขืฉ ืืืืกื ืืงืจืื ืืืืช ืืื ืืกื.
ื ืชืื ืื ืืกืืืืืฆืืืช - ืืืฉื
ืืืื ืชืืฆืืืช:โขืืฆืืื
ืืืืื ืืกืคืจ
85 1
87 2
87 3
84 4
86 5
86 6
85 7
85 8
88 9
85 10
85.8 ืืืืฆืข
ืืืื ืืฆืืื
ืืืืื ืืกืคืจ
85 1
81 2
74 3
75 4
71 5
58 6
56 7
51 8
48 9
52 10
65.1 ืืืืฆืข
ื ืชืื ืื ืืกืืืืืฆืืืช - ืืืฉื
ืืืืื ืืืืืืช ืจืืฉืื:โขTypeTopologyTrainingTestingRecognition Rate
Letters14x14x1420010095.0%
Letters14x14x1480040098.3%
Numerals25x25x101527894.9%
Numerals25x25x10482290.9%
ืกืืืืก ื ืืืื
.OOPืืืืืฉ ืชืืืืจืื ืฉื ืจืฉืช ื ืืืจืื ืื ื-โขืืืืฉื:โข
ืืืืืฉ ืฉื ืืืช ืื ืืกืืืืืฆืืืช ืืฉืจ ืืืืื โืืืืืื.
ืืืืงืช ืืขืืืืช ืืจืฉืช ืชืืช ืจืขืฉ ืืฉืชื ื.โ
ืฉืืืืช?