control inteligente adaline — the adaptive linear element
TRANSCRIPT
![Page 1: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/1.jpg)
Control inteligente
ADALINE — The Adaptive Linear Element
![Page 2: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/2.jpg)
Nov 2005
2
Agenda Estructura de la Adaline Aproximacion lineal de una funcion Regla de aprendizaje Widrow-Hoff Adaline como un filtro lineal adaptativo Identificacion de sistemas adaptativo Cancelacion adaptativa de ruido
![Page 3: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/3.jpg)
Estructura de la Adaline
![Page 4: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/4.jpg)
Nov 2005
4ADALINE (Adaptive Linear Element)
Desarrollada por Widrow & Hoff (1960)
La Adaline puede ser vista como el bloque de construccion lineal mas pequeño de las redes neuronales artificiales.
Similar al perceptron, es capaz de clasificar patrones linealmente separables
La principal diferencia aqui esta en como se crea la señal de error.
![Page 5: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/5.jpg)
Nov 2005
5
Estructura de la Adaline
w0
w1
wn
x0
x1
xn
+ sgn(s)..
.
.
s
+
Algoritmo Adaptivo
+-
d
e = d – wTx
y
y
Aquí no se considera la salida s
![Page 6: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/6.jpg)
Nov 2005
6
Estructura de la Adaline
Tw x
x1
x2
xn
w1
w2
wn
.
.
.
Ty w x
bfuncion de activacion lineal1
un peso mas, b=0?
![Page 7: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/7.jpg)
Nov 2005
7
Salida de la Adaline La salida de la neurona es la suma pesada de
sus entradas
xwTi
ii xwy ˆ
Estimado de la neurona de la salida deseada
vector de entrada
Vector de pesos
El proposito del aprendizaje es minimizar la discrepancia entre la salida deseada y la salida de la neurona
![Page 8: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/8.jpg)
Nov 2005
8Una posible implementacion Una posible implementacion con ADALINE
n
1i0ii wxwoutput
v1
vn
G1
Gn
iInput:
voltages
Output:
current
![Page 9: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/9.jpg)
Nov 2005
9Una posible implementacion El problema
El problema consiste en encontrar un conjunto de conductancias tales que la conducta de entrada-salida de
la ADALINE se acerque a un conjunto de datos de entrada-salida dados
n
1i0ii wxwoutput
conductancias
![Page 10: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/10.jpg)
Nov 2005
10Comparacion del perceptron y la Adaline
Perceptron Adaline
Architecture Single-layer Single-layer
Neuronmodel
Non-linear linear
Learningalgorithm
Minimzenumber ofmisclassifiedexamples
Minimize totalerror
Application Linearclassification
Linear classification andregression
![Page 11: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/11.jpg)
Aproximacion lineal de una
funcion
![Page 12: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/12.jpg)
Nov 2005
12
El problema Sea una funcion de p variables, y una salida
La funcion a ser aproximada linealmente se conoce en N puntos (patrones de entrenamiento).
1D d d n d N 1 × N matrix
1X x x n x N p × N matrix
y = f(x)
![Page 13: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/13.jpg)
Nov 2005
13
Solucion con Adaline Para aproximar la funcion consideremos una
Adaline de p entradas y una salida Caracterizada por un vector de pesos w, 1×p,
y w x
1×p weight vector
![Page 14: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/14.jpg)
Nov 2005
14
Salida de la Adaline
Para cada vector de entrada, x(n), la Adaline calcula la salida real
N puntos (patrones de entrenamiento)
y n w x n
1D d d n d N 1 × N matrix
1X x x n x N p × N matrix
![Page 15: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/15.jpg)
Nov 2005
15
Salida de la Adaline El conjunto completo de salida 1, .., N puede
ser calculada matricialmente:
Y w X
1Y y y n y N 1× N matrix
¿Como medir las discrepancias?
![Page 16: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/16.jpg)
Nov 2005
16
El indice de desempeño Definimos el error
El indice de desempeño, puede ser el error cuadratico medio para los N valores de entrenamiento:
n d n y n
2
1
1
2
N
n
J w nN
![Page 17: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/17.jpg)
Nov 2005
17
El indice de desempeño El indice de desempeño puede expresarse
como:
1
2TJ w e e
N
donde e es el vector N × 1 de todos los errores
Te D Y
![Page 18: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/18.jpg)
Nov 2005
18Un problema de optimizacion El problema de la aproximacion es el de
minimizar el indice de desempeño
Diferentes metodos
LMS (Least Mean Squares)
Algoritmos basados en el gradiente
-2-1
01
2
-2
-1
0
1
20
0.2
0.4
0.6
0.8
1
w1
Performance Index: J(w1, w2)
w2
![Page 19: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/19.jpg)
Nov 2005
19
El indice de desempeño El indice de desempeño puede calcularse de
la manera siguiente:
1
2T
J w D Y D YN
212
2T TJ w D DY YY
N
![Page 20: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/20.jpg)
Nov 2005
20
El indice de desempeño
Denotados como
212
2T T T TJ w D DX w wXX w
N
q = (D · XT )/N the 1 × p vector de correlacion cruzada
R = (X · XT )/N the p × p matriz de correlacion de entrada
![Page 21: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/21.jpg)
Nov 2005
21
El indice de desempeño
El objetivo es hallar w tal que se minimize J
212
2T TJ w D N qw wRw
![Page 22: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/22.jpg)
Nov 2005
22Solucion por minimos cuadrados A fin de hallar el vector de pesos optimo se
calcula el gradiente de J con respecto a w:
igualando a cero
TJ w q wR
wR q
TR R
![Page 23: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/23.jpg)
Nov 2005
23Solucion por minimos cuadrados La solucion, si existe, puede encontrarse
facilmente, y es igual a:
11 T Tw q R DX XX
El modelo Adaline puede encontrarse usando el metodo de los minimos cuadrados
X es la matriz de N datos de entrada
![Page 24: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/24.jpg)
Nov 2005
24
Ejemplo Aproximar una pequeña seccion de la
superficie no lineal 2-D
con un plano, el cual es especificado por un vector de pesos de una neurona lineal.
2 21 2
1
x xy f x x e
![Page 25: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/25.jpg)
Nov 2005
25
Ejemplo
funcion Adaline
Ver adln1.m
![Page 26: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/26.jpg)
Regla de aprendizaje Widrow-Hoff
![Page 27: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/27.jpg)
Nov 2005
27
Aprendizaje Widrow-Hoff Sin embargo, el metodo MLS puede ser lento
(requiere de demasiados calculos!) si p es grande, por lo tanto Widrow & Hoff propone el descenso por el gradiente
Para minimizar f , se esoge
w = J
![Page 28: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/28.jpg)
Nov 2005
28
El indice de desempeño El indice de desempeño puede expresarse
como:
1
2TJ w e e
N
donde e es el vector N × 1 de todos los errores
Te D Y
2
1
1
2
N
n
J w nN
n d n y n
![Page 29: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/29.jpg)
Nov 2005
29
El indice de desempeño El indice de desempeño puede expresarse
como:
donde es el error cometido en la muestra n
2J w n
n d n y n
![Page 30: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/30.jpg)
Descenso por el gradiente
Nov 2005
30
Calculando el gradiente de la funcion de costo (por muestra)
ˆ 2 TJ n x n
22 2
ii i
n nn n
w w
1, ,i p
T
i i
nd n w x
w w
1
p
j jji i
nd n w x n
w w
ii
nx n
w
![Page 31: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/31.jpg)
Nov 2005
31
Aprendizaje Widrow-Hoff El algoritmo del descenso por el gradiente es
Conocido tambien como
Ley de aprendizaje de Widrow-Hoff Regla Delta
Tw n x n
![Page 32: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/32.jpg)
Adaline como un filtro lineal adaptativo
![Page 33: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/33.jpg)
Nov 2005
33
Vectores de señales En el procesamiento de señales en tiempo
real una señal analoga pasa por un conversor A/D, el cual produce muestras de la señal
Estas muestras pueden agruparse en un vector de p elementos de la señal de entrada,
1 1X n x n x n x n p
![Page 34: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/34.jpg)
Nov 2005
34
Vectores de señales Este vector, de la muestra actual y las p-1
pasadas, es creado por una linea de retardo
![Page 35: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/35.jpg)
Nov 2005
35La Adaline como un filtro adaptativo FIR
Si conectamos las salidas de los elementos de retardo a las sinapsis de una Adaline,
resultra en una estructura de procesamiento de señales conocida como
Filtro digital lineal de orden p FIR (Finite-Impulse-esponse)
![Page 36: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/36.jpg)
Nov 2005
36La Adaline como un filtro adaptativo FIR
Diagrama de bloques
La salida del filtro, y(n) seguira la salida deseada, d(n).
![Page 37: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/37.jpg)
Nov 2005
37
Ejemplo En este ejemplo se configura una Adaline
para predecir una señal 1-D (serie de tiempo)
0 1 2 3 4 5 6 7 8-1.5
-1
-0.5
0
0.5
1
1.5target and predicted signals
time [sec]
Ver adlpr.m
![Page 38: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/38.jpg)
Identificacion de sistemas
adaptativo
![Page 39: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/39.jpg)
Nov 2005
39
Sistema MA desconocido
Considere una señal de tiempo-discreto x(n), la cual es procesada por un sistema Moving-Average (MA) desconocido
Tal sistema tiene la misma estructura de una Adaline con parametros (pesos) desconocidos, siendo b un
vector de p elementos
![Page 40: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/40.jpg)
Nov 2005
40Identificacion de sistemas adaptativo Es posible usar otra Adaline para observar las
entradas y salidas del sistemas y adaptar sus pesos
![Page 41: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/41.jpg)
Nov 2005
41
Ejemplo
0 1 2 3 4 5 6-1
-0.5
0
0.5
1Input Signal, x(t)
0 1 2 3 4 5 6
-1
-0.5
0
0.5
1
Target d(t) and predicted y(t) signals
time [sec]
Ver adsid.m
![Page 42: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/42.jpg)
Cancelacion adaptativa de
ruido
![Page 43: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/43.jpg)
Nov 2005
43
La situacion Una señal util, u(n), es perturbada por un ruido, x(n).
por ejemplo, la voz de un piloto en un avion perturbada por el ruido originado por ejemplo desde el motor
El ruido es coloreado por un filtro FIR desconocido
El problema consiste en filtrar el ruido con el fin de obtener un estimado de la señal original
![Page 44: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/44.jpg)
Nov 2005
44Cancelacion adaptativa de ruido Considere el sistema
![Page 45: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/45.jpg)
Nov 2005
45
Resultados
0 1 2 3 4 5 6 7 8-2
-1
0
1
2Input signal u(t) and estimated signal uh(t)
time -- msec
0 1 2 3 4 5 6 7 8-0.4
-0.2
0
0.2
0.4estimation error
time --[msec]
Ver adlnc.m
![Page 46: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/46.jpg)
Aplicaciones
Nov 2005
46
![Page 47: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/47.jpg)
Cancelación de Ruido
Nov 2005
47
![Page 48: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/48.jpg)
Cancelación de Ruido
Nov 2005
48
Numero de adaptaciones (cientos)
Pot
enci
a de
rui
do d
e sa
lida
![Page 49: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/49.jpg)
Cancelación de la interferencia de 60hz en un ECG
Nov 2005
49
![Page 50: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/50.jpg)
Cancelación de la interferencia de 60hz en un ECG
Nov 2005
50
![Page 51: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/51.jpg)
Cancelación del ECG Materno durante un ECG Fetal
Nov 2005
51
![Page 52: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/52.jpg)
Cancelación del ECG Materno durante un ECG Fetal
Nov 2005
52
![Page 53: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/53.jpg)
Cancelación del ECG Materno durante un ECG Fetal
Nov 2005
53
![Page 54: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/54.jpg)
Nov 2005
54
Fuentes Andrew P. Paplinski, CSE5301 Neuro-Fuzzy Computing
(Neural Networks and Fuzzy Systems). Lecture Notes. Monash University, Australia. 1 June 2005.
Martin Hagan, Neural Network Design Demonstrations. PWS Publishing Company. 1994
Heikki Koivo, Neuro-Fuzzy Computing in Automation, course material. Control Engineering Laboratory. Helsinki University of Technology. Spring 2002.
Jeen-Shing Wang, Course: Introduction to Neural Networks. Lecture notes. Department of Electrical Engineering. National Cheng Kung University. Fall, 2005
Wen Yu, Advanced Fuzzy neural networks. Lecture notes. Departamento de Control Automatico. CINVESTAV-IPN. 2005
![Page 55: Control inteligente ADALINE — The Adaptive Linear Element](https://reader033.vdocuments.mx/reader033/viewer/2022061605/5665b43a1a28abb57c902c35/html5/thumbnails/55.jpg)
Nov 2005
55
Sources J-Shing Roger Jang, Chuen-Tsai Sun and Eiji Mizutani, Slides
for Ch. 5 of “Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence”, First Edition, Prentice Hall, 1997.
Djamel Bouchaffra. Soft Computing. Course materials. Oakland University. Fall 2005
Lucidi delle lezioni, Soft Computing. Materiale Didattico. Dipartimento di Elettronica e Informazione. Politecnico di Milano. 2004
Handbook of Neural Computation. release 97/1. IOP Publishing Ltd and Oxford University Press. 1997
A. S. Hodel, Neural Networks, notes of ELEC 6240 course. Dept. ECE, Auburn University. November 19, 2003.