redes neuronales inteligencia optimización heurística en nn · 3 sistemas inteligentes en...

1

Sistemas Inteligentes en Ingeniería Civil

Máster en Planificación y Gestión en Ingeniería Civil >Valencia Curso 2012/2013

Optimización heurística en proyecto y construcción

Redes Neuronales

Redes Neuronales



Optimización heurística en proyecto y construcciónMETAHEURÍSTICAS

Inteligenciaartificial Evolución

biológica

...

...

Mecánicaestadística

Comportamientode los insectos

Estrategias evolutivas

Redes neuronales

Cristalización simulada

Aceptación por umbrales

Colonias de hormigas

Búsqueda tabú

GRASP

Algoritmos genéticos

Búsqueda local guiada

Búsqueda local iterada

Lógica borrosa

GA

Metaheurísticas: GA, ES, NN,…

ESNN




GA

Sistemas Inteligentes: NN

ESNN





El cerebro de los animales presenta

características muy interesantes:- Es robusto y tolerante a fallos (mueren neuronas sin afectar su rendimiento).

- Es flexible, se adapta a nuevos escenarios (aprendizaje) y no hay que programarlo.

- Maneja información cualitativa, con ruido e incluso contradictoria o inconsistente.

- Procesa información en paralelo.

- Es pequeño y consume poca energía (20% en humanos)





Neurona biológica:El cerebro humano consta de 1011 neuronas muy

interconectadas (aproximadamente

10000 conexiones/neurona).

La neurona tiene tres componentes fundamentales:

DentritasCuerpo de la célula o somaAxón





Axon

Cell Body

Dendrites

Synapse

• Las neuronas son lentas– 10-3 s comparadas con 10-9 s para circuitos eléctricos

• El cerebro usa cómputo masivamente paralelo– ≈1011 neuronas en el cerebro– ≈ 104 conexiones por neurona

2





Las dentritas son el receptor de la neurona, son como fibras nerviosas que

cargan de señales eléctricas el soma.





El núcleo de la neurona o soma , realiza la suma de esas señales eléctricas de entrada.





El axón es una fibra larga que lleva la señal desde el soma hacia otras neuronas.





El punto de contacto entre un axón de una

neurona y una dentrita de otra se llama sinapsis .

La longitud de la sinapsis es determinada por la complejidad del proceso químico que

estabiliza la función de la red neuronal.





Funcionamiento de una neurona biológica:(1) Las dentritas reciben las señales eléctricas de neuronas adyacentes y las transmiten al soma en forma de un potencial eléctrico.(2) Las señales eléctricas son integradas por el soma.(3) Si ese potencial eléctrico es superior a un valor umbral, el soma genera un impulso eléctrico.(4) Este impulso eléctrico se transmite por el axón (fibra nerviosa con milímetros<L<metros).(5) El axón se ramifica y dirige el impulso eléctrico a otras neuronas a través de los pontos de sinápsis.





• Tipos de sinapsis:– De excitación : cuyo

efecto es incrementar el potencial en la neurona destino.

– De inhibición : hace decaer el potencial en la neurona destino.

3





Redes Neuronales

�

conexiones con pesos (sinapsis)

soma

artificial (ANN)natural

suma y transformadentritas

axón





McCulloch y Pitts (1943) propusieron un algoritmo análogo a la neurona biológica

las redes neuronales son sistemas computacionales, de implementación en hardware o software, que imitan las habilidades sistema nervioso biológico, usando un gran número de simples neuronas artificiales interconectadas.





E SProcesamientode información

neurona

ΣΣΣΣ F(a)

x1

x2

w1

w2

ya

neurona

a = x1*w1 + x2*w2; y = F(a)













Las neuronas biológicastienen sinapsis, dentritas, axones y somas.

Las neuronas artificialestienen multiplicadores, sumadores y funciones o umbrales .

4





Fun

cion

es d

e tr

ansf

eren

cia





Aprendizaje: puede aprender de un entrenamiento (training) o experiencia inicial.

Auto-organización: una NN puede crear su propia organización o representación de la información que recibe durante la etapa de

aprendizaje.

Tecnología existente:se pueden obtener chips especializados para NN que mejoran su

capacidad en ciertas tareas.





• Aprendizaje supervisado– A la red se le provee de un conjunto de ejemplos que

representen la relación entradas/salidas de las que aprende

� Aprendizaje no supervisado� La única información disponible para la red son las

entradas. La red aprende a formar categorías a partir de un análisis de las entradas

Tipos de aprendizaje





• Feed-forward networksLa información fluye directamente de

las entradas de la red a la salida o salidas. Las salidas de una red sólo dependen de los valores de entrada.

� Recurrent networksLa información no fluye directamente;

las salidas de la red dependen del “estado” de la red y no sólo de las entradas.

Tipos de redes- single layer perceptron- multilayer NN- radial basis function nets

- competitive networks- Kohonen’s SOM- Hopfield network- ART models








Sistemas Inteligentes: NN perceptrón

neurona

ΣΣΣΣ F(a)

x1

x2

w1

w2

ya

y = F(a)

y = 1, si (x1w1 + x2w2) ≥ θy = 0, si (x1w1 + x2w2) < θ

• Rosenblatt (1962) propuso a los 'Perceptrons' como herramienta computacional.

5




Sistemas Inteligentes: NN perceptrón




Sistemas Inteligentes: NN multicapa

Las multicapas presentan al menos

una capa oculta.

Pueden estar total o parcialmente

conectadas (poda).

Redes neuronales multicapa




Sistemas Inteligentes: NN multicapa




Sistemas Inteligentes: backpropagation









Supongamos: Y=ax1+bx2+cx3+CEstimación: y=w1x1+w2x2+w3x3+c1

Función error: Ep=1/2Σ(Y j-yj)2

Iteración: wi=wi+∆wi siendo ∆wi=α (∂Ep)/(∂wi)α = learning rateRegresión lineal– mínimos cuadrados – máxima verosimilitud

(normal+indep.)

6





Uj=x1jw1+x2jw2+… Oj=f(U j)

Función error:Ep=1/2Σ(Y j-Oj)2

Iteración: wi(j+1)=wij+∆wij ∆wij=α (∂Ep)/(∂wi)α = learning rate(∂Ep)/(∂wij)= [(∂Ep)/(∂Oj)][(∂Oj)/(∂Uj)][(∂Uj)/(∂wij)]Logística: f(u)=1/[1+exp(-λu)] f’(u)= λ f(u)[1-f(u)]∆wij=α (∂Ep)/(∂wi)=-[Y j-Oj][λ Oj(1-Oj)][x ij]

Regresión logísticaY j=teaching signal





Problemas de las redes feed-forward con backpropagation-Sobreaprendizaje(demasidados parámetros)-Mínimo local(algoritmo de gradiente)

Soluciones: TEST CIEGO (testing)-Early stopping-MATLAB (parar optimización)-Redes podadas(PSE en lugar de MSE)





Sobreaprendizaje= “engaño”: parece bueno pero es maloMínimo local= el modelo podría ser mejor

TEST CIEGO (testing) = una prueba del posible “engaño”Early stopping-MATLAB = para al detectar “engaño”Redes podadas PSE=MSE[1+2p/(N-p)]

Las redes neuronales tiene muchos parámetrosmodelos que ajustan bien pocos datos ¿generalización?Si p>10%N, hay que cuidar el posible“overfitting”En todo caso, p<<N (datos independientes)El test debe ser completamente “ciego”El método debe definirse“a priori”





Sobreaprendizaje(demasidados parámetros)Early stopping-MATLAB (parar optimización)





entradas salida

Datos (información)= relaciones entradas-salida

Entrenamiento (training-datos para entrenar la red)Validación (validation-datos para parar el entrenamiento)Chequeo(testing- datos para el test ciego)





entradas salida

Datos (información)= relaciones {entradas,salida}=NEntrenamiento (training): 75%NValidación (validation):10%N Chequeo(testing):15%NMSE= mean squared error (medida del error)Early stopping: usa los datos de entrenamiento para reducirMSE(train) y comprueba que MSE(valida) se reduce también; se parael proceso cuando MSE(valida) aumenta. Se verifica con MSE(test)

7





entradas salida

Entrenamiento (training): MSE siempre bajaValidación (validation):MSE baja al principio y sube después (sobreaprendizaje)Chequeo(testing):El MSE(testing) suele ser >MSE(training) y es la mejorestimación del MSE del modelo obtenido. Si MSE(testing) fuera <MSE(training), se toma el último.




ββββ, Hm0,toe (m), Tm-10,toe (s)

h (m), h t (m), B t (m), γγγγf, cot ααααd, cot ααααu, Rc (m)

B (m), h B (m), tan ααααB, Ac, Gc

Base de Datos CLASH rebase

Sistemas Inteligentes: backpropagation-CLASH




INPUT LAYER

HIDDEN LAYER

OUTPUT LAYER

q (m 3/s/m)

ββββ h Hm0,toe Tm-1,0,toe ht Bt γγγγf cot ααααd cot ααααu Rc B hb tan ααααB Ac Gc

??

COMMISSIONOF THE EUROPEAN

COMMUNITIES

FP5 - EESD

CREST LEVEL ASSESSMENT OF

COASTAL STRUCTURES BYFULL-SCALE MONITORING,

NEURAL NETWORK PREDICTION AND HAZARD ANALYSIS

ON PERMISSIBLE WAVE OVERTOPPING

CLASHEVK3-CT-2001-00058

� Preparación de la Base de Datos

ReducciReducci óónn (RF=4; CF=4; q=0) � 8,372 datosAdimensionalizaciAdimensionalizaci óónn: Ley de Froude / Hm0,toe=1m

Transformación de la Salida � log(Qlog(Q))





1.00E-03

1.25E-03

1.50E-03

1.75E-03

2.00E-03

2.25E-03

2.50E-03

0 4 8 12 16 20 24 28

Number of hidden Neurons

RM

S E

rror

Testing Set

Training Set

20 Neurons in hidden layer

“bootstrapping”





Sistemas Inteligentes: redes podadas-viajes

MODELOS DE GENERACIÓN DE VIAJES. ANÁLISIS COMPARATIVO DE LA UTILIZACIÓN DE REDES NEURONALESY REGRESIÓN LINEAL MÚLTIPLE

Diseño de un modelo deGeneración de viajesde personas en el área metropolitana de Valencia.

Por tipo de viaje:

Número total de desplazamientos por familia.

Número de desplazamientos mecanizados por familia.

Por ámbito:

Familias residentes en la ciudad de Valencia.

Familias residentes en la corona metropolitana




Datos desagregados a nivel familiar, procedentes de la Encuesta Domiciliaria de Movilidad de 1991 (Generalitat Valenciana).

7,049 familias

4,175 familias en Valencia ciudad

2,874 familias en la corona metropolitana


8





Variables consideradas:

Tamaño familiar.

Mayores de 14 años.

Nº de trabajadores.

Nº de estudiantes.

Nº estudiantes nivel medio.

Nº estudiantes nivel sup.

Nº de hijos.

Nº de hijos menores de 14.

Nivel de educ. familiar.

Nivel de educ. cabeza fam.

Motorización total y por tipo de vehículo.

La esposa trabaja.

El cabeza de fam. Estájubilado.

Tiempo medio de viaje.





ΣΣΣΣ f(u)u=ΣW i -θ

f(u)=1/[1+exp(-λu)]

OPTIMIZACIÓN EVOLUTIVA : Algoritmos Genéticos, Estrategias Evolutivas(100+100)-ES

Inspirada en la Evolución Natural de Darwin

La mejor red tiende a dominar la población de soluciones





Variables significativas









Ajuste: MSE/var=31%

0

5

10

15

20

0 5 10 15 20

Datos (test)

Red

Neu

rona

l

Ajuste: MSE/var= 2.7%

0

5

10

15

20

0 5 10 15 20Red Neuronal

R. L

. M.

La red podada genera predicciones de los desplazamientos totales muy parecidasa las del modelo lineal pero usando 3 variables en lugar de 8(relaciones no lineales)




ARMOR DAMAGE ANALYSIS USING NEURAL NETWORKS

Wave storms Armor damage

{H,T}{Hm0,T01,Nw}

{Hm0(t),T01(t)}

D=D(H) or D(H,Ir)D=D(Hm0,Ir01,Nw)

D=D({Hm0(t),T01(t)})

Evolution of armor damage in nonstationary conditions

NN

Sistemas Inteligentes: redes podadas-diques

1980

1990

2000

9





INTELLIGENT SYSTEMS

physical phenomena modellingpattern classificationprediction/forecasting

optimizationdata mining

risk evaluation

regular waves D 0=D0(H,Ir,LAB,..)random waves D i+1=D(Di,{Hm0,Ir,N})

Neural Networks Evolutive Strategies

NEURAL NETWORKSsupervised /unsupervised)

Feed-forward networks- single layer perceptron- multilayer NN- radial basis function netsRecurrent networks- competitive networks- Kohonen’s SOM- Hopfield network- ART models





Mase et al.(1995)- JWPCOE: breakwater armour damage

Van Gent&Van den Boogaard(1998)- ICCE’98: forces on vertical structures

Backpropagation:- gradient descent search: local mimimum MSE- overlearning?… over-simplicity?

Medina(1999, 2002)- CS’99: runup ICCE’02: overtopping

Evolutionary Strategy:- parallel seach: global minimum PSE- NO overlearning, NO over-simplicity





d

FORCE

Q

¿Q>0?

Rc/Hm0

IrRc/DnU(m/s)

Q=1Q=0

Medina et al.(2002)

Rc/Hm0

IrRc/DnU(m/s)

Redes totalmente conexionadasRedes podadas- en dos fases





EVOLUTIVE OPTIMIZATION:Genetic Algorithms (GA)

Evolutive Strategies (ES): (400+400)-ESEvolutive Programming (EP)Genetic Programming (GP)

the best solutions tendto dominate the population

< pruned NN >

Evaluation: PSE = MSE [1 + 2P/(N-P)]

N=nº datosP=nº parámetrosPSE= predicted mean-squared error





UPVValencia

UCASantander





UPV

erosión

10





Experiments UPV+UCA: 149 cases

Learning80%

Testing20%

significantdamage:

D>0.4

Hi/H0

Ir

LAB

I+R: LASA (Medina, 2001)

0=insignificant1=significant

if D(NN1)=1NN1 classifier: 7% > ≈ 3%

D*=D0.2 Hi/H0

Ir

LAB

NN2 quantifier: (PSE/Var) l=32% >≈ (MSE/Var) t= 27%Cross-validation: YES





Regular waves: (MSE) test =27%

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8

observed D*

NN

est

imat

ion

D*

Learning Testing D<0.4

D<0.4 D>8D>2.4D=0.8

Armor damage: observed vs estimated





D*

IrHi/HD=0

inverse NN model

Damage Levels (regular waves)

0.8

1

1.2

1.4

1.6

1.8

1.5 2 2.5 3 3.5 4

Ir

Hi/H

D=

0 D=0.4

D=0.8

D=2.4

D=8.0

SPM(1984)

(PSE/Var) l=24% ≈ (MSE/Var)t=26%




Sistemas Inteligentes: redes podadas-rebase

OVERTOPPING ANALYSIS USING NEURAL NETWORKS

Zeebruggebreakwater

OPTICREST(1998-2001): runupCLASH(2002-2004) : overtopping

Rc/Hm0

Ir

Rc/Dn

U(m/s)

Q





Toe

Berm

Antifer

Core

Filter

Foundation.

Sand infiltration

Bed protection

Concrete structure

Toe

Berm

Antifer

Core

Filter

Foundation.

Sand infiltration

Bed protection

Concrete structure

Toe

Berm

Antifer

Core

Filter

Foundation.

Sand infiltration

Bed protection

Concrete structure

1/30 scale





NN modeling using ES

NN overlearning risk: N (data) < 10 P (free parameters)

4 input variables: Hs, Ir, Rc, U1 output variable: q

NN (4-8-1): P= 57 N (data)> 600?N= 113 (test matrix)oversimplicity?

11





(4) input variables: {Hs, Ir, Rc, U} - (1) output var iable: q

(4) input variables: Rc/Hm0, Ir, Rc/Dn, U(m/s)(1) Output variable: Q= log [q/(g H m0

3 )0.5 ]

113 tests : 80% learning data, 20% testing data

overtopping observations:significant (Q=1) vs insignificant (Q=0)Q= log [q/(g H m0

3 )0.5

overtopping estimation:NN1 classifier of significant eventsNN2 overtopping estimator




Sistemas Inteligentes: redes podadas-rebaseTITULO 1

(4) input variables: Rc/H m0, Ir, Rc/Dn, U(m/s)OUTPUT: significant (Q=1) vs insignificant (Q=0)

113 tests : 80% learning data, 20% testing dataq>10-4.5 m3/s.m = limit for pedestrians and buildings

80% learning data: 23% (Q=0) + 77% (Q=1)NN1 learning data: 23% (Q=0) + 23% (Q=1)= 42 tests

NN1 classifier: significant (Q=1) vs insignificant (Q=0)

Rc/Hm0

Ir

Rc/Dn

U(m/s)

Q

NN1(P=11) correct: 94% learning data and 91% of testing data





TITULO 1

(4) input variables: Rc/H m0, Ir, Rc/Dn, U(m/s)OUTPUT: Q= log [q/(g H m0

3 )0.5

113 tests : 80% learning data, 20% testing dataq>10-4.5 m3/s.m = limit for pedestrians and buildingsoriginal learning data: 23% (Q=0) + 77% (Q=1)NN2 learning data: (4/5)77% (Q=1)= 56 tests

NN2 estimator: Q= log [q/(g H m03 )0.5

Rc/Hm0

Ir

Rc/Dn

U(m/s)

Q

NN2(P=12): MSE/Var=0.16 (learning) and MSE/Var=0.12 (testing)





Observations

NNestimation

(50%)q

NN1 + NN2 = overtopping estimatorQ=-7 (q<10-4.5 m3/s.m) or Q= log [q/(g H m0

3 )0.5

NN(P=11+12=23) overtopping estimation:MSE/Var(final testing)= 0.18

cross-validation:20% testing data





Q( Rc/Hm0,Ir,Rc/Dn)

-7

-6

-5

-4

-3

-21 1.5 2 2.5

Rc/Hm0

NN

est

imat

ion Ir=3

Ir=3

Ir=4

Ir=4Ir=5

Ir=5

Rc/Dn=3

Rc/Dn=4

1.2< Rc/Hm0 < 2.5Rc/Dn= 3 and 4

U(m/s)= 0.0

Ir= 3, 4 and 5

windspeed=0

simulation

NN overtopping model (P=23)input: Rc/H m0, Ir, Rc/Dn, U(m/s) Output: Q= log [q/(g H m0

3 )0.5 ]




Q=LOG(q/[gHm0^3]^0.5)

-7

-6

-5

-4

-3

-2

-7 -6 -5 -4 -3 -2

NN estimation

Em

piric

al e

stim

atio

n (E

q. 2

)

1.2< Rc/Hm0 <3.8

2.8< Ir <4.8

3.1< Rc/Dn <4.4

U=0

( )

−−−+−−== 39.048.10

4.38.2exp3

0DnRcIr

mHRc

mgH

qQ(P=4)

-5<Q<-2.5


12




(P=6) ( ) ( )

+

−−−+

−−= 5.1

0

07.039.048.14.38.2exp UDn

RcIr

H

RcQ

m

-7

-6

-5

-4

-3

-2

-7 -6 -5 -4 -3 -2

Q(U=0)

Q(w

inds

peed

)

U=3 m/s

U=5 m/s

U=7 m/s

U=0 m/s





-7

-6

-5

-4

-3

-2

-7 -6 -5 -4 -3 -2

Experimental observations

Em

piric

al fo

rmul

a (E

q. 3

)

prototype

Um=Up/1.7? 3 storms36x30 min113 lab tests





Redes podadaspermiten ajustar la complejidad de la red al tamaño de la base de datos. predictor de Moody(1991): PSE=MSE[1+2p/(N-p)]Las redes podadas permiten eludir el problema de sobreaprendizajeutilizando un predictor de error adecuado y permiten eliminar entradas no significativas, pero el aprendizaje es muy lento comparado con los algoritmos“backpropagation”

Las redes neuronales tiene muchos parámetrosuso típico con muchos datos y algoritmos “backpropagation”necesariavalidación cruzada(learning+testing= test ciego)“Early stopping” para evitar“overfitting”el método de validación debe definirse“a priori”MATLAB Neural Network Toolbox

Sistemas Inteligentes: NN feed-forward multicapa





Los filtros lineales (neuronas lineales): caso particular





Los sistemas de control dinámicos (NNPC,NARMA-L2,…)




Sistemas Inteligentes: Radial basin NN

Radial basin NN suelen utilizarse para clasificary suelen necesitar más neuronas que las feed-forward

13




Sistemas Inteligentes: Self-Organizing Maps




Sistemas Inteligentes: Learning Vector Quantization




Sistemas Inteligentes: Recurrent NN

Elman NN y Hopfield NN




Sistemas Inteligentes: Recurrent NN

Redes Neuronales

MATLABNeural Network Toolbox

redes neuronales inteligencia optimización heurística en nn · 3 sistemas inteligentes en...

Documents