calculo optimo

7/23/2019 Calculo Optimo

1/31

Elementos basicosPrincipio del Maximo de Pontryagin

Interpretacion economica y otras aplicacionesDiferentes condiciones terminales

Condiciones de segundo orden y otros

Control Optimo

F. Alvarez

Universidad Complutense de Madrid

9 Septiembre, 2012

F. Alvarez Control Optimo
http://find/http://goback/


2/31




Recursos naturales renovables

Sea x(t) el stock en el instante tde un recurso naturalrenovable (calidad ambiental), y sea su tasa de renovacion.

Sea u(t) el nivel de contaminacion.

x=x u

En cada instante, podemos vender a un precio ppagando un

coste de extraccion cuadratico. c(u) =u2

. Tenemos una licencia de explotacion durante el horizonte

temporal [0,T]. Al final recibiremos un pago por cadaunidad de stock sobrante.

http://find/


3/31




Recursos naturales renovables, II

Cuanto estaremos dispuestos a pagar por una unidadadicional de stock en algun instante t [0,T]?

Podemos resolver el anterior problema usando Calculo deVariaciones, pero no podemos responder a la preguntaanterior.

Una pregunta relacionada: Cual es el valor del stock en cadainstante?

Ese valor puede cambiar en el tiempo.

Cuando aprovecho mas una unidad de stock que me cae delcielo, al principio o al final?

http://find/


4/31




Recursos naturales renovables, III

Distinguimos: Stock (nivel de calidad) Estado, x

Emisiones Control, u De modo que el problema es:

max{

T0

pu u2

dt+ x(T)}

Sujeto a la dinamica: x=x u

y a la condicion inicial x(0) =x0.


El b i
http://find/


5/31




Recursos naturales renovables, IV

En ese problema, hasta ahora, habamos usado la dinamicapara eliminar uy habamos calculado directamente la x quesoluciona.

Pero podemos ser algo mas sutiles:

Si calculo la funcion (del tiempo) u optima, esta, partiendode la condicion inicial dada, determina la x solucion.

El par de funciones (x, u) satisfaceel principio deoptimalidad de Bellman.


El t b i
http://find/


6/31




Principio de optimalidad

El par (x, u) satisface:

t0

x, u

x

u

Tt

x (t)

Sea t [0,T] arbitrario, u en [t,T] resuelve el subproblemadesde t hasta T tomando x (t) como condicion inicial. El x del

subproblema es el del problema inicial en [t,T].F. Alvarez Control Optimo

Elementos basicos
http://find/


7/31




Principio de optimalidad: funcion valor

Basandonos en el principio de Bellman, el valor del estado ent [0,T] es:

J(x (t) , t) :=

Tt

pu (s) u (s)2

ds+ x(T)

sujeto a la poltica de estado a partir de instante t con x (t)

dado.

La funcion J se denominafuncion valor.


Elementos basicos


8/31




Principio de optimalidad: derivada de la funcion valor

Calculada la funcion valor, J, el valor adicional de una unidadmas de estado en el instante tviene dado por

x

J(x (t) , t)

Es decir: una unidad mas de estado me hace mejorar(empeorar) en tanto en cuanto aumente (disminuye) la

funcion valor. Si la unidad adicional es suficientemente pequena, dicha

mejora se aproxima por la derivada parcial de Jrespecto de suprimer argumento.


Elementos basicos


9/31




Derivada de la funcion valor, cont.

Podemos calcular esa derivada aun sin haber obtenido lafuncion valor?

Veamos, dicha derivada es funcion del tiempo:

t x

u

J

Luego existe una funcion del tiempo, sea , tal que:

(t) =

x

J(x (t) , t) (1)


Elementos basicos


10/31




PMP: Formulacion general

Nos permite calcular de un modo sencillo a la vez quecalculamos la solucion, (x, u).

Supongamos el problema

maxu

T0

g(x, u, t) dt+S(x(T))

sujeto a: x=f (x, u, t), con x(0) =x0 dado.

Sse conoce como funvion residual, en nuestro ejemplo iniciales S(x) =x.

La solucion es ahora la funcion (del tiempo) u, quedenominamospoltica optima o control optimo.

Notemos que fijado u y x(0) =x0 tenemos tambien x.


Elementos basicos


11/31




PMP: Formulacion general, II

Definimos el Hamiltoniano:

H(x, u, , t) :=g(x, u, t) + f(x, u, t)

Donde es arbitraria.

Principio del maximo: La solucion (x, u), junto con algunafuncion , satisfacen:

u

argmaxu{H(x

, u, , t)} (2)

=

xH(x, u, , t) (T) =

d

dxS(x (T)) (3)

La funcion que verifica (2) y (3), verifica tambien (1).


Elementos basicos
http://find/


12/31

Principio del Maximo de PontryaginInterpretacion economica y otras aplicaciones

Diferentes condiciones terminalesCondiciones de segundo orden y otros

...volviendo a nuestro ejemplo

El Hamiltoniano es:

H=pu u2 + (x u)

La condicion (2) da lugar a:

u= 1

2(p )

La condicion (3) da lugar a:

(t) =Aet (T) =

De donde (t) =e(Tt)

Y ahora, sin prisas, entendamos la economa!!!


Elementos basicos
http://find/


13/31



Interpretacion economicaOtras aplicaciones

Interpretacion economica

Sea xel stock de capital de una empresa, y usus decision, demodo que en un problema generico:

max T

0 g(x, u, t) +S(x(T))

g es el beneficio instantaneo y Ses la valoracion final de laempresa.

La dinamica del capital viene dada por:

x=f (x, u, t)

Interpretemos el Principio del Maximo, basado en: Dorfman, R. (1969), An economic interpretation of Optimal

Control Theory, American Economic Review,59,pp. 817-831.


Elementos basicos
http://find/


14/31




Interpretacion economica, II

Definimos el Hamiltoniano H=g+ f.

Supongamos que a partir de un instante t, consideramos unapequena variacion tiempo, (t, t+dt), tal que no vara (x, u).

La variacion en el Hamiltoniano es

Hdt=gdt+ fdt=gdt+ xdt=gdt+ dx

gdtes la variacion que se produce en el beneficio instantaneo.

dxes la variacion en el beneficio futuro: contribucion albeneficio futuro de cada unidad de stock, , por variacion delstock, x.

Luego hemos de maximizar H y no g.


Elementos basicosP i i i d l M i d P i
http://find/


15/31




Interpretacion economica, III

Ademas, la dinamica de puede expresarse:

= Hx d= Hxdt=gxdt+ fxdt

d es la variacion en el valor del stock si no hacemos nada,luego es tambien el coste marginalde mantener el stock.

El coste de oportunidad de mantener el stock es la variacion en el

valor que hubieramos obtenido por no hacer nada: d.

gxdt+ fxdtes la contribucion (instantanea + futura) demantener el stock, luego es tambien elingreso marginaldemantenerlo.


Elementos basicosP i i i d l M i d P t i


16/31




Consumo-ahorro

Volvemos al problema de consumo-ahorro que vimos en laparte de calculo de variaciones.

max T

0ln cdt k=Ak c k

Recordemos, Ak es el nivel de produccion dada una cantidadde capital k. Esta produccion se reparte entre consumo, c y

ahorro. El ahorro aumenta la cantidad de capital, que sedeprecia a tasa .

Deseamos maximizar el flujo de utilidad en cierto horizontetemporal.


http://find/


17/31




Consumo-ahorro, II

SeaH= ln c+ (Ak c k)

La condicion de maximizacion de Hda lugar a: c= 1

Ademas:

=

kH =

Ak1

Usando la condicion de maximizacion en la ultima igualdad, setiene:c

c =Ak1

Que ya habamos obtenido usando calculo de variaciones.


http://find/


18/31




Modelo de publicidad Nerlove-Arrow

Recordemos, xes el deseo de la gente por comprar unproducto y uel gasto en publicidad. El deseo aumenta losingresos R(x) y el gasto aumenta los costes C(u).

El problema es

max

T0

(R(x) C(u)) dt x=u x

Tenemos:

maxu

H C (u) = =

xH = R (x) +


http://find/


19/31




Modelo de publicidad Nerlove-Arrow, II

Combinando las anteriores igualdades, queda:

C (u)

C (u)u=

R (x)

C (u) (4)

Es decir, bajo convexidad (rendimientos decrecientes) de C es:

u>0 >R (x)

C (u)

Ademas, tomando R(x) =x y C(u) =u2, (4) queda lo quehabamos obtenido:

u

u =

1

2u



I i i
http://find/


20/31




Learning by doing

Wright(1932) presento evidencia de que el tiempo necesariopara construir un avion disminua con el numero de aviones yaproducidos.

Desde entonces ha habido mucha evidencia emprica sobredicho fenomeno y tambien muchos estudios teoricos.

Debemos subvencionar/proteger a una industria nacientequees ineficiente esperando que sea mas eficiente con el paso deltiempo?

Debemos permitir cierto lmite de practicas predatorias(producir masivamente, bajar los precios del mercado y hacerentrar en perdidas a los rivales) con el objeto de que estopermita mejorar la eficiencia productiva?



I t t i i


21/31

p y gInterpretacion economica y otras aplicaciones



Learning by doing, II

Sea un monopolista, sin amenazas de entrada, que enfrentafuncion inversa de demanda es p=a q. Sus costes deproduccion son c(q) =xq, siendo:

x= u Por tanto el problema es

max

T0

((a q) q xq) dt

Sujeto a la dinamica de estado dada y alguna condicion inicialsobre el estado, sea x(0) =a/2.

Ademas, supondremos T


22/31

p y gInterpretacion economica y otras aplicaciones



Learning by doing, III

Sea el Hamiltoniano: H= (a q) q xq u

maxu

H q=1

2(a x ) =

xH = q

De la anterior igualdad y la dinamica de estado queda:

x= x= +B

Sustituyendo en la dinamica de y operando queda:

=1

2(a B) = A+

1

2(a B) t



Interpretacion economica
http://find/


23/31




Learning by doing, IV

Usando las condiciones de contorno x(0) =a/2 y (T) = 0queda:

= a2T 4

(T t) q= a4 2T

x= a ((T+t) 2)2T 4

Por tanto, la produccion es constante en el tiempo y superior

a la que tendra lugar en el caso miope. Ademas, aumentar xen cada instante reduce el beneficio y

dicha reduccion, en valor absoluto, disminuye en el tiempo.




24/31



Conceptos previos

Consideremos el problema: minyY{f (x)}, siendo Y unconjunto convexo arbitrario. La solucion, sea x, siempresatisface:

f

(x

) (y x

) 0 y Y

x

f

xx

f

xx

f

x



I i i li i
http://find/


25/31



Condicion general sobre estado terminal en convexo

Consideremos ahora un problema de control de minimizacionen el que la condicion terminal es x(T) Y, siendo Y unconjunto convexo.

La condicion de transversalidad es:

S (x (T)) (T)

(y x (T)) 0 y Y (5)

Donde el primer termino anterior es la funcion a minimizar. Involucra no solo la valoracion final sino el valor del estado.

La desigualdad cambia de signo si el problema es demaximizacion.



I t t i i t li i
http://find/


26/31



Ejemplo: Recursos no renovables

Supongamos el problema de recursos renovables visto alcomienzo de este tema.

Lo convertimos en un problema de recursos no renovables

tomando = 0. El problema queda:

max

T0

pu u2

dt+ x(T) x= u

Sea la condicion inicial x(0) =x0.

Supongamos que ademas debe verificar x(T) a, siendoa


27/31



Ejemplo: Recursos no renovables, II

Sea el Hamiltoniano

H=pu u2 u

Tenemos:

maxu

H u=p

2=

xH = 0

De la ultima igualdad tenemos (t) =A, siendo A unaconstante a determinar.

Sustituyendo el valor de en el control y resolviendo ladinamica de estado queda:

x(t) =x0+A p

2 t



Interpretacion economica y otras aplicaciones
http://find/


28/31



Ejemplo: Recursos no renovables, III

La condicion (5) queda:

( A) (y x (T)) 0 y a

Hay dos casos posibles: Caso (i): x (T) =a y A

Caso (ii): x (T)>a y =A

El caso (i) ocurre si y solo si:

p2

T (x0 a)

Notemos que el ultimo termino es la media (a lo largo del tiempo)del coste marginal de extraccion.



http://find/


29/31



Estado final fijado y libre

Consideremos de nuevo (5):

S (x (T)) (T)

(y x (T)) 0 y Y

Siendo Yun conjunto convexo arbitrario. Como caso particular, si Y =a, es decir, el estado final

factible es un unico punto (como en un problema estandardde Calculo de Variaciones), la anterior condicion se satisface

para cualquier (T). Notemos ademas que en este caso lafuncion Sdeja de tener sentido.

Otro caso particular, si Y = R, es decir, el estado final eslibre, la anterior condicion se convierte en S (x (T)) = (T).



http://find/


30/31



Condicion suficiente de Mangasarian

Sea un problema de maximizacion, siendo (x, u, ) la terna quesatisface las condiciones del Principio del Maximo. Si para todo

t [0,T] se verifica: g y f son concavas en (x, u),

Ses concava en x,

(t) 0 si fes no lineal en (x, u),

entonces: u es la poltica optima y es la derivada de la funcionvalor respecto del estado.



http://find/


31/31

p y pDiferentes condiciones terminales


Condicion suficiente de Arrow

Sea un problema de maximizacion, siendo (x, u, ) la terna quesatisface las condiciones del Principio del Maximo. Definimos elHamiltoniano derivado:

H0 (x, , t) =maxuH(x, u, , t)

Si para todo t [0,T] se verifica:

H0 es concava en x,

Ses concava en x,

entonces: u es la poltica optima y es la derivada de la funcionvalor respecto del estado.Puede probarse que la condicion de Arrow es mas debil (estaincluida en) que la de Mangasarian.

http://find/

calculo optimo

Documents